查看HDFS的元數(shù)據(jù)文件fsimage和編輯日志edits

HDFS查看edits

命令hdfs oev用于查看edits文件。

edits

該命令需要以下參數(shù):

必須參數(shù):

-i,–inputFile <arg> 輸入edits文件,如果是xml后綴,表示XML格式,其他表示二進(jìn)制。

-o,–outputFile <arg> 輸出文件,如果存在,則會(huì)覆蓋。

可選參數(shù):

-p,–processor <arg> 指定轉(zhuǎn)換類(lèi)型: binary (二進(jìn)制格式), xml (默認(rèn),XML格式),stats (打印edits文件的靜態(tài)統(tǒng)計(jì)信息)

**-h,–help ** 顯示幫助信息

-f,–fix-txids 重置輸入edits文件中的transaction IDs

-r,–recover 使用recovery模式,跳過(guò)eidts中的錯(cuò)誤記錄。

**-v,–verbose ** 打印處理時(shí)候的輸出。

例子1****:

hdfs oev -i /data1/hadoop/dfs/name/current/edits_0000000000019382469-0000000000019383915 -o /home/hadoop/edits.xml

未指定-p選項(xiàng),默認(rèn)轉(zhuǎn)換成xml格式,查看edits.xml文件:

edits

在輸出的xml文件中,每個(gè)RECORD記錄了一次操作,比如圖中的OP_ADD代表添加文件操作,OP_MKDIR代表創(chuàng)建目錄操作。里面還記錄了文件路徑(PATH),修改時(shí)間(MTIME)、添加時(shí)間(ATIME)、客戶端名稱(chēng)(CLIENT_NAME)、客戶端地址(CLIENT_MACHINE)、權(quán)限(PERMISSION_STATUS)等非常有用的信息。

當(dāng)edits文件破損進(jìn)而導(dǎo)致HDFS文件系統(tǒng)出現(xiàn)問(wèn)題時(shí),可以通過(guò)將原有的binary文件轉(zhuǎn)換為xml文件,并手動(dòng)編輯xml文件然后轉(zhuǎn)回binary文件來(lái)實(shí)現(xiàn)。

例子2:

hdfs oev -i /data1/hadoop/dfs/name/current/edits_0000000000019382469-0000000000019383915 -o /home/hadoop/edits.txt -p stats

指定-p stats選項(xiàng),用于輸出該edits文件中的統(tǒng)計(jì)信息:

查看edits.txt,打印出該edits文件中每種操作的數(shù)量。

edits
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 終極算法 關(guān)注微信號(hào)每天收聽(tīng)我們的消息終極算法為您推送精品閱讀 前言 Hadoop 在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)...
    Yespon閱讀 131,162評(píng)論 12 168
  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,935評(píng)論 0 14
  • 趕完作業(yè), 快夜里十二點(diǎn)了,我上完衛(wèi)生間著急著上床?;秀遍g,突然瞥見(jiàn)書(shū)房居然還亮著燈,咦!誰(shuí)忘了關(guān)燈?我心一動(dòng)...
    久久0820閱讀 173評(píng)論 0 0
  • 看著車(chē)子漸行漸遠(yuǎn),我凄然轉(zhuǎn)身回屋。 從門(mén)口到客廳沙發(fā)的路是那么艱難,這雙老腿一點(diǎn)力氣都沒(méi)有,走起來(lái)...
    行白軒閱讀 206評(píng)論 0 0
  • 作為一個(gè)職場(chǎng)人,在超過(guò)十年的職場(chǎng)生涯中,我以為我沒(méi)能站在更高的層級(jí)和更廣的局面上做更多思考,但在人生角色上有了轉(zhuǎn)變...
    微光無(wú)涯閱讀 215評(píng)論 0 0

友情鏈接更多精彩內(nèi)容