大數(shù)據(jù)工作筆記||如何在hyper-v上擴(kuò)充HDFS的存儲(chǔ)空間

問(wèn)題描述:最近公司來(lái)了一批200G左右的數(shù)據(jù),因?yàn)橐郧暗臏y(cè)試機(jī)器都是隨便搭的,內(nèi)存不夠,所以要擴(kuò)充HDFS的存儲(chǔ)空間

操作環(huán)境:hyper-v,centos6.7 ,內(nèi)核版本4.4.113-1.el6.elrepo.x86_64

此文檔實(shí)在偽分布式操作系統(tǒng)上操作的,實(shí)際的集群擴(kuò)容類(lèi)似

一,新增硬盤(pán)

1.保證你的虛擬機(jī)處于關(guān)機(jī)狀態(tài)


2.右鍵->選擇“設(shè)置”


3.選擇“IDE控制器”-->“硬盤(pán)驅(qū)動(dòng)器”-->“添加”


4.點(diǎn)擊“新建”


5.選擇“VHDX(H)”下一步


6.選擇“動(dòng)態(tài)擴(kuò)展”


7,根據(jù)現(xiàn)場(chǎng)情況選擇“名稱(chēng)和位置”


8,根據(jù)現(xiàn)場(chǎng)情況設(shè)置新增硬盤(pán)的大小-->“下一步”---->“完成”


二,對(duì)新增硬盤(pán)分區(qū),掛載

1.連接到虛擬機(jī)輸入命令 fdisk –l 找到自己新增的硬盤(pán)

2. 進(jìn)入磁盤(pán),對(duì)磁盤(pán)進(jìn)行分區(qū)輸入命令fdisk +磁盤(pán)名稱(chēng)

3.輸入“n”新建分區(qū)----à輸入“p”創(chuàng)建主分區(qū)-----à輸入“1”設(shè)置扇區(qū)默認(rèn)從1開(kāi)始----à根據(jù)現(xiàn)場(chǎng)情況輸入扇區(qū)的結(jié)束位置(我這里把整個(gè)硬盤(pán)做一個(gè)分區(qū)直接回車(chē))---à輸入“w”回車(chē),保存(如果要把整個(gè)硬盤(pán)掛載到某個(gè)目錄可以不分區(qū))

4.輸入fdisk –l 查看硬盤(pán)是否分區(qū)成功(Disk identifier:標(biāo)識(shí)不為0x00000000即為分區(qū)成功)

5.格式化分區(qū)輸入命令mkfs.ext4??+分區(qū)名稱(chēng)(例如要格式化/dev/sdb1的命令為:mkfs.ext4?? /dev/sdb1 )

6.掛載分區(qū)輸入命令mount+分區(qū)名稱(chēng)+掛載目錄(例如要把/dev/sdb1掛載到 /mnt/cdrom目錄下的命令為:mount /dev/sdb1? /mnt/cdrom)

7檢查分區(qū)是否掛載成功,輸入df –h 如掛載成功如下圖所示


三.?dāng)U容datanode存儲(chǔ)目錄

1.連接到datanode所在的服務(wù)器,找到datanode的存儲(chǔ)目錄

(可從cloudera manager上HDFS下的datanode節(jié)點(diǎn)的配置中找到datanode的存儲(chǔ)目錄,這里的是/dfs/dn)


2.關(guān)掉集群服務(wù)

3.在新掛載磁盤(pán)的目錄中新建跳板目錄mkdir /new

4. 將新建的分區(qū)掛載到新建的目錄上mount /dev/sdb1 /new

5.將hdfs中存儲(chǔ)數(shù)據(jù)的目錄復(fù)制到新建的跳板中cp -R /dfs/dn/* ?/new

6.解除掛載umount /new

7. rm -rf /dfs/dn/*

? ? ? ####可選,主要為了騰出空間給原來(lái)的硬盤(pán)

8. 將新磁盤(pán)掛載到HDFS中數(shù)據(jù)的存儲(chǔ)目錄mount /dev/sdb1 /dfs/dn(此時(shí)你會(huì)的發(fā)現(xiàn)之前的/dfs/dn目錄文件已經(jīng)全部轉(zhuǎn)移過(guò)來(lái)了)

9. 刪除跳板目錄,rm -rf /new (等待/dfs/dn目錄數(shù)據(jù)恢復(fù)之后再刪除)

10.將目錄從新授權(quán)給HDFS角色,chown -R hdfs:hdfs /dfs/dn/ (一定要記得授權(quán),否則datanode會(huì)讀取文件失敗)

11.設(shè)置開(kāi)機(jī)自動(dòng)掛載(vim /etc/fstab)

在/etc/fstab文件的后面添加/dev/sdb1?????????????? /dfs/dn???????????????? ext4??? defaults??????? 0 0

12. 檢查開(kāi)機(jī)掛載是否配置成功

13.重啟服務(wù)打開(kāi)/etc/fstab文件

查看最后一行是否為仍是/dev/sdb1?????????????? /dfs/dn???????????????? ext4??? defaults??????? 0 0若是則說(shuō)明開(kāi)機(jī)自動(dòng)掛載設(shè)置成功


14.分別在各個(gè)datanode節(jié)點(diǎn)實(shí)現(xiàn)上述操作即可完成HDFS的擴(kuò)容



制作人:云成鵬(如發(fā)現(xiàn)文檔中有任何錯(cuò)誤或遺漏之處請(qǐng)及時(shí)提醒,以便糾正修改,謝謝)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容