問(wèn)題描述:最近公司來(lái)了一批200G左右的數(shù)據(jù),因?yàn)橐郧暗臏y(cè)試機(jī)器都是隨便搭的,內(nèi)存不夠,所以要擴(kuò)充HDFS的存儲(chǔ)空間
操作環(huán)境:hyper-v,centos6.7 ,內(nèi)核版本4.4.113-1.el6.elrepo.x86_64
此文檔實(shí)在偽分布式操作系統(tǒng)上操作的,實(shí)際的集群擴(kuò)容類(lèi)似
一,新增硬盤(pán)
1.保證你的虛擬機(jī)處于關(guān)機(jī)狀態(tài)

2.右鍵->選擇“設(shè)置”

3.選擇“IDE控制器”-->“硬盤(pán)驅(qū)動(dòng)器”-->“添加”

4.點(diǎn)擊“新建”

5.選擇“VHDX(H)”下一步

6.選擇“動(dòng)態(tài)擴(kuò)展”

7,根據(jù)現(xiàn)場(chǎng)情況選擇“名稱(chēng)和位置”

8,根據(jù)現(xiàn)場(chǎng)情況設(shè)置新增硬盤(pán)的大小-->“下一步”---->“完成”

二,對(duì)新增硬盤(pán)分區(qū),掛載
1.連接到虛擬機(jī)輸入命令 fdisk –l 找到自己新增的硬盤(pán)
2. 進(jìn)入磁盤(pán),對(duì)磁盤(pán)進(jìn)行分區(qū)輸入命令fdisk +磁盤(pán)名稱(chēng)
3.輸入“n”新建分區(qū)----à輸入“p”創(chuàng)建主分區(qū)-----à輸入“1”設(shè)置扇區(qū)默認(rèn)從1開(kāi)始----à根據(jù)現(xiàn)場(chǎng)情況輸入扇區(qū)的結(jié)束位置(我這里把整個(gè)硬盤(pán)做一個(gè)分區(qū)直接回車(chē))---à輸入“w”回車(chē),保存(如果要把整個(gè)硬盤(pán)掛載到某個(gè)目錄可以不分區(qū))
4.輸入fdisk –l 查看硬盤(pán)是否分區(qū)成功(Disk identifier:標(biāo)識(shí)不為0x00000000即為分區(qū)成功)
5.格式化分區(qū)輸入命令mkfs.ext4??+分區(qū)名稱(chēng)(例如要格式化/dev/sdb1的命令為:mkfs.ext4?? /dev/sdb1 )
6.掛載分區(qū)輸入命令mount+分區(qū)名稱(chēng)+掛載目錄(例如要把/dev/sdb1掛載到 /mnt/cdrom目錄下的命令為:mount /dev/sdb1? /mnt/cdrom)
7檢查分區(qū)是否掛載成功,輸入df –h 如掛載成功如下圖所示

三.?dāng)U容datanode存儲(chǔ)目錄
1.連接到datanode所在的服務(wù)器,找到datanode的存儲(chǔ)目錄
(可從cloudera manager上HDFS下的datanode節(jié)點(diǎn)的配置中找到datanode的存儲(chǔ)目錄,這里的是/dfs/dn)

2.關(guān)掉集群服務(wù)
3.在新掛載磁盤(pán)的目錄中新建跳板目錄mkdir /new
4. 將新建的分區(qū)掛載到新建的目錄上mount /dev/sdb1 /new
5.將hdfs中存儲(chǔ)數(shù)據(jù)的目錄復(fù)制到新建的跳板中cp -R /dfs/dn/* ?/new
6.解除掛載umount /new
7. rm -rf /dfs/dn/*
? ? ? ####可選,主要為了騰出空間給原來(lái)的硬盤(pán)
8. 將新磁盤(pán)掛載到HDFS中數(shù)據(jù)的存儲(chǔ)目錄mount /dev/sdb1 /dfs/dn(此時(shí)你會(huì)的發(fā)現(xiàn)之前的/dfs/dn目錄文件已經(jīng)全部轉(zhuǎn)移過(guò)來(lái)了)
9. 刪除跳板目錄,rm -rf /new (等待/dfs/dn目錄數(shù)據(jù)恢復(fù)之后再刪除)
10.將目錄從新授權(quán)給HDFS角色,chown -R hdfs:hdfs /dfs/dn/ (一定要記得授權(quán),否則datanode會(huì)讀取文件失敗)
11.設(shè)置開(kāi)機(jī)自動(dòng)掛載(vim /etc/fstab)
在/etc/fstab文件的后面添加/dev/sdb1?????????????? /dfs/dn???????????????? ext4??? defaults??????? 0 0
12. 檢查開(kāi)機(jī)掛載是否配置成功
13.重啟服務(wù)打開(kāi)/etc/fstab文件
查看最后一行是否為仍是/dev/sdb1?????????????? /dfs/dn???????????????? ext4??? defaults??????? 0 0若是則說(shuō)明開(kāi)機(jī)自動(dòng)掛載設(shè)置成功
