hdfs的下載機(jī)制
hdfs中:
1.主節(jié)點(namdnode)負(fù)責(zé)存儲元數(shù)據(jù)，即為目標(biāo)數(shù)據(jù)的路徑
- 從節(jié)點(datanode)負(fù)責(zé)存儲真實數(shù)據(jù)，通過checkpoint機(jī)制在經(jīng)過一定時間之后，向主節(jié)點更新只身路徑
步驟1，通過主節(jié)namenode中的元數(shù)據(jù)，找到要下載文件塊block所在的服務(wù)器。
下載.png
步驟2，挑選一臺datanode（就近原則，然后隨機(jī)）服務(wù)器，請求建立socket流--->用于傳遞具體的信息
下載2.png
步驟3，datanode開始發(fā)送數(shù)據(jù)，在服務(wù)器端的本地磁盤中讀出數(shù)據(jù)，以packet的形式進(jìn)行校驗
下載3.png
步驟4，客戶端本地進(jìn)行接受，以packet為基本單位，先存儲在本地緩存中，在存入本地文件
下載4.png
