一、hdfs讀取流程圖

假設(shè)block副本個(gè)數(shù)3個(gè)

image.png

客戶端發(fā)起請(qǐng)求到namenode節(jié)點(diǎn)，要求namenode告訴客戶端讀取的block位置在哪些datanode上，第一次讀取的datanode一般是網(wǎng)絡(luò)路徑最近的一個(gè)，如果讀取失敗，客戶端會(huì)通過ClientProtocol協(xié)議上報(bào)給namenode，該datanode節(jié)點(diǎn)的block數(shù)據(jù)損壞了，然后繼續(xù)讀取datanode2一直到讀取成功或者讀完所有datanode。

一、hdfs讀取流總結(jié)

1. hdfs讀過程涉及到很多rpc通訊，其中DFSClient與NameNode通信協(xié)議是ClientProtocol，NameNode和DataNode通信協(xié)議是DatanodeProtocol
   ，NameNode與secondaryNameNode通信協(xié)議是NamenodeProtocol。
2. hdfs通訊有自帶的RPC和Socket通訊，其中client和namenode，datanode和namenode是通過rpc通信而client和datanode之間是通過socket通信。
3. hdfs有遠(yuǎn)程scoket讀取和本地讀取兩種方式，如果設(shè)dfs.client.read.shortcircuit = true，如果client和block在一個(gè)節(jié)點(diǎn)上，就會(huì)直接讀取，無需通過TCP遠(yuǎn)程讀取，提高讀取效率。
4. hdfs存儲(chǔ)的單位是block，一個(gè)條大數(shù)據(jù)可以跨多個(gè)block存儲(chǔ)，但是讀取時(shí)候是一packet包讀取的，每個(gè)packet能夠傳輸多個(gè)chunk，一個(gè)block會(huì)被切分多個(gè)chunk。