發(fā)簡信
IP屬地：上海
-
kafka生產(chǎn)消費produce客戶端 produce服務端 consumer客戶端 consumer服務端
-
hdfs寫之namenode端addBlock實現(xiàn)<五>
一、流程圖 二、NameNodeRpcServer的addBlock實現(xiàn) 1、客戶端會通過addBlock方法通過rpc調(diào)用namenode方法...
-
hdfs寫之DataXceiver線程<四>
一、流程圖 二、DataXceiver接收請求處理數(shù)據(jù) 1、DataXceiver線程的run方法 DataXceiver繼承了Receiver...
-
hdfs寫之DataStreamer守護線程<三>一、流程圖 client和namenode之前的rpc協(xié)議都是ClientProtocol。 locateFollowingBlock主要是通過...
-
hdfs寫之寫數(shù)據(jù)<二>一、寫數(shù)據(jù)流程圖 該流程主要是客戶端開始寫數(shù)據(jù)，然后把數(shù)據(jù)切分多個chunk，多個chunk組成一個packet，發(fā)送到queue中，等待dat...
-
hdfs寫之打開文件流<一>一、客戶端創(chuàng)建寫文件的流程圖 namenode主要創(chuàng)建客戶端RPC請求的準寫的文件，namenode會把文件名保存到namespace中，然后返...
-
hdfs讀之總結<四>一、hdfs讀取流程圖 假設block副本個數(shù)3個 客戶端發(fā)起請求到namenode節(jié)點，要求namenode告訴客戶端讀取的block位置在哪...
-
hdfs讀之socket通訊解析<三>
一、通訊流程圖 二、Sender客戶端解析 1、RemoteBlockReader2.newBlockReader()解析 根據(jù)block信息向...
-
hdfs讀之read讀取解析<二>一、讀取block數(shù)據(jù)方法流轉(zhuǎn) 傳輸數(shù)據(jù)是通過scoket建立的，Sender和Receiver，這兩個方法都繼承了父類DataTransfer...