發(fā)簡(jiǎn)信
IP屬地：浙江
-
一文讀懂HashMap本文準(zhǔn)備從以下幾個(gè)方面去講解HashMap：1）HashMap源碼詳細(xì)分析2）HashMap為什么是線(xiàn)程不安全的？3）HashMap和HashT...
-
MPP架構(gòu)相關(guān)知識(shí)學(xué)習(xí)
學(xué)習(xí)一下MPP架構(gòu)的特點(diǎn)，優(yōu)勢(shì)，常見(jiàn)的一些MPP架構(gòu)的系統(tǒng)（CK、Doris、SR、Trino等）各方面對(duì)比。 一、MPP架構(gòu)概述 1.1 什么...
-
【HDFS】EC重構(gòu)過(guò)程中的校驗(yàn)功能：DecodingValidator
一、動(dòng)機(jī) DecodingValidator是在HDFS-15759中引入的一個(gè)用于校驗(yàn)EC數(shù)據(jù)重構(gòu)正確性的組件。 先說(shuō)下引入DecodingV...
-
【HDFS】EC文件副本缺失后，會(huì)自動(dòng)補(bǔ)充么？
EC存儲(chǔ)能夠有效較低存儲(chǔ)成本，但是我們也需要關(guān)注數(shù)據(jù)可用性相關(guān)的事情，避免發(fā)生數(shù)據(jù)丟失的情況。 本文來(lái)探討一下EC補(bǔ)充低冗余度的塊的相關(guān)知識(shí)。 ...
-
【HDFS】BlockPlacementPolicyRackFaultTolerant#getMaxNode方法的功能及具體實(shí)例
方法參數(shù)說(shuō)明： numOfChosen：已經(jīng)選擇的節(jié)點(diǎn)數(shù) numOfReplicas：還需要選擇的副本數(shù) 方法的返回值是一個(gè)長(zhǎng)度為2的數(shù)組：[調(diào)...
-
【Ratis】關(guān)于對(duì)Raft論文里safety的保證及代碼實(shí)現(xiàn)
Raft論文里算法部分核心內(nèi)容就三個(gè)方面：1、Leader Election 領(lǐng)導(dǎo)者選舉2、Log Replication 日志復(fù)制3、Safe...
-
【HDFS-Client系列】FSOutputSummer#write1方法的細(xì)節(jié)
有些代碼初次閱讀并不能看出其中的處理細(xì)節(jié)，但是當(dāng)過(guò)一段時(shí)間對(duì)這個(gè)部分熟悉了之后再來(lái)閱讀，就能發(fā)現(xiàn)并體會(huì)其中的細(xì)節(jié)。 本文說(shuō)一下FSOutputS...
-
【HDFS】如果文件的lastblock的最后一個(gè)chunk不滿(mǎn)512字節(jié)，會(huì)生成checksum么？
如題，本文試圖弄清楚這樣一個(gè)問(wèn)題：如果文件的最后一個(gè)block的最后一個(gè)chunk里的數(shù)據(jù)不足512字節(jié)，那么還會(huì)為其生成checksum么？ ...
-
【HDFS】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定義adjustCrcChannelPosition方法。應(yīng)用場(chǎng)景在：append，block recovery等...