hudi 要點(diǎn)備忘錄

1. hudi清理策略

代碼位置

org.apache.hudi.table.action.clean.CleanPlanner getDeletePaths(String partitionPath)

1.1 策略一：KEEP_LATEST_FILE_VERSIONS

相關(guān)參數(shù)：hoodie.cleaner.fileversions.retained=3 默認(rèn)值
每個(gè)file group保留3個(gè)版本。如果不需要多個(gè)版本，保留一個(gè)就行。

1.2.策略二： KEEP_LATEST_COMMITS （默認(rèn)策略）

相關(guān)參數(shù)：hoodie.cleaner.commits.retained=10 默認(rèn)值
每個(gè)file group的文件，除最新的一個(gè)文件外，額外保留最近10次commit命中過(guò)的文件的版本。

1.3.KEEP_LATEST_COMMITS 策略注意事項(xiàng)：

  1. 使用KEEP_LATEST_COMMITS 策略，如果某個(gè)parquet文件每次commit都命中，則會(huì)有11個(gè)文件版本
  2. 不同分區(qū)的文件，共享commit版本數(shù)。所以歷史分區(qū)的文件，如果在最近10次commit都沒(méi)有文件命中，則只會(huì)保留最新的一個(gè)版本
  3. 如果不使用增量查詢，則應(yīng)減少hoodie.cleaner.commits.retained的值，節(jié)省hdfs空間
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容