在學習 paimon sink 的過程中本來只想快速梳理下 paimon 的 sink 時對 DataStream 操作的拓撲, 但是過程中發(fā)現 paimon 會有很多概念，...
IP屬地：廣東
-
paimon sink 源碼 之 paimon table 創(chuàng)建 -
淺談Deletion Vector及其在StarRocks中的應用前言 我們知道，列式存儲的數據組織形式使得它適合海量數據在線查詢、分析的場景，而寫入性能相對于讀取性能似乎并不那么重要（傳統(tǒng)的ORC / Parquet on Hive方案就...
-
LSM Tree-Based存儲引擎的compaction策略（feat. RocksDB）前言 這篇從半個月前就開始寫，斷斷續(xù)續(xù)寫到現在，終于能發(fā)了（被簡書吞了好幾次），不容易。 最近筆者正在補習與RocksDB底層相關的細節(jié)，因為： 次要原因——當前所有Flin...
-
簡析StarRocks JNI Connector及其在數據湖Reader中的應用前言 最近在進行StarRocks與數據湖集成方面的一些工作（重點是SR 3.2與Paimon 0.6的適配），同時閱讀和修改了部分代碼，發(fā)現StarRocks JNI Co...
-
關于使用Flink RocksDB狀態(tài)后端時一定要寫MapState而非ValueState<Map>這檔事（以及解決方法）前言 抱歉起這種爛大街的日本輕小說風格標題來吸引注意力。原本我認為這是常識，不需要專門寫一篇文章來講解如此細碎的點。但是在最近工作巡檢中發(fā)現了越來越多如同ValueState...
-
Hudi Timeline簡析前言 Long time no see（鞠躬 最近終于開始嘗試推廣Hudi在部門內部的應用，作為流批一體計劃的最后一塊拼圖，順便復活許久未更的博客，希望今后至少能保持周更的節(jié)...
-
Flink 使用之 CDC 自定義 DeserializationSchema
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄[http://m.itdecent.cn/p/74f1990d047c] 背景 本篇接Flink 使...
-
淺談Flink對象重用（object reuse）前言 今天是大年初一，祝各位虎年大吉大利~ 近期受工作變動影響，博客又荒廢了許久。今天難得有空，就前段時間內部技術分享里提到的一個小知識點來寫幾筆。 對象重用（object ...
-
kafka 數據可靠性深度解讀1. 概述 Kakfa起初是由LinkedIn公司開發(fā)的一個分布式的消息系統(tǒng)，后成為Apache的一部分，它使用Scala編寫，以可水平擴展和高吞吐率而被廣泛使用。目前越來越...
