理解 首先，大家要明白為什么出現(xiàn)了類似Iceberg這樣的數(shù)據(jù)技術。大數(shù)據(jù)領域發(fā)展至今已經經歷了相當長時間的發(fā)展和探索，雖然大數(shù)據(jù)技術的出現(xiàn)和迭代降低了用戶處理海量數(shù)據(jù)的門檻...
發(fā)簡信
IP屬地：河北
-
apache iceberg 數(shù)據(jù)湖 -
redis 分布式事物
實現(xiàn)代碼 問題：1、客戶端分片和中間件（我們目前使用的codis）分片均不支持transaction。因為transaction提供了原子級的執(zhí)行保證，在instance之外...
-
數(shù)據(jù)倉庫模型設計心得
數(shù)據(jù)不丟失數(shù)據(jù)丟失，導致重新跑數(shù)據(jù)，統(tǒng)計不準確，建議要長期保留歷史數(shù)據(jù) 數(shù)據(jù)不重復上游數(shù)據(jù)重復，會導致下游數(shù)據(jù)治理不干凈 數(shù)據(jù)模型可以共享例如明細事實表，維度表，匯總事實表（...
-
Spark 3.0 adaptive-query-execution-speeding-up-spark-sql-at-runtimespark 3.0 亮點 the cost-based optimization framework 基于成本的優(yōu)化框架該框架收集并利用各種數(shù)據(jù)統(tǒng)計信息（如行數(shù)，不同值的數(shù)量...
-
mysql join原理
從左表讀出一條，選出所有與on匹配的右表紀錄(n條)進行連接，形成n條紀錄(包括重復的，如果右邊沒有與on條件匹配的表，那連接的字段都是null.然后繼續(xù)讀下一條。 我們可以...
-
個性化召回算法LFM & spark ALS
在日常生活中，人們實際上經常使用這種方法，如你哪天突然想看個電影，但你不知道具體看哪部，你會怎么做？大部分的人會問問周圍的朋友，最近有什么好看的電影，而我們一般更傾向于從興趣...
-
大數(shù)據(jù)面試題整理 -- 實時計算部分1. zookeeper 在 kafka 中起到什么作用 Controller 選舉Controller 是一個特殊的 Broker, 其負責維護所有 Partition 的...
-
flink spark strom 反壓機制strom 反壓 實現(xiàn)原理 Storm 是通過監(jiān)控 Bolt 中的接收隊列負載情況，如果超過高水位值就會將反壓信息寫到 Zookeeper ，Zookeeper 上的 wat...
-
spark thrift server HA
參考：http://liguo86.com/2017/09/25/spark-thriftserver-ha%E6%94%AF%E6%8C%81/ 實際使用過程中發(fā)現(xiàn)這篇帖子...
