一.Spark UI 選項卡的組成 1.Jobs 1.1 首頁 補充： Scheduling Mode：application 中 task 任務(wù)的調(diào)度策略，由參數(shù) spar...
發(fā)簡信
IP屬地：四川
-
-
Kafka Consumer Group和Consumer Rebalance機制
在新建一個Consumer時，我們可以通過指定groupId來將其添加進(jìn)一個Consumer Group中。Consumer Group是為了實現(xiàn)多個Consumer能夠并行...
-
Zookeeper——一致性協(xié)議:Zab協(xié)議聲明：本文寫的時候，當(dāng)時就是完全不懂zk，邊看網(wǎng)上的文章邊學(xué)習(xí)歸納和整理，這不是我的產(chǎn)出，不用點贊打賞。大家理智友善的討論，有錯誤歡迎指出。不過我最近不怎么上簡書了。可能沒來...
-
Flink Hudi 源碼之HoodieTableSink
Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄[http://m.itdecent.cn/p/d4a372809e3d] 源代碼分支 rele...
-
集群規(guī)模估算
背景：QPS = 200萬/s 全天不間斷 讓高峰期QPS控制在集群能承載的總QPS的30%左右是比較安全的策略 即應(yīng)設(shè)計集群承載QPS上限為600萬~700萬/s 才是安...
-
sklearn 翻譯筆記：KNeighborsClassifier
翻譯原文地址：http://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsCla...
-
數(shù)倉--DW--Hadoop數(shù)倉實踐Case-13-周期快照事實表周期快照概述 周期快照事實表中的每行匯總了發(fā)生在某一標(biāo)準(zhǔn)周期， 如一天、 一周或一月的多個度量。 其粒度是周期性的時間段， 而不是單個事務(wù)。周期快照事實表通常包含許多數(shù)據(jù)的總...
-
-
數(shù)倉--Theory--對數(shù)倉面向主題的理解面向主題 面向主題是數(shù)倉的四大特點之一，聽起來很高大上，但是細(xì)細(xì)理解起來卻有些費勁，本文主要是記錄一下個人的理解，參考互聯(lián)網(wǎng)上各種博客進(jìn)行理解。 概念解析 抽象概念主題(Su...
