前言 經(jīng)過前幾篇文章的介紹，大致了解了生產(chǎn)者背后的運(yùn)行原理。消息有生產(chǎn)就得有人去消費(fèi)，今天我們就來介紹下消費(fèi)端消費(fèi)消息背后發(fā)生的那點(diǎn)事兒。 ?文章概覽 1. 消費(fèi)者與消費(fèi)組的...
發(fā)簡信
IP屬地：江蘇
-
kafka系列第5篇：一文讀懂消費(fèi)者背后的那點(diǎn)"貓膩"
-
Kafka系列第4篇：消息發(fā)送背后網(wǎng)絡(luò)操作的那點(diǎn)事兒
?前言 上篇文章講述了消息從生產(chǎn)到寫入到 Broker 的 partition 上背后發(fā)生的故事，并提出了消息發(fā)送的網(wǎng)絡(luò)模型的問題。本篇文章我們來嘗試揭開其背后的神秘面紗，耐...
-
-
是不是可以考慮優(yōu)化shuffle類算子,比如某些中間結(jié)果比較小的緩存下來做廣播處理等等
Spark內(nèi)核分析之BlockManager工作原理介紹
最近一直在忙，沒顧得上寫文章，新年的第一篇文章，希望大家可以喜歡；好了，今天接著之前的內(nèi)容，來聊聊BlockManager的工作原理，上圖來分析； 在DAGShceduler...
-
我沒有遇到過你所說的情況,有沒有可能是你的任務(wù)產(chǎn)生了大量的中間數(shù)據(jù)導(dǎo)致tmp目錄變得非常大
Spark內(nèi)核分析之BlockManager工作原理介紹
最近一直在忙，沒顧得上寫文章，新年的第一篇文章，希望大家可以喜歡；好了，今天接著之前的內(nèi)容，來聊聊BlockManager的工作原理，上圖來分析； 在DAGShceduler...
-
我是一名java開發(fā)工程師。經(jīng)常在自己業(yè)余時間學(xué)習(xí)之時，喜歡寫一些筆記文檔來對相應(yīng)的知識點(diǎn)進(jìn)行一個總結(jié)。未來我會把更多自己寫的筆記文檔寫成簡書，希望大家能夠喜歡。謝謝大家?。。?/div>
