發(fā)簡信
IP屬地：廣東
-
kafka系列第5篇：一文讀懂消費者背后的那點"貓膩"
前言 經(jīng)過前幾篇文章的介紹，大致了解了生產(chǎn)者背后的運行原理。消息有生產(chǎn)就得有人去消費，今天我們就來介紹下消費端消費消息背后發(fā)生的那點事兒。 ?文...
-
Kafka系列第4篇：消息發(fā)送背后網(wǎng)絡(luò)操作的那點事兒
?前言 上篇文章講述了消息從生產(chǎn)到寫入到 Broker 的 partition 上背后發(fā)生的故事，并提出了消息發(fā)送的網(wǎng)絡(luò)模型的問題。本篇文章我們...
-
Spark內(nèi)核分析之BlockManager工作原理介紹最近一直在忙，沒顧得上寫文章，新年的第一篇文章，希望大家可以喜歡；好了，今天接著之前的內(nèi)容，來聊聊BlockManager的工作原理，上圖來分析...
-
Spark內(nèi)核分析之Shuffle操作流程（非常重要）如題，我們來分析一下spark的shuffle操作原理；為什么說其非常重要，是因為shuffle操作是我們在Spark調(diào)優(yōu)中非常重要的一環(huán)，對s...
-
Spark內(nèi)核分析之DAGScheduler劃分算法實現(xiàn)原理講解（重要）接著上一篇，我們接著來分析下一個非常重要的組建DAGScheduler的運行原理是怎么實現(xiàn)的；通過之前對Spark的分析講解，我們的Spark作...
-
Spark內(nèi)核分析之Worker原理分析接著上篇的Schedule調(diào)度內(nèi)容，本篇我們來看看Driver，Application向Worker發(fā)送launch以后到底發(fā)生了什么。先來看看...
-
Spark內(nèi)核分析之Scheduler資源調(diào)度機制上一篇我們闡述了Driver，Application，Worker的注冊實現(xiàn)原理，本篇我們來接著聊聊Driver，Application在注冊之...
-
Spark內(nèi)核分析之Master的注冊機制實現(xiàn)原理這篇文章我們來討論一下Master的注冊機制；那么有哪些信息需要注冊到Master上面去呢？很簡單，分別有Worker的注冊，Driver的注冊...
-
Spark內(nèi)核分析之Spark的HA源碼分析Spark作業(yè)運行的集群環(huán)境有兩種，分別基于standalone模式和Yarn集群模式。我們知道Yarn集群提供了HA來保證了集群的高可用，而s...