寫在前面 當(dāng)在10億數(shù)據(jù)進(jìn)行不到30次比較就能查找到目標(biāo)時，不禁感嘆編程之魅力！人類之偉大呀！ —— 學(xué)紅黑樹有感。 終于，在學(xué)習(xí)了幾天的紅黑樹相關(guān)的知識后，我想把我所學(xué)所想...
IP屬地：湖北
-
30張圖帶你徹底理解紅黑樹 -
-
理解Spark中Job-Stage-Task之間的關(guān)系Spark-Job-Stage-Task之間的關(guān)系 基本概念 在開始之前需要先了解Spark中Application，Job，Stage等基本概念，官方給出的解釋如下表： J...
-
Spark--Spark Shuffle細(xì)節(jié)掌握(面試類)問題
Spark Shuffle Read階段是如何讀取數(shù)據(jù)的 Reduce去拉取Map的輸出數(shù)據(jù)，Spark提供了兩套不同的拉取數(shù)據(jù)框架：通過socket連接去取數(shù)據(jù)；使用net...
-
Kafka+Spark Streaming如何保證exactly once語義在Kafka、Storm、Flink、Spark Streaming等分布式流處理系統(tǒng)中（沒錯，Kafka本質(zhì)上是流處理系統(tǒng)，不是單純的“消息隊列”），存在三種消息傳遞語義（...
