Spark 作為一個以擅長內(nèi)存計算為優(yōu)勢的計算引擎，內(nèi)存管理方案是其非常重要的模塊。作為使用者的我們，搞清楚 Spark 是如何管理內(nèi)存的，對我們編碼、調(diào)試及優(yōu)化過程會有很大...
發(fā)簡信
IP屬地：北京
-
【源碼剖析】- Spark 新舊內(nèi)存管理方案（上） -
GitHub入門（一）本文作者： 楊曉輝 本文鏈接： http://youngxhui.github.io/2017/09/01/協(xié)同過濾算法/ 版權(quán)聲明： 本博客所有文章除特別聲明外，均采用 C...
-
Spark Streaming的Exactly-One的事務(wù)處理和不重復(fù)輸出徹底掌握1.什么是事務(wù)？ 例如像銀行轉(zhuǎn)賬，A對B轉(zhuǎn)賬，B是否能收到多次轉(zhuǎn)賬，可能性不大；或者A轉(zhuǎn)給B的時候，A同樣費用被扣了多次，B只收到一次，這樣也不可能。也就是說我們要做的...
-
關(guān)系數(shù)據(jù)庫SQL之高級數(shù)據(jù)查詢:去重復(fù)、組合查詢、連接查詢、虛擬表前言 接上一篇關(guān)系數(shù)據(jù)庫SQL之基本數(shù)據(jù)查詢:子查詢、分組查詢、模糊查詢，主要是關(guān)系型數(shù)據(jù)庫基本數(shù)據(jù)查詢。包括子查詢、分組查詢、聚合函數(shù)查詢、模糊查詢，本文是介紹一下關(guān)系型數(shù)...
-
為什么 Spark Streaming + Kafka 無法保證 exactly once？Streaming job 的調(diào)度與執(zhí)行 結(jié)合文章 揭開Spark Streaming神秘面紗④ - job 的提交與執(zhí)行[http://m.itdecent.cn/p...
-
Shell學(xué)習(xí)筆記
1.Shell腳本 1.1 格式 首行 #!/bin/bash 指定解釋器 1.2 注釋 '#'開頭的行，'#!'是例外此外，# 是特殊字符，可以出現(xiàn)在一些參數(shù)代換結(jié)構(gòu)...
-
女孩到底應(yīng)該找什么樣的男票去年帶我家白先生一起去參加我的高中同學(xué)聚會，推杯換盞之間、鶯歌燕舞之后，大家仍意猶未盡。于是我們?nèi)齼蓛蓢鸂t而坐，暢談畢業(yè)之后的種種。 一個當(dāng)年相處不錯的男同學(xué)跟我聊了會兒，...
-
Spark 動態(tài)資源分配(Dynamic Resource Allocation) 解析
Spark 默認(rèn)采用的是資源預(yù)分配的方式。這其實也和按需做資源分配的理念是有沖突的。這篇文章會詳細(xì)介紹Spark 動態(tài)資源分配原理。 前言 最近在使用Spark Stream...
-
Spark Streaming 的玫瑰與刺
前言 說人話：其實就是講Spark Streaming 的好處與坑。好處主要從一些大的方面講，坑則是從實際場景中遇到的一些小細(xì)節(jié)描述。 玫瑰篇 玫瑰篇主要是說Spark St...
