一個(gè)永遠(yuǎn)在路上的架構(gòu)師，具備前沿架構(gòu)視野，了解大數(shù)據(jù)起步手法，擅長(zhǎng)后端路段的平穩(wěn)駕駛，熟悉代碼的保養(yǎng)和維修
發(fā)簡(jiǎn)信
IP屬地：上海
-
-
Spark Core 概念學(xué)習(xí)
通過對(duì)spark core的核心概念學(xué)習(xí)，可以更好的了解spark的運(yùn)行機(jī)制和生命周期 基本概念： Application: spark應(yīng)用程序，一個(gè)應(yīng)用程序由一個(gè)driv...
-
Spark CBO調(diào)優(yōu)
操作場(chǎng)景 SQL語句轉(zhuǎn)化為具體執(zhí)行計(jì)劃是由SQL查詢編譯器決定的，同一個(gè)SQL語句可以轉(zhuǎn)化成多種物理執(zhí)行計(jì)劃，如何指導(dǎo)編譯器選擇效率最高的執(zhí)行計(jì)劃，這就是優(yōu)化器的主要作用。傳...
-
Spark Core 性能調(diào)優(yōu)總結(jié)
使用 mapPartitions,按每個(gè)分區(qū)計(jì)算結(jié)果 如果每條記錄的開銷太大，例： rdd.map{x=>conn=getDBConn;conn.write(x.toStri...
-
Spark Core 性能調(diào)優(yōu)之配置進(jìn)程參數(shù)
操作場(chǎng)景 Spark onYARN模式下，有Driver、ApplicationMaster、Executor三種進(jìn)程。在任務(wù)調(diào)度和運(yùn)行的過程中，Driver和Exe...
-
Spark Core 性能調(diào)優(yōu)之資源動(dòng)態(tài)調(diào)度（Yarn模式下）
操作場(chǎng)景 對(duì)于Spark應(yīng)用來說，資源是影響Spark應(yīng)用執(zhí)行效率的一個(gè)重要因素。當(dāng)一個(gè)長(zhǎng)期運(yùn)行的服務(wù)（比如JDBCServer），若分配給它多個(gè)Executor，可...
-
Spark Core 性能調(diào)優(yōu)之使用External Shuffle Service提升性能
操作場(chǎng)景 Spark系統(tǒng)在運(yùn)行含shuffle過程的應(yīng)用時(shí)，Executor進(jìn)程除了運(yùn)行task，還要負(fù)責(zé)寫shuffle數(shù)據(jù)，給其他Executor提供shuffl...
-
Spark Core 性能調(diào)優(yōu)之使用廣播變量
操作場(chǎng)景 Broadcast（廣播）可以把數(shù)據(jù)集合分發(fā)到每一個(gè)節(jié)點(diǎn)上，Spark任務(wù)在執(zhí)行過程中要使用這個(gè)數(shù)據(jù)集合時(shí)，就會(huì)在本地查找Broadcast過來的數(shù)據(jù)集合。如果不使...
-
Spark Core 性能調(diào)優(yōu)之設(shè)置并行度
操作場(chǎng)景 并行度控制任務(wù)的數(shù)量，影響shuffle操作后數(shù)據(jù)被切分成的塊數(shù)。調(diào)整并行度讓任務(wù)的數(shù)量和每個(gè)任務(wù)處理的數(shù)據(jù)與機(jī)器的處理能力達(dá)到最優(yōu)。 查看CPU使...
-
Spark Core 性能調(diào)優(yōu)之配置內(nèi)存
操作場(chǎng)景 Spark是內(nèi)存計(jì)算框架，計(jì)算過程中內(nèi)存不夠?qū)park的執(zhí)行效率影響很大?？梢酝ㄟ^監(jiān)控GC（Garbage Collection），評(píng)估內(nèi)存中RDD的大小...
-
Spark Core 性能調(diào)優(yōu)之?dāng)?shù)據(jù)序列化
操作場(chǎng)景 spark支持兩種方式的序列化： ● Java 原生序列化 JavaSerializer ● Kryo 序列化 KryoSerializer 序列化對(duì)于 Spa...
-
-
如果你是程序員，或者有一顆喜歡寫程序的心，喜歡分享技術(shù)干貨、項(xiàng)目經(jīng)驗(yàn)、程序員日常囧事等等，歡迎投稿《程序員》專題。 專題主編：小彤花園 http://m.itdecent.cn/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://m.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章，但不限于技術(shù)，也可以是項(xiàng)目經(jīng)驗(yàn)類的文章和程序員日常。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號(hào)、微博、微信，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個(gè)人信息放在個(gè)人主頁(yè)介紹里。 3.字?jǐn)?shù)極少，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄，請(qǐng)確認(rèn)文章內(nèi)容和本專題相關(guān) 目前針對(duì)優(yōu)質(zhì)作者及愛好者，開設(shè)了官方程序員微信群，希望加入請(qǐng)發(fā)簡(jiǎn)信給主編小彤花園索取個(gè)人微信，主編會(huì)將你加入到【程序員】微信群，分享內(nèi)容，收獲知識(shí)。添加微信時(shí)備注昵稱。
-
-
Hi，很高興在@IT·互聯(lián)網(wǎng)專題遇見你。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考，數(shù)碼產(chǎn)品極客體驗(yàn)分析等類型文章 投稿須知：http://m.itdecent.cn/p/4edc76104c27 專題主編：@若錦 http://m.itdecent.cn/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專題官方社群交流、學(xué)習(xí)，添加時(shí)備注簡(jiǎn)書ID。
-
歡迎java愛好者一起交流探討
-
Look, see, and observe<br><br>版權(quán)合作事宜請(qǐng)聯(lián)系行距文化：pub@hangju-pub.com
-
-
-
舊詩(shī)行
