數(shù)據(jù)結(jié)構(gòu) RDD 彈性分布式數(shù)據(jù)集。 Resilient Distributed Datasets，意為容錯(cuò)的、并行的數(shù)據(jù)結(jié)構(gòu)，可以讓用戶顯式地將數(shù)據(jù)存儲(chǔ)到磁盤和內(nèi)存中，并能...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark基本組件與概念
-
高敏感，其實(shí)是一種天賦
01 我不僅是一個(gè)內(nèi)向的人，還是一個(gè)敏感的人。以前，我從來不知道這兩者之間有什么聯(lián)系，以為敏感的人多半都是內(nèi)向的。 最近，看了一本書《高敏感是種天賦》后，才知道30%的高敏感...
-
maven-shade-plugin 使用方法
本文翻譯源于Apache Maven Project 官網(wǎng) 控制哪些jar包應(yīng)該包含在項(xiàng)目jar中，哪些不包含 [原文] The POM snippet below show...
-
Spark 性能調(diào)優(yōu)--Shuffle調(diào)優(yōu) 參數(shù)調(diào)優(yōu)
Shuffle參數(shù) spark.shuffle.file.buffer 默認(rèn)值：32k該參數(shù)用于設(shè)置shuffle write task的BufferedOutputStre...
-
Java字節(jié)碼處理框架ASM設(shè)計(jì)思想解析
最近進(jìn)行組內(nèi)分享時(shí)選擇了這個(gè)Java字節(jié)碼處理這個(gè)主題，特此記錄下來。眾所周知，Java是一門運(yùn)行在虛擬機(jī)上的語言，在創(chuàng)建之初就是為了"write once ，run any...
-
婚姻長(zhǎng)久保鮮的秘籍，99%的人都不知道文/麥大人 壹 幸福的家庭都是相似的，不幸的家庭各有各的不幸。 毀掉婚姻的，不是金錢，也不是小三，而是說出來矯情，不說出來委屈的芝麻綠豆小事。 結(jié)婚后，從前的琴棋書畫詩(shī)酒花的...
