分為兩種1.靜態(tài)內(nèi)存管理2.統(tǒng)一內(nèi)存管理一.靜態(tài)內(nèi)存管理 首先定義內(nèi)存的大小為3G（--executor-memory 3G）定義完成后，靜態(tài)的內(nèi)存管理，管理的內(nèi)存分為三大部...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark中Executor內(nèi)存中管理機(jī)制 -
Spark shuffle中 reduce task是怎么拉取數(shù)據(jù)的？1.map task 執(zhí)行完畢后會(huì)將計(jì)算狀態(tài)以及磁盤(pán)小文件位置等信息分裝到mapStatue對(duì)象中，然后由本進(jìn)程中的MapOutPutTrackerWorker對(duì)象將mapS...
-
Spark shuffle一.reduceByKey的含義reduceByKey會(huì)將上一個(gè)RDD中的每一個(gè)key對(duì)應(yīng)的所有value聚合成一個(gè)value，然后生成一個(gè)新的RDD，元素類(lèi)型是<key,v...
-
Spark中sortByKey是如何進(jìn)行全局排序的首先有一個(gè)問(wèn)題有一臺(tái)服務(wù)器:24core 128G內(nèi)存，要處理一個(gè)1T的數(shù)據(jù)怎么辦？ 要采用拆分策略，將1T的數(shù)據(jù)拆分成128G大小的塊進(jìn)入服務(wù)器計(jì)算。1T數(shù)據(jù)拆分成了8個(gè)塊...
-
統(tǒng)計(jì)一下每一個(gè)月份中，溫度最高top2
思路首先按照月份來(lái)分組，對(duì)組內(nèi)的數(shù)據(jù)按照溫度來(lái)排序取溫度最高的前兩名，然后分組取RDD代碼 關(guān)于serialVersionUIDserialVersionUID適用于Java...
-
根據(jù)溫度排序，溫度相同按照濕度排序
原始數(shù)據(jù) 思路：1.將數(shù)據(jù)讀取到RDD1中2.將RDD1中的數(shù)據(jù)轉(zhuǎn)換成K-V格式的RDD23.對(duì)RDD2使用sortByKey排序代碼 其中SortObj用來(lái)尋找溫度相同的元...
-
map 和 mapPartitions
map:遍歷算子，可以遍歷RDD中每一個(gè)元素，遍歷的單位是每條記錄 mapPartitions遍歷算子，可以改變RDD格式，會(huì)提高RDD并行度，遍歷單位是partition，...
-
reduceByKey和countByKey區(qū)別
相同點(diǎn)： 兩者都會(huì)根據(jù)key來(lái)分組 不同點(diǎn)：reduceByKey會(huì)根據(jù)用戶(hù)傳入的聚合邏輯對(duì)數(shù)組內(nèi)的數(shù)據(jù)進(jìn)行聚合，countByKey不需要用戶(hù)傳入聚合邏輯，他是直接對(duì)數(shù)組內(nèi)...
-
repartition 和 coalesce算子coalesce（number，bool）第一個(gè)參數(shù)是將RDD劃分成幾個(gè)partition 第二個(gè)算子是確定是否發(fā)生shuffle，true指的是發(fā)生shuffle，fals...
-
粗粒度資源調(diào)度和細(xì)粒度資源調(diào)度
一.粗粒度資源調(diào)度：典型：Spark 在Application執(zhí)行之前，會(huì)將所有的資源(Executor)申請(qǐng)完畢，直接資源申請(qǐng)完畢后，才會(huì)進(jìn)行任務(wù)調(diào)度，直到最后一個(gè)task...
-
提交Application的兩種方式
一.提交Application的兩種方式分別是client方式和cluster方式1.client方式這種方式，Driver進(jìn)程是在client端啟動(dòng)啟動(dòng)代碼樣例 2.clu...
-
Spark中的共享變量---廣播變量和累加器
一.廣播變量和累加器的作用累加器（集群規(guī)模之間的大變量）：做Spark的全局統(tǒng)計(jì)使用廣播變量（集群規(guī)模間的大常量）：在每一臺(tái)機(jī)器上緩存一個(gè)只讀的變量，而不是每個(gè)任務(wù)一份拷貝。...
-
Spark集群術(shù)語(yǔ)&Pipeline計(jì)算模式1.Master(standalone)：資源管理的主節(jié)點(diǎn)（進(jìn)程）管理Worker2.Cluster Manager：在集群上獲取資源的外部服務(wù)（例如：standalone ...
-
RDD依賴(lài)關(guān)系---寬依賴(lài)窄依賴(lài)依賴(lài)關(guān)系可以方便任務(wù)調(diào)度 窄依賴(lài)：對(duì)RDD執(zhí)行操作后，父RDD和子RDD對(duì)應(yīng)關(guān)系的一對(duì)一或多對(duì)一（多對(duì)一只是一個(gè)邏輯上的說(shuō)法，兩個(gè)合并為一個(gè)既沒(méi)有數(shù)據(jù)的傳輸也沒(méi)有發(fā)生shuf...
-
控制類(lèi)算子
一.cache將數(shù)據(jù)持久化到內(nèi)存中去注意：1.cache是一個(gè)懶執(zhí)行算子，必須有一個(gè)action類(lèi)算子觸發(fā)執(zhí)行。2.cache類(lèi)算子的返回值必須復(fù)制給一個(gè)變量，在接下來(lái)的jo...
-
Spark執(zhí)行流程1.當(dāng)執(zhí)行“spark -submit --master spark......”這個(gè)命令之后，在客戶(hù)端中啟動(dòng)一個(gè)Driver進(jìn)程。2.在FTP服務(wù)器上就會(huì)產(chǎn)生這個(gè)進(jìn)程的ja...
-
Spark集群不使用客戶(hù)端會(huì)出現(xiàn)的問(wèn)題，以及配置客戶(hù)端要注意的問(wèn)題通過(guò)Master節(jié)點(diǎn)提交的Application到Spark集群中運(yùn)行。如果以后頻繁地使用Master節(jié)點(diǎn)來(lái)提交Application，那么會(huì)導(dǎo)致Master節(jié)點(diǎn)的性能與其它...