發(fā)簡信
IP屬地：重慶
-
和時(shí)間賽跑——小學(xué)語文三年級(jí)
讀小學(xué)的時(shí)候，我的外祖母去世了。外祖母生前最疼愛我。我無法排除自己的憂傷，每天在學(xué)校的操場上一圈一圈地跑著，跑得累倒在地上，撲在草坪上痛哭。 那...
-
為什么你越工作越窮窮人為錢工作，富人不為錢工作 這個(gè)世界大多數(shù)的人都在為錢而工作，這個(gè)世界百分之八十人為百分之二十的人打工。所以，如果身為一名上班族，大部分人是為...
-
spark源碼分析之Checkpoint的過程概述 checkpoint 的機(jī)制保證了需要訪問重復(fù)數(shù)據(jù)的應(yīng)用 Spark 的DAG執(zhí)行行圖可能很龐大，task 中計(jì)算鏈可能會(huì)很長，這時(shí)如果 ...
-
利用web管理spark任務(wù)由于最近學(xué)習(xí)了Play Framework這個(gè)web開發(fā)框架，接口的設(shè)計(jì)和api非常炫酷。由于是scala寫的，所以這個(gè)框架對(duì)于和大數(shù)據(jù)框架結(jié)合...
-
大數(shù)據(jù)工程師知識(shí)技能樹技能樹大數(shù)據(jù).png
-
spark源碼分析之任務(wù)調(diào)度篇
DAG的生成 概述 spark作為一套高效的分布式運(yùn)算框架，但是想要更深入的學(xué)習(xí)它，就要通過分析spark的源碼，不但可以更好的幫助理解spar...
-
spark源碼分析之Executor啟動(dòng)與任務(wù)提交篇任務(wù)提交流程 概述 在闡明了Spark的Master的啟動(dòng)流程與Worker啟動(dòng)流程。接下繼續(xù)執(zhí)行的就是Worker上的Executor進(jìn)程了，...
-
MAPREDUCE原理篇(1)MAPREDUCE概念 Mapreduce是一個(gè)分布式運(yùn)算程序的編程框架，是用戶開發(fā)“基于hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架；Mapredu...
-
spark源碼分析Master與Worker啟動(dòng)流程篇spark通信流程 概述spark作為一套高效的分布式運(yùn)算框架，但是想要更深入的學(xué)習(xí)它，就要通過分析spark的源碼，不但可以更好的幫助理解sp...