Spark架構(gòu)

目錄

模塊架構(gòu)

spark-arch-01.png

集群架構(gòu)

spark-arch-02.png

  • Master/Slave

  • Driver/Cluster Manager/Work

Driver控制節(jié)點

Cluster Manager集群資源管理器

Work工作節(jié)點

運行流程

  1. 構(gòu)建Spark Application運行環(huán)境 即由任務(wù)Driver控制節(jié)點創(chuàng)建SparkContext

  2. SparkContext根據(jù)RDD的依賴關(guān)系構(gòu)建DAG(Directed Acyclic Graph)

  3. DAG調(diào)度器(DAGScheduler)將DAG分解成多個階段(Stage) 每個階段都是一個任務(wù)集(TaskSets)

  4. DAG調(diào)度器(DAGScheduler)通過Cluster Manger將任務(wù)(Task)調(diào)度到Executor上執(zhí)行

  5. 任務(wù)(Task)在Executor上執(zhí)行 運行完畢后釋放所有資源

參考

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 夜鶯2517閱讀 128,214評論 1贊 9
  • 我是黑夜里大雨紛飛的人啊 1 “又到一年六月，有人笑有人哭，有人歡樂有人憂愁，有人驚喜有人失落，有的覺得收獲滿滿有...
    陌忘宇閱讀 8,896評論 28贊 54
  • 兔子雖然是枚小碩 但學(xué)校的碩士四人寢不夠 就被分到了博士樓里 兩人一間 在學(xué)校的最西邊 靠山 兔子的室友身體不好 ...
    待業(yè)的兔子閱讀 2,787評論 2贊 9
  • 信任包括信任自己和信任他人 很多時候，很多事情，失敗、遺憾、錯過，源于不自信，不信任他人 覺得自己做不成，別人做不...
    吳氵晃閱讀 6,391評論 4贊 8

友情鏈接更多精彩內(nèi)容