Scheduler模塊主要負(fù)責(zé)stage的劃分,以及job的調(diào)度及submit。是整個(gè)spark計(jì)算流程中比較重要的部分。 ?1.從saveAsTextFile開(kāi)始 ??閱讀...
@瘋狂的輕騎兵 嗯嗯,我現(xiàn)在也在整理spark這塊
Spark2.0 scheduler模塊源碼學(xué)習(xí)Scheduler模塊主要負(fù)責(zé)stage的劃分,以及job的調(diào)度及submit。是整個(gè)spark計(jì)算流程中比較重要的部分。 ?1.從saveAsTextFile開(kāi)始 ??閱讀...
現(xiàn)在才看到,分析不錯(cuò)
Spark2.0 scheduler模塊源碼學(xué)習(xí)Scheduler模塊主要負(fù)責(zé)stage的劃分,以及job的調(diào)度及submit。是整個(gè)spark計(jì)算流程中比較重要的部分。 ?1.從saveAsTextFile開(kāi)始 ??閱讀...
這段時(shí)間處理了兩個(gè)比較有意思的MySQL問(wèn)題,一個(gè)死鎖的,一個(gè)優(yōu)化的,陡然發(fā)現(xiàn)其實(shí)自己對(duì)MySQL的理解還不深入,很多運(yùn)行機(jī)制也是知其然但不知其所以然,后續(xù)還需要好好惡補(bǔ)一下...
mybatic與spring結(jié)合的事務(wù)管理 原文地址:http://czj4451.iteye.com/blog/2037759 mybatis與spring結(jié)合后,事務(wù)管理...
1. createStream會(huì)使用 Receiver;而createDirectStream不會(huì),數(shù)據(jù)會(huì)通過(guò)driver接收。 2.createStream使用 Recei...