發(fā)簡信
IP屬地：北京
-
How does Index Source work in Presto
Overview Presto Index Source is an optimizing strategy based on the inde...
-
Presto連接器-grouped_execution功能要實現(xiàn)的接口
presto連接器-grouped_execution功能要實現(xiàn)的接口 原理 分組執(zhí)行是presto在2017年就支持的功能，它的原理是： 根據(jù)...
-
Presto調(diào)度模塊源碼閱讀（2）-服務(wù)端響應(yīng)-資源組選擇
當(dāng)用戶提交一個SQL作業(yè)時，Presto客戶端會封裝一個Request通過Restful接口將請求發(fā)送到服務(wù)端，下面就詳細(xì)講解一下服務(wù)端的處理過...
-
Presto調(diào)度模塊源碼閱讀（1）-Client提交請求當(dāng)客戶端以控制臺Console、腳本--execute等方式提交SQL作業(yè)時，Presto的Client會將作業(yè)相關(guān)的參數(shù)和腳本封裝成一個...
-
Spark-streaming-2.0-Kafka數(shù)據(jù)接收并行度源碼學(xué)習(xí)前段時間學(xué)習(xí)了spark streaming采用kafka作為數(shù)據(jù)源時，數(shù)據(jù)接收并行度這一部分的源代碼。本文主要將學(xué)習(xí)的體會記錄一下，有理解不對...
-
spark2.0-executor分配機制源碼學(xué)習(xí)本文主要講解一下spark2.0版本Spark-StandAlone模式下executor的分配過程和分配機制。 跟蹤這一塊的源代碼應(yīng)該從Spa...
-
Spark2.0 scheduler模塊源碼學(xué)習(xí)Scheduler模塊主要負(fù)責(zé)stage的劃分，以及job的調(diào)度及submit。是整個spark計算流程中比較重要的部分。 ?1.從saveAs...