容量與分級設計 YARN為它正在調(diào)度的資源定義了最小分配和最大分配:每個為YARN運行worker的服務器都有一個NodeManager，它提供資源分配，可以是內(nèi)存和/或cp...
發(fā)簡信
IP屬地：北京
-
Capacity Scheduler -
資源分配和搶占涉及到的配置參數(shù)資源分配 FSParentQueue.assignContainer滿足不存在ReservedContainer && 隊列ResourceUsage < maxResour...
-
Fair Share計算實現(xiàn)原理
Steady Fair Share 我們計算steady fair share的時候，計算的都是加權(quán)值，即權(quán)重不同的隊列，將獲得不同的steady fair share，權(quán)重...
-
使用 FairScheduler 隊列屬性
在之前的第 4 部分中[https://clouderatemp.wpengine.com/blog/2016/06/untangling-apache-hadoop-yar...
-
Fair Scheduler Queue Basics
示例：具有正在Running的應用程序的集群 假設我們有一個yarn集群，其總資源<內(nèi)存：800GB，vcores 200>，有兩個隊列：root.busy（權(quán)重=1.0）和...
-
-
-
BrokerLoadJob的JobState流轉(zhuǎn)過程
There are 3 steps in BrokerLoadJob: BrokerPendingTask, LoadLoadingTask, CommitAndPublis...
-
Thrift JDBC/ODBC Server安裝
添加Cloudera maven鏡像 在spark的pom文件中添加 CDH的maven鏡像[1]，并添加 Hadoop cdh5.6.1 的profile 具體添加配置的位...
-
Shuffle流程-源碼分析shuffle寫階段 DAGScheduler.submitMissingTasks ShuffleMapTask ShuffleMapTask.runTask shuffl...
-
任務調(diào)度-源碼分析
TaskSchedulerImpl.submitTasks 調(diào)度器初始化 FIFOSchedulableBuilder.addTaskSetManager backend.r...
-
任務執(zhí)行-源碼分析
CoarseGrainedExecutorBackend.receive收到LaunchTask消息 使用executor的線程池threadPool執(zhí)行task TaskR...
-
stage劃分-源碼分析
eventProcessLoop POST JobSubmitted 事件 eventThread 消費事件進行處理 doOnReceive DAGScheduler.han...
-
rdd依賴-源碼分析
NarrowDependency MapPartitionsRDD var prev: RDD[T] OneToOneDependency ShuffleDependency...
-
spark通信-源碼分析
driver的網(wǎng)絡通信 -SparkContext.SparkEnvprivate[spark] def env: SparkEnv = _env_env = createS...
-
spark提交流程-源碼分析
org.apache.spark.deploy.SparkSubmit-main -YarnClusterApplication.start//ClientArguments...
-
Append 流、 Retract 流、 Upsert 流、動態(tài)表Append-only 流： 僅通過 INSERT 操作修改的動態(tài)表可以通過輸出插入的行轉(zhuǎn)換為流。 Retract 流： retract 流包含兩種類型的 message： ...
