2021-05-02

bin/spark-submit
--classcom.huawei.cluster\
--masteryarn-cluster\
--driver-cores2\
--driver-memory30G\
--confspark.shuffle.service.ennabled=true

--confspark.memory.storageFraction=0.30 \
--confspark.memory.fraction=0.7 \
--confspark.default.parallelism=2800\
--confspark.sql.shuffle.partitions1=1400\
--confspark.yarn.executor.memeoryOverhead=4096\
--executor-memory30g \
--executor-cores8 \
--num-executors20\

  • 默認 : 55開,預留300M
    JVM-Memory =
    Spark Memory( Storage Memory(用于緩存廣播變量等) 50% + Execution Memory(用戶緩存Shuffle的中間數(shù)據(jù))50%) 60% + User Memory( 用戶自己維護數(shù)據(jù)結構 ) 40% + (預留300M)

  • Storage Memory : 用于緩存 廣播變量, 內存. persist 側重存

  • Execution Memory : 用于shuffle的中間數(shù)據(jù)側重網絡分發(fā)和計算

參數(shù)設置
-- confspark.memory.fraction=0.7
設置Spark Memory內存

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容