關于yarn的參數(shù)調整(yarn.nodemanager.vmem-pmem-ratio)

背景:

? ? ? ? 1、flink on yarn

? ? ? ? 2、某一天本人提交flink任務,.原命令/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024,正常啟動,我調大了-ytm為2048.程序一直報Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster,但實際上,整個集群內存很充足,我就懵逼了。

? ? ? ? 3、開啟解惑之旅。

解惑記錄如下,希望同樣問題的小伙伴可以借鑒一下。

? ? ? ? 出現(xiàn)這個問題,我首先想到了我前幾天調的yarn參數(shù),yarn.nodemanager.vmem-pmem-ratio調了值為5,這個是虛擬內存和真實物理內存的比率,這參數(shù)默認值為2.1,我把yarn.nodemanager.vmem-pmem-ratio 調小為3.然后運行

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 2048 -ynm? xxxx? ? -d? -c? ? ? ? ? ? ?com.xxx.flink.app.xxxx? ? /var/apps/xxx-xxx.jar? ? 正常啟動。


有感:比如yarn-參數(shù) 一般是作為基礎參數(shù), yarn啟動之后一般不做修改,那就設置為偏小或者最小值? ,然后每次給作業(yè)job分配的時候就按實際的申請就可以了

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容