pytorch/paddlepaddle框架單機多卡運行卡住解決方案

在使用pytorch或paddlepaddle的時候會出現(xiàn)分布式多卡運行卡住的問題，下面是我的2種解決方案：
1.pytorch多卡運行卡住
解決方案：通信庫將nccl換為gloo

    # dist.init_process_group(backend='nccl')
    dist.init_process_group(backend='gloo')

2.paddlepaddle多卡運行卡住
由于paddlepaddle對gloo的支持不友好，目前無法使用gloo分布式訓練，所以我們可以這樣這樣做：在代碼運行之前，輸入：

export NCCL_P2P_LEVEL=NVL
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容