關(guān)于Tensorflow 訓(xùn)練時(shí),每個(gè)batch越來越慢

問題所在:

在運(yùn)行時(shí)的session里定義了tf的op導(dǎo)致的,這樣每一次迭代都會(huì)在graph里增加新的節(jié)點(diǎn),導(dǎo)致memory leak,程序越來越慢,最后強(qiáng)行退出。至于在運(yùn)行時(shí)程序有沒有增加節(jié)點(diǎn),可以在session里定義graph.finalize()鎖定graph,如果跑的時(shí)候報(bào)錯(cuò)就證明程序在動(dòng)態(tài)添加節(jié)點(diǎn)導(dǎo)致的越來越慢。

解決問題:

1、不要再session中定義新op,全部都放到graph中

2、new一個(gè)新的graph,在新graph中操作op,例如


3、多次創(chuàng)建圖,在GPU環(huán)境下,會(huì)輸出大量類似這種日志

34 2017-09-22 10:09:00.573307: I tensorflow/core/common_runtime/gpu/gpu_device.cc:977] Creating TensorFlow device (/gpu:0) -> (device: 0, name: Tesla K40c, pci bus id: 0000:04:00.0)

解決方法:在代碼開頭加上 ??os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3' ? ,3表示只輸出error信息

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1. 介紹 首先讓我們來看看TensorFlow! 但是在我們開始之前,我們先來看看Python API中的Ten...
    JasonJe閱讀 11,987評(píng)論 1 32
  • 十七八歲正是花季,我也不例外,被一個(gè)懵懵懂懂的毛頭小子給追求著,我喜歡和他們一幫男孩子玩耍,其實(shí)我一點(diǎn)也不喜歡這個(gè)...
    王姐_e882閱讀 200評(píng)論 1 2
  • 正常人的智商普遍都差不多,體能也差不多,只是用于不用,開發(fā)不開發(fā)的問題…… 從古至今,喜歡排階級(jí)分等級(jí),西方社會(huì)也...
    亮子子閱讀 960評(píng)論 1 1
  • ruts
    長(zhǎng)頸鹿的煩惱閱讀 191評(píng)論 0 0

友情鏈接更多精彩內(nèi)容