之前在公司的項(xiàng)目用了tf的分布式,但是效率一直很低,經(jīng)過一些簡單的調(diào)試也沒有解決問題。還是得把基礎(chǔ)概念一一搞清,才能有針對性地解決問題。所以開始看《Hands On Machine Learning with Scikit Learn and TensorFlow》里的相關(guān)章節(jié),并做下記錄。
單機(jī)多卡
分布式可以理解為把計算分配到多個設(shè)備上,并讓他們協(xié)同工作。最簡單的模式就是在一臺機(jī)器上的多個設(shè)備。
tensorflow分配計算單元的默認(rèn)規(guī)則就是優(yōu)先分配到GPU0上(如果沒有GPU就是CPU0),如果用戶設(shè)定了條件就按用戶的設(shè)定放置。
未完待續(xù)...