image.png
image.png
。如果通過指數(shù)加權(quán)平均使得梯度計算的時候更加平滑，但是整體趨勢還是往函數(shù)收斂的方向走。運行效率就會增加。同時指數(shù)加權(quán)并不會占用很大的內(nèi)存和計算量。
超參數(shù)beta的值，可以預(yù)估平均了多少個數(shù)。1/(1-beta)。當(dāng)beta=0.9,值等于10,就表示平均了10個數(shù)。當(dāng) beta越大，平均的數(shù)量就越大。。使得函數(shù)在初期的預(yù)估值不是很準(zhǔn)，但是越往后越準(zhǔn)。。這里再配合mini-batch時候，每個批次數(shù)量和beta就存在一些關(guān)系。當(dāng)batch-size=128的時候，beta=0.98，這個時候平均50個數(shù)據(jù)量，使得這個批次的梯度計算時候，收集了50個樣本后才開始接近真實的梯度，就顯得浪費了50個樣本。。（個人理解）
