〇、數(shù)學表示
- n: 特征量的維度
-
下圖表示第i個樣本的特征向量的第j個特征分量
- h(x)=θ0x0+θ1x1+θ2x2+θ3x3+...+θnxn=Θ.T X
x0=1
一、多元梯度下降的實用技巧
- feature scaling
縮放
特征分量的大小要適當，不然可能會讓條件數(shù)特別大，難以收斂
最好將每個分量都控制在[-1,1] - mean normalization
“均值歸一化”
xj←（xj-μj）/sj
μj : 均值
sj ：max-min,區(qū)間長度 - 根據(jù)代價函數(shù)的變化調(diào)增參數(shù)
- 隨著迭代次數(shù)增加，代價函數(shù)變化小于閾值，可以停止迭代了
- 代價函數(shù)隨著迭代次數(shù)增加不收斂，learning rate 太大了，要調(diào)小
-
代價函數(shù)隨著迭代次數(shù)增加下降不夠快，learning rate可能要調(diào)大
learning rate合適，過小，過大
