正則化項(xiàng)在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用
一般來(lái)說，正則化項(xiàng)的值越小，越容易出現(xiàn)過擬合現(xiàn)象。W越大，正則化項(xiàng)的泛化能力越強(qiáng)。
神經(jīng)元越多，效果會(huì)越強(qiáng)，就能夠表達(dá)復(fù)雜的模型，但過擬合的風(fēng)險(xiǎn)越大。
神經(jīng)元就是權(quán)重參數(shù)W。
數(shù)據(jù)預(yù)處理
一般，對(duì)于圖像來(lái)說，都會(huì)把0-255的顏色數(shù)據(jù)壓縮到0——1區(qū)間之內(nèi)。
權(quán)重初始化
神經(jīng)網(wǎng)絡(luò)迭代需要有一個(gè)初始的權(quán)重參數(shù)W，但是不能用0值（因?yàn)?乘啥都成0了...）
一般會(huì)做一個(gè)高斯初始化或隨機(jī)初始化
還有一個(gè)被人遺忘的b……現(xiàn)在的論文都用0做初始化。
關(guān)于b偏置項(xiàng)的作用：
http://blog.csdn.net/xwd18280820053/article/details/70681750
DROP-OUT
全連接操作太多時(shí)，很容易過擬合，所以在每次BP算法中可以讓一些W不參與運(yùn)算。
