神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的定義

?????? 百科中定義是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學模型，翻譯成大白話就是一種模擬神經(jīng)元有刺激有響應(yīng)的結(jié)構(gòu)，使用多個這樣的結(jié)構(gòu)在不同層以不同數(shù)量、不同權(quán)值疊加以求得最開始的輸入與輸出之前關(guān)系的網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)的應(yīng)用

一個最簡單的神經(jīng)網(wǎng)絡(luò)可以是只有一層，有一個輸入，然后得到一個輸出，如果輸入和輸出之間是線性的關(guān)系，就最簡單不過了。比如輸入是商品的數(shù)量，輸出時商品的總價格，顯然中間只需要一個乘法就可以做到。即商品的總價格=商品的數(shù)量*商品的單價。

但現(xiàn)實生活一個輸出往往與很多因素有關(guān)。比如房價，房價可以與房子的位置、房子的大小，人們的購買能力有關(guān)，而房子的位置又可以分為在哪個城市，是在大城市（北上廣深）、還是小城市（三四線小縣城），周圍是小學、初中還是大學。于是就可以將模型拓展成城市大小、周圍為第一層節(jié)點，二者共同決定位置對房價的作用，然后還可以加入房子的大學、購房能力等指標作為第二層，第二層通過不同的加權(quán)值作用于房價（第三層）。

神經(jīng)學習的本質(zhì)是監(jiān)督學習，除了在我們上面提到的預測房價的方面，他在智能廣告、語音識別、自動駕駛、機器翻譯等方面也得到了廣泛的應(yīng)用。在圖像領(lǐng)域我們常用的是卷積神經(jīng)網(wǎng)絡(luò)（CNN），對于序列數(shù)據(jù)，例如音頻包含時間序列信息，我們使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），當然語言也是一個個相關(guān)的序列（詞）組成，因此也使用RNN。自動駕駛可能涉及圖片和序列兩種，于是它一般使用的是混合算法。

同時我們也聽到另一種說法，神經(jīng)網(wǎng)絡(luò)適用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)都有清晰的定義，諸如：房子的尺寸，年齡的大小等等，非結(jié)構(gòu)化數(shù)據(jù)可能是圖片、視頻或者是代識別的文本中的像素點、或者是單詞，人類更擅長處理非結(jié)構(gòu)化數(shù)據(jù)，但是由于神經(jīng)網(wǎng)絡(luò)、深度學習，電腦也越來越能在模式識別、圖片識別等領(lǐng)域有很好的表現(xiàn)。

傳統(tǒng)的向量機等模型在數(shù)據(jù)量小的時候性能隨著數(shù)據(jù)量的增長穩(wěn)定增長，在數(shù)據(jù)量達到一定程度上性能逐漸達到穩(wěn)定了，但隨著相機被集成在手機登各種移動終端上，人們能獲得的數(shù)據(jù)爆炸式增長，神經(jīng)學習的算法被發(fā)明，此時規(guī)模越大的網(wǎng)絡(luò)性能增長約為顯著。也即要得到一個性能較好的網(wǎng)絡(luò)可以通過兩種方式：增大網(wǎng)絡(luò)的規(guī)?；蛘咴黾訑?shù)據(jù)量，而大公司例如谷歌等往往朝著兩個方向共同努力，畢竟他們有著天然的數(shù)據(jù)優(yōu)勢。近些年來算法的更新也讓神經(jīng)網(wǎng)絡(luò)的運算速度得到很大的提升，比如：相比于之前的sigmoid函數(shù)（符號函數(shù)）轉(zhuǎn)變?yōu)镽eLu函數(shù)（在負數(shù)部分是固定的，在正的部分線性增長）