wakaka，我又來了。
學(xué)習(xí)背景：老板讓我搞圖像領(lǐng)域，內(nèi)心是很無力的，畢竟自己正在做omics的東西都沒有什么進展呢，又讓我搞新的，但是一切都是沒得辦法。所以又來學(xué)CNN、DNN了。

DNN出現(xiàn)的原因

• ANN、SNN和DNN的關(guān)系
  ANN（Artificial Neural Network）是指仿照人體神經(jīng)元的興奮/抑制的突觸傳遞方式模型化的框架，最開始出現(xiàn)的是感知器（perceptron），有著簡單的輸入層、隱藏層、輸出層三層結(jié)構(gòu)，但是它因為結(jié)構(gòu)簡單，沒辦法處理非線性問題，這個時候形成的就是淺層神經(jīng)網(wǎng)絡(luò)SNN（Shallow Neural Network），統(tǒng)指層數(shù)較少，不能很好地處理非線性問題的人工神經(jīng)網(wǎng)絡(luò)。后來的研究者在這個基礎(chǔ)上不斷添加隱藏層，同時利用sigmoid、tanh函數(shù)來解決非線性的問題，這個時候的人工神經(jīng)網(wǎng)絡(luò)稱為DNN（Deep Neural Network），所以說SNN和DNN都是ANN的分支，只不過是功能、隱藏層上存在差別。
• DNN 的優(yōu)點

相比傳統(tǒng)的SNN，DNN由于具有更多的層次結(jié)果，因而對事物的建?；虺橄蟊憩F(xiàn)能力更強，也能模擬更復(fù)雜的模型。

DNN的模型

在上面我們介紹了DNN相對于SNN來說，隱藏層數(shù)更多，而且擬合實際問題的能力更強，但是隨著而來的越來越容易陷入局部最優(yōu)和梯度消失問題，導(dǎo)致多層隱藏層成了噩夢，甚至多層效果還不如簡單的SNN。于是Hinton,（2006）利用與訓(xùn)練方法緩解了局部最優(yōu)解問題才將隱藏層推到了7層，同時為了克服梯度消失的問題，將sigmoid函數(shù)嘗試用ReLu、maxout等輸出函數(shù)替換，形成了大家比較熟知的DNN結(jié)構(gòu)。

DNN

參考：
DNN與ANN的區(qū)別
DBN/DNN/ANN/SNN
CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）、DNN（深度神經(jīng)網(wǎng)絡(luò)）的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)有什么區(qū)別？