來源:Datawhale
幾個(gè)月前,紅色石頭發(fā)文介紹過一份在 GitHub 上非?;鸨捻?xiàng)目,名為:DeepLearning-500-questions,中文譯名:深度學(xué)習(xí) 500 問。作者是川大的一名優(yōu)秀畢業(yè)生談繼勇。該項(xiàng)目以深度學(xué)習(xí)面試問答形式,收集了 500 個(gè)問題和答案。內(nèi)容涉及了常用的概率知識、線性代數(shù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計(jì)算機(jī)視覺等熱點(diǎn)問題。
該熱門項(xiàng)目一直在不斷更新,作者本著開源精神,不斷有新的貢獻(xiàn)者在完善項(xiàng)目。如今,全書已達(dá) 50 余萬字,分為 18 個(gè)章節(jié)。
首先,直接放上項(xiàng)目地址:
https://github.com/scutan90/DeepLearning-500-questions
目前該項(xiàng)目已有 2.6w stars 了!只要是內(nèi)容都是干貨,超全!
下面,我們來看一看該項(xiàng)目有哪些硬核干貨吧!
全書目錄
該項(xiàng)目更確切地說是一本深度學(xué)習(xí)面試手冊,500 問,非常詳細(xì)。全書共分為 18 章,近 50 萬字,目錄如下:
數(shù)學(xué)基礎(chǔ)
機(jī)器學(xué)習(xí)基礎(chǔ)
深度學(xué)習(xí)基礎(chǔ)
經(jīng)典網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)(CNN)
循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)
生成對抗網(wǎng)絡(luò)(GAN)
目標(biāo)檢測
圖像分割
強(qiáng)化學(xué)習(xí)
遷移學(xué)習(xí)
網(wǎng)絡(luò)搭建及訓(xùn)練
優(yōu)化算法
超參數(shù)調(diào)試
GPU 和框架選型
自然語言處理(NLP)
模型壓縮、加速及移動(dòng)端部署
后端架構(gòu)選型、離線及實(shí)時(shí)計(jì)算
主要內(nèi)容
全書內(nèi)容非常豐富,持續(xù)更新和完善中。下面我們列舉一些知識點(diǎn)給讀者一睹為快!
1. 各種常見算法(第 2 章)
日常使用機(jī)器學(xué)習(xí)的任務(wù)中,我們經(jīng)常會遇見各種算法,如下圖所示。
2. 支持向量機(jī)(第 2 章)
支持向量:在求解的過程中,會發(fā)現(xiàn)只根據(jù)部分?jǐn)?shù)據(jù)就可以確定分類器,這些數(shù)據(jù)稱為支持向量。
支持向量機(jī)(Support Vector Machine,SVM):其含義是通過支持向量運(yùn)算的分類器。
在一個(gè)二維環(huán)境中,其中點(diǎn)R,S,G點(diǎn)和其它靠近中間黑線的點(diǎn)可以看作為支持向量,它們可以決定分類器,即黑線的具體參數(shù)。
支持向量機(jī)是一種二分類模型,它的目的是尋找一個(gè)超平面來對樣本進(jìn)行分割,分割的原則是邊界最大化,最終轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問題來求解。
3. 常用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(第 3 章)
下圖包含了大部分常用的模型:
4. 多分類 Softmax(第 3 章)
下圖包含了 Softmax 層的詳細(xì)過程和推導(dǎo):
5. 經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)(第 4 章)
本章主要介紹幾個(gè)具有代表性的神經(jīng)網(wǎng)絡(luò)模型。
LeNet-5
LeNet-5 模型是 Yann LeCun 于 1998 年提出來的,它是第一個(gè)成功應(yīng)用于數(shù)字識別問題的卷積神經(jīng)網(wǎng)絡(luò)。在 MNIST 數(shù)據(jù)中,它的準(zhǔn)確率達(dá)到大約 99.2%。典型的 LeNet-5 結(jié)構(gòu)包含卷積層、池化層和全連接層,順序一般是:卷積層->池化層->卷積層->池化層->全連接層->全連接層->輸出層。
同時(shí)給出了 LeNet-5 的網(wǎng)絡(luò)參數(shù)配置:
AlexNet
AlexNet 是 2012 年 ImageNet 競賽冠軍獲得者 Hinton 和他的學(xué)生 Alex Krizhevsky 設(shè)計(jì)的。AlexNet 可以直接對彩色的大圖片進(jìn)行處理,對于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法而言,它的性能相當(dāng)?shù)某錾?。AlexNet 是由 5 個(gè)卷積層和 3 個(gè)全連接層組成,順序一般是:卷積層->池化層->卷積層->池化層->卷積層->卷積層->卷積層->池化層->全連接層->全連接層->輸出層。
AlexNet 的網(wǎng)絡(luò)參數(shù)配置:
6. 全連接、局部連接、全卷積與局部卷積(第 5 章)
全連接、局部連接、全卷積與局部卷積的對比和解釋如下:
評價(jià)
整個(gè)項(xiàng)目包含的內(nèi)容非常多,這里就不再贅述。干貨很硬,大家不要錯(cuò)過了這份資源。
總的來說,這份資源不是一本深度學(xué)習(xí)的系統(tǒng)教材,而是一份完整的、詳細(xì)的深度學(xué)習(xí)知識點(diǎn)精煉手冊。對于面試、自我測驗(yàn)來說非常有幫助!一句話:硬核干貨,值得收藏!