1.1 深度學習概論
視頻：第一周 深度學習概論
整理：飛龍
什么是神經(jīng)網(wǎng)絡？
“深度學習”指的是訓練神經(jīng)網(wǎng)絡，有時候規(guī)模很大，那么神經(jīng)網(wǎng)絡究竟是什么呢？在這個視頻中，我會講些直觀的基礎知識。
我們從一個房價預測的例子開始。假設有一個六間房屋的數(shù)據(jù)集，已知房屋的面積，單位是平方英尺或平方米，以及房屋價格。你想要找到一個函數(shù)，根據(jù)房屋面積來預測房價。
如果你懂線性回歸，你可能會說，好吧，用這些數(shù)據(jù)來擬合一條直線。于是，你可能會得到這樣一條直線。但奇怪的是，你可能也知道，價格永遠不會為負，因此直線不大合適，它最后會讓價格為負。我們在這里彎曲一點，讓它結(jié)束于 0。這條粗的藍線，就是你要的函數(shù)，根據(jù)房屋面積預測價格。
這里的直線擬合得很好。你可以把這個函數(shù)看成一個非常簡單的神經(jīng)網(wǎng)絡，你剛剛用它來擬合房屋價格。這幾乎是最簡單的神經(jīng)網(wǎng)絡了。
讓我畫在這里，我們把房屋的面積，作為神經(jīng)網(wǎng)絡的輸入，稱之為x。通過這個節(jié)點，這個小圈圈，最后輸出了價格，用y表示。這個小圓圈就是一個獨立的神經(jīng)元，你的網(wǎng)絡實現(xiàn)了左邊這個函數(shù)的功能。這個神經(jīng)元所做的，就是輸入面積，完成線性運算，取不小于 0 的值，最后輸出預測價格。
神經(jīng)網(wǎng)絡的文獻中，經(jīng)常看得到這個函數(shù)。這個函數(shù)一開始是 0，然后就是一條直線。這個函數(shù)被稱作 ReLU 函數(shù)，全稱是“修正線性單元”?！靶拚敝傅氖侨〔恍∮?0 的值，這就是這個函數(shù)長這樣的原因。不理解 ReLU 函數(shù)的話不用擔心，這門課的后面你還會看到它。
這是一個單神經(jīng)元網(wǎng)絡，規(guī)模很小的神經(jīng)網(wǎng)絡。大一點的神經(jīng)網(wǎng)絡是把這些單個神經(jīng)元堆疊起來形成的。你可以把這些神經(jīng)元想象成單獨的樂高積木，你通過搭積木來構(gòu)建一個更大的神經(jīng)網(wǎng)絡。
來看一個例子，我們不僅僅用房屋的面積來預測價格，現(xiàn)在你還有一些房屋的其它特征，知道了一些別的信息，比如臥室的數(shù)量。你可能想到，有一個很重要的因素會影響房屋價格，就是“家庭人數(shù)”。這個房屋能住下一個三口之家，四口之家或者五口之家，這個性質(zhì)和面積大小相關。還有臥室的數(shù)量，能否滿足住戶的家庭人數(shù)需求。
你可能知道郵編，在一些國家也被叫作郵政編碼。郵編或許能作為一個特征，說明了步行化程度，這附近是不是高度步行化的？你是否能步行去雜貨店，或者是學校？是否需要開車？有些人喜歡高度步行化的地方。另外還有富裕程度，在美國是這樣的，其它國家也可能一樣。郵編體現(xiàn)了附近學校的質(zhì)量。
我畫的每一個小圈圈，都可能是一個 ReLU，即“修正線性單元”，或者其它的不那么線性的函數(shù)?；诜课菝娣e和臥室數(shù)量，你可以估算家庭人口?；卩]編，可以評估步行化程度，也可以評估學校質(zhì)量。最后你可能會認為，人們愿意在房屋上花費多少錢，和他們關注什么息息相關。在這個例子中，家庭人口、步行化程度以及學校質(zhì)量，都能幫助你預測房屋的價格。
在這個例子中x是所有的這四個輸入，y是預測的價格。通過把這些獨立的神經(jīng)元疊加起來，或者上一張幻燈片里面的簡單的預測器（神經(jīng)元），現(xiàn)在有了一個稍微大一點的神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡的部分神奇之處在于，當你實現(xiàn)它之后，你要做的只是輸入x，就能得到輸出y。不管訓練集有多大，所有的中間過程它都會自己完成。
那么你實際上做的就是這樣，這里有四個輸入的神經(jīng)網(wǎng)絡，輸入的特征可能是臥室的數(shù)量，郵政編碼和周邊的富裕程度。已知這些輸入的特征，神經(jīng)網(wǎng)絡的工作就是預測對應的價格。
同時請注意到，這些圈圈，在一個神經(jīng)網(wǎng)絡中，它們被叫做“隱藏單元”。每個的輸入都同時來自四個特征，比如說，我們不會具體說，第一個節(jié)點表示家庭人口，或者說家庭人口僅取決于特征x1和x2。我們會這么說，對于神經(jīng)網(wǎng)絡，你自己決定這個節(jié)點是什么。我們只給你四個輸入特征，隨便你怎么計算。因此我們說這一層，輸入層，以及在中間的這一層，在神經(jīng)網(wǎng)絡中連接數(shù)是很高的。因為輸入的每一個特征，都連接到了中間的每個圈圈。
值得注意的是，對于神經(jīng)網(wǎng)絡，只有你喂給它足夠多的關于x和y的數(shù)據(jù)，得到足夠的x、y訓練樣本，就非常擅長于計算從x到y的精準映射函數(shù)。這就是一個基本的神經(jīng)網(wǎng)絡，你可能發(fā)現(xiàn)，自己的神經(jīng)網(wǎng)絡在監(jiān)督學習的環(huán)境下是如此有效和強大。也就是說，你只要嘗試輸入一個x，即可把它映射成y，像我們在剛才房價預測的例子中看到的。
在下一個視頻中，你會看到更多監(jiān)督學習的例子。有些例子會讓你覺得，你的神經(jīng)網(wǎng)絡對你的應用場合非常有幫助。
用神經(jīng)網(wǎng)絡進行監(jiān)督學習
神經(jīng)網(wǎng)絡有時被媒體炒作得很厲害，考慮到它們的使用效果，有些說法還是靠譜的。事實上到目前為止，幾乎所有由神經(jīng)網(wǎng)絡創(chuàng)造的經(jīng)濟價值，都基于其中一種機器學習，我們稱之“監(jiān)督學習”。那是什么意思呢？我們來看一些例子。
在監(jiān)督學習中，輸入x會習得一個函數(shù)，它映射到輸出y。比如我們之前看到的，應用于房價預測的例子。輸入房屋的一些特征，就能輸出或者預測價格y。下面是一些其它例子，這些例子中神經(jīng)網(wǎng)絡效果拔群。
很可能，今天通過深度學習獲利最大的，就是在線廣告。這也許不是最鼓舞人心的，但真的很賺錢。給網(wǎng)站輸入廣告信息，網(wǎng)站會考慮是否給你看這個廣告，有時還需要輸入一些用戶信息。神經(jīng)網(wǎng)絡在預測，你是否會點擊這個廣告，這方面已經(jīng)表現(xiàn)得很好了。通過向你展示，以及向用戶展示最有可能點開的廣告，這就是神經(jīng)網(wǎng)絡在很多家公司，賺取無法想象的高額利潤的應用方式。因為有了這種能力，向你展示最有可能點擊開的廣告，直接影響到了不少大型線上廣告公司的收入。
過去的幾年里，計算機視覺也有很大進展，這要感謝深度學習。你輸入一個圖像，然后打算輸出一個下標，可以是從 1 到 1000，來表明這張照片，是 1000 個不同的圖像中的某一個。它可以用來給照片打標簽。
深度學習最近在語音識別方面的進展也是非常令人興奮的。你可以將音頻片段輸入神經(jīng)網(wǎng)絡，它可以輸出文本。機器翻譯也進步很大，這得感謝深度學習，讓你有一個神經(jīng)網(wǎng)絡，能實現(xiàn)輸入英語句子，它直接輸出一個中文句子。
在無人駕駛技術中，你輸入一幅圖像，比如汽車前方的一個快照，還有一些雷達信息?；谶@個，訓練過的神經(jīng)網(wǎng)絡，能告訴你路上其他汽車的位置。這是無人駕駛系統(tǒng)的關鍵組件。
神經(jīng)網(wǎng)絡創(chuàng)造這么多價值的案例中，你要機智地選擇x和y，才能解決特定問題。然后把這個監(jiān)督學習過的組件，嵌入到更大型的系統(tǒng)中，比如無人駕駛。可以看出，稍微不同的神經(jīng)網(wǎng)絡，也可應用到不同的地方。比如說，應用到房地產(chǎn)上。我們上節(jié)課看到，我們用了通用標準的神經(jīng)網(wǎng)絡架構(gòu)，是吧？對于房地產(chǎn)和在線廣告，用的都是相對標準的神經(jīng)網(wǎng)絡，正如我們之前見到的。
圖像領域里，我們經(jīng)常應用的是卷積神經(jīng)網(wǎng)絡，通?？s寫為 CNN。對于序列數(shù)據(jù)，例如音頻中含有時間成分，對吧？音頻是隨著時間播放的，所以音頻很自然地被表示為一維時間序列。對于序列數(shù)據(jù)，你經(jīng)常使用 RNN，循環(huán)神經(jīng)網(wǎng)絡。
對于語言，英語和漢語，字母或單詞，都是逐個出現(xiàn)的。所以，語言最自然的表示方式也是序列數(shù)據(jù)。更復雜的 RNN 經(jīng)常會用于這些應用。對于更復雜的應用，比如無人駕駛，你有一張圖片，可能需要 CNN “卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)” 架構(gòu)去處理。雷達信息會更不一樣，你需要一些更復雜的，混合的神經(jīng)網(wǎng)絡結(jié)構(gòu)。
所以，為了更具體地說明，標準的 CNN 和 RNN 結(jié)構(gòu)是什么。在文獻中，你可能見過這樣的圖片，這是一個標準的神經(jīng)網(wǎng)絡。你可能見過這樣的圖片，這是一個卷積神經(jīng)網(wǎng)絡。在后續(xù)的課程，我們會去了解這幅圖的含義和如何實現(xiàn)它。卷積網(wǎng)絡通常用于圖像數(shù)據(jù)。你可能也會看到這樣的圖片，后續(xù)的課程也會去實現(xiàn)它。循環(huán)神經(jīng)網(wǎng)絡非常適合處理一維序列數(shù)據(jù)，其中包含時間成分。
你可能也聽說過，機器學習被應用于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，下面是這些術語的含義。結(jié)構(gòu)化數(shù)據(jù)，是數(shù)據(jù)的數(shù)據(jù)庫，例如在房價預測中，你可能有一個數(shù)據(jù)庫或者數(shù)據(jù)列，告訴你房間的大小和臥室數(shù)量，這就是結(jié)構(gòu)化數(shù)據(jù)。在預測用戶是否會點擊廣告的例子中，你可能會有用戶信息比如年齡，還有廣告信息，還有你要預測的標簽y，這就是結(jié)構(gòu)化數(shù)據(jù)，意味著每個特征，比如說房屋大小、臥房數(shù)量、用戶的年齡，都有著清晰的定義。
相反，非結(jié)構(gòu)化數(shù)據(jù)指的是，比如音頻、原始音頻、圖像，你想要識別圖像或文本中的內(nèi)容。這里的特征可能是圖像中的像素值，或者是文本中的單個單詞。從歷史角度看，與結(jié)構(gòu)化數(shù)據(jù)比較，非結(jié)構(gòu)化數(shù)據(jù)讓計算機理解起來更難。但人類進化到現(xiàn)在，很擅長理解音頻信號和圖像。文本是一個更近代的發(fā)明，但人們真的很擅長解讀非結(jié)構(gòu)化數(shù)據(jù)。
神經(jīng)網(wǎng)絡的興起過程中，最令人興奮的事情之一就是，多虧了深度學習，多虧了神經(jīng)網(wǎng)絡，計算機現(xiàn)在能更好地解釋非結(jié)構(gòu)化數(shù)據(jù)。和幾年前對比的話，這給我們創(chuàng)造了很多令人興奮的應用機會。語音識別、圖像識別、自然語言文字處理?，F(xiàn)在能做的事情，比兩三年前要豐富多了，我認為，因為人們生來就有能力，來理解非結(jié)構(gòu)化數(shù)據(jù)。
你可能知道，神經(jīng)網(wǎng)絡在非結(jié)構(gòu)化數(shù)據(jù)上的成功，尤其是媒體。當神經(jīng)網(wǎng)絡識別了一只貓時，那真的很酷。我們都知道，那意味著什么。神經(jīng)網(wǎng)絡在很多短期經(jīng)濟價值的創(chuàng)造，是基于結(jié)構(gòu)化數(shù)據(jù)的，比如更好的廣告系統(tǒng)，更好的獲利建議，有更好的能力去處理很多公司擁有的海量數(shù)據(jù)庫，并用這些數(shù)據(jù)準確預測未來趨勢。
在這門課中，我們會學到很多技巧，可以應用到結(jié)構(gòu)化數(shù)據(jù)，也可以應用到非結(jié)構(gòu)化數(shù)據(jù)。為了更清楚地解釋算法原理，我們會多用非結(jié)構(gòu)化數(shù)據(jù)的例子。但當你自己的團隊評估了各種神經(jīng)網(wǎng)絡的應用之后，希望你的算法能夠同時學習結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。神經(jīng)網(wǎng)絡徹底改變了監(jiān)督學習，正創(chuàng)造著巨大的經(jīng)濟價值。
其實呢，基本的神經(jīng)網(wǎng)絡背后的技術理念，大部分都不是新概念，有些甚至有幾十年歷史了。那么，為什么它們現(xiàn)在才流行，才行之有效呢？下一集視頻中我們將討論，為什么是最近神經(jīng)網(wǎng)絡才成為你可以使用的強大工具。
為什么深度學習會興起？
如果深度學習和神經(jīng)網(wǎng)絡背后的基本技術理念，已經(jīng)有好幾十年了，為什么現(xiàn)在才突然流行起來呢？在這個視頻中，讓我們看一些讓深度學習流行起來的主要因素。這將會幫助你在自己的組織中，發(fā)現(xiàn)好機會來應用這些東西。
在過去的幾年里很多人問我，為什么深度學習突然這么厲害了？我回答的時候通常給他們畫個圖。橫上代表完成任務的數(shù)據(jù)數(shù)量，縱軸代表機器學習算法的性能，比如垃圾郵件過濾的準確率，廣告點擊預測的準確率，用于無人駕駛中判斷其他車輛位置的神經(jīng)網(wǎng)絡的準確率。
根據(jù)圖像可以發(fā)現(xiàn)，把傳統(tǒng)機器學習算法的表現(xiàn)，比如說支持向量機，或logistic回歸作為數(shù)據(jù)量的一個函數(shù)，你可能得到這樣的曲線。它的性能一開始增加數(shù)據(jù)時會上升，但是一段時間之后它的性能進入平臺期。假設水平軸拉的很長很長，那是因為這些模型無法處理海量數(shù)據(jù)。而過去20年在我們的社會中，我們遇到的很多問題，早期只有相對較少的數(shù)據(jù)量，多虧了數(shù)字化社會，現(xiàn)在收集海量數(shù)據(jù)輕而易舉。
我們?nèi)祟惢撕芏鄷r間在數(shù)字王國中，在電腦上，在網(wǎng)站上，在手機軟件上，數(shù)字設備上的活動都能創(chuàng)造數(shù)據(jù)，同時也歸功于便宜的相機，被內(nèi)置到移動電話，還有加速儀，以及物聯(lián)網(wǎng)中的各種傳感器。我們收集到了越來越多的數(shù)據(jù)，過去20年，很多應用中我們收集到了大量的數(shù)據(jù)，遠超過傳統(tǒng)學習算法能發(fā)揮作用的規(guī)模。
神經(jīng)網(wǎng)絡模型的話，我們發(fā)現(xiàn)，如果你訓練一個小型的神經(jīng)網(wǎng)絡，那么性能可能會像這樣。如果你訓練一個稍微大一點的神經(jīng)網(wǎng)絡，一個中等規(guī)模的神經(jīng)網(wǎng)絡，性能表現(xiàn)也會更好一些。你訓練一個非常大的神經(jīng)網(wǎng)絡，性能就會是這樣，還會越來越好。
注意到兩點，一點是如果你想達到這么高的性能水平，有兩個條件。第一個是需要訓練一個規(guī)模足夠大的神經(jīng)網(wǎng)絡，以發(fā)揮數(shù)據(jù)規(guī)模量巨大的優(yōu)點。另外，要到x軸的這個位置需要很多的數(shù)據(jù)。因此我們經(jīng)常說，規(guī)模一直在推動深度學習的進步。
說到“規(guī)?！保抑傅牟粌H是神經(jīng)網(wǎng)絡的規(guī)模，我們需要一個有許多隱藏單元的神經(jīng)網(wǎng)絡，有許多的參數(shù)，許多的連接，而且還有數(shù)據(jù)“規(guī)?！?。事實上，要在神經(jīng)網(wǎng)絡上獲得更好的表現(xiàn)，在今天最可靠的手段，往往就是要么訓練一個更大的神經(jīng)網(wǎng)絡，要么投入更多的數(shù)據(jù)。這只能在一定程度上起作用，因為最終你耗盡了數(shù)據(jù)，或者最終你的網(wǎng)絡規(guī)模太大，需要的訓練時間太久。但提升規(guī)模已經(jīng)讓我們在深度學習的世界中獲得了大量進展。
為了使這個圖從技術上更準確一點，我還要加點說明。我在x軸下面已經(jīng)寫明了的數(shù)據(jù)量，技術點說，這是“帶標簽的數(shù)據(jù)”量。在訓練樣本時，我們有輸入x和標簽y。我介紹一點符號約定，這在后面的課程中都會用到。我們使用小寫的字母m，表示訓練集的規(guī)模，或者說訓練樣本的數(shù)量。這個小寫字母m這就是水平軸。
圖像還有其他細節(jié)，訓練集不大的這一塊來說，各種算法的性能相對排名并不是很確定。訓練集不大的時候，效果會取決于你手工設計的組件，會決定最終的表現(xiàn)。因此很有可能，假設有些人訓練出了一個SVM，可能是因為手工設計組件很厲害，有些人訓練的規(guī)模會大一些，可能訓練集不大的時候，SVM表現(xiàn)更好。在這個圖形區(qū)域的左邊，各種算法之間優(yōu)劣并不是定義得很明確，最終的性能更多取決于手工設計組件的技能，以及算法處理方面的一些細節(jié)。只有在大數(shù)據(jù)領域，非常龐大的訓練集，也就是在右邊m非常大時，我們才能見到，神經(jīng)網(wǎng)絡穩(wěn)定地領先其它算法。
如果某個朋友問你，為什么神經(jīng)網(wǎng)絡這么流行？我鼓勵你也給他們畫這樣一個圖像，可以這么說，在深度學習崛起的初期，是數(shù)據(jù)和計算能力規(guī)模的進展。訓練一個特別大的神經(jīng)網(wǎng)絡的能力，無論是在CPU還是GPU上，是這些發(fā)展才讓我們?nèi)〉昧司薮蟮倪M步。
但是漸漸地，尤其是在最近這幾年，我們也見證了算法方面的極大創(chuàng)新。我也不想忽略算法方面的巨大貢獻。有趣的是，許多算法方面的創(chuàng)新，都為了讓神經(jīng)網(wǎng)絡運行得更快。舉一個具體的例子，神經(jīng)網(wǎng)絡方面的一個巨大突破是，從sigmoid函數(shù)轉(zhuǎn)換到這樣的ReLU函數(shù)。這個函數(shù)我們在之前的視頻里提到過，形狀就像這樣。如果你無法理解，剛才我說的某個細節(jié)，也不需要擔心。但使用sigmoid函數(shù)，機器學習問題是，對于這個區(qū)域 sigmoid函數(shù)的斜率，梯度會接近0，所以學習會變得非常緩慢，因為用梯度下降法時，梯度接近0時，參數(shù)會變化得很慢，學習也會變得很慢。而通過改變激活函數(shù)，神經(jīng)網(wǎng)絡用這個函數(shù)，修正線性單元ReLU，它的梯度對于所有為正值的輸入輸出都是1，因此梯度不會逐漸趨向0。而這里的梯度，這條線的斜率，在這左邊是0。我們發(fā)現(xiàn)，只需將sigmod函數(shù)轉(zhuǎn)換成ReLU函數(shù)，便能夠使得“梯度下降法”運行得更快。
這就是一個例子，有點簡單的算法創(chuàng)新的例子，但是最終算法創(chuàng)新所帶來的影響，是增加計算速度。有很多像這樣的例子，我們通過改變算法，使得代碼運行得更快。這也使得我們，能夠訓練規(guī)模更大的神經(jīng)網(wǎng)絡，或者在合理的時間內(nèi)完成計算。即使在數(shù)據(jù)量很大，網(wǎng)絡也很大的場合，快速計算很重要的另一個原因是，訓練神經(jīng)網(wǎng)絡的過程，很多時候是憑直覺的。你有了關于神經(jīng)網(wǎng)絡架構(gòu)的想法，然后你寫代碼實現(xiàn)你的想法。然后跑一下實驗，可以告訴你，你的神經(jīng)網(wǎng)絡效果有多好，知道結(jié)果之后再回去，改你的神經(jīng)網(wǎng)絡中的一些細節(jié)。然后你不斷重復這個循環(huán)。當你的神經(jīng)網(wǎng)絡需要很長時間去訓練，需要很長時間才能走一圈循環(huán)的話，在實現(xiàn)神經(jīng)網(wǎng)絡時，迭代速度對你的效率影響巨大。
如果你有一個想法，直接去試，10分鐘后就能看到結(jié)果，或者最多花上一天。如果你訓練你的神經(jīng)網(wǎng)絡，用了一個月的時間，有時候確實需要那么久。如果你能很快得到結(jié)果，比如10分鐘或者一天內(nèi)，你就可以嘗試更多的想法。那你就很可能發(fā)現(xiàn)，適合你的應用的神經(jīng)網(wǎng)絡。所以計算速度的提升，真的有幫助提高迭代速度，讓你更快地得到實驗結(jié)果。這也同時幫助了神經(jīng)網(wǎng)絡的從業(yè)人員，和有關項目的研究人員，在深度學習的工作中迭代得更快，也能夠更快地改進你的想法。所有這些都極大推動了，整個深度學習社區(qū)的研究，快到令人難以置信。
人們一直在發(fā)明新的算法，持續(xù)不斷地進步，是這些力量支持了深度學習的崛起。但好消息是，這些力量還在不斷發(fā)揮作用，讓深度學習更進一步。我們看數(shù)據(jù)，我們的社會還在產(chǎn)生更多的數(shù)字化數(shù)據(jù)。我們看計算，GPU這類專用硬件還在繼續(xù)發(fā)展，網(wǎng)絡速度更快，各種硬件更快。我很有信心，我們實現(xiàn)超級大規(guī)模神經(jīng)網(wǎng)絡的能力，或者從計算能力這個角度看，也在繼續(xù)進展。我們看算法，我希望深度學習研究社區(qū)，能在算法上持續(xù)創(chuàng)新。基于這些，我們可以樂觀地回答，深度學習還會繼續(xù)進步很多年。
讓我們繼續(xù)，最后一個課程視頻中，我們會談到通過這門課，你能學到什么。
關于這門課
學習進度來到了這個“微專業(yè)”第一門課第一周的最后?？焖俚亟榻B一下，下一周將要學習什么內(nèi)容。在第一個視頻里我已經(jīng)說過，本“微專業(yè)”一共有五門課，目前是第一門課。這門課將教會你最重要的基礎知識，深度學習最重要的基礎。第一門課的結(jié)尾，你將掌握如何建立并運用一個深度神經(jīng)網(wǎng)絡。
下面是第一門課的一些細節(jié)，這門課有四個星期的學習材料。目前你就要完成第一周的學習了，學完了深度學習的入門介紹。在每一周的結(jié)尾，都會有十道多選題，可以用來檢驗自己對材料的理解。當你看完這個視頻的時候，希望你能看看這些問題，
在第二周你會學習到，神經(jīng)網(wǎng)絡的編程基礎，了解神經(jīng)網(wǎng)絡中，“正向傳播”和“反向傳播”的結(jié)構(gòu)，還有算法的過程，以及如何高效實現(xiàn)神經(jīng)網(wǎng)絡。從第二周開始，你也會開始做一些編程練習，練習學到的知識，自己實現(xiàn)算法，親自調(diào)試到完美運行。當我學習算法的時候，那讓我很過癮，通過代碼編程，親自看到它完美運行。我希望你們也喜歡。
在學習了神經(jīng)網(wǎng)絡編程的框架之后，在第三周，你會編寫單隱層神經(jīng)網(wǎng)絡，你需要學習所有必需的關鍵概念，才能實現(xiàn)神經(jīng)網(wǎng)絡。最后在第四周，你將建立了一個多層的深層神經(jīng)網(wǎng)絡，讓它為你服務。
恭喜你完成了這段視頻，我希望你現(xiàn)在對深度學習，有一個高層次的理解。也許有些人會想，自己想到了，哪里可以應用深度學習。我希望看完這段視頻后，你會去看那10個多項選擇題，它們就在課程網(wǎng)站上，來檢查你的理解。不用復習，第一次做不知道所有答案，你可以多做幾次，直到你都做對了為止。我覺得這些問題很有用，能保證我理解了所有概念，我希望你也可以做到。
再次祝賀你看到了這里，期待在第二周的視頻中也看到你。
課程資源
希望你能夠喜歡這門課程。為了幫助你完成課程，我想要確保，你知道有下面這些課程材料。
首先如果你有任何疑問，想和這個課程的其它同學討論，想和包括我在內(nèi)的教學人員討論，或者想要歸檔一個錯誤報告，論壇是去做這些事情最好的地方。我和其他教學人員 會定期關注論壇，這也是一個，從與你一同學習本課程的同學獲取答案的好地方。如果你想要回答同學們的問題，可以從課程首頁來到課程的論壇。
如果你看到左側(cè)的這個菜單欄，你的可能會看起來和我的有些不一樣，但都會有這個論壇模塊。當你點擊它的時候，就會打開課程論壇。
在論壇上提問是問問題的最好方法，出于某些原因你可能想直接聯(lián)系我們，或是想讓我們知道一些問題，盡管把郵件發(fā)送到這個郵箱地址。我保證我們會閱讀每一個郵件。我們會盡力去解決經(jīng)常出現(xiàn)的問題，由于電子郵件的數(shù)量很多，我不能保證我們能夠迅速回復每一封郵件，但是我們會閱讀你發(fā)送的每一封郵件。
另外有些其它公司，想要給大批的職員培訓深度學習的話，如果你在公司是負責培訓工作，想深度學習專家來培訓上百或者更多的雇員，盡管通過這個電子郵箱聯(lián)系我們，我們看看能否幫到你。我們在開發(fā)大學課程，但處于早期的階段，如果你是大學領導，或者管理人員，想在學校提供一門深度學習課程，請盡管通過這個郵箱地址聯(lián)系我們。
我會提供更多的資源，來完成這門課程，也許我會在論壇見到你噢，祝你好運。
