logistic 回歸：用于二元分類的算法，舉例：當(dāng)你輸入一張照片時(shí)，需要判斷當(dāng)前的照片是否為貓，希望的輸出為如果是貓，輸出為1，否則輸出為0，這就是一個(gè)簡單的二元分類。首先我們必須明確在電腦照片如何存儲的，一張彩色的照片通常被存儲為紅、綠、藍(lán)三個(gè)顏色通道，如果該照片是64*64 的像素的，則在計(jì)算機(jī)中存儲3個(gè)64*64的矩陣，分別表示亮度，此時(shí)得到我們的輸入特征向量x的維數(shù)為64*64*3=12288，在二元分類中，我們希望訓(xùn)練一個(gè)分類器，它以圖片的特征向量X作為輸入，然后得到一個(gè)數(shù)據(jù)Y，如果有貓的話，輸出為1，否則輸出為0.
神經(jīng)網(wǎng)絡(luò)中通用的一些表示方法，（x，y）中x表示n=12288的n行1列的矩陣，y表示訓(xùn)練模型的輸出結(jié)果，值為0或者1，（x,y）表示一個(gè)樣本，一共有m個(gè)樣本。
傳統(tǒng)的線性回歸算法通?？梢员硎緸閥=wx+b，然而它不符合上述將圖片作為輸入時(shí)，得到一個(gè)y值輸出，y的值只能為0或者1。此時(shí)sigmoid 函數(shù)的作用就顯而易見了，引用簡書中一位作者多sigmoid函數(shù)的介紹，http://m.itdecent.cn/p/fcbc6983cc9a，sigmoid 函數(shù)滿足在（0.0.5）的中心對稱，該函數(shù)的值域?yàn)椋?,1）的光滑函數(shù)，用于估計(jì)某種事件的可能性。當(dāng)自變量非常大的時(shí)候，sigmoid函數(shù)的值趨近于1，如果自變量是一個(gè)很小的值，此時(shí)sigmoid函數(shù)的值無限趨近于0,通常的時(shí)候，我們將w和b的值就行預(yù)測，使得預(yù)測值無限接近于正確值。在完成編程的過程中，我們分別對w和b進(jìn)行預(yù)測，b對應(yīng)攔截器。在明確上述概念的時(shí)候，預(yù)測值y^=wx+b
為了訓(xùn)練logistic回歸模型的參數(shù)W和b,我們需要定義兩個(gè)函數(shù)：損失函數(shù)和成本函數(shù)
損失函數(shù)為：
? --適用于單個(gè)訓(xùn)練集
成本函數(shù)為： ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
--基于參數(shù)的總成本，我們的目的是為找到合適的w和b 使得成本函數(shù)達(dá)到最小
成本函數(shù)是一個(gè)與w和b 有關(guān)的二維凸函數(shù)
梯度下降法：我們要做的是先初始化w和b,然后沿著下降最陡的方向下一步，當(dāng)走了一步之后，可能會停住，重復(fù)執(zhí)行w=w-α? ? b=b-α，迭代是的w和b 出現(xiàn)在上面極值點(diǎn)處，使得成本函數(shù)達(dá)到最低。
在計(jì)算參數(shù)w和b 的過程中需要用到導(dǎo)數(shù)，這里的導(dǎo)數(shù)很簡單就不贅述，下面PPT中的數(shù)值α表示學(xué)習(xí)率
兩個(gè)循環(huán)組成，外層循環(huán)遍歷數(shù)據(jù)集，內(nèi)層循環(huán)將算法中的參數(shù)循環(huán)展示
考慮到現(xiàn)有的數(shù)據(jù)集越來越大，現(xiàn)在的神經(jīng)網(wǎng)絡(luò)往往選擇采用向量化的方法完成原本的循環(huán)操作
