上限分析通常能提供一種很有價(jià)值的信號(hào)或者說(shuō)很有用的導(dǎo)向告訴你流水線(xiàn)中的哪個(gè)部分最值得你花時(shí)間。 舉例:數(shù)值評(píng)價(jià)量度,字符準(zhǔn)確度,圖像中的文字識(shí)別正確的比例 上限分析的主要思想...
人工數(shù)據(jù)合成的概念通常包含兩種不同的變體:第一種是白手起家創(chuàng)造新的數(shù)據(jù);第二種是已經(jīng)有了一小部分帶標(biāo)簽的訓(xùn)練集,然后擴(kuò)充為一個(gè)大的訓(xùn)練集 字符識(shí)別的更大的訓(xùn)練集: 現(xiàn)代計(jì)算機(jī)...
照片OCR流水線(xiàn)中的組件:滑動(dòng)窗(sliding windows)的分類(lèi)器 滑動(dòng)窗的步驟: 以文字檢測(cè)為例,文字識(shí)別是計(jì)算機(jī)視覺(jué)中的一個(gè)非同尋常的問(wèn)題。取決于你想要找到的文字...
照片OCR技術(shù)中的應(yīng)用歷史涉及3個(gè)部分: 1. 一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)系統(tǒng)是如何被組合起來(lái)的 2.機(jī)器學(xué)習(xí)流水線(xiàn)(machine learning pipeline)的有關(guān)概念以...
大規(guī)模機(jī)器學(xué)習(xí)的方法稱(chēng)為映射約減 (map reduce) 方法,相比于隨機(jī)梯度下降方法,映射化簡(jiǎn)方法能夠處理更大規(guī)模的問(wèn)題。 映射化簡(jiǎn)的基本思想:將訓(xùn)練集劃分成幾個(gè)不同的子...
確保算法能收斂以及選擇合適的學(xué)習(xí)速率α。 對(duì)于隨機(jī)梯度下降算法,為了檢查算法是否收斂,沿用之前定義的cost函數(shù)。在算法掃描到樣本(x(i),y(i)) 但在更新參數(shù)θ之前,...
小批量梯度下降有時(shí)候甚至比隨機(jī)梯度下降還要快一點(diǎn),每次迭代使用b個(gè)樣本,b是一個(gè)叫做"小批量規(guī)模"的參數(shù)。b的一個(gè)標(biāo)準(zhǔn)的取值可能是2到100之間的任何一個(gè)數(shù),常用的數(shù)字是10...
隨機(jī)梯度下降的思想也可以應(yīng)用于線(xiàn)性回歸、邏輯回歸、神經(jīng)網(wǎng)絡(luò)或者其他依靠梯度下降來(lái)進(jìn)行訓(xùn)練的算法中。 梯度下降法的問(wèn)題是當(dāng)m值很大時(shí),計(jì)算這個(gè)微分項(xiàng)的計(jì)算量就變得很大,因?yàn)樾枰?..
訓(xùn)練大的數(shù)據(jù)集存在計(jì)算量的問(wèn)題。假設(shè)要訓(xùn)練一個(gè)線(xiàn)性回歸模型或者是邏輯回歸模型,當(dāng)m是一個(gè)億的時(shí)候, 用求一億個(gè)項(xiàng)目總和的計(jì)算量來(lái)計(jì)算僅僅一步的梯度下降,這顯然效率不高。 在我...
舉例:有一個(gè)用戶(hù)沒(méi)有給任何電影評(píng)分,影響 θ(5) 值的唯一一項(xiàng)是λ/2[(θ(5)_1)^2+(θ(5)_2)^2]。即要選一個(gè)向量 θ(5)使得最后的正則化項(xiàng)盡可能地小。...
建立預(yù)測(cè)評(píng)分矩陣,(i, j)位置數(shù)據(jù)對(duì)應(yīng)的評(píng)分是我們對(duì)用戶(hù)j 對(duì)電影 i 的評(píng)分的預(yù)測(cè)值,準(zhǔn)確說(shuō)來(lái)其值等于θ(j)轉(zhuǎn)置乘x(i)。 定義矩陣 X:x(1)轉(zhuǎn)置,x(2)轉(zhuǎn)置...
相較于θ和x的迭代計(jì)算,存在一個(gè)更有效率的算法:將這兩個(gè)優(yōu)化目標(biāo)函數(shù)給合為一個(gè)定義成新的優(yōu)化目標(biāo)函數(shù) J,它依然是一個(gè)代價(jià)函數(shù),是特征 x和參數(shù) θ的函數(shù)。這種算法不再需要不...
協(xié)同過(guò)濾(collaborative filtering):能實(shí)現(xiàn)對(duì)特征的學(xué)習(xí),即這種算法能夠自行學(xué)習(xí)所要使用的特征。 示例假設(shè):假設(shè)采訪(fǎng)的每一位用戶(hù)告訴我們他們是否喜歡愛(ài)情...
一種構(gòu)造推薦系統(tǒng)的方法 :“基于內(nèi)容的推薦” 舉例:每一部電影都用一些特征來(lái)描述,假設(shè)每部電影有兩種特征,分別用x1和x2代表,x1表示這部電影,屬于愛(ài)情電影的程度;x2表示...
推薦系統(tǒng)兩方面的動(dòng)機(jī): 1.科技類(lèi)公司正試圖建立更好的推薦系統(tǒng),試圖向用戶(hù)推薦新產(chǎn)品。 2.對(duì)一些問(wèn)題而言,存在一些算法能試圖自動(dòng)地替你學(xué)習(xí)到一組優(yōu)良的特征量。 推薦系統(tǒng)舉例...
參數(shù)擬合問(wèn)題:標(biāo)準(zhǔn)公式是μ 等于你的訓(xùn)練樣本的平均值;Σ 實(shí)際上就是我們?cè)谑褂?PCA時(shí)的式子 多元高斯模型和單元高斯模型之間的關(guān)系是單元高斯模型對(duì)應(yīng)于一種多元高斯分布(多元...
不要把 p(x1) p(x2) 分開(kāi)建模,而要建立一個(gè)p(x) 整體的模型,就是一次性建立 p(x) 的模型。 改良版的異常檢測(cè)算法:多元高斯分布或者多元正態(tài)分布 多元高斯分...
如果數(shù)據(jù)的分布不同于高斯分布,則需要對(duì)數(shù)據(jù)進(jìn)行一些不同的轉(zhuǎn)換來(lái)確保這些數(shù)據(jù)看起來(lái)更像高斯分布。雖然通常來(lái)說(shuō)不這么做算法也會(huì)運(yùn)行地很好,但如果使用一些轉(zhuǎn)換方法,這會(huì)使你的數(shù)據(jù)更...
1. 異常檢測(cè):如果你有很少的正樣本,但有大量的負(fù)樣本,在對(duì) p(x) 進(jìn)行估計(jì)并且擬合那些高斯參數(shù)的過(guò)程中只需要負(fù)樣本,依然可以很好地?cái)M合 p(x)。 監(jiān)督學(xué)習(xí):監(jiān)督學(xué)習(xí)一...