訓(xùn)練大的數(shù)據(jù)集存在計(jì)算量的問(wèn)題。假設(shè)要訓(xùn)練一個(gè)線性回歸模型或者是邏輯回歸模型，?當(dāng)m是一個(gè)億的時(shí)候， 用求一億個(gè)項(xiàng)目總和的計(jì)算量來(lái)計(jì)算僅僅一步的梯度下降，這顯然效率不高。

在我們訓(xùn)練一個(gè)上億條數(shù)據(jù)的模型之前，也許可以隨機(jī)從上億條的數(shù)據(jù)集里選個(gè)一千條的子集用算法計(jì)算，畫學(xué)習(xí)曲線檢查小一些的數(shù)據(jù)集是不是好用。

學(xué)習(xí)曲線結(jié)果示例：

高方差的學(xué)習(xí)算法（左圖）：增加訓(xùn)練集的大小來(lái)提高性能

高偏差的學(xué)習(xí)算法（右圖）：增加樣本個(gè)數(shù)不一定會(huì)提高太多的性能，多加一些特征或者在你的神經(jīng)網(wǎng)絡(luò)里加一些隱藏的單元。以最后會(huì)變成高方差的學(xué)習(xí)算法，然后添加基礎(chǔ)設(shè)施來(lái)改進(jìn)算法，而不是用多于一千條數(shù)據(jù)來(lái)建模

學(xué)習(xí)曲線