摘自谷歌推出的《機器學習速成課程》

1、A/B 測試 (A/B testing)

一種統(tǒng)計方法，用于將兩種或多種技術(shù)進行比較，通常是將當前采用的技術(shù)與新技術(shù)進行比較。A/B 測試不僅旨在確定哪種技術(shù)的效果更好，而且還有助于了解相應(yīng)差異是否具有顯著的統(tǒng)計意義。A/B 測試通常是采用一種衡量方式對兩種技術(shù)進行比較，但也適用于任意有限數(shù)量的技術(shù)和衡量方式。

2、準確率 (accuracy)

分類模型的正確預(yù)測所占的比例。在多類別分類中，準確率的定義如下：

在二元分類中，準確率的定義如下：

3、激活函數(shù) (activation function)

一種函數(shù)（例如 ReLU 或 S 型函數(shù)），用于對上一層的所有輸入求加權(quán)和，然后生成一個輸出值（通常為非線性值），并將其傳遞給下一層。

4、反向傳播算法 (backpropagation)

在神經(jīng)網(wǎng)絡(luò)上執(zhí)行梯度下降法的主要算法。該算法會先按前向傳播方式計算（并緩存）每個節(jié)點的輸出值，然后再按反向傳播遍歷圖的方式計算損失函數(shù)值相對于每個參數(shù)的偏導數(shù)。

5、基準 (baseline)

一種簡單的模型或啟發(fā)法，用作比較模型效果時的參考點?；鶞视兄谀Ｐ烷_發(fā)者針對特定問題量化最低預(yù)期效果。

6、偏差 (bias)

距離原點的截距或偏移。偏差（也稱為偏差項）在機器學習模型中以 b 或 w0 表示。例如，在下面的公式中，偏差為 b：

7、二元分類 (binary classification)

一種分類任務(wù)，可輸出兩種互斥類別之一。例如，對電子郵件進行評估并輸出“垃圾郵件”或“非垃圾郵件”的機器學習模型就是一個二元分類器。

8、分桶 (bucketing)

將一個特征（通常是連續(xù)特征）轉(zhuǎn)換成多個二元特征（稱為桶或箱），通常是根據(jù)值區(qū)間進行轉(zhuǎn)換。例如，您可以將溫度區(qū)間分割為離散分箱，而不是將溫度表示成單個連續(xù)的浮點特征。假設(shè)溫度數(shù)據(jù)可精確到小數(shù)點后一位，則可以將介于 0.0 到 15.0 度之間的所有溫度都歸入一個分箱，將介于 15.1 到 30.0 度之間的所有溫度歸入第二個分箱，并將介于 30.1 到 50.0 度之間的所有溫度歸入第三個分箱。

9、校準層 (calibration layer)

一種預(yù)測后調(diào)整，通常是為了降低預(yù)測偏差。調(diào)整后的預(yù)測和概率應(yīng)與觀察到的標簽集的分布一致。

10、分類數(shù)據(jù) (categorical data)

一種特征，擁有一組離散的可能值。以某個名為 house style 的分類特征為例，該特征擁有一組離散的可能值（共三個），即 Tudor, ranch, colonial。通過將 house style 表示成分類數(shù)據(jù)，相應(yīng)模型可以學習 Tudor、ranch 和 colonial 分別對房價的影響。

有時，離散集中的值是互斥的，只能將其中一個值應(yīng)用于指定樣本。例如，car maker 分類特征可能只允許一個樣本有一個值 (Toyota)。在其他情況下，則可以應(yīng)用多個值。一輛車可能會被噴涂多種不同的顏色，因此，car color 分類特征可能會允許單個樣本具有多個值（例如 red 和 white）。

11、類別 (class)

為標簽枚舉的一組目標值中的一個。例如，在檢測垃圾郵件的二元分類模型中，兩種類別分別是“垃圾郵件”和“非垃圾郵件”。在識別狗品種的多類別分類模型中，類別可以是“貴賓犬”、“小獵犬”、“哈巴犬”等等。

12、分類模型 (classification model)

一種機器學習模型，用于區(qū)分兩種或多種離散類別。例如，某個自然語言處理分類模型可以確定輸入的句子是法語、西班牙語還是意大利語。

13、分類閾值 (classification threshold)

一種標量值條件，應(yīng)用于模型預(yù)測的得分，旨在將正類別與負類別區(qū)分開。將邏輯回歸結(jié)果映射到二元分類時使用。以某個邏輯回歸模型為例，該模型用于確定指定電子郵件是垃圾郵件的概率。如果分類閾值為 0.9，那么邏輯回歸值高于 0.9 的電子郵件將被歸類為“垃圾郵件”，低于 0.9 的則被歸類為“非垃圾郵件”。

14、協(xié)同過濾 (collaborative filtering)

根據(jù)很多其他用戶的興趣來預(yù)測某位用戶的興趣。協(xié)同過濾通常用在推薦系統(tǒng)中。

15、混淆矩陣 (confusion matrix)

一種 NxN 表格，用于總結(jié)分類模型的預(yù)測成效；即標簽和模型預(yù)測的分類之間的關(guān)聯(lián)。在混淆矩陣中，一個軸表示模型預(yù)測的標簽，另一個軸表示實際標簽。N 表示類別個數(shù)。在二元分類問題中，N=2。例如，下面顯示了一個二元分類問題的混淆矩陣示例：

上面的混淆矩陣顯示，在 19 個實際有腫瘤的樣本中，該模型正確地將 18 個歸類為有腫瘤（18 個真正例），錯誤地將 1 個歸類為沒有腫瘤（1 個假負例）。同樣，在 458 個實際沒有腫瘤的樣本中，模型歸類正確的有 452 個（452 個真負例），歸類錯誤的有 6 個（6 個假正例）。

多類別分類問題的混淆矩陣有助于確定出錯模式。例如，某個混淆矩陣可以揭示，某個經(jīng)過訓練以識別手寫數(shù)字的模型往往會將 4 錯誤地預(yù)測為 9，將 7 錯誤地預(yù)測為 1?；煜仃嚢嬎愀鞣N效果指標（包括精確率和召回率）所需的充足信息。

16、收斂 (convergence)

通俗來說，收斂通常是指在訓練期間達到的一種狀態(tài)，即經(jīng)過一定次數(shù)的迭代之后，訓練損失和驗證損失在每次迭代中的變化都非常小或根本沒有變化。也就是說，如果采用當前數(shù)據(jù)進行額外的訓練將無法改進模型，模型即達到收斂狀態(tài)。在深度學習中，損失值有時會在最終下降之前的多次迭代中保持不變或幾乎保持不變，暫時形成收斂的假象。