隨著智能時代慢慢的到來，有一些基本概念都不知道真的是要落伍了，作為正在積極學習向上的青年，我想總結(jié)一份筆記，此份筆記會記錄眾多AI領(lǐng)域的術(shù)語和概念，當然，學一部分記錄一部分，并且可能會夾雜著自己的一些理解，希望大家多多賜教。目錄暫定以首字母的字典序排序。
A
準確率（accuracy）
分類模型預測準確的比例。
二分類問題中，準確率定義為：accuracy = (true positives + truenegatives)/all samples
多分類問題中，準確率定義為：accuracy = correct predictions/allsamples
激活函數(shù)（activation function）
一種函數(shù)，將前一層所有神經(jīng)元激活值的加權(quán)和 輸入到一個非線性函數(shù)中，然后作為下一層神經(jīng)元的輸入，例如ReLU或Sigmoid
AdaGrad
一種復雜的梯度下降算法，重新調(diào)節(jié)每個參數(shù)的梯度，高效地給每個參數(shù)一個單獨的學習率。
AUC（曲線下面積）
一種考慮到所有可能的分類閾值的評估標準。ROC曲線下面積代表分類器隨機預測真正類（Ture Positives）要比假正類（False Positives）概率大的確信度。
Adversarial example（對抗樣本）
Adversarial Networks（對抗網(wǎng)絡(luò)）
Artificial General Intelligence/AGI（通用人工智能）
Attention mechanism（注意力機制）
Autoencoder（自編碼器）
Automatic summarization（自動摘要）
Average gradient（平均梯度）
Average-Pooling（平均池化）
B
反向傳播（Backpropagation/BP）
神經(jīng)網(wǎng)絡(luò)中完成梯度下降的重要算法。首先，在前向傳播的過程中計算每個節(jié)點的輸出值。然后，在反向傳播的過程中計算與每個參數(shù)對應的誤差的偏導數(shù)。
基線（Baseline）
被用為對比模型表現(xiàn)參考的簡單模型?；€幫助模型開發(fā)者量化模型在特定問題上的預期表現(xiàn)。
批量（Batch）
模型訓練中一個迭代（指一次梯度更新）使用的樣本集。
批量大小（Batch size）
一個批量中樣本的數(shù)量。例如，SGD的批量大小為1，而mini-batch的批量大小通常在10-1000之間。批量大小通常在訓練與推理的過程中確定，TensorFlow不允許動態(tài)批量大小
偏置（Bias）
與原點的截距或偏移量。偏置（也稱偏置項）在機器學習模型中一般用b或者w0表示。例如，偏置項是以下公式中的b：y′=b+w_1x_1+w_2x_2+…w_nx_n
二元分類器（Binary classification）
一類分類任務，輸出兩個互斥類別中的一個。比如垃圾郵件檢測。
詞袋（Bag of words/Bow）
基學習器（Base learner）
基學習算法（Base learning algorithm）
貝葉斯網(wǎng)絡(luò)（Bayesian network）
基準（Bechmark）
信念網(wǎng)絡(luò)（Belief network）
二項分布（Binomial distribution）
玻爾茲曼機（Boltzmann machine）
自助采樣法／可重復采樣／有放回采樣（Bootstrap sampling）
廣播（Broadcasting）
C
類別（Class）
所有同類屬性的目標值作為一個標簽。
分類模型（classification）
機器學習模型的一種，將數(shù)據(jù)分離為兩個或多個離散類別。
收斂（convergence）
訓練過程達到的某種狀態(tài)，其中訓練損失和驗證損失在經(jīng)過了確定的迭代次數(shù)后，在每一次迭代中，改變很小或完全不變。換句話說就是，當對當前數(shù)據(jù)繼續(xù)訓練而無法再提升模型的表現(xiàn)水平的時候，就稱模型已經(jīng)收斂。在深度學習中，損失值下降之前，有時候經(jīng)過多次迭代仍保持常量或者接近常量，會造成模型已經(jīng)收斂的錯覺。
凸函數(shù)（concex function）
一種形狀大致呈字母U形或碗形的函數(shù)。然而，在退化情形中，凸函數(shù)的形狀就像一條線。例如，以下幾個函數(shù)都是凸函數(shù)：
L2損失函數(shù)
Log損失函數(shù)
L1正則化函數(shù)
L2正則化函數(shù)
凸函數(shù)是很常用的損失函數(shù)。因為當一個函數(shù)有最小值的時候（通常就是這樣），梯度下降的各種變化都能保證找到接近函數(shù)最小值的點。類似的，隨機梯度下降的各種變化有很大的概率（雖然無法保證）找到接近函數(shù)最小值的點。
兩個凸函數(shù)相加（比如，L2損失函數(shù)+L1正則化函數(shù)）后仍然是凸函數(shù)。
深度模型通常是非凸的。出乎意料的是，以凸優(yōu)化的形式設(shè)計的算法通常都能在深度網(wǎng)絡(luò)上工作的很好，雖然很少能找到最小值。
成本（cost）
loss的同義詞。深度學習模型一般都會定義自己的loss函數(shù)。
交叉熵（cross-entropy）
多類別分類問題中對Log損失函數(shù)的推廣。交叉熵量化兩個概率分布之間的區(qū)別。
條件熵（Conditional entropy）
條件隨機場（Conditional random field/CRF）
置信度（Confidence）
共軛方向(Conjugate directions)
共軛分布(Conjugate distribution)
共軛梯度(Conjugate gradient)
卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network/CNN）
余弦相似度（Cosine similarity）
成本函數(shù)（Cost Function）
曲線擬合（Curve-fitting）
D
數(shù)據(jù)集（data set）
樣本的集合
深度模型（deep model）
一種包含多個隱藏層的神經(jīng)網(wǎng)絡(luò)。深度模型依賴于其可訓練的非線性性質(zhì)。和寬度模型對照（wide
model）。
dropout正則化（dropout
regularization）
訓練神經(jīng)網(wǎng)絡(luò)時一種有用的正則化方法。dropout正則化的過程是在單次梯度計算中刪去一層網(wǎng)絡(luò)中隨機選取的固定數(shù)量的單元。刪去的單元越多，正則化越強。
數(shù)據(jù)挖掘（Data mining）
決策樹/判定樹（Decision
tree）
深度神經(jīng)網(wǎng)絡(luò)（Deep neural network/DNN）
狄利克雷分布（Dirichlet distribution）
判別模型（Discriminative model）
下采樣（Down sampling）
動態(tài)規(guī)劃（Dynamic programming）
E
早期停止法（early stopping）
一種正則化方法，在訓練損失完成下降之前停止模型訓練過程。當驗證數(shù)據(jù)集（validation
data set）的損失開始上升的時候，即泛化表現(xiàn)變差的時候，就該使用早期停止法了。
嵌入（embeddings）
一類表示為連續(xù)值特征的明確的特征。嵌入通常指將高維向量轉(zhuǎn)換到低維空間中。
例如，將一個英語句子中的單詞以以下任何一種方式表示：
1.擁有百萬數(shù)量級（高維）的元素的稀疏向量，其中所有的元素都是整數(shù)。向量的每一個單元（維度）表示一個單獨的英語單詞，單元中的數(shù)字表示該單詞在一個句子中出現(xiàn)的次數(shù)。由于一個句子中的單詞通常不會超過50個，向量中幾乎所有的單元都是0。少量的非零的單元將取一個小的整數(shù)值（通常為1）表示句子中一個單詞的出現(xiàn)次數(shù)。
2.擁有數(shù)百個（低維）元素的密集向量，其中每一個元素取0到1之間的浮點數(shù)。
在TensorFlow中，嵌入是通過反向傳播損失訓練的，正如神經(jīng)網(wǎng)絡(luò)的其它參量一樣。
經(jīng)驗風險最小化（empirical risk minimization，ERM）
選擇能最小化訓練數(shù)據(jù)的損失的模型函數(shù)的過程。和結(jié)構(gòu)風險最小化（structual
risk minimization）對照。
集成（ensemble）
多個模型預測的綜合考慮。可以通過以下一種或幾種方法創(chuàng)建一個集成方法：
設(shè)置不同的初始化；
設(shè)置不同的超參量；
設(shè)置不同的總體結(jié)構(gòu)。
深度和廣度模型是一種集成。
樣本（example）
一個數(shù)據(jù)集的一行內(nèi)容。一個樣本包含了一個或多個特征，也可能是一個標簽。參見標注樣本（labeled
example）和無標注樣本（unlabeled example）。
F
假負類（false negative，F(xiàn)N）
被模型錯誤的預測為負類的樣本。例如，模型推斷一封郵件為非垃圾郵件（負類），但實際上這封郵件是垃圾郵件。
假正類（false positive，F(xiàn)P）
被模型錯誤的預測為正類的樣本。例如，模型推斷一封郵件為垃圾郵件（正類），但實際上這封郵件是非垃圾郵件。
假正類率（false positive rate，F(xiàn)P rate）
ROC曲線（ROC curve）中的x軸。FP率的定義是：假正率=假正類數(shù)/(假正類數(shù)+真負類數(shù))
特征工程（feature engineering）
在訓練模型的時候，決定哪些特征是有用的，然后將記錄文件和其它來源的原始數(shù)據(jù)轉(zhuǎn)換成上述特征的過程。
前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks/FNN）
G
泛化（generalization）
指模型利用新的沒見過的數(shù)據(jù)而不是用于訓練的數(shù)據(jù)作出正確的預測的能力。
廣義線性模型（generalized linear model）
最小二乘回歸模型的推廣/泛化，基于高斯噪聲，相對于其它類型的模型（基于其它類型的噪聲，比如泊松噪聲，或類別噪聲）。廣義線性模型的例子包括：
logistic回歸
多分類回歸
最小二乘回歸
廣義線性模型的參數(shù)可以通過凸優(yōu)化得到，它具有以下性質(zhì)：
最理想的最小二乘回歸模型的平均預測結(jié)果等于訓練數(shù)據(jù)的平均標簽。
最理想的logistic回歸模型的平均概率的預測結(jié)果等于訓練數(shù)據(jù)的平均標簽。
廣義線性模型的能力局限于其特征的性質(zhì)。和深度模型不同，一個廣義線性模型無法「學習新的特征」。
梯度（gradient）
所有變量的偏導數(shù)的向量。在機器學習中，梯度是模型函數(shù)的偏導數(shù)向量。梯度指向最陡峭的上升路線。
梯度截斷（gradient clipping）
在應用梯度之前先修飾數(shù)值，梯度截斷有助于確保數(shù)值穩(wěn)定性，防止梯度爆炸出現(xiàn)。
梯度下降（gradient descent）
通過計算模型的相關(guān)參量和損失函數(shù)的梯度最小化損失函數(shù)，值取決于訓練數(shù)據(jù)。梯度下降迭代地調(diào)整參量，逐漸靠近權(quán)重和偏置的最佳組合，從而最小化損失函數(shù)。
圖（graph）
在TensorFlow中的一種計算過程展示。圖中的節(jié)點表示操作。節(jié)點的連線是有指向性的，表示傳遞一個操作（一個張量）的結(jié)果（作為一個操作數(shù)）給另一個操作。使用TensorBoard能可視化計算圖。
高斯核函數(shù)（Gaussian kernel function）
高斯混合模型（Gaussian Mixture Model）
高斯過程（Gaussian Process）
泛化誤差（Generalization error）
生成模型（Generative Model）
遺傳算法（Genetic Algorithm/GA）
吉布斯采樣（Gibbs sampling）
基尼指數(shù)（Gini index）
梯度下降（Gradient Descent）
H
啟發(fā)式（heuristic）
一個問題的實際的和非最優(yōu)的解，但能從學習經(jīng)驗中獲得足夠多的進步。
隱藏層（hidden layer）
神經(jīng)網(wǎng)絡(luò)中位于輸入層（即特征）和輸出層（即預測）之間的合成層。一個神經(jīng)網(wǎng)絡(luò)包含一個或多個隱藏層。
超參數(shù)（hyperparameter）
連續(xù)訓練模型的過程中可以擰動的「旋鈕」。例如，相對于模型自動更新的參數(shù)，學習率（learning
rate）是一個超參數(shù)。和參量對照。
硬間隔（Hardmargin）
隱馬爾可夫模型（Hidden Markov Model/HMM）
層次聚類（Hierarchical clustering）
假設(shè)檢驗（Hypothesis test）
I
獨立同分布（independently and identically
distributed，i.i.d）
從不會改變的分布中獲取的數(shù)據(jù)，且獲取的每個值不依賴于之前獲取的值。i.i.d.是機器學習的理想情況——一種有用但在現(xiàn)實世界中幾乎找不到的數(shù)學構(gòu)建。例如，網(wǎng)頁訪客的分布可能是短暫時間窗口上的i.i.d；即分布不會在該時間窗口發(fā)生改變，每個人的訪問都與其他人的訪問獨立。但是，如果你擴展了時間窗口，則會出現(xiàn)網(wǎng)頁訪客的季節(jié)性差異。
推斷（inference）
在機器學習中，通常指將訓練模型應用到無標注樣本來進行預測的過程。在統(tǒng)計學中，推斷指在觀察到的數(shù)據(jù)的基礎(chǔ)上擬合分布參數(shù)的過程。
輸入層（input layer）
神經(jīng)網(wǎng)絡(luò)的第一層（接收輸入數(shù)據(jù)）。
評分者間一致性（inter-rater agreement）
用來衡量一項任務中人類評分者意見一致的指標。如果意見不一致，則任務說明可能需要改進。有時也叫標注者間信度（inter-annotator agreement）或評分者間信度（inter-rater
reliability）。
增量學習（Incremental learning）
獨立成分分析（Independent Component Analysis/ICA）
獨立子空間分析（Independent subspace analysis）
信息熵（Information entropy）
信息增益（Information gain）
J
JS散度（Jensen-Shannon
Divergence/JSD）
K
Kernel支持向量機（Kernel
Support Vector Machines/KSVM）
一種分類算法，旨在通過將輸入數(shù)據(jù)向量映射到更高維度的空間使正類和負類之間的邊際最大化。例如，考慮一個輸入數(shù)據(jù)集包含一百個特征的分類問題。為了使正類和負類之間的間隔最大化，KSVM從內(nèi)部將特征映射到百萬維度的空間。KSVM使用的損失函數(shù)叫作hinge損失。
核方法（Kernel method）
核技巧（Kernel trick）
k折交叉驗證／k倍交叉驗證（K-fold cross validation）
K -均值聚類（K-Means
Clustering）
K近鄰算法（K-Nearest
Neighbours Algorithm/KNN）
知識圖譜（Knowledge graph）
知識庫（Knowledge base）
知識表征（Knowledge Representation）
L
L1損失函數(shù)（L1 loss）
損失函數(shù)基于模型對標簽的預測值和真實值的差的絕對值而定義。L1損失函數(shù)比起L2損失函數(shù)對異常值的敏感度更小。
L1正則化（L1
regularization）
一種正則化，按照權(quán)重絕對值總和的比例進行懲罰。在依賴稀疏特征的模型中，L1正則化幫助促使（幾乎）不相關(guān)的特征的權(quán)重趨近于0，從而從模型中移除這些特征。
L2損失（L2 loss）
參見平方損失。
L2正則化（L2
regularization）
一種正則化，按照權(quán)重平方的總和的比例進行懲罰。L2正則化幫助促使異常值權(quán)重更接近0而不趨近于0。（可與L1正則化對照閱讀。）L2正則化通常改善線性模型的泛化效果。
標簽（label）
在監(jiān)督式學習中，樣本的「答案」或「結(jié)果」。標注數(shù)據(jù)集中的每個樣本包含一或多個特征和一個標簽。比如，在房屋數(shù)據(jù)集中，特征可能包括臥室數(shù)量、衛(wèi)生間數(shù)量、房齡，而標簽可能就是房子的價格。在垃圾郵件檢測數(shù)據(jù)集中，特征可能包括主題、發(fā)出者何郵件本身，而標簽可能是「垃圾郵件」或「非垃圾郵件」。
標注樣本（labeled example）
包含特征和標簽的樣本。在監(jiān)督式訓練中，模型從標注樣本中進行學習。
學習率（learning rate）
通過梯度下降訓練模型時使用的一個標量。每次迭代中，梯度下降算法使學習率乘以梯度，乘積叫作gradient step。
學習率是一個重要的超參數(shù)。
最小二乘回歸（least squares regression）
通過L2損失最小化進行訓練的線性回歸模型。
線性回歸（linear regression）
對輸入特征的線性連接輸出連續(xù)值的一種回歸模型。
logistic回歸（logistic
regression）
將sigmoid函數(shù)應用于線性預測，在分類問題中為每個可能的離散標簽值生成概率的模型。盡管logistic回歸常用于二元分類問題，但它也用于多類別分類問題（這種情況下，logistic回歸叫作「多類別logistic回歸」或「多項式 回歸」。
對數(shù)損失函數(shù)（Log Loss）
二元logistic回歸模型中使用的損失函數(shù)。
損失
度量模型預測與標簽距離的指標，它是度量一個模型有多糟糕的指標。為了確定損失值，模型必須定義損失函數(shù)。例如，線性回歸模型通常使用均方差作為損失函數(shù)，而logistic回歸模型使用對數(shù)損失函數(shù)。
隱狄利克雷分布（Latent Dirichlet Allocation/LDA）
潛在語義分析（Latent semantic analysis）
線性判別（Linear Discriminant Analysis/LDA）
長短期記憶（Long-Short Term Memory/LSTM）
M
機器學習（machine learning）
利用輸入數(shù)據(jù)構(gòu)建（訓練）預測模型的項目或系統(tǒng)。該系統(tǒng)使用學習的模型對與訓練數(shù)據(jù)相同分布的新數(shù)據(jù)進行有用的預測。機器學習還指與這些項目或系統(tǒng)相關(guān)的研究領(lǐng)域。
均方誤差（Mean Squared Error/MSE）
每個樣本的平均平方損失。MSE可以通過平方損失除以樣本數(shù)量來計算。TensorFlow Playground展示「訓練損失」和「測試損失」的值是MSE。
小批量（mini-batch）
在訓練或推斷的一個迭代中運行的整批樣本的一個小的隨機選擇的子集。小批量的大小通常在10到1000之間。在小批量數(shù)據(jù)上計算損失比在全部訓練數(shù)據(jù)上計算損失要高效的多。
機器翻譯（Machine translation/MT）
馬爾可夫鏈蒙特卡羅方法（Markov Chain Monte Carlo/MCMC）
馬爾可夫隨機場（Markov Random Field）
多文檔摘要（Multi-document summarization）
多層感知器（Multilayer Perceptron/MLP）
多層前饋神經(jīng)網(wǎng)絡(luò)（Multi-layer feedforward neural
networks）
N
NaN trap
訓練過程中，如果模型中的一個數(shù)字變成了NaN，則模型中的很多或所有其他數(shù)字最終都變成NaN。NaN是「Not a
Number」的縮寫。
神經(jīng)網(wǎng)絡(luò)（neural network）
該模型從大腦中獲取靈感，由多個層組成（其中至少有一個是隱藏層），每個層包含簡單的連接單元或神經(jīng)元，其后是非線性。
神經(jīng)元（neuron）
神經(jīng)網(wǎng)絡(luò)中的節(jié)點，通常輸入多個值，生成一個輸出值。神經(jīng)元通過將激活函數(shù)（非線性轉(zhuǎn)換）應用到輸入值的加權(quán)和來計算輸出值。
歸一化（normalization）
將值的實際區(qū)間轉(zhuǎn)化為標準區(qū)間的過程，標準區(qū)間通常是-1到+1或0到1。例如，假設(shè)某個特征的自然區(qū)間是800到6000。通過減法和分割，你可以把那些值標準化到區(qū)間-1到+1。參見縮放。
numpy
Python中提供高效數(shù)組運算的開源數(shù)學庫。pandas基于numpy構(gòu)建。
Naive bayes|樸素貝葉斯
Naive Bayes Classifier|樸素貝葉斯分類器
Named entity recognition|命名實體識別
Natural language generation/NLG|自然語言生成
Natural language processing|自然語言處理
Norm|范數(shù)
O
目標（objective）
算法嘗試優(yōu)化的目標函數(shù)。
one-hot編碼（one-hot
encoding）
一個稀疏向量，其中：
一個元素設(shè)置為1。
所有其他的元素設(shè)置為0。
獨熱編碼常用于表示有有限可能值集合的字符串或標識符。例如，假設(shè)一個記錄了15000個不同品種的植物數(shù)據(jù)集，每一個用獨特的字符串標識符來表示。作為特征工程的一部分，你可能將那些字符串標識符進行獨熱編碼，每個向量的大小為15000。
一對多（one-vs.-all）
給出一個有N個可能解決方案的分類問題，一對多解決方案包括N個獨立的二元分類器——每個可能的結(jié)果都有一個二元分類器。例如，一個模型將樣本分為動物、蔬菜或礦物，則一對多的解決方案將提供以下三種獨立的二元分類器：
動物和非動物
蔬菜和非蔬菜
礦物和非礦物
過擬合（overfitting）
創(chuàng)建的模型與訓練數(shù)據(jù)非常匹配，以至于模型無法對新數(shù)據(jù)進行正確的預測
Oversampling|過采樣
P
pandas
一種基于列的數(shù)據(jù)分析API。很多機器學習框架，包括TensorFlow，支持pandas數(shù)據(jù)結(jié)構(gòu)作為輸入。參見pandas文檔。
參數(shù)（parameter）
機器學習系統(tǒng)自行訓練的模型的變量。例如，權(quán)重是參數(shù)，它的值是機器學習系統(tǒng)通過連續(xù)的訓練迭代逐漸學習到的?？膳c超參數(shù)對照閱讀。
性能（performance）
具有多種含義：
在軟件工程中的傳統(tǒng)含義：軟件運行速度有多快／高效？
在機器學習中的含義：模型的準確率如何？即，模型的預測結(jié)果有多好？
困惑度（perplexity）
對模型完成任務的程度的一種度量指標。例如，假設(shè)你的任務是閱讀用戶在智能手機上輸入的單詞的頭幾個字母，并提供可能的完整單詞列表。該任務的困惑度（perplexity，P）是為了列出包含用戶實際想輸入單詞的列表你需要進行的猜測數(shù)量。
流程（pipeline）
機器學習算法的基礎(chǔ)架構(gòu)。管道包括收集數(shù)據(jù)、將數(shù)據(jù)放入訓練數(shù)據(jù)文件中、訓練一或多個模型，以及最終輸出模型。
Principal component analysis/PCA|主成分分析、
Precision|查準率／準確率
Prior knowledge|先驗知識
Q
Quasi Newton method|擬牛頓法
R
召回率（recall）
回歸模型（regression model）
一種輸出持續(xù)值（通常是浮點數(shù)）的模型。而分類模型輸出的是離散值，如「day lily」或「tiger lily」。
正則化（regularization）
對模型復雜度的懲罰。正則化幫助防止過擬合。正則化包括不同種類：
L1正則化
L2正則化
dropout正則化
early stopping（這不是正式的正則化方法，但可以高效限制過擬合）
正則化率（regularization rate）
一種標量級，用lambda來表示，指正則函數(shù)的相對重要性。從下面這個簡化的損失公式可以看出正則化率的作用：
minimize(loss function + λ(regularizationfunction))
提高正則化率能夠降低過擬合，但可能會使模型準確率降低。
表征
將數(shù)據(jù)映射到有用特征的過程。
受試者工作特征曲線（receiver operating
characteristic/ROC Curve）
反映在不同的分類閾值上，真正類率和假正類率的比值的曲線。參見AUC。
Recurrent Neural Network|循環(huán)神經(jīng)網(wǎng)絡(luò)|
Recursive neural network|遞歸神經(jīng)網(wǎng)絡(luò)
Reinforcement learning/RL|強化學習
Re-sampling|重采樣法
Representation learning|表征學習
Random Forest Algorithm|隨機森林算法
S
縮放（scaling）
特征工程中常用的操作，用于控制特征值區(qū)間，使之與數(shù)據(jù)集中其他特征的區(qū)間匹配。例如，假設(shè)你想使數(shù)據(jù)集中所有的浮點特征的區(qū)間為0到1。給定一個特征區(qū)間是0到500，那么你可以通過將每個值除以500，縮放特征值區(qū)間。還可參見正則化。
scikit-learn
一種流行的開源機器學習平臺。網(wǎng)址：www.scikit-learn.org
序列模型（sequence model）
輸入具有序列依賴性的模型。例如，根據(jù)之前觀看過的視頻序列對下一個視頻進行預測。
Sigmoid函數(shù)（sigmoid
function）
softmax
為多類別分類模型中每個可能的類提供概率的函數(shù)。概率加起來的總和是1.0。例如，softmax可能檢測到某個圖像是一只狗的概率為0.9，是一只貓的概率為0.08，是一匹馬的概率為0.02。（也叫作full softmax）。
結(jié)構(gòu)風險最小化（structural risk minimization/SRM）
這種算法平衡兩個目標：
構(gòu)建預測性最強的模型（如最低損失）。
使模型盡量保持簡單（如強正則化）。
比如，在訓練集上的損失最小化+正則化的模型函數(shù)就是結(jié)構(gòu)風險最小化算法。更多信息，參見http://www.svms.org/srm/。可與經(jīng)驗風險最小化對照閱讀。
監(jiān)督式機器學習（supervised machine learning）
利用輸入數(shù)據(jù)及其對應標簽來訓練模型。監(jiān)督式機器學習類似學生通過研究問題和對應答案進行學習。在掌握問題和答案之間的映射之后，學生就可以提供同樣主題的新問題的答案了?？膳c非監(jiān)督機器學習對照閱讀。
Similarity measure|相似度度量
Singular Value Decomposition|奇異值分解
oft margin|軟間隔|[1]
Soft margin maximization|軟間隔最大化
Support Vector Machine/SVM|支持向量機
T
張量（tensor）
TensorFlow項目的主要數(shù)據(jù)結(jié)構(gòu)。張量是N維數(shù)據(jù)結(jié)構(gòu)（N的值很大），經(jīng)常是標量、向量或矩陣。張量可以包括整數(shù)、浮點或字符串值。
Transfer learning|遷移學習
U
無標簽樣本（unlabeled example）
包含特征但沒有標簽的樣本。無標簽樣本是推斷的輸入。在半監(jiān)督學習和無監(jiān)督學習的訓練過程中，通常使用無標簽樣本。
無監(jiān)督機器學習（unsupervised machine learning）
訓練一個模型尋找數(shù)據(jù)集（通常是無標簽數(shù)據(jù)集）中的模式。
無監(jiān)督機器學習最常用于將數(shù)據(jù)分成幾組類似的樣本。例如，無監(jiān)督機器學習算法可以根據(jù)音樂的各種屬性聚類數(shù)據(jù)。用這種方式收集的數(shù)據(jù)可以作為其他機器學習算法（如音樂推薦服務）的輸入。聚類在難以獲取真正標簽的情景中非常有用。例如，在反欺詐和反濫用的情景中，聚類可以幫助人類更好地理解數(shù)據(jù)。
無監(jiān)督機器學習的另一個例子是主成分分析（principal component
analysis，PCA）。如，將PCA應用于包含數(shù)百萬購物車內(nèi)容的數(shù)據(jù)集中時，就有可能發(fā)現(xiàn)有檸檬的購物車往往也有解酸劑?？膳c監(jiān)督式機器學習對照閱讀。
W
Word embedding|詞嵌入
Word sense disambiguation|詞義消歧
s'?l_??>u???(?
