K-近鄰
步驟:
1、初始化距離為最大值
2、計算未知樣本和每個訓練樣本的距離dist
3、得到目前k個最鄰近樣本中的最大距離maxdist
4、如果dist小于maxdist，則將該訓練樣本作為K-最鄰近樣本
5、重復步驟2～4，直到未知樣本和所有訓練樣本的距離都算完
6、統(tǒng)計K個最鄰近樣本中每個類別出現(xiàn)的次數(shù)
7、選擇出現(xiàn)頻率最大的類別作為未知樣本的類別
貝葉斯分類
貝葉斯定理能夠告訴我們如何利用新證據(jù)修改已有看法。
原理：對于給出的待分項，求解在此項出現(xiàn)的條件下各個類別出現(xiàn)的概率，哪個最大，就認為此待分項屬于哪個類別。
步驟：
1、設x = {a1,a2,...am}為一個待分項類，而每個a為x的一個特征屬性
2、有類別集合C = {y1,y2,...yn}
3、計算P(y1|x)，P(y2|x),...P(yn|x)
4、如果P(yk|x) = max{P(y1|x)，P(y2|x),...P(yn|x)},則x屬于yk
神經網絡模型
神經網絡通常需要訓練，訓練的過程就是網絡進行學習的過程，訓練改變了網絡節(jié)點的連接權的值使其具有分類功能，經過訓練的網絡就可以用于對象的識別。
步驟：
1、令D={(x,y),i=1,2,...n}是訓練樣例集。
2、用隨機值初始化權值向量w
3、對每個訓練樣例（x，y）計算預測輸出y
4、對每個權值w更新權值wj = wj+r（yi-yik）xij
5、重復步驟3，4直至滿足終止條件
邏輯斯蒂
判別分析原理
支持向量機
SVM：構建了一個分割兩類的超平面，在構建過程中，SVM算法試圖使兩類之間的分割達到最大化。
