我們的SVM算法在前面的十講中已經(jīng)基本介紹完畢了,現(xiàn)在還剩下兩個小問題,一個是SVM的損失函數(shù)問題,一個是求解α的SMO算法。這一講我們先來介紹一下SVM的損失函數(shù)。
1、Hinge損失函數(shù)
首先我們來看什么是合頁損失函數(shù)(hinge loss function):

hinge loss function
下標”+”表示以下取正值的函數(shù),我們用z表示中括號中的部分:

也就是說,數(shù)據(jù)點如果被正確分類,損失為0,如果沒有被正確分類,損失為z。
合頁損失函數(shù)如下圖所示:

2、SVM損失函數(shù)
SVM的損失函數(shù)就是合頁損失函數(shù)加上正則化項:

損失函數(shù)