原文章為scikit-learn中"用戶指南"-->"監(jiān)督學(xué)習(xí)的第三節(jié)：Kernel ridge regression"######

核嶺回歸（KRR） [M2012]是使用了核技巧與 嶺回歸（使用L2范數(shù)正則化的線性最小二乘法）結(jié)合而成。也因此它是學(xué)習(xí)由相應(yīng)的核和數(shù)據(jù)的空間中的線性函數(shù)。對于非線性核，這對應(yīng)原始空間中的非線性函數(shù)。

KernelRidge
模型被證明為是支持向量回歸（SVR）的。然而，可以使用不同的損失函數(shù)：KRR使用平方誤差損失而支持向量回歸使用** ε不敏感損失** ，并且他們都結(jié)合了L2正規(guī)化。相比于** SVR，其使用封閉形式來擬合 KernelRidge
，并且對于中型數(shù)據(jù)集通常更快。在另一方面，因為經(jīng)過學(xué)習(xí)后的模型是非稀疏的，所以在處理方面要比 SVR 慢，因為SVR在預(yù)測期間是在 ε > 0 情況下學(xué)習(xí)稀疏模型。
下面的圖表比較了 KernelRidge
和 SVR **在一個人工數(shù)據(jù)集的預(yù)測，其份數(shù)據(jù)是由（符合）正弦函數(shù)的數(shù)據(jù)和每五個數(shù)據(jù)點中就加入強(qiáng)噪音組成的。在畫出的 KernelRidge
和 ** SVR 模型圖里，他們的復(fù)雜性/正則化和RBF核的頻寬都已經(jīng)通過網(wǎng)格搜索算法設(shè)置了最佳值。他們的學(xué)習(xí)函數(shù)十分相似，但是 KernelRidge
的擬合是近似的。（KRR）的擬合速度是擬合 SVR 的七倍（均使用了網(wǎng)格搜索）。然而在預(yù)測10萬個目標(biāo)值的時候只比 SVR **的擬合速度高出三倍，因為其只是使用了大概的稀疏模型。
在訓(xùn)練集中，每100個數(shù)據(jù)點中都有三分之一的數(shù)據(jù)為支持向量。

SVR與KRR的擬合對比

下一張圖表比較了在不同的數(shù)據(jù)集規(guī)模中，KernelRidge
和 ** SVR 的擬合和預(yù)測耗時。在中等規(guī)模下的訓(xùn)練集（樣本數(shù)量小于1000） KernelRidge
的擬合比起 SVR 要快；但是在大規(guī)模訓(xùn)練集時則是 SVR 要快。在預(yù)測時間方面，無論數(shù)據(jù)集有多大，SVR 要比 KernelRidge
快，因為其是使用了稀疏解。但是要注意的是，SVR 的稀疏度和預(yù)測時間都取決于其參數(shù) ε 與 C 。當(dāng) ε = 0 **時會代表其是個密集模型。

KRR與SVR的時間對比

引用
M2012. 　“Machine Learning: A Probabilistic Perspective” Murphy, K. P. - chapter 14.4.3, pp. 492-493, The MIT Press, 2012

（在嘗試翻譯這篇文檔的時候難免會因為各種問題而出現(xiàn)錯翻，如果發(fā)現(xiàn)的話，煩請指出，謝謝> <）