線性判斷分析(LDA)： LDA是一種基于分類模型進(jìn)行特征屬性合并的操作，是一種有監(jiān)督的降維方法。
LDA原理
LDA的全稱是Linear Discriminant Analysis（線性判別分析），是一種有監(jiān)督學(xué)習(xí)算法。
LDA的原理是，將帶上標(biāo)簽的數(shù)據(jù)（點(diǎn)），通過投影的方法，投影到維度更低的空間中，使得投影后的點(diǎn)，會形成按類別區(qū)分，一簇一簇的情況，相同類別的點(diǎn)，將會在投影后的空間中更接近。用一句話概括就是：“投影后類內(nèi)方差最小，類間方差最大”
下圖中，左邊的映射效果還不是很好，甚至有些分類還重合到了一起。右邊的映射效果很好，達(dá)到了類內(nèi)數(shù)據(jù)方差小，類與類之間方差大。
下圖中的柱狀圖 表示有多少點(diǎn)落在了這一區(qū)間內(nèi)。柱越高，說明這部分的數(shù)據(jù)越稠密。顯然右邊的方差會小于左邊的方差。
如何求解LDA問題
假定轉(zhuǎn)換為w，那么線性轉(zhuǎn)換函數(shù)為x’= wTx; 并且轉(zhuǎn)換后的數(shù)據(jù)是一維的。
考慮二元分類的情況，認(rèn)為轉(zhuǎn)換后的值大于某個閾值，屬于某個類別，小于等于某個閾值，屬于另外一個類別，使用類別樣本的中心點(diǎn)來表示類別信息，那么這個時候其實(shí)就相當(dāng)于讓這兩個中心的距離最遠(yuǎn)：
μj 表示原本數(shù)據(jù)的中心點(diǎn)。
μ‘j 表示原始數(shù)據(jù)經(jīng)過坐標(biāo)軸轉(zhuǎn)換之后，新數(shù)據(jù)的中心點(diǎn)。
同時又要求劃分之后同個類別中的樣本數(shù)據(jù)盡可能的接近，也就是同類別的投影點(diǎn)的協(xié)方差要盡可能的小。
結(jié)合著兩者，那么我們最終的目標(biāo)函數(shù)就是：
對目標(biāo)函數(shù)進(jìn)行轉(zhuǎn)換（A、B為方陣，A為正定矩陣）：
該式子和PCA降維中的優(yōu)化函數(shù)一模一樣，所以直接對中間的矩陣進(jìn)行矩陣分解即可。
PCA和LDA
相同點(diǎn)：
1、 兩者均可以對數(shù)據(jù)完成降維操作。
2、 兩者在降維時候均使用矩陣分解的思想。
3、 兩者都假設(shè)數(shù)據(jù)符合高斯分布。
不同點(diǎn)：
1、 LDA是監(jiān)督降維算法，PCA是無監(jiān)督降維算法。
2、 LDA降維最多降到類別數(shù)目k-1的維數(shù)，而PCA沒有限制。
3、 LDA除了降維外，還可以應(yīng)用于分類。
4、 LDA選擇的是分類性能最好的投影，而PCA選擇樣本點(diǎn)投影具有最大方差的方向。
