兩者的關(guān)系： 散度矩陣 = 協(xié)方差矩陣 ×（n-1）

協(xié)方差矩陣

對于二維隨機變量（X，Y）之間的相互關(guān)系的數(shù)字特征，我們用協(xié)方差來描述，記為 Cov(X，Y)：

其中 和 分別為變量的均值
那么二維隨機變量（X，Y）的協(xié)方差矩陣為：

• 1. 注意協(xié)方差和協(xié)方差矩陣的區(qū)別，協(xié)方差是一個值，而所有維度的協(xié)方差構(gòu)成的矩陣才是協(xié)方差矩陣
• 2. 協(xié)方差矩陣是一個對稱矩陣，且是半正定矩陣，主對角線是各個隨機變量的方差。
• 3. 標準差和方差一般是用來描述一維數(shù)據(jù)的；對于多維情況，而協(xié)方差是用于描述任意兩維數(shù)據(jù)之間的關(guān)系，一般用協(xié)方差矩陣表示。因此協(xié)方差矩陣計算的是不同維度之間的協(xié)方差，而不是不同樣本之間的。

協(xié)方差矩陣的幾何意義

為了更好理解協(xié)方差矩陣的幾何意義，下面以二維正態(tài)分布圖為例：

• 均值 , 協(xié)方差矩陣為 ，則樣本分布圖的 XOY 平面是橢圓形，主軸方向平行水平 X 軸。
• 均值 , 協(xié)方差矩陣為 ，則樣本分布圖的 XOY 平面是橢圓形，主軸方向平行水平 X 軸。
• 均值[0,0]代表正態(tài)分布的中心點，方差代表其分布的形狀。
• 協(xié)方差矩陣 C 的最大特征值 D 對應(yīng)的特征向量 V 指向樣本分布的主軸方向。例如，最大特征值 對應(yīng)的特征向量即為樣本分布的主軸方向（一般認為是數(shù)據(jù)的傳播方向）。次大特征值對應(yīng)的特征向量,即為樣本分布的短軸方向。
• 由于協(xié)方差矩陣 C 具有兩個相同的特征值,因此樣本在V1和V2特征向量方向的分布是等程度的，故樣本分布是一樣圓形。
• 特征值 D1 和 D2 的比值越大，數(shù)據(jù)分布形狀就越扁；當比值等于1時，此時樣本數(shù)據(jù)分布為圓形。

總結(jié)

• 樣本均值決定樣本分布中心點的位置。
• 協(xié)方差矩陣決定樣本分布的扁圓程度。
• 偏向方向（數(shù)據(jù)傳播方向）由特征向量決定。最大特征值對應(yīng)的特征向量，總是指向數(shù)據(jù)最大方差的方向（橢圓形的主軸方向）。次大特征向量總是正交于最大特征向量（橢圓形的短軸方向）
• 協(xié)方差矩陣（散布矩陣）在模式識別中應(yīng)用廣泛，最典型的應(yīng)用是PCA主成分分析了，PCA主要用于降維，其意義就是將樣本數(shù)據(jù)從高維空間投影到低維空間中，并盡可能的在低維空間中表示原始數(shù)據(jù)。這就需要找到一組最合適的投影方向，使得樣本數(shù)據(jù)往低維投影后，能盡可能表征原始的數(shù)據(jù)。此時就需要樣本的協(xié)方差矩陣。PCA算法就是求出這堆樣本數(shù)據(jù)的協(xié)方差矩陣的特征值和特征向量，而協(xié)方差矩陣的特征向量的方向就是PCA需要投影的方向。