分享或轉(zhuǎn)載請(qǐng)附文章鏈接：https://listen2099.github.io/blog/2018/10/21/線性代數(shù)學(xué)習(xí)總結(jié)/
分享或轉(zhuǎn)載請(qǐng)附文章鏈接：http://m.itdecent.cn/p/fd06f4d9b6ae
大家想學(xué)平易近人又有用版的線代可以去看bilibili宋浩老師的線性代數(shù)

第一講

線性代數(shù)基礎(chǔ)
求解線性方程組
n個(gè)未知數(shù)，n個(gè)方程

有方程組

$\left\{\begin{matrix} 2x-y=0\\ -x+2y=3 \end{matrix}\right.$

其矩陣形式：

$\begin{bmatrix} 2&-1\\ -1&2 \end{bmatrix}\cdot \begin{bmatrix} x\\ y \end{bmatrix}=\begin{bmatrix} 0\\ 3 \end{bmatrix}$
$\Rightarrow \vec{A}\cdot \vec{x}=\vec$

row picture:在平面中每個(gè)方程在平面中畫成一條線，則每條線的交點(diǎn)就是方程組的解

column picture:在更高維度的空間中，矩陣A的每一列是一個(gè)向量，向量b就是矩陣A每一列的線性組合，向量x決定了線性組合的具體方式

所有向量所有的線性組合可以得到所有的右向量b

對(duì)于3個(gè)未知數(shù)3個(gè)方程的情況，三個(gè)向量都在同一平面內(nèi)，只能得到二維中的所有右向量b，不能得到三維中的所有又向量b，這時(shí)，矩陣A是奇異的、不可逆的；

以此類推，對(duì)于n個(gè)未知數(shù)n個(gè)方程的情況，如果有一個(gè)向量位于（n-1）個(gè)向量構(gòu)成的“特殊平面內(nèi)”，則矩陣A是奇異的、不可逆的。

這里可以理解為，某個(gè)向量可以由其他向量的線性組合得到，說明這個(gè)向量根本沒有出力

第二講

消元法求解方程
利用矩陣語言描述消元——矩陣變換

消元的步驟：寫出增廣矩陣[Ab]，將每一行主元以下的元素，通過 “該行元素-消元乘數(shù)×主元元素” 的方式化為0，然后，自下向上的回代得到方程組的解。

知識(shí)點(diǎn)：行列式=所有主元元素的乘積

利用矩陣進(jìn)行消元：設(shè)計(jì)一個(gè)矩陣，進(jìn)行 “該行元素-消元乘數(shù)×主元元素” 的操作：

列形式的矩陣乘法：

$\begin{bmatrix}col1 &col2&col3 \end{bmatrix}\cdot \begin{bmatrix}x\\y\\ z\end{bmatrix}=xcol1+ycol2+zcol3$

行形式的矩陣乘法：

$\begin{bmatrix}x &y &z \end{bmatrix}\cdot \begin{bmatrix}row1\\ row2\\ row3\end{bmatrix}=xrow1+yrow2+zrow3$

其中，多個(gè)行形式的行方向上的羅列就等同于一次行變換，

E_ij表示初等矩陣，表示，用該矩陣左乘原矩陣，可將原矩陣中i行j列的元素化為0

E₃₂E₂₁A=U ==> EA=U, E 就稱為置換矩陣

第三講

矩陣乘法
逆的求法

方法一：

原始方法：
$[A\cdot B]_{ij} = \sum_{k=1}^{n}a_{ik}b_{kj}$
，n為A的列、B的行數(shù)。

方法二：

利用矩陣×列的思想，將AB=C中，C的每一列視為，A在B的每一列下的線性組合。

方法三：

利用行×矩陣的思想，將AB=C中，C的每一行視為，B在A的每一行下的線性組合。

方法四：

AB=A中各列與B中各行的乘積之和

行空間：所有行的線性組合

列空間：所有列的線性組合

方法五：

將矩陣分塊，將每一塊視為一個(gè)單元，進(jìn)行整體的矩陣乘法

逆（方陣）

如果存在A^-1使得A^-1A=I，則A是可逆的、非奇異的，且A^-1使得A^-1A=I=AA^-1。

奇異矩陣：沒有逆，若能找到一個(gè)非0向量x，使得Ax=0，則沒有逆矩陣，A是奇異的。

現(xiàn)在主要討論可逆的情況：

Gauss-Jordan：同時(shí)處理兩個(gè)方程

E[A|I] ==> [I|E]

說明：A經(jīng)過E的變換變成I，同時(shí)，I經(jīng)過E的變換變成E，則后半部分E的位置一定是A^-1

第四講

兩個(gè)可逆矩陣乘積的逆
消元矩陣的乘法
A消元得到U，A=LU

(AB)^-1=B^-1A^-1

(AB)^T=B^TA^T

(A^T)^-1=(A^-1)^T

EA=U,A=LU，則L=E^-1，且L為下三角矩陣，U為上三角矩陣；U可進(jìn)一步分解為DU，D為對(duì)角矩陣

對(duì)于A=LU，若不存在行互換，則消元乘數(shù)可以直接寫進(jìn)L中

應(yīng)這樣看待消元：對(duì)A進(jìn)行消元，則得到LU，L為消元步驟，U為消元結(jié)果

置換矩陣

置換矩陣P包括，單位矩陣所有行的所有排列的集合，對(duì)于置換矩陣P，P^-1=P^T，它的逆和轉(zhuǎn)置相同。

第五講

置換
轉(zhuǎn)置
向量空間極其子空間

置換矩陣：P，主元為0時(shí)需要行互換得到非0主元

在A=LU過程中m，若需要行互換，則概括為PA=LU，對(duì)于任意可逆矩陣都有以上形式。

置換矩陣P是I的行排列情況的z所有情況，共有n!種可能，且P^-1=P^T。

轉(zhuǎn)置：(A^T)_ij = A_ji

對(duì)稱矩陣： A^T = A

R^TR得到的矩陣都是對(duì)稱矩陣，證明：(R^TR)^T = R^TR^T^T = R^TR

向量空間： 例子：Rⁿ表示n維實(shí)向量，向量有n個(gè)分量，且每個(gè)分量都是實(shí)數(shù)。

向量空間必須對(duì)數(shù)乘、和加法兩種運(yùn)算是封閉的

Rⁿ的子空間：

Rⁿ本身
穿過0點(diǎn)，兩端無限延伸的直線
穿過0點(diǎn)的(n-1)維“超級(jí)平面”
只包含0向量

矩陣的子空間：列向量的所有線性組合構(gòu)成子空間 --> 列空間C(A)

第六講

向量空間及其子空間
矩陣A的列空間
矩陣A的0空間

向量空間： 一些向量，相加數(shù)乘后的結(jié)果任在原空間內(nèi)

子空間： 向量空間內(nèi)的一些向量，他們屬于母空間，但自身又構(gòu)成向量空間

所有子空間必須包含0點(diǎn)

A的列空間，C(A)，所有列的線性組合

什么樣的b能使得方程有解？所有的線性組合使得方程有解

0空間： 是一種完全不同的子空間，0空間包含Ax=0中所有的解x

第七講

計(jì)算0空間
主變量、自由變量
簡(jiǎn)化行階梯形式（rref）

消元過程中，方程組的解不變，則0空間不變。

消元中s主元為0，說明該列是前幾列的線性組合

秩(r):d主元的數(shù)量

主元所在的列為主列（r），除此之外其他列為自由列（n-r），可以自由或任意的為自由列分配數(shù)值

通過分配自由值+回代得到特解，通過特解能構(gòu)建出整個(gè)0空間，0空間就是特解得線性組合

秩r為主變量個(gè)數(shù)，n-r為自由變量個(gè)數(shù)

簡(jiǎn)化的行階梯形式：

消元之后，令主元上下都是0，將主元化為1。

$R=\begin{bmatrix}I &F \\ 0 &0\end{bmatrix}$

簡(jiǎn)化形式提供的信息：

主列、主行
都為0的行表示該行原來是其他行的線性組合
單位陣I：主行主列交匯處
自由陣F

0空間矩陣：其每一列由特解組成，記做N。

$N = \begin{bmatrix}-F\\I \end{bmatrix}$

N中的I是按照F的列分配形成的單位陣

第八講

線性方程組的完整解Ax=b

是否有解需要消元確認(rèn)

r=m=n時(shí)，1個(gè)解

$R=\begin{bmatrix}1 &0 \\ 0& 1\end{bmatrix}$

r=n<m時(shí)，無解或 1解

$R=\begin{bmatrix}I\\0 \end{bmatrix}$

r=m<n時(shí)，無窮解

$R=\begin{bmatrix}I &F \end{bmatrix}$

r<n,r<m時(shí)，0解或無窮解

$R=\begin{bmatrix}I &F \\ 0 &0\end{bmatrix}$

第九講

線性相關(guān)性
生成空間
基和維數(shù)

當(dāng)V1，...Vn為矩陣A的列，在一個(gè)m維空間內(nèi)，可直接判斷向量組的相關(guān)性：

若A的0空間只有0向量，則向量組線性無關(guān) --> r=n

若A的0空間還有除0向量之外的其他向量，則線性相關(guān) --> r<n (有free變量)

生成空間： 包含所有線性無關(guān)向量組的線性組和

向量空間的一組基： 滿足兩個(gè)性質(zhì)：1，線性無關(guān)；2，可生成整個(gè)空間

矩陣的秩r = 主列的數(shù)目 = 列空間的維數(shù)

n-r = 自由列的數(shù)目 = 0空間的維數(shù)

第十講

矩陣的4個(gè)基本子空間

列空間C(A)

零空間N(A)

行空間C(A^T)

左0空間N(A^T)

在Rⁿ中的有：

行空間C(A^T)

dim = r

基的構(gòu)造：最簡(jiǎn)形式的前r行

零空間N(A)

dim = n-r

基的構(gòu)造：不就是0空間的n-r個(gè)特解么

在R^m中的有：

列空間C(A)

dim = r

基的構(gòu)造：列中線性無關(guān)的列

左零空間N(A^T)

dim = m-r

基的構(gòu)造：AI -> RE ，R中0行對(duì)應(yīng)的E中的行向量

矩陣的基：上三角矩陣、對(duì)稱矩陣、對(duì)角矩陣

第十一講

矩陣空間
秩1矩陣
小世界圖

矩陣空間可視為新的向量空間

設(shè)M為所有的3×3矩陣，則：

M的一組基為：

$\begin{bmatrix}1&0&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&1&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&1\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\1&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&1&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&1\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\1&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&1&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}$

所有3×3的S對(duì)稱矩陣的維數(shù)為6：

$\begin{bmatrix}1&0&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&1&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}, \begin{bmatrix}0&1&0\\1&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&1\\0&0&0\\1&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&1\\0&1&0\end{bmatrix}$

所有3×3的U上三角矩陣的維數(shù)為6：

S∩U = D對(duì)角矩陣，dim(S∩U) = 3

S+U = S中的任何元素+U中的任何元素 = 所有的3×3矩陣 --> dim(S+U) = 9

dim(S) + dim(U) = dim(S∩U) + dim(S+U)

秩1矩陣

所有秩為1的矩陣可以表示為A=UV^T，一列點(diǎn)乘一行

dim(C(A)) = rank = dim(C(A^T))

若一個(gè)5×17的矩陣，秩為4，可將其分解為4個(gè)秩1矩陣的組合

兩個(gè)矩陣的和的秩不大于兩個(gè)矩陣的秩的和

第十二講

圖 = {nodes,edges}

利用關(guān)聯(lián)矩陣描述具體問題的拓?fù)浣Y(jié)構(gòu)

歐拉公式：

nodes - #edges + #loops = 1

第十三講

前一階段的d復(fù)習(xí)

第十四講

正交向量
子空間的正交
基的正交

正交向量：x^Ty = 0

0向量與任何向量都正交

子空間s與子空間T正交，說明，S中的每一個(gè)向量都和T中的每一個(gè)向量正交

正交的子空間一定不會(huì)交于某個(gè)非0的向量

行空間正交于零空間，行空間和0空間是Rⁿ中的正交補(bǔ)，0空間含有所有垂直于行空間的向量

求一個(gè)無解方程組的解：A^TAx = A^Tb

rank(A^TA) = rank(A)

N(A^TA) = N(A)

當(dāng)且僅當(dāng)0空間只有0向量，A的各列線性無關(guān)，A^TA為可逆的

第十五講

投影
投影矩陣
最小二乘應(yīng)用

二維投影：

a，b為不相關(guān)的向量，a上b的投影p=ax，e=b-p為b到a的誤差

e=b-p=b-ax

關(guān)鍵是e⊥a，所以，a^Te=a^T(b-ax)=0，得：

x=(a^Tb)/(a^Ta) (1)

p=ax=a(a^Tb)/(a^Ta) (2)

投影矩陣P=(aa^T)/(a^Ta) (3)

投影的結(jié)果是一個(gè)投影矩陣，作用于某個(gè)向量，具有重要性質(zhì)

列a為列空間的基
P^T=P，對(duì)稱
P²=P

高維投影

有時(shí)Ax=b無解，只能求解最近的那個(gè)可解的問題，將問題換做求解 $A\widehat{x}=b$

p為b在列空間的投影，e=b-p為b到A的誤差
$e=b-p=b-A\widehat{x}$ ，尋找合適的列組合，好讓誤差向量垂直于這個(gè)平面（誤差最?。?/p>

關(guān)鍵還是e⊥A，所以， $A^{T}(b-A\widehat{x})=0,$ e在N(A^T)，e垂直C(A)，得：

$\widehat{x}=(A^{T}A)^{-1}A^{T}b (1)$

$p=A\widehat{x}=A(A^{T}A)^{-1}A^{T}b (2)$

P=A(A^TA)^-1A^T (3)

P的性質(zhì)：

P^T=P
P²=P

應(yīng)用

方程多，未知數(shù)hh少，m>n的線性最小二乘擬合

第十六講

投影矩陣
最小二乘直線

投影矩陣P=A(A^TA)^-1A^T

如果b在C(A)中，則Pb=b

如果b⊥C(A)，則Pb=0

b在C(A)的投影為p，p為 $\widehat{x}$ 確定的線性組合；

b在N(A^T)的投影為e；

b=p+e=Pb+(I-P)b；e·p=0；e垂直于整個(gè)列空間

將原方程Ax=b經(jīng)過 $A^{T}A\widehat{x} = A^{T}b$ 變換為正規(guī)方程

如果A的各列線性無關(guān)，則A^TA一定可逆

垂直的單位向量一定線性無關(guān)，即標(biāo)準(zhǔn)正交向量

第十七講

正交基 q1...qn
正交矩陣（方陣才叫正交矩陣）
A->Q Gramm-Schmidt方法

標(biāo)準(zhǔn)正交向量有兩個(gè)特點(diǎn)，相互正交，每個(gè)向量的模長(zhǎng)都是1

q_i^T q_j= 0 ( i≠j )

q_i^T q_j= 1 ( i＝j(luò) )

Q^TQ = I

如果Q為方陣，那么Q^TQ=I說明Q^T=Q^-1

當(dāng)Q是標(biāo)準(zhǔn)正交列向量的矩陣時(shí)，投影到列空間的投影矩陣是P = QQ^T

正規(guī)方程也簡(jiǎn)化為 $\widehat{x}=Q^{T}b$

Gramm-Schmidt方法：

先找到正交的向量： B = b-A^TbA/(A^TA)
再標(biāo)準(zhǔn)化，每個(gè)向量除以各自的模長(zhǎng)

如果消元的過程是P=LU，那么A=QR，其中R是上三角矩陣

第十八講

行列式

行列式是一個(gè)與每個(gè)方陣都有關(guān)的數(shù)字

可逆矩陣的行列式非0，DetA=0時(shí)，矩陣一定是可逆的

行列式的性質(zhì)們：

1 單位陣的行列式為1

2 行交換時(shí)矩陣的行列式符號(hào)取反（一個(gè)置換矩陣的Det=-1 or 1）

3a $\begin{vmatrix}ta&tb\\c&d\end{vmatrix}=t\begin{vmatrix}a&b\\c&d\end{vmatrix}$

3b $\begin{vmatrix}a+a'&b+b'\\c&d\end{vmatrix}=\begin{vmatrix}a&b\\c&d\end{vmatrix}+\begin{vmatrix}a'&b'\\c&d\end{vmatrix}$

4 任意兩行相等時(shí) Det = 0

5 經(jīng)過初等變換的行列式不變

6 若有一行全為0，則DetA=0

7 DetU為對(duì)角線的乘積，若消元過程中發(fā)生了行互換，需要相應(yīng)改變符號(hào)

8 當(dāng)且僅當(dāng)A為奇異矩陣的時(shí)候DetA=0

9 Det(AB) = DetA * DetB ; Det(A^T) = 1/DetA

10 DetA^T = DetA

第十九講

行列式公式
代數(shù)余子式

DetA = ∑ (-1)^ta_1αa_2βa_3γ... ...a_nθ

α，β，γ,... ...θ為1~n的全部排列情況，t為相應(yīng)排列情況下的逆序數(shù)

余子式：M_ij 為原矩陣去除第i行j列后剩下的矩陣的行列式

代數(shù)余子式：A_ij = (-1)^i+jM_ij

第二十講

求逆公式
莫拉克法則

A^-1 = (1/DetA)C^T

C為A的代數(shù)余子式構(gòu)成的矩陣，C^T為A的伴隨陣

Ax=b

-> x=A^-1b

-> x=(1/DetA)C^Tb

x_n = DetB_n/DetA

B_n為一個(gè)矩陣，是將A的第n列替換成b形成的矩陣

第二十一講

特征值
特征向量

對(duì)于方陣，找出特殊的向量和數(shù)字，使得Ax = λx

矩陣A作用在向量x上，若結(jié)果是λx，就說明Ax與x平行，這樣的x就是矩陣的特征向量，對(duì)應(yīng)的λ就是特征值。

特征值為0的特征向量就是N(A)

特殊例子：

對(duì)于投影矩陣，

任意平面上的向量x就是一個(gè)特征向量（Px=x），λ=1；

任意垂直于平面的向量x，Px=0x，λ=0。

對(duì)于置換矩陣，λ=±1

n×n矩陣有n個(gè)特征值
特征值的和等于對(duì)角線元素的和，也就是跡
特征值的乘積等于行列式的值

求解特征值和特征向量：

Ax=λx -> (A-λI)x=0

由于奇異，Det(A-λI)=0得到λ，有了λ，通過求(A-λI)的零空間的基得到相應(yīng)的特征向量

對(duì)于Ax=λx，則(A+aI)x=λx+ax=(λ+a)x

第二十二講

特征值和特征向量的使用
對(duì)角化

假設(shè)A有n個(gè)線性無關(guān)的特征向量，按列排列，組成特征向量矩陣S

$AS=A\begin{bmatrix}x_{1} &x_{2} &x_{2} &...& x_{n}\end{bmatrix}$

$=\begin{bmatrix}\lambda _{1}x_{1} &\lambda _{2}x_{2} &\lambda _{3}x_{3} & ...&\lambda _{4}x_{4}\end{bmatrix}$

$=\begin{bmatrix}x_{1} &x_{2} &x_{3} &... & x_{n} \end{bmatrix}\begin{bmatrix}\lambda _{1} & & & & \\ &\lambda _{2} & & & \\ & &\lambda _{3} & & \\ & & &... & \\ & & & &\lambda _{n}\end{bmatrix}$

$=S\Lambda$

$ASS^{-1}=A=S\Lambda S^{-1}$

特征向量與特征值有助于了解矩陣的冪

$A^{n}=S\Lambda^{n}S^{-1}$

當(dāng)λ_n的絕對(duì)值小于1，矩陣的冪趨于0，就說這個(gè)矩陣穩(wěn)定。

不存在n個(gè)線性無關(guān)的特征向量就b不能對(duì)角化，若所有的λ不相同，則A必有n個(gè)線性無關(guān)的特征向量且可對(duì)角化；若存在重復(fù)的λ，可能但不一定存在n個(gè)線性無關(guān)的特征向量。

將某個(gè)向量化為矩陣特征向量的某個(gè)線性組合，有助于處理很多問題

第二十三講

微分方程

常系數(shù)線性微分方程的解是指數(shù)形式

總之先構(gòu)建常系數(shù)矩陣A，再求得A的特征值對(duì)角矩陣 $\Lambda$ 和特征向量矩陣S

有微分方程 $\frac{du}{dt}=Au$ ，其解的形式為：

$u(t)=S\begin{bmatrix}c1 & &\\ &c2 & \\ & &cn \end{bmatrix}\begin{bmatrix}e^{\lambda _{1}t} & & \\ &e^{\lambda _{2}t} & \\ & &e^{\lambda _{n}t} \end{bmatrix} = S \begin{bmatrix}c1 & &\\ &c2 & \\ & &cn \end{bmatrix} e^{\Lambda t}$

令上述 $u=Sv$

若 $\frac{du}{dt}=Au$ ，則 $S\frac{dv}{dt}=ASv$ ， $\frac{dv}{dt}=S^{-1}ASv=\Lambda v$

則 $\begin{cases} & v(t) = e^{\Lambda t}v(0) \\ & u(t) = e^{At}u(0) = Se^{\Lambda t}S^{-1}u(0)=e^{At}u(0) \end{cases}$

當(dāng)S可逆的情況下 $e^{At}$ 可展開為泰勒級(jí)數(shù)

第二十四講

馬爾科夫矩陣、穩(wěn)態(tài)
傅里葉級(jí)數(shù)

馬爾科夫矩陣滿足以下三個(gè)條件：

每個(gè)元素的值不小于0
每一列的和為1，這就保證有一個(gè)特征值為1
馬爾科夫矩陣的冪還是馬爾科夫矩陣

馬爾科夫還有兩個(gè)要點(diǎn)：

其他的特征值的絕對(duì)值小于1
在u_k=A^ku₀ 中，u_k=c₁x₁，當(dāng)k無限大時(shí)，結(jié)果只與特征值為1的特征向量有關(guān)系。

對(duì)于一組標(biāo)準(zhǔn)正交基q_n，他們可以在任意的x向量線性組合下構(gòu)成空間內(nèi)部任意的向量v，

那么每一個(gè)系數(shù)x_n=q_n^Tv。

向量有向量的內(nèi)積，則任意兩個(gè)函數(shù)的內(nèi)積同理為 $f^{T}g=\int_{0}^{\pi }f(x)g(x)dx$

這樣對(duì)于一個(gè)傅里葉級(jí)數(shù)，它的每個(gè)系數(shù)的求法就和上述x_n的求法相同了，傅里葉真是牛逼，他把函數(shù)看成了無限的矩陣。

第二十五講

對(duì)稱陣
正定矩陣

對(duì)稱陣的特征值是實(shí)數(shù)，特征向量中能挑選出來一組相互垂直的

通常 $A=S\Lambda S^{-1}$ ，若A為對(duì)稱的，則S中的特征向量相互垂直，且取標(biāo)準(zhǔn)正交向量，則 $A=Q\Lambda Q^{-1}$

然而，Q有性質(zhì)：Q^-1 = Q^T

所以，對(duì)稱陣有分解： $A=Q\Lambda Q^{T}=q_{1}q_{1}^{T} \lambda_{1} +q_{2}q_{2}^{T}\lambda_{2}+... ...+q_{n}q_{n}^{T}\lambda _{n}$

每個(gè)對(duì)稱陣都是一些相互垂直的投影矩陣的組合

對(duì)于對(duì)稱陣，主元的符號(hào)與特征值的符號(hào)相同（符號(hào)個(gè)數(shù)相同），主元乘積（沒有換行）= 特征值的乘積 = 行列式的值

對(duì)于正定矩陣，首先是一個(gè)對(duì)稱陣，特征值為正數(shù)，主元為正數(shù)，所有子行列式為正數(shù)

第二十六講

復(fù)數(shù)矩陣
快速傅里葉變換FFT

在Cⁿ空間中的向量組成的矩陣就是復(fù)矩陣。

模長(zhǎng)、內(nèi)積、對(duì)稱、正交、正交矩陣的運(yùn)算都要進(jìn)行Hermition運(yùn)算，也就是對(duì)共軛求轉(zhuǎn)置

傅里葉矩陣的定義：

$F_{n}=\begin{bmatrix} 1 &1 &1 &\cdots &1 \\ 1 &w &w^{2} &\cdots&w^{n-1} \\ 1 & w^{2} &w^{4} &\cdots & w^{2(n-1)}\\ \vdots&\vdots&\vdots &\ddots & \\ 1 & w^{n-1} &w^{2(n-1)} & & w^{(n-1)^{2}} \end{bmatrix}$

其中 $w^{n} = 1$ , $w_{n}=e^{\frac{2\pi i}{n}}$

傅里葉矩陣的每一列都是正交的，除以模長(zhǎng)后得到標(biāo)準(zhǔn)正交矩陣Q，根據(jù)性質(zhì) $F_{n}^{-1} = F_{n}^{H}$ ，方便的求自身的逆

得到一個(gè)n階傅里葉矩陣的計(jì)算復(fù)雜度為1/2nlgn

第二十七講

如何判斷一個(gè)矩陣是正定的
Rⁿ空間中的橢圓體

對(duì)于一個(gè)對(duì)稱陣，要讓它正定，必須滿足一下三個(gè)條件之一：

特征值都是正的
子行列式都是正的
主元都是正的
X^TAX > 0

以上條件有時(shí)候會(huì)出現(xiàn)恰好等于0的情況，這時(shí)候叫半正定，處于正定的臨界點(diǎn)，此時(shí)矩陣很有可能是奇異矩陣

X^TAX是將矩陣轉(zhuǎn)化為二次形式

判斷二次形式大于0最直接的方法就是通過配方，將二次形配方為平方和的形式，配方后各項(xiàng)的系數(shù)就是主元。

在多維情況下，特征向量說明主軸的方向；特征值說明主軸的長(zhǎng)度

第二十八講

相似矩陣

由于逆矩陣的特征值與原矩陣的特征值之間是倒數(shù)關(guān)系，所以逆矩陣和原矩陣的正定情況是一樣的

如果A，B都是正定的，則A+B也是正定的

當(dāng)A為一個(gè)m*n的長(zhǎng)方形矩陣時(shí)，A^TA為對(duì)稱陣，且一定是也正定的。其中，當(dāng)A的各列線性無關(guān)時(shí)，0空間只有0向量，此時(shí)，若x不為0向量，那就只會(huì)大于0

A與B相似指的是：存在一個(gè)可逆的矩陣M，使得B=M^-1AM

相似的點(diǎn)是：1具有相同的特征值，2無關(guān)的特征向量的數(shù)量也是一樣的，且B的特征向量=M^-1x

每個(gè)方陣A都相似于一個(gè)若當(dāng)方陣，若當(dāng)方陣是由若擋塊構(gòu)成的矩陣，每個(gè)若擋塊只有一個(gè)特征向量，若擋塊的數(shù)量=特征向量的數(shù)量

第二十九將

奇異值分解

將任意矩陣行空間中的一組標(biāo)準(zhǔn)正交基V，變換成列空間中的一組標(biāo)準(zhǔn)正交基U

$AV_{i} = \sigma _{i}U_{i}$

矩陣形式：

AV = UΣ --> A = UΣV^-1 --> A = UΣV^T

A^TA的特征矩陣為V，特征向量為Σ²

AA^T的特征矩陣為U，特征向量為Σ²

注意：特征向量的符號(hào)要單獨(dú)確定

V₁ 到 V_r 為行空間（r維）標(biāo)準(zhǔn)正交基
U₁ 到 U_r 為列空間（r維）標(biāo)準(zhǔn)正交基
V_r+1 到 V_n 為0空間（n-r維）標(biāo)準(zhǔn)正交基
U_r+1 到 U_m 為左0空間（m-r維）標(biāo)準(zhǔn)正交基

第三十講

線性變換

線性變換可以理解為一個(gè)映射T，這種映射要滿足T(V+W) = T(V)+T(W); T(cV) = cT(V)

T(V) = AV，不同矩陣代表不同的線性變換

矩陣源于坐標(biāo)，坐標(biāo)是一組基的線性組合的系數(shù)，用A乘輸入坐標(biāo)得到輸出坐標(biāo)

如何確定變換矩陣A：

確定輸入基(V₁-V_n)和輸出基(W₁-W_m)
A中第n列的確定：對(duì)V_n線性變換，變換結(jié)果T(V_n)一定是輸出基的線性組合，組合的系數(shù)就是A的第n列

第三十一講

基變換
圖像壓縮

將原圖分割為8×8的小塊，用傅里葉基，小波基來表示原來的圖像向量，關(guān)鍵是如果使用了好的基，那新的線性組合的前幾項(xiàng)就能代表原向量

好基要滿足的條件：1. 計(jì)算塊，求逆快，一般是用正交矩陣，轉(zhuǎn)置直接得逆；2，少量向量就能接近原信號(hào)

設(shè)原向亮p，新基矩陣為W，則p=Wc，c=W^-1p，就是新的線性組合系數(shù)

關(guān)鍵：同一個(gè)線性變換T作用于同一個(gè)空間中不同的基矩陣，所得到的結(jié)果矩陣是相似的：B = M^-1AM，特征值組成的矩陣也是一個(gè)基矩陣

第三十二講

左右逆
偽逆

兩邊都滿足的逆的情況

r=m=n，滿秩，方陣 A^-1A = I = AA^-1

左逆（A^-1_left）

r=n，列滿秩，N(A) = 0

列向量線性無關(guān)，Ax=b有0個(gè)或1個(gè)解

A^TA (n*n)滿秩，可逆

A^-1_left = (A^TA)^-1A^T

A^-1_leftA = (A^TA)^-1A^TA = I（n*n）

反過來乘 A(A^TA)^-1A^T為投影矩陣，投到A的列空間

又逆（A^-1_right）

r=m，行滿秩，N(A^T) = 0

行向量線性無關(guān)，Ax=b有無窮解，n-m個(gè)自由變量

AA^T (m*m)滿秩，可逆

A^-1_right = A^T(AA^T)^-1

AA^-1_right = AA^T(AA^T)^-1 = I （m*m）

反過來乘 A^T(AA^T)^-1A為投影矩陣，投到A的行空間

偽逆

r<n, r<m，此時(shí)4個(gè)子空間都不為0

如果A是行空間到列空間的映射，那么列空間到行空間的映射A⁺就是偽逆

求偽逆：

SVD分解：A = UΣV^T ; A⁺ = VΣ⁺U^T

第三十三講

總復(fù)習(xí)

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

MIT線性代數(shù)課程學(xué)習(xí)筆記總結(jié)

第一講

有方程組

其矩陣形式：

第二講

第三講

方法一：

方法二：

方法三：

方法四：

方法五：

逆（方陣）

現(xiàn)在主要討論可逆的情況：

第四講

置換矩陣

第五講

第六講

所有子空間必須包含0點(diǎn)

第七講

消元過程中，方程組的解不變，則0空間不變。

消元中s主元為0，說明該列是前幾列的線性組合

秩(r):d主元的數(shù)量

主元所在的列為主列（r），除此之外其他列為自由列（n-r），可以自由或任意的為自由列分配數(shù)值

通過分配自由值+回代得到特解，通過特解能構(gòu)建出整個(gè)0空間，0空間就是特解得線性組合

簡(jiǎn)化的行階梯形式：

簡(jiǎn)化形式提供的信息：

0空間矩陣：其每一列由特解組成，記做N。

N中的I是按照F的列分配形成的單位陣

第八講

是否有解需要消元確認(rèn)

r=m=n時(shí)，1個(gè)解

r=n<m時(shí)，無解 或 1解

r=m<n時(shí)，無窮解

r<n,r<m時(shí)，0解或無窮解

第九講

若A的0空間只有0向量，則向量組線性無關(guān) --> r=n

若A的0空間還有除0向量之外的其他向量，則線性相關(guān) --> r<n (有free變量)

矩陣的秩r = 主列的數(shù)目 = 列空間的維數(shù)

n-r = 自由列的數(shù)目 = 0空間的維數(shù)

第十講

列空間C(A)

零空間N(A)

行空間C(AT)

左0空間N(AT)

在Rn中的有：

行空間C(AT)

零空間N(A)

在Rm中的有：

列空間C(A)

左零空間N(AT)

矩陣的基：上三角矩陣、對(duì)稱矩陣、對(duì)角矩陣

第十一講

矩陣空間可視為新的向量空間

dim(S) + dim(U) = dim(S∩U) + dim(S+U)

秩1矩陣

兩個(gè)矩陣的和的秩不大于兩個(gè)矩陣的秩的和

第十二講

利用關(guān)聯(lián)矩陣描述具體問題的拓?fù)浣Y(jié)構(gòu)

nodes - #edges + #loops = 1

第十三講

第十四講

0向量與任何向量都正交

rank(ATA) = rank(A)

N(ATA) = N(A)

第十五講

二維投影：

投影的結(jié)果是一個(gè)投影矩陣，作用于某個(gè)向量，具有重要性質(zhì)

高維投影

應(yīng)用

第十六講

如果b在C(A)中，則Pb=b

如果b⊥C(A)，則Pb=0

如果A的各列線性無關(guān)，則ATA一定可逆

垂直的單位向量一定線性無關(guān)，即標(biāo)準(zhǔn)正交向量

第十七講

QTQ = I

當(dāng)Q是標(biāo)準(zhǔn)正交列向量的矩陣時(shí)，投影到列空間的投影矩陣是P = QQT

如果消元的過程是P=LU，那么A=QR，其中R是上三角矩陣

第十八講

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

消元過程中，方程組的解不變，則0空間不變。

消元中s主元為0，說明該列是前幾列的線性組合

主元所在的列為主列（r），除此之外其他列為自由列（n-r），可以自由或任意的為自由列分配數(shù)值

通過分配自由值+回代得到特解，通過特解能構(gòu)建出整個(gè)0空間，0空間就是特解得線性組合

0空間矩陣：其每一列由特解組成，記做N。

r=n<m時(shí)，無解或 1解

r=m<n時(shí)，無窮解

r<n,r<m時(shí)，0解或無窮解

若A的0空間只有0向量，則向量組線性無關(guān) --> r=n

若A的0空間還有除0向量之外的其他向量，則線性相關(guān) --> r<n (有free變量)

行空間C(A^T)

左0空間N(A^T)

在Rⁿ中的有：

行空間C(A^T)

在R^m中的有：

左零空間N(A^T)

矩陣的基：上三角矩陣、對(duì)稱矩陣、對(duì)角矩陣

rank(A^TA) = rank(A)

N(A^TA) = N(A)

投影的結(jié)果是一個(gè)投影矩陣，作用于某個(gè)向量，具有重要性質(zhì)

如果b在C(A)中，則Pb=b

如果A的各列線性無關(guān)，則A^TA一定可逆

垂直的單位向量一定線性無關(guān)，即標(biāo)準(zhǔn)正交向量

Q^TQ = I

當(dāng)Q是標(biāo)準(zhǔn)正交列向量的矩陣時(shí)，投影到列空間的投影矩陣是P = QQ^T

如果消元的過程是P=LU，那么A=QR，其中R是上三角矩陣

可逆矩陣的行列式非0，DetA=0時(shí)，矩陣一定是可逆的

對(duì)于方陣，找出特殊的向量和數(shù)字，使得Ax = λx

矩陣A作用在向量x上，若結(jié)果是λx，就說明Ax與x平行，這樣的x就是矩陣的特征向量，對(duì)應(yīng)的λ就是特征值。

不存在n個(gè)線性無關(guān)的特征向量就b不能對(duì)角化，若所有的λ不相同，則A必有n個(gè)線性無關(guān)的特征向量且可對(duì)角化；若存在重復(fù)的λ，可能但不一定存在n個(gè)線性無關(guān)的特征向量。

總之先構(gòu)建常系數(shù)矩陣A，再求得A的特征值對(duì)角矩陣 $\Lambda$ 和特征向量矩陣S

對(duì)稱陣的特征值是實(shí)數(shù)，特征向量中能挑選出來一組相互垂直的

對(duì)于對(duì)稱陣，主元的符號(hào)與特征值的符號(hào)相同（符號(hào)個(gè)數(shù)相同），主元乘積（沒有換行）= 特征值的乘積 = 行列式的值

對(duì)于正定矩陣，首先是一個(gè)對(duì)稱陣，特征值為正數(shù)，主元為正數(shù)，所有子行列式為正數(shù)

以上條件有時(shí)候會(huì)出現(xiàn)恰好等于0的情況，這時(shí)候叫半正定，處于正定的臨界點(diǎn)，此時(shí)矩陣很有可能是奇異矩陣

相似的點(diǎn)是：1具有相同的特征值，2無關(guān)的特征向量的數(shù)量也是一樣的，且B的特征向量=M^-1x

將任意矩陣行空間中的一組標(biāo)準(zhǔn)正交基V，變換成列空間中的一組標(biāo)準(zhǔn)正交基U

關(guān)鍵：同一個(gè)線性變換T作用于同一個(gè)空間中不同的基矩陣，所得到的結(jié)果矩陣是相似的：B = M^-1AM，特征值組成的矩陣也是一個(gè)基矩陣

左逆（A^-1_left）

又逆（A^-1_right）