參考：
內(nèi)容摘要：
1 Vectors and Matrices Recap
1.1 向量
范數(shù)的基本性質(zhì)：
幾種常見(jiàn)的范數(shù)定義
l1范數(shù)、無(wú)窮范數(shù)、p范數(shù)
投影（Projection）
投影是兩個(gè)向量的內(nèi)積（inner product，dot product）。若B是單位向量，則 A . B表示A在B方向的長(zhǎng)度
1.2 矩陣
一些特殊的矩陣
對(duì)稱陣，反對(duì)稱陣
跡（Trace）
表示矩陣的對(duì)角元素的和
轉(zhuǎn)移矩陣（Transformation matrix）
給定原向量 p，順時(shí)針旋轉(zhuǎn) theta角，那么怎么計(jì)算新向量 p'
旋轉(zhuǎn)矩陣有一些比較好的性質(zhì)
齊次坐標(biāo)系
通常來(lái)說(shuō)利用轉(zhuǎn)移矩陣能夠完成向量的縮小、增大、旋轉(zhuǎn)等，但是不能加常數(shù)（也就是平移）
，這一點(diǎn)可以利用齊次坐標(biāo)系完成
通過(guò)上面的齊次坐標(biāo)系的方法，可以很方便的用轉(zhuǎn)移矩陣來(lái)表示平移、旋轉(zhuǎn)、放縮等操作
同時(shí)通過(guò)轉(zhuǎn)移矩陣連乘的方式能夠同時(shí)表示放縮，平移，旋轉(zhuǎn)等操作。
需要注意的是矩陣乘法！也就是說(shuō)對(duì)于一個(gè)向量，先放縮再平移與先平移再放縮不一樣！
2.秩Rank
線性相關(guān)：假如有 n個(gè)向量 V1,v2,....,vn，其中存在一個(gè)向量能夠被其余向量線性表示，則這個(gè)向量與其余向量線性相關(guān)
線性獨(dú)立：當(dāng)任意向量都不能被其他向量表示時(shí)，叫這些向量線性獨(dú)立
在轉(zhuǎn)移矩陣中，轉(zhuǎn)移矩陣的秩能夠知道轉(zhuǎn)移后輸出的維度
假如轉(zhuǎn)移矩陣的秩為1，則會(huì)將所有點(diǎn)映射到同一條線上
滿秩矩陣是指 m X m 矩陣的秩為 m，其余情況會(huì)使得矩陣非奇異
3.特征向量與特征值（Eigenvector and Eigenvalue）
若有向量 x，以及轉(zhuǎn)移矩陣A,假如這個(gè)轉(zhuǎn)移矩陣不會(huì)使得這個(gè)向量改變方向，只是縮放了這個(gè)矩陣的大小，則這個(gè)向量x叫做矩陣A的特征向量，縮放的尺度叫做特征值
求取特征值和特征向量
一些性質(zhì)：
Det（A）=特征值的連乘，也就是全部特征值非0這個(gè)矩陣才可逆
4.對(duì)角化（Diagonalization）
若矩陣A(N X N)的特征值各不相同，則A可以對(duì)角化
5.矩陣微分
梯度（gradient）
hessian 矩陣
