logistic分類
1.神經(jīng)網(wǎng)絡(luò)的基本組成部分
2.每個(gè)神經(jīng)元(cell)都可以看做是進(jìn)行了一次logistic分類
3.二分類法，能將數(shù)據(jù)分成0和1兩類
logistic分類步驟
1.線性求和
假設(shè)有一個(gè)n維的輸入列向量?x，也有一個(gè)n維的參數(shù)列向量h，還有一個(gè)偏置量b，那么就可以線性求和得到z.?
Z的值域？
2.sigmoid函數(shù)激活
將z的值映射到[0,1]之間
3.計(jì)算誤差
假設(shè)期望輸入x的判定是y，而實(shí)際得到的判定值是a,定義一個(gè)損失函數(shù) C(a,y) (很多種) ?
在凸優(yōu)化問題中，C的最小值就是它的極小值
計(jì)算極小值，即C對(duì)h和b求導(dǎo)為0
4.修正參數(shù)
假設(shè)期望輸入x的判定是y，而實(shí)際得到的判定值是a,定義一個(gè)損失函數(shù) C(a,y) (很多種) ?
復(fù)雜情況下（數(shù)據(jù)量大，非凸優(yōu)化）
通過迭代的方法得到局部最優(yōu)解
Example
取損失函數(shù)C:
C對(duì)h和b分別求偏導(dǎo)：
代入迭代，參數(shù)更新：
a
擴(kuò)展：多分類
例如有3個(gè)分類，則輸出一個(gè)長(zhǎng)度為3的列向量，對(duì)應(yīng)項(xiàng)為1
計(jì)算誤差和參數(shù)更新公式也得矩陣化：
簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)及后向傳播算法BP?
輸入層，隱藏層，輸出層，分別記為x,h,y.
從輸入層到隱藏層的矩陣記為Whx, 偏置向量bh;
從隱藏層到輸出層的矩陣記為Wyh, 偏置向量為by
logistic分類，只能做到根據(jù)誤差來更新Wyh?和by
后向算法,鏈?zhǔn)椒▌t
