業(yè)界通常認(rèn)為第一層是隱藏層的第一層

AI會(huì)遇上工程類(lèi)問(wèn)題

Padding補(bǔ)零操作，可以保證卷積核在每塊區(qū)域都進(jìn)行卷積，迭代次數(shù)越多，更有效果，提取特征更好

生成器和迭代器，存在的意義，一般我們需要對(duì)一個(gè)數(shù)組進(jìn)行操作的時(shí)候，我們要遍歷出來(lái)操作，比如一億個(gè)參數(shù)，我們不可能一次性全部取出來(lái)，一個(gè)一個(gè)的去取，這就是生成器存在的意義。

Dataloader加載數(shù)據(jù)到內(nèi)存

Next（iter（a））

轉(zhuǎn)換成0，1 轉(zhuǎn)換成正態(tài)分布

化為標(biāo)準(zhǔn)正態(tài)分布之后，學(xué)習(xí)率是最高的

One-hot torch.scatter() 起到填充的效果

One-hot編碼

豬【1，0，0】 狗【0，1，0】 ?！?，0，1】

因?yàn)闃?biāo)簽是單一的一個(gè)啊，所以我們需要轉(zhuǎn)化我們的標(biāo)簽為獨(dú)熱編碼。

當(dāng)我們網(wǎng)絡(luò)跑出【0.1，0.7，0.3】該值與狗最相近

為了生成one-hot

需要零矩陣

Torch.zeros()//幫我們生成了零陣

反向求導(dǎo)，就是做梯度更新的意思

關(guān)于激活函數(shù)

激活函數(shù)都是高度非線(xiàn)性的，會(huì)有一個(gè)陡增的變化趨勢(shì)，從中其實(shí)我們可以得知，需要擬合度越高越好。擬合我們的訓(xùn)練數(shù)據(jù)。

圖片1.png