Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network論文下載地址

圖1. 圖像的超分辨率也用了perceptual loss

圖像超分辨率的loss

? ? 原代價函數(shù)使重建結(jié)果有較高的信噪比PSNR，但是缺少了高頻信息，出現(xiàn)過度平滑的紋理。重建的高分辨率圖像與真實的高分辨率圖像無論是低層次的像素值上，還是高層次的抽象特征上，和整體概念和風格上，都應當接近。所以，根據(jù)圖像風格轉(zhuǎn)移時的內(nèi)容損失和風格損失就可以參考使用，在那篇論文中對紋理的重建使用了高層全局信息+底層細節(jié)信息。也就是我們所說的感知特征。

Perceptual Losses for Real-Time Style Transfer and Super-Resolution論文下載地址。

圖2. 圖像分割轉(zhuǎn)移也用了perceptual loss，注意看藍線加黑線呦，她就是內(nèi)容損失，而且它作用在較低層特征層上的。然后同樣看紅線和黑線，她就是風格損失，他是作用在從低到高所有特征層上。圖像風格轉(zhuǎn)移元老級文章

perceptual loss是是如何做的？

? ? 它是將真實圖片卷積得到的feature與生成圖片卷積得到的feature作比較，使得高層信息（內(nèi)容和全局結(jié)構(gòu)）接近，也就是感知的意思。

論文中是如何使用的？

????圖二左邊是圖像轉(zhuǎn)移網(wǎng)絡，右邊是損失網(wǎng)絡。這里對風格遷移變換yc相當于輸入圖像X，ys就是輸入的風格圖片，y算是content Target和Style Target的基本結(jié)合。在風格重建時，高層特征，全局結(jié)構(gòu)，紋理明顯。內(nèi)容重建時，底層特征，邊緣，顏色，細節(jié)信息多，效果越好。

轉(zhuǎn)移網(wǎng)絡內(nèi)容的特征重建loss,φj（y）是y的第j層輸出特征層

轉(zhuǎn)移網(wǎng)絡風格的特征重建loss,φj（x）是x的第j層輸出特征層

損失網(wǎng)絡有什么優(yōu)點？

? ? 風格轉(zhuǎn)移或者超分辨率中，速度快，GAN中收斂效果好，具有高頻細節(jié)信息。

為什么用perceptual loss收斂速度快？

? ? 回傳導數(shù)時，相比于MSE對pixel與pixel之間的差異， 回傳分布更具有普適性。