論文原文：A Semantic-based Medical Image Fusion Approach

摘要：

醫(yī)學(xué)圖像融合對臨床診斷有著很重要的作用。但是目前存在的醫(yī)學(xué)圖像融合方法忽略了圖像的語義信息，試融合后的圖像難以理解。（本來融合就是要更多的保留不同模態(tài)之間的互補(bǔ)信息來輔助診斷的。因此語義信息當(dāng)讓重要了。）在本文中提出了一種基于語義的醫(yī)學(xué)圖像融合方法。Fusion W-Net（FW-Net）。大大的減少了語義信息的損失。并且與先進(jìn)方法一樣有較好的視覺效果，在臨床應(yīng)用上有很大潛力。

Introduction

低成本的融合方法大致采用這樣策略：把不同域的圖像轉(zhuǎn)換成不同尺度的參數(shù)，然后采用人工設(shè)計(jì)的規(guī)則來優(yōu)化融合他們，但是這些方法忽視了不同模態(tài)之間的語義沖突。例如：骨組織在CT中試比較亮的，但是在MR-T2圖像中試安的（這是由不同模態(tài)圖像的成像原理決定的）因此這些存在的方法有如下兩個(gè)弊端：
1）現(xiàn)存方法忽視語義沖突。從而導(dǎo)致融合圖像的于一損失，如，CT中亮的是密度的組織，MR中量的部分代表組織的流動(dòng)性和磁性。所以不容模態(tài)之間圖像嗯待亮的部分的語義完全不同。
2）不考慮亮度語義的融合方法會(huì)導(dǎo)致某些腦組織邊界模糊。在圖1 (b)的綠色框架中，我們可以清楚地看到額竇的炎癥區(qū)域，這也是臨床醫(yī)生關(guān)注的重點(diǎn)。但由于圖1 (a)對應(yīng)部分為亮部，融合時(shí)額竇邊界(c)(d)和(e)變得模糊。

Figure 1: Problems of existing approaches. (a) and (b) are the source images CT and MR-T2 respectively. (c), (d) and (e) are the fused images synthesized by three state-of-the-art medical image fusion approaches: the convolutional neural network in Laplacian pyramid domain approach (LP-CNN) [5], the fuzzy-adaptive reduced pulse-coupled neural network in NSCT domain (NSCTRPCNN) approach [8], and the parameter-adaptive pulse coupled neural network in nonsubsampled shearlet domain (NSST-PAPCNN) approach [1].

在本文中我們提出了基于語義的融合方法：先提取不同模態(tài)的圖像的語義特征，然后把他們映射到新的語義空間，然后再新的于一空間生成出融合的醫(yī)學(xué)圖像。采用的FW-Ne由兩個(gè)U-net組成。

Related works

圖像轉(zhuǎn)換

兩種方式：1）任務(wù)中有目標(biāo)域的情況（目標(biāo)域是其中一個(gè)源域）：這種一般是把另一個(gè)域的圖像融合進(jìn)這個(gè)域。通過像素級或者結(jié)構(gòu)級的回歸來實(shí)現(xiàn)。2）目標(biāo)域不在任務(wù)中通常訓(xùn)練一個(gè)度量來生成圖片。

自編碼器

U-net

底層保留了細(xì)粒度信息，高層保留了語義和高頻信息。這再圖像融合中是有益的。

Our approach

1）從源域提取信息，包括結(jié)構(gòu)信息和語義信息
2）把不同域的信息映射到相同的空間，
3）再相同空間內(nèi)融合重建圖像。
自動(dòng)編碼器中編碼器用力拍提取特征，解碼器用來進(jìn)行重構(gòu)，通過最小化生成圖像和源圖像之間的均方誤差(MSE）來進(jìn)行學(xué)習(xí)和訓(xùn)練。

具體方法

編碼器和解碼器都使用U-Net。第一U-Net用于生成融合圖像從兩個(gè)源域到目標(biāo)域，第二U-Net用于重建源圖像。最后，通過最小化重構(gòu)誤差得到融合后的圖像。傳統(tǒng)的自編碼器框架是完全連接的，因此編碼器的矢量輸出不能保證與源圖像在空間上保持一致，而U-Net采用局部連接結(jié)構(gòu)，使得輸出矢量在空間上保持一致，從而得到視覺融合的圖像。

優(yōu)化目標(biāo)

前兩項(xiàng)是重構(gòu)的語義損失，個(gè)人感覺類似于cycle的損失。只不過cycle的損失還有對抗損失這里沒有用到鑒別器。
KL散度的目的是是圖像平滑，是圖像平滑和顯著性之間的權(quán)衡。
最后一項(xiàng)是正則化，防止模型過擬合

語義損失的評估

為了評估語義損失，為每個(gè)方法訓(xùn)練一個(gè)編碼器，再訓(xùn)練過程中用來優(yōu)化

訓(xùn)練之后采用下式來計(jì)算語義 損失

網(wǎng)絡(luò)結(jié)構(gòu)：

1)在編碼器和解碼器的每一層都加入了batchnorm 加速收斂，提升效果

The improved U-Net structure. Blue boxes represent feature maps. The number of channels is denoted at the top of the box. The x-y-size is next to the box. Arrows of different colors represent different operations.

數(shù)據(jù)：

CT and MR-T2 http://www.med.harvard.edu/AANLIB/home.html

評價(jià)標(biāo)準(zhǔn)

Q_MI 互信息
QAB/F 衡量邊緣信息保留成都
SSIM 結(jié)構(gòu)相似性
Q_D 視覺不同行
SL 語義損失

實(shí)驗(yàn)結(jié)果

SSIM一個(gè)很高，一個(gè)很低。作者得解釋是因?yàn)槿诤虾蟮脠D像比較好的保留了CT得信息，又因?yàn)槭峭ㄟ^語義相似性約束得，不同模態(tài)之間得語義相似性相差很大，所以才一個(gè)0.8一個(gè)0.3.

The fused images with different approaches. (a) and (b) are CT and MR-T2 images to be fused, and (c), (d), (e), (f), (g) and (h) are fusion results generated by different approaches

紅色是鈣化得組織。再臨床上應(yīng)該重點(diǎn)關(guān)注。所以融合得話這個(gè)信息應(yīng)該保留。所以相比本文方法其他方法都對這部分有了一定得模糊效果。
黃色腦室 黃色箭頭指得點(diǎn)再M(fèi)R中有體現(xiàn)，再融合圖中也有體現(xiàn)。說明確實(shí)是融合了兩個(gè)圖得信息。
藍(lán)色為頭外骨。

結(jié)論：方法有效。

思考：
總覺得語義相似性有點(diǎn)怪怪得，但說不出哪里有毛病。