借助最近學(xué)習(xí)的U-Net及相關(guān)工具的理論學(xué)習(xí)，用肝臟的CT樣本訓(xùn)練出AI模型的腫瘤識(shí)別能力，用產(chǎn)品經(jīng)理的視角解析實(shí)戰(zhàn)全過程原理，便于后續(xù)的相關(guān)產(chǎn)品設(shè)計(jì)過程中，充分考量技術(shù)棧的各項(xiàng)特征和能力，更高效的與技術(shù)人員進(jìn)行溝通協(xié)作、更精準(zhǔn)的定義產(chǎn)品的定位和邊界，做出更靠譜的產(chǎn)品。
項(xiàng)目目標(biāo)
訓(xùn)練U-Net識(shí)別人的胸腔CT照片，使其能夠在切片照片中標(biāo)記肝臟腫瘤的大小、位置。
CT成像原理簡介
CT全名為計(jì)算機(jī)斷層掃描，利用X射線生成人體內(nèi)部骨骼、軟組織和血管的詳細(xì)橫截面圖像，由于體內(nèi)各種器官組織的密度不同，因此能穿過身體到達(dá)傳感器上的射線密度各有不同，體現(xiàn)在照片中就是不同的灰度，以此幫助醫(yī)生診斷疾病和損傷。檢查結(jié)果非常詳細(xì)，甚至能提供三維圖像，是醫(yī)生評(píng)估病情、確定診斷的重要工具。
與同樣用X射線拍的DR照片不同的是，CT生成的照片是三維的，因此往往會(huì)看到這樣的切片照片：
因?yàn)镃T機(jī)拍照時(shí)，而是將X射線分切成1mm-10mm的小切片分別照射，并通過環(huán)繞目標(biāo)周圍360°高速旋轉(zhuǎn)掃描，目標(biāo)再配合縱向進(jìn)出射線生成最終的3D模型照片：
CT照片里一排排的圖片就是每個(gè)X射線切片的成像結(jié)果。
醫(yī)學(xué)圖像與自然圖像(一般圖像)的區(qū)別
1.醫(yī)學(xué)圖像的模態(tài)(格式)更加多樣化，如X-ray、CT、MRI以及超聲等等，當(dāng)然也包括一些常見的RGB圖像(如眼底視網(wǎng)膜圖像)。不同模態(tài)圖像反應(yīng)的信息側(cè)重點(diǎn)是不一樣的。比如X-ray觀察骨骼更清晰，CT可以反應(yīng)組織和器官出血，MRI適合觀察軟組織。而且不同型號(hào)的成像設(shè)備得到的成像結(jié)果有一定差異。
2.醫(yī)學(xué)圖像的像素值范圍與自然圖像(0~255)有很大差別，如CT一般會(huì)上千。
3.噪聲。由于成像設(shè)備、成像原理以及個(gè)體自身差異的影響，醫(yī)學(xué)圖像一般會(huì)含有很多噪聲。由于噪聲對(duì)于位置和空間約束是獨(dú)立的，從而可以利用噪聲的分布來實(shí)現(xiàn)降噪，但是在抑制噪聲的同時(shí)也需要考慮圖像細(xì)節(jié)的保留問題。
4.偽影。偽影一般是在圖像配準(zhǔn)或三維重建時(shí)產(chǎn)生(如CT)，從原理上來，只能減少，無法消除。
CT樣本圖片的格式
通過與CT設(shè)備的DICOM接口拉取照片，實(shí)際每張照片都是由很多張2D的照片壓縮組成的3D照片，其中就是每張照片就是前面講過的切片，若CT配置是128排的就有128張照片，64排的就是64張照片，將這些2D的DICOM照片按順序合到一起就可以生成VTK格式的3D模型。
DICOM照片不同于普通的PNG、JPEG格式，是醫(yī)學(xué)圖像和相關(guān)信息的國際標(biāo)準(zhǔn)，涵蓋了醫(yī)學(xué)數(shù)字圖像的采集、歸檔、通信、顯示及查詢等幾乎所有信息交換的協(xié)議，查看工具：Agnosco，打開時(shí)效果如下：
VTK格式數(shù)據(jù)，使用可視化工具包處理圖像并創(chuàng)建三維計(jì)算機(jī)圖形，查看工具：ParaView，打開效果如下，還可以通過鼠標(biāo)拖拽翻滾模型：
為了后面的訓(xùn)練，還要準(zhǔn)備好訓(xùn)練用的掩膜DICOM照片，掩模圖直接在原圖上標(biāo)記出腫瘤的位置、大小，與原圖的每張照片一一對(duì)應(yīng)，由標(biāo)記人員用專用工具逐張標(biāo)記后生成：
圖片預(yù)處理
預(yù)處理過程應(yīng)該是整個(gè)訓(xùn)練過程中耗時(shí)最長、最繁瑣的，首先要了解醫(yī)學(xué)圖片的格式和特點(diǎn)，其次要對(duì)原圖像做一些降噪、特征增強(qiáng)、標(biāo)準(zhǔn)化等處理，以提高訓(xùn)練的效果，最后將圖片格式轉(zhuǎn)換成Unet便于識(shí)別的格式。在圖像識(shí)別中針對(duì)不同的圖片格式、特征以及訓(xùn)練用途，對(duì)圖像預(yù)處理的手段、步驟和工具各不相同，因此本篇僅針對(duì)人體肝臟的CT照片為例介紹過程，實(shí)踐時(shí)需根據(jù)實(shí)際需求和樣本特征做專門的預(yù)處理，不可生搬硬套。
CT拍攝的照片都是黑白的，其細(xì)節(jié)都在灰階中呈現(xiàn)，顯示器灰的階層次越多，能顯示到的細(xì)節(jié)越豐富，通過人眼在顯示器上看出這些細(xì)節(jié)是很辛苦的，但實(shí)際上照片中的數(shù)據(jù)包含了相當(dāng)豐富的信息，AI可以通過對(duì)照片數(shù)據(jù)的解讀來識(shí)別到更豐富更精確的特征，與此同時(shí)，由于照片中的數(shù)據(jù)過于豐富，也會(huì)帶來很多對(duì)識(shí)別腫瘤無用的冗余信息，這些多余的數(shù)據(jù)需要被有效的篩除以避免干擾訓(xùn)練效果，還可以大幅縮短訓(xùn)練所需的算力和時(shí)間，另外對(duì)本來需要用來訓(xùn)練的數(shù)據(jù)進(jìn)行特征強(qiáng)化以提高AI的訓(xùn)練效果，預(yù)處理就是用來篩掉無用信息，強(qiáng)化目標(biāo)特征的過程。
1.數(shù)據(jù)加載
這個(gè)環(huán)節(jié)主要是技術(shù)人員用合適的工具將訓(xùn)練樣本導(dǎo)入，導(dǎo)入時(shí)需按照拍攝時(shí)的順序進(jìn)行排序，并且圖片的方向、縮放比例、中心點(diǎn)、坐標(biāo)軸、色彩、亮度、灰度等解析需統(tǒng)一，確保輸入的照片都是統(tǒng)一的數(shù)據(jù)格式和解析參數(shù)。
2.原圖亮度和對(duì)比度優(yōu)化
把CT照片轉(zhuǎn)換成二進(jìn)制文件后，可以解析出照片數(shù)據(jù)實(shí)際是一個(gè)二維數(shù)組，數(shù)組中的每個(gè)值代表著某個(gè)像素的RGB值。
可以看到其數(shù)值區(qū)間包含-1024~1024，而大量RGB為-1024的像素都是背景，且數(shù)值過低整體的拉低了整張照片的亮度和對(duì)比度，通過對(duì)windowing的參數(shù)窗寬（windowWidth）和窗位（windowCenter）的調(diào)節(jié)，使得圖片提亮和對(duì)比度加深，以降低背景像素對(duì)照片元數(shù)據(jù)特征的干擾，并且能夠更明顯的突出拍攝到的照片細(xì)節(jié)。通過對(duì)亮度、對(duì)比度的調(diào)整，從肉眼上也可以看出圖片中的輪廓、線條變得更加清晰。
2.圖片降噪
原圖存在噪點(diǎn)是不可避免的，噪點(diǎn)會(huì)導(dǎo)致細(xì)節(jié)變得模糊，影響輪廓和邊界的判斷，簡單的情況可通過調(diào)節(jié)直方圖均衡化解析參數(shù)來減少噪點(diǎn)，實(shí)際應(yīng)用時(shí)降噪是非常復(fù)雜的，因每家醫(yī)院的設(shè)備廠商、型號(hào)不同且設(shè)備壽命、保養(yǎng)情況不同，照片質(zhì)量差異非常大，這個(gè)過程也可以訓(xùn)練單獨(dú)的CNN模型來處理，實(shí)際效果類似如下：
3.整理有效訓(xùn)練素材
前面說過CT照片其實(shí)是立體模型的切片，實(shí)際腫瘤不一定占滿整個(gè)立體模型，因此為了加快訓(xùn)練速度，可以將沒有拍到腫瘤的照片剔除，只留下拍到有腫瘤的照片以及對(duì)應(yīng)的人工標(biāo)記好的掩模圖。
篩好照片后，將原照片和掩模圖按順序?qū)?yīng)分別導(dǎo)出為JPG或PNG等可以被用于訓(xùn)練的格式。
4.圖像數(shù)據(jù)增強(qiáng)
因醫(yī)療數(shù)據(jù)的敏感性，很多實(shí)際醫(yī)療項(xiàng)目中很難有充足的數(shù)據(jù)完成項(xiàng)目任務(wù)?？蓮囊韵路矫嫒胧?
1.尋找更多的數(shù)據(jù)。
2.充分利用己有的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)。
數(shù)據(jù)增強(qiáng)也叫數(shù)據(jù)擴(kuò)增，意思是在不實(shí)質(zhì)性的增加數(shù)據(jù)的情況下，讓有限的數(shù)據(jù)產(chǎn)生等價(jià)于更多數(shù)據(jù)的價(jià)值。
可以上一步整理好的照片和掩模圖進(jìn)行縮放、旋轉(zhuǎn)、裁切、位移等等，用以增加樣本量。增強(qiáng)時(shí)注意以下幾點(diǎn)：
1.生成的新照片色彩模式為黑白灰度，不要用RGB彩色模式
2.CT照片和對(duì)應(yīng)標(biāo)記了腫瘤的掩模圖要做相同的處理且命名上成對(duì)匹配
3.根據(jù)訓(xùn)練機(jī)器的配置，自行調(diào)整生成的數(shù)量，可多可少，越多當(dāng)然訓(xùn)練效果越好但訓(xùn)練成本更高
5.圖像歸一化
圖像歸一化是指對(duì)圖像進(jìn)行了一系列標(biāo)準(zhǔn)的處理變換，使之變換為一固定標(biāo)準(zhǔn)形式的過程。歸一化思想是通過數(shù)學(xué)手段，把不明顯的像素、過亮、過暗的像素進(jìn)行一定程度的屏蔽，突出有價(jià)值的像素，以加快訓(xùn)練網(wǎng)絡(luò)的收斂性、簡化計(jì)算。在案例中主要通過歸一化去減小醫(yī)學(xué)圖片，也可以一定程度消除由于光線不均勻而造成的干擾。案例中將每個(gè)像素的像素值直接除以圖片最高像素值255，而后對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行灰度處理，數(shù)值大于0.5的賦為1，小于等于0.5則賦為0，使得原照片像素值從0-255變成了0-1，在實(shí)際應(yīng)用時(shí)需根據(jù)自己的樣本照片像素值特征設(shè)計(jì)特有的歸一化算法。
這樣處理后的圖片中線條的變得更清晰，因?yàn)榫€條邊緣的灰度像素被強(qiáng)制設(shè)定為0（白色）或者1（黑色），當(dāng)然實(shí)踐時(shí)也可以通過一些算法把過暗、過亮的像素進(jìn)行歸一化處理：
雖然歸一化處理可以降低圖片中數(shù)據(jù)的復(fù)雜度，但是也會(huì)導(dǎo)致一定程度的失真，當(dāng)然也有其他手段避免這一問題，同樣也會(huì)增加復(fù)雜度和計(jì)算成本。
訓(xùn)練模型
這個(gè)過程在我的上一篇內(nèi)容已經(jīng)介紹過原理，傳送門，這里就不再重復(fù)。
當(dāng)然實(shí)際訓(xùn)練的時(shí)候，還會(huì)有一些參數(shù)，比如單次訓(xùn)練的圖片數(shù)量、訓(xùn)練次數(shù)等等，這些需要和技術(shù)人員協(xié)商，根據(jù)自身項(xiàng)目的緊急程度做調(diào)整，通常來說訓(xùn)練的越多越好，但是花費(fèi)的算力和時(shí)間成本也更多，通常當(dāng)準(zhǔn)確率達(dá)到預(yù)期或某個(gè)極值就OK了（比如99%），只能無限接近100%，當(dāng)準(zhǔn)確率達(dá)到某個(gè)極值之后再往上提升，成本會(huì)指數(shù)級(jí)上升。
訓(xùn)練效果
OK，整個(gè)過程就介紹這么多，實(shí)戰(zhàn)時(shí)每個(gè)步驟都是一塊不小的工程量，根據(jù)實(shí)際項(xiàng)目需求決定，過程中涉及到很多對(duì)于圖片數(shù)據(jù)的處理，因此產(chǎn)品經(jīng)理還需要掌握DICOM照片和常見圖片的數(shù)據(jù)格式、參數(shù)、解析原理的相關(guān)知識(shí)，才能有效分析需求特性和目標(biāo)預(yù)期，便于分析和調(diào)整產(chǎn)品方案中預(yù)處理的模塊，也能更好的與技術(shù)人員合作溝通。
