以分類問(wèn)題舉例。將一張圖片分類為貓。
局部可解釋性：為什么這是一只貓
全局可解釋性：一只貓長(zhǎng)什么樣

為什么要可解釋：對(duì)于分類問(wèn)題，我們?cè)谀承┣闆r下給出分類的依據(jù)。（神馬漢斯？）
具有可解釋性，幫助我們提高模型的性能。

李宏毅對(duì)可解釋性的觀點(diǎn)：機(jī)器學(xué)習(xí)可解釋性不等于完全理解模型，只要使得人滿意。不同的任務(wù)給予不同的解釋內(nèi)容。目標(biāo)——》去黑暗下找車鑰匙。

局部可解釋性方法：1.遮擋輸入的每一個(gè)組成成分，觀察結(jié)果。2.對(duì)輸入的每一個(gè)成分添加擾動(dòng)，觀察結(jié)果。擾動(dòng)影響可以使用y對(duì)x的偏微分計(jì)算。3.對(duì)于某些輸入的成分，雖然它的偏微分小，但是對(duì)結(jié)果的判斷確實(shí)有很大作用，這類可解釋性需要新的方法。
舉例：模型對(duì)圖片分類，兩類圖片分別是png和jpg，利用saliency map可以解釋分類正確的原因。

全局可解釋性方法：激活值最大化。指定一個(gè)分類的輸出結(jié)果，找到得到該分類結(jié)果最大值的輸入，這個(gè)數(shù)據(jù)就是模型F所希望的最佳輸入。通常需要一個(gè)正則項(xiàng)來(lái)保證輸入是一個(gè)正常的圖像。
除了一般正則項(xiàng)，可以利用卷積神經(jīng)網(wǎng)絡(luò)G作為正則項(xiàng)。一個(gè)向量z輸入生成網(wǎng)絡(luò)G，得到輸入圖像X，將X再輸入分類器F，得到分類結(jié)果Y。通過(guò)最大化Y，找到對(duì)應(yīng)的z。z輸入到G中得到分類器F認(rèn)為的理想的圖像X。這里的分類器F在訓(xùn)練中固定不變，因?yàn)槲覀兊哪康氖墙忉屗?/p>

利用可解釋的模型去解釋不可解釋的模型。例如使用一個(gè)線性模型去模擬一個(gè)神經(jīng)網(wǎng)絡(luò)，我們只解釋線性模型即可。然而，線性模型是不能模擬神經(jīng)網(wǎng)絡(luò)，正因?yàn)槿绱?，所以我們才使用神?jīng)網(wǎng)絡(luò)。所以考慮用一個(gè)可解釋模型去模擬部分的神經(jīng)網(wǎng)絡(luò)，來(lái)解釋不可解釋的模型。使用lime模型（local interpretable model-agnostic explanations），但是會(huì)受到采樣點(diǎn)的選取結(jié)果影響。

利用LIME解釋圖像分類問(wèn)題。1.將一個(gè)圖像分割成M個(gè)不同的區(qū)域，將部分區(qū)域覆蓋后輸入網(wǎng)絡(luò)，記錄輸出的分?jǐn)?shù)。2.將分割的圖像編碼成M長(zhǎng)度的向量，編碼規(guī)則為：不覆蓋的區(qū)域?yàn)?，覆蓋的區(qū)域?yàn)?。3.將編碼后的向量用線性模型模擬1步驟中的輸出結(jié)果。4.查看線性模型的權(quán)重，權(quán)重較大的代表該區(qū)域m更影響輸出結(jié)果。

利用決策樹(shù)解釋神經(jīng)網(wǎng)絡(luò)。決策樹(shù)有很好的擬合數(shù)據(jù)的能力，但是想要達(dá)到和神經(jīng)網(wǎng)絡(luò)同樣的擬合數(shù)據(jù)的效果，意味著這棵決策樹(shù)會(huì)很深。這就會(huì)導(dǎo)致很難去解釋，因此我們希望用一個(gè)盡可能最淺的決策樹(shù)來(lái)擬合神經(jīng)網(wǎng)絡(luò)的輸出。解決方案：在訓(xùn)練的時(shí)候就考慮轉(zhuǎn)化為決策樹(shù)后的大小。構(gòu)造新的損失函數(shù)loss+O(T)，O(T)代表樹(shù)的平均深度。但是我們?cè)谟?xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候使用梯度下降法，樹(shù)的平均深度是無(wú)法做偏微分的。解決方案：訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，它的輸入是網(wǎng)絡(luò)的參數(shù)，輸出是其轉(zhuǎn)化為樹(shù)結(jié)構(gòu)后的平均深度。這個(gè)新的網(wǎng)絡(luò)不需要很復(fù)雜，知識(shí)在訓(xùn)練這個(gè)網(wǎng)絡(luò)所需要的數(shù)據(jù)需要自己制作，比較麻煩。