姓名：韓宜真

學號：17020120095

轉(zhuǎn)載自：https://mp.weixin.qq.com/s/g9GddOQdMI8lAKnGlTR-Fw

【嵌牛導讀】本文總結(jié)和分析各種機器學習可解釋技術(shù)，并討論了機器學習可解釋方法面臨的挑戰(zhàn)和機遇以及未來的可能發(fā)展方向。

【嵌牛鼻子】可解釋性 神經(jīng)網(wǎng)絡(luò) 黑盒子 模仿者模

【嵌牛提問】機器學習可解釋技術(shù)是什么？

【嵌牛正文】

近年來，機器學習發(fā)展迅速，尤其是深度學習在圖像、聲音、自然語言處理等領(lǐng)域取得卓越成效.機器學習算法的表示能力大幅度提高，但是伴隨著模型復(fù)雜度的增加，機器學習算法的可解釋性越差，至今，機器學習的可解釋性依舊是個難題.通過算法訓練出的模型被看作成黑盒子，嚴重阻礙了機器學習在某些特定領(lǐng)域的使用，譬如醫(yī)學、金融等領(lǐng)域.? 目前針對機器學習的可解釋性綜述性的工作極少，因此，將現(xiàn)有的可解釋方法進行歸類描述和分析比較，一方面對可解釋性的定義、度量進行闡述，另一方面針對可解釋對象的不同，從模型的解釋、預(yù)測結(jié)果的解釋和模仿者模型的解釋3個方面，總結(jié)和分析各種機器學習可解釋技術(shù)，并討論了機器學習可解釋方法面臨的挑戰(zhàn)和機遇以及未來的可能發(fā)展方向.

關(guān)鍵詞?機器學習；可解釋性；神經(jīng)網(wǎng)絡(luò)；黑盒子；模仿者模型

縱觀機器學習的歷史發(fā)展進程，其最初的目標是從一系列數(shù)據(jù)中尋找出可以解釋的知識，因而在追求算法性能的同時，也很注重算法的可解釋性.典型的代表譬如線性感知機、決策樹、k近鄰算法等.進入20世紀80年代之后，伴隨神經(jīng)網(wǎng)絡(luò)的復(fù)蘇，機器學習算法在設(shè)計時開始放棄可解釋性這一要求，強調(diào)提高算法泛化的性能.神經(jīng)網(wǎng)絡(luò)的激活函數(shù)的選擇不再局限于線性函數(shù)，而采用非線性的譬如Sigmoid，tanh，Softmax，Relu等函數(shù)，一方面其表示能力大幅度提高，另一方面，隨著其模型復(fù)雜度的增加，算法的可解釋性就更差.

然而，機器學習解釋技術(shù)具有巨大的潛在應(yīng)用空間.譬如科學家在知識發(fā)現(xiàn)的過程中，可解釋的機器學習系統(tǒng)可以幫助他們更好地理解輸出的知識，并尋找各種因素之間的相關(guān)性；對于一些復(fù)雜任務(wù)的端到端系統(tǒng)，幾乎無法完全測試，也無法創(chuàng)建系統(tǒng)可能失敗的完整場景列表，人類無法枚舉出所有可能出現(xiàn)的計算上或者邏輯上的不可行輸出，系統(tǒng)的可解釋性對于系統(tǒng)的理解則至關(guān)重要；需要防范可能產(chǎn)生某些歧視的場景，即使我們有意識將某些特定的受保護類編碼到系統(tǒng)中，也仍然存在考慮欠缺的先驗偏見，譬如種族歧視[1-3]、性別歧視等.

對機器學習的可解釋性需求不僅僅來源于上述的需求，同時還來源于法律法規(guī).歐盟于2018年5月生效的GDPR(General Data Protection Regulation)中有條例明確規(guī)定，當機器針對某個個體作出決定時，該決定必須符合一定要求的可解釋性.

NIPS2017的工作組曾針對“可解釋性在機器學習中是否必要”這一問題展開激烈的討論[4].并非所有的機器學習系統(tǒng)都需要可解釋性，譬如郵政編碼分類、航空器防撞系統(tǒng)等都是在沒有人類干預(yù)的情況下運行，不需要解釋.但是在醫(yī)療保健、金融等行業(yè)而言，模型的可解釋性不僅重要而且非常必要.譬如在醫(yī)療保健方面，護理人員、醫(yī)生和臨床專家都依賴于新的醫(yī)療技術(shù)來幫助他們監(jiān)控和決策患者護理，一個良好的可解釋性模型被證明可以提高臨床工作人員的解決問題的能力，從而提高患者護理質(zhì)量[5-7].通常對于系統(tǒng)出現(xiàn)不可接受的結(jié)果且無法造成重大后果的情況下，或者在實際應(yīng)用中，人們已經(jīng)充分地研究和驗證出現(xiàn)的問題，即使系統(tǒng)表現(xiàn)不太完美，人們也愿意相信系統(tǒng)的決定.在類似的場景下，對可解釋性是沒有需求的.

近幾年來針對機器學習的可解釋性綜述性的工作陸續(xù)出現(xiàn)，每個學者從不同的研究角度和側(cè)重點進行概述說明.

Miller[8]從哲學、心理學和認知科學的角度對解釋的定義、生成、選擇、評估和呈現(xiàn)給予說明，展現(xiàn)人們在研究機器學習可解釋過程中的某種認知偏見和社會期望.Zhou等人[9]認為機器學習缺乏解釋既是實際問題也是道德問題，根據(jù)解釋的概念和黑盒子系統(tǒng)的類型不同，對目前的解釋技術(shù)進行了分類總結(jié).

Gilpin等人[10]重點描述了可解釋技術(shù)在人機交互領(lǐng)域(human computer interaction, HCI)、黑盒模型和其他領(lǐng)域的應(yīng)用說明.Carvalho等人[11]闡述可解釋性問題的重要性，并粗粒度地給出3種體系的分類歸納：Pre-Model VS In-Model VS Post-Model、內(nèi)在(intrinsic)VS Hoc以及特異性模型(model-specific)VS不可知模型(model-agnostic).Brian等人[12]提出可解釋地預(yù)測與可解釋模型之間的區(qū)別，前者側(cè)重于解釋模型預(yù)測的結(jié)果，通常以個體特征的貢獻角度來詮釋，而后者從模型本身出發(fā)進行解釋.還有部分的研究者關(guān)注特定研究領(lǐng)域的可解釋性.譬如：Zhang等人[13]聚焦卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks， CNNs)的可解釋研究工作.Tjoa等人[14]則關(guān)注醫(yī)療領(lǐng)域的可解釋性工作.紀守領(lǐng)等人[15]側(cè)重可解釋技術(shù)的應(yīng)用和安全領(lǐng)域的研究工作.

本文立足于機器學習的可解釋技術(shù)，借鑒和擴展Brian[12]提出的分類框架，對可解釋技術(shù)的最新研究進展進行綜述.一方面對可解釋性的定義、度量進行闡述，另一方面針對可解釋對象的不同，從模型的解釋、預(yù)測結(jié)果的解釋和模仿者模型3個方面，總結(jié)和分析各種機器學習可解釋技術(shù).

http://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2020.20190456