機(jī)器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義

機(jī)器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義論文討論了機(jī)器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義。7月17日，加州大學(xué)圣迭戈分校學(xué)（CMU）ZacharyC.Lipton在ACMQueueTheMythosofModelInterpretability》的文章，討論了監(jiān)督式機(jī)器學(xué)習(xí)預(yù)測模型的可解釋性問題。Lipton在文中試圖明確“可解釋性”的定義，并對(duì)“可解釋性”進(jìn)行分類，并提出了一個(gè)重要觀點(diǎn)，認(rèn)為線性模型的可解釋性并不一定高于深度神經(jīng)網(wǎng)絡(luò)（DNN）模型。以下是新智元對(duì)論文內(nèi)容的簡編。監(jiān)督式的機(jī)器學(xué)習(xí)模型具有卓越的預(yù)測能力。不過，機(jī)器學(xué)習(xí)模型不僅應(yīng)該可用，而且應(yīng)該是可解釋的，但“解釋機(jī)器學(xué)習(xí)模型”的任務(wù)定義似乎不夠明確。學(xué)術(shù)文獻(xiàn)中提出了為模型尋求可解釋性的許多動(dòng)機(jī)，并提供了無數(shù)的技術(shù)來提供可解釋的模型。盡管存在這種模棱兩可的情況，但許多作者宣稱他們的模型在公理上是可解釋的，然而對(duì)此卻缺乏進(jìn)一步的論證。問題是，目前尚不清楚這些技術(shù)的共同特性是什么。本文旨在完善關(guān)于可解釋性的表述。首先，文章回顧了以前論文接著討論了研究可解釋性的模型屬性和技術(shù)思路，以及模型對(duì)人而言的識(shí)別透明度，并引入了“事后可解釋性”的概念作為對(duì)比。文章討論了關(guān)于模型可解釋性概念的不同觀點(diǎn)的可行性和合理之處，對(duì)“線在過去的20應(yīng)用中，大多數(shù)基于機(jī)器學(xué)習(xí)的決策的運(yùn)作方式是這樣的：用輸入數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)算法，然后由算法預(yù)測相應(yīng)的輸出。例如，給定一組關(guān)于金融交易的屬性信息，機(jī)器學(xué)習(xí)算法可以預(yù)測長期的投資回報(bào)。給定來自CT概率。機(jī)器學(xué)習(xí)算法接收大量成對(duì)數(shù)據(jù)（輸入和輸出），為垃圾郵件（置信度超過某閾值）的電郵。什么是可解釋性，它為什么如此重要？目前機(jī)器學(xué)習(xí)在醫(yī)學(xué)、刑事司法系統(tǒng)和金融市場等關(guān)鍵領(lǐng)域的應(yīng)用越來越廣泛，但人類無法真正理解這些模型，這是個(gè)問題。一些人提出了模型的“可解釋性”作為一種補(bǔ)救措施，但在學(xué)術(shù)文獻(xiàn)中，很少有作者準(zhǔn)確地闡明了“可解釋性”的含義，也沒有準(zhǔn)確解釋他們提出的解決方案為何是有用的。盡管缺乏定義，但越來越多的文獻(xiàn)提出了據(jù)稱可解釋的算法。這樣來看我們似乎可以得出以下結(jié)論：要么是（1）人們對(duì)可解釋性的定義是普遍認(rèn)同的，但沒人愿意費(fèi)心以書面表達(dá)出來，要么就是（2）“可解釋性”的定義是不明確的，所以關(guān)于機(jī)器學(xué)習(xí)模型的可解釋性的觀點(diǎn)都顯得科學(xué)性不足。對(duì)相關(guān)文獻(xiàn)的研究表明，后者與實(shí)際情況相符合。關(guān)于模型可解釋性的文獻(xiàn)中提出的目標(biāo)和方法多種多樣，這表明可解釋性不是一個(gè)單一概念，而是一些彼此迥然不同的觀點(diǎn)，有必要將這些觀點(diǎn)分開來討論。本文側(cè)重討論監(jiān)督式學(xué)習(xí)，而非強(qiáng)化學(xué)習(xí)和互動(dòng)學(xué)習(xí)等其他機(jī)器學(xué)習(xí)范式。這是因?yàn)楫?dāng)前在實(shí)際應(yīng)用中，監(jiān)督式學(xué)習(xí)居于首要地位。同時(shí)給出了對(duì)“線性模型可解釋，而深層神經(jīng)網(wǎng)絡(luò)不可解釋”這個(gè)常見觀點(diǎn)的分析。首先需要明確的是，什么是可解釋性？可解釋性為什么如此重要？許多人提出，可解釋性就是對(duì)模型產(chǎn)生信任的方式。這又導(dǎo)致了另一個(gè)關(guān)于認(rèn)識(shí)論的問題：什么是信任？是指對(duì)模型能夠表現(xiàn)良好的信任是否是一種主觀的定義？還有人認(rèn)為，可解釋的模型就是可取的，因?yàn)樗赡苡兄诮沂居^察數(shù)據(jù)中的因果結(jié)構(gòu)。而關(guān)于解釋權(quán)的法律概念為可解釋性一詞提供了另一個(gè)視角。有時(shí)，尋求可解釋性的目的，可能只是為了從模型中獲取更多有用的信息。本文討論了模型的哪些屬性可以讓它們變得可解釋。有些論文將可解釋性與可理解性或可理解性等同起來，在這些論文中，可理解的模型有時(shí)被稱為“透明”的，而難以理解的模型被稱為黑盒子。但是透明度是什么？算法本身會(huì)收斂嗎？有唯一解嗎？人們是否了解每個(gè)參數(shù)代表什么？或者考慮模型的復(fù)雜性：是否足夠簡單？其他內(nèi)容包括“事后可解釋”的概念。這種解釋可能解釋了預(yù)測或者用于分析深度神經(jīng)網(wǎng)絡(luò)的顯著性圖。因此，人類做出的決定可能會(huì)滿足“事后可解釋”，不過人類大腦的運(yùn)作機(jī)制仍是個(gè)黑盒子，這表明兩種常見的可解釋性概念之間的矛盾。本論文的作者ZacharyC.Lipton線性模型和深度網(wǎng)絡(luò)模型的取舍可解釋性的概念很重要、也很棘手。本文分析了可解釋性的動(dòng)機(jī)和研究界提出的一些嘗試。現(xiàn)在讓我們考慮一下這種分析的含義并提供一些內(nèi)容。線性模型并不比深度神經(jīng)網(wǎng)絡(luò)具有更高的可解釋性。盡管這種說法很流行，但其真實(shí)價(jià)值取決于采用哪種可解釋性的概念。如果可解釋性指的是算法透明度，那么這種說法似乎沒有什么爭議，但對(duì)高維特征或經(jīng)大幅修正的特征而言，線性模型就分別不具備可模擬性和可分解性。在線性模型和深度模型之間進(jìn)行選擇時(shí)，我們時(shí)常要在算法透明度和可分解性之間進(jìn)行權(quán)衡。這是因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)模型一般面向原始特征或輕度處理的特征。所以如果不出意外，這些特征都具有直觀的意義，因而采用“事后可解釋性”的概念是可以接受的。而線性模型則不同，為了獲得足夠的性能，通常必須面向大量經(jīng)人工設(shè)計(jì)的特征。ZacharyLipton曾與他人合作撰文指出，線性模型要想接近遞歸神經(jīng)網(wǎng)絡(luò)的性能，就必須以舍棄可分解性為代價(jià)。如果考察某些類型的“事后可解釋性”（post-hocinterpretable），深度神經(jīng)網(wǎng)絡(luò)具有明顯的優(yōu)勢。深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)豐富的表示，這些表示能夠可視化、用語言表達(dá)或用于聚類。如果考慮對(duì)可解釋性的需求，似乎線性模型在研究自然世界上的表現(xiàn)更好，但這似乎沒有理論上的原因。關(guān)于可解釋性的聲明必須是合格的?？山忉屝砸辉~并沒有一個(gè)整體概念。關(guān)于可解釋性的任何觀點(diǎn)都應(yīng)該首先為“可解釋性”確定一個(gè)特定的定義。如果模型滿足透明度的形式，則可解釋性可以直接體現(xiàn)出來。對(duì)于“事后可解釋性”，則應(yīng)確定一個(gè)明確的目標(biāo)，并證明所提供的解釋形式能夠?qū)崿F(xiàn)這一目標(biāo)。特別是在基于主觀目標(biāo)對(duì)模型做特定優(yōu)化時(shí)。因?yàn)樵谶@種情況下，人就像在招聘活動(dòng)和大學(xué)錄取中的一些行為一樣。我們?cè)谂ν茝V機(jī)器學(xué)習(xí)模型的應(yīng)用，模仿人類智能的過程中，更應(yīng)該小心不要重現(xiàn)大規(guī)模的不正常行為。未來方向未來有幾個(gè)有前途的方向。首先，對(duì)于某些問題，可以開發(fā)更豐富的損失函數(shù)和性能指標(biāo)，降低現(xiàn)實(shí)與機(jī)器學(xué)習(xí)目標(biāo)之間的差異。包括對(duì)稀疏誘導(dǎo)正則化因子（sparsity-inducingregularizers）和成本敏感學(xué)習(xí)（cost-sensitivelearning）的研究。其次，這種分析可以擴(kuò)展到其他機(jī)器學(xué)習(xí)范式中，比如強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)模型可通過直接對(duì)模型與環(huán)境的交互進(jìn)行建模，從而解決模型可解釋性研究中的一些問題。值得注意的是，強(qiáng)化學(xué)習(xí)模型能夠?qū)W習(xí)自身行為與現(xiàn)實(shí)世界的影響之間的因果關(guān)系。然而，與監(jiān)督式學(xué)習(xí)一樣，強(qiáng)化學(xué)習(xí)同樣依賴于（fairness）問題，這個(gè)我們正在努力精確定義的指標(biāo)，機(jī)器學(xué)習(xí)范式可解釋度的提升則不大可能解決。觀點(diǎn)爭鳴不過，關(guān)于這個(gè)問題也有人提出了一些異議，谷歌大腦軟件工程AkshayAgrawal就對(duì)Lipton論文中的主要觀點(diǎn)進(jìn)行了歸納，并提出了不少不同意見。對(duì)此文提出不同意見的AkshayAgrawalAgrawal認(rèn)為Lipton的論文對(duì)模型可解釋性的定義分為三個(gè)方面：第一是透明度，其表現(xiàn)形式是“可模擬性”，即人類應(yīng)該可以手動(dòng)模擬機(jī)器學(xué)習(xí)模型。第二是“可分解性”，即模型的每個(gè)部分都有直觀的解釋。第三是算法，算法應(yīng)該有獨(dú)一無二的解。Agrawal認(rèn)為：第一點(diǎn)有些問題，因?yàn)橛?jì)算機(jī)的目的是自動(dòng)完成人類在合理的時(shí)間內(nèi)無法完成的任務(wù)。第二點(diǎn)講得很好。第三點(diǎn)也有問題，因?yàn)榧词乖谕姑嫔仙踔炼疾荒鼙ＷC有唯一解。而算法的確定性問題已經(jīng)不屬于機(jī)器學(xué)習(xí)的范圍。Agrawal表示，在可解釋性問題上，重要問題的有兩點(diǎn)：這個(gè)模型是否能推廣用在未見過的數(shù)據(jù)上面？如果在對(duì)某個(gè)推廣假