盤點(diǎn)：2018 年關(guān)于深度學(xué)習(xí)的10個(gè)預(yù)測(cè)

【計(jì)算機(jī)論文】盤點(diǎn)：2018年關(guān)于深度學(xué)習(xí)的10個(gè)預(yù)測(cè)

下面是對(duì)2018年深度學(xué)習(xí)的10個(gè)預(yù)測(cè)：(1)大部分深度學(xué)習(xí)領(lǐng)域的硬件創(chuàng)業(yè)公司都將失敗很多深度學(xué)習(xí)硬件創(chuàng)業(yè)公司將在2018年開始交付他們的硅產(chǎn)品(深度學(xué)習(xí)硬件的核心部件是由晶體硅構(gòu)成)。其中的大部分公司都將破產(chǎn)，因?yàn)樗麄兺私桓逗玫能浖?lái)支持他們的新解決方案。這些創(chuàng)業(yè)公司的DNA是硬件。不幸的是，在深度學(xué)習(xí)領(lǐng)域，軟件與硬件同樣重要。這些初創(chuàng)公司大多不懂軟件，也不懂得開發(fā)軟件的成本。這些公司可能會(huì)交付硅產(chǎn)品，但是沒(méi)有任何東西能在這些產(chǎn)品上運(yùn)行。研究人員將開始使用這些張量計(jì)算核心，不僅用于推理，還會(huì)用于加速訓(xùn)練。英特爾的解決方案將繼續(xù)被推遲，很可能會(huì)讓人失望。記錄顯示，英特爾無(wú)法在2017年年中實(shí)現(xiàn)這一計(jì)劃，而且所有人都不知道該公司何時(shí)會(huì)發(fā)布這一消息。Google將繼續(xù)用機(jī)器學(xué)習(xí)芯片TPU來(lái)給世界帶來(lái)驚喜。也許GOogle通過(guò)將其IP授權(quán)給其他半導(dǎo)體廠商來(lái)進(jìn)入硬件行業(yè)。如果它能繼續(xù)成為除英偉達(dá)以外唯一的真正玩家，它這么做是有意義的。(2)元學(xué)習(xí)將會(huì)成為新的SGD2017年，在元學(xué)習(xí)領(lǐng)域出現(xiàn)了很多有分量的研究成果。隨著研究群體對(duì)元學(xué)習(xí)有更好的理解，舊的隨機(jī)梯度下降法(SGD)將會(huì)被擱置，取而代之的是一種結(jié)合了開發(fā)和探索性的搜索方法的更有效的方法。無(wú)監(jiān)督學(xué)習(xí)的進(jìn)展將會(huì)出現(xiàn)遞增，但它主要是由元學(xué)習(xí)算法驅(qū)動(dòng)的。(3)生成模型驅(qū)動(dòng)一種新的建模方式關(guān)于生成模型的科學(xué)研究將會(huì)越來(lái)越多。目前，大多數(shù)研究都是在生成圖像和語(yǔ)音領(lǐng)域開展的。但是，我們會(huì)發(fā)現(xiàn)這些方法將被集成到用于建模復(fù)雜系統(tǒng)的工具中，其中就包括深度學(xué)習(xí)在經(jīng)濟(jì)建模里的應(yīng)用。(4)自我博弈學(xué)習(xí)是自動(dòng)化的知識(shí)創(chuàng)造AlphaGoZero和AlphaZero是從零開始通過(guò)自我博弈學(xué)習(xí)是一次巨大的飛躍。在我看來(lái)，它的影響與深度學(xué)習(xí)的出現(xiàn)帶來(lái)的影響是同等重要的。深度學(xué)習(xí)發(fā)現(xiàn)了通用的函數(shù)逼近器，強(qiáng)化式自我博弈學(xué)習(xí)發(fā)現(xiàn)了通用的知識(shí)創(chuàng)造方式。我期待看到更多與自我博弈學(xué)習(xí)相關(guān)的進(jìn)展。(5)直覺機(jī)器將縮小語(yǔ)義鴻鴻溝這是我做的一個(gè)最雄心勃勃的預(yù)測(cè)。我們將會(huì)縮小直覺機(jī)器和理性機(jī)器之間的語(yǔ)義鴻溝。雙重過(guò)程理論(Dualprocesstheory)(兩種認(rèn)知機(jī)器的概念，一種是無(wú)模型的，另一種是基于模型的)將會(huì)成為關(guān)于我們應(yīng)該如何構(gòu)建新的人工智能的更普遍的概念。在2018年，人工直覺的概念將不再是一個(gè)邊緣概念，而是一個(gè)被普遍接受的概念。(6)解釋能力是無(wú)法實(shí)現(xiàn)的——我們必須偽造它解釋能力存在兩個(gè)問(wèn)題。其中比較常見的一個(gè)問(wèn)題是，這些解釋有太多的規(guī)則，人們通常無(wú)法完全掌握。第二個(gè)問(wèn)題就不那么常見了，那就是機(jī)器會(huì)創(chuàng)造出一些完全陌生的、無(wú)法解釋的概念。我們已經(jīng)在AlphaGoZero和AlphaZero的策略中看到了這一點(diǎn)。人類會(huì)發(fā)現(xiàn)它們下棋時(shí)走的有些棋是違反常規(guī)的，但可能僅僅是因?yàn)槿祟悰](méi)有能力去理解它走這一步棋背后的邏輯。在我看來(lái)，這是一個(gè)無(wú)法解決的問(wèn)題。取而代之的是，機(jī)器將變得非常善于“偽造解釋”。簡(jiǎn)而言之，可解釋機(jī)器的目的是理解讓人類感到舒服的解釋或者在人類直覺層面上能夠理解的解釋。然而，在大多數(shù)情況下，人類無(wú)法獲得完整的解釋。我們需要通過(guò)創(chuàng)造虛假解釋來(lái)在深度學(xué)習(xí)中取得進(jìn)展。(7)深度學(xué)習(xí)領(lǐng)域的研究成果會(huì)成倍增加2017年，人們已經(jīng)很難掌握全部的深度學(xué)習(xí)研究成果了。在2018年ICLR大會(huì)上提交的論文數(shù)量約為4000份。為了趕上會(huì)議時(shí)間，一位研究人員每天必須要閱讀10篇論文。這個(gè)領(lǐng)域的問(wèn)題還在進(jìn)一步惡化，因?yàn)槔碚摽蚣芏荚诓粩嘧兓?。為了在理論領(lǐng)域取得進(jìn)展，我們需要尋找能夠讓我們擁有更好的洞察力的更先進(jìn)的數(shù)學(xué)運(yùn)算方法。這將是一個(gè)艱難的過(guò)程，因?yàn)榇蠖鄶?shù)深度學(xué)習(xí)領(lǐng)域的研究人員都沒(méi)有相應(yīng)的數(shù)學(xué)背景來(lái)理解這些系統(tǒng)的復(fù)雜性。深度學(xué)習(xí)需要來(lái)自復(fù)雜性理論的研究人員，但這類研究人員是少之又少的。由于研究論文太多和理論的欠缺，我們現(xiàn)在處在一種非常尷尬的境地。同樣缺失的是通用人工智能(artificialgeneralintelligence)的一般路線圖。因?yàn)槔碚摵鼙∪?，我們能做的最好的事情就是?chuàng)建一個(gè)與人類認(rèn)知相關(guān)的里程碑路線圖。我們只有一個(gè)來(lái)源于認(rèn)知心理學(xué)的推測(cè)理論的框架。這是一個(gè)糟糕的情況，因?yàn)閬?lái)自這些領(lǐng)域的經(jīng)驗(yàn)證據(jù)是參差不齊的。在2018年，深度學(xué)習(xí)方面的研究論文可能會(huì)增加三到四倍。(8)工業(yè)化是通過(guò)教學(xué)環(huán)境實(shí)現(xiàn)的通往可預(yù)測(cè)性和可控制性更強(qiáng)的的深度學(xué)習(xí)系統(tǒng)的發(fā)展之路是通過(guò)具體的教學(xué)環(huán)境的發(fā)展來(lái)實(shí)現(xiàn)的。如果你想找到最原始的教學(xué)方法，你只需要看看深度學(xué)習(xí)網(wǎng)絡(luò)是如何訓(xùn)練的就行。我們將在這個(gè)領(lǐng)域看到更多的進(jìn)展。預(yù)計(jì)會(huì)有更多的公司披露他們的內(nèi)部基礎(chǔ)設(shè)施，解釋他們是如何大規(guī)模地部署深度學(xué)習(xí)的。(9)會(huì)話認(rèn)知的出現(xiàn)我們衡量通用人工智能(AGI)進(jìn)展的方式已經(jīng)過(guò)時(shí)了。需要有一種新的模式來(lái)解決現(xiàn)實(shí)世界的動(dòng)態(tài)(即非平穩(wěn))復(fù)雜性。我們?cè)?018年將能看到更多關(guān)于這個(gè)全新領(lǐng)域的報(bào)道。(10)我們需要人工智能應(yīng)用于道德領(lǐng)域?qū)θ斯ぶ悄芨嗟貞?yīng)用于道德領(lǐng)域的需求將會(huì)增加?，F(xiàn)在，人們?cè)絹?lái)越意識(shí)到自動(dòng)化失控造成的意想不到后果所帶來(lái)的災(zāi)難性影響。我們今天在Facebook、Twitter、谷歌、亞馬遜等網(wǎng)站上發(fā)現(xiàn)的簡(jiǎn)單的自動(dòng)化可能會(huì)對(duì)社會(huì)產(chǎn)生副作用。我們需要理解部署能夠預(yù)測(cè)人類行為的機(jī)器的倫理道德。面部識(shí)別是我們擁有的最危險(xiǎn)的能力之一。作為一個(gè)社會(huì)，我們需要要求自己只為了社會(huì)的整體利益而使用人工智能，而不是將人工智能作為增加不平等的武器。在接下來(lái)的一年里，我們將會(huì)看到更多關(guān)于道德的討論。然而，不要期望會(huì)有新的規(guī)定出臺(tái)。在理解人工智能對(duì)社會(huì)的影響方面，政策制定者往往是落后好幾年的。我不期望他們停止