光環(huán)大數(shù)據(jù)：奇點后人工智能會大爆發(fā)嗎？Keras作者Fran

1、光環(huán)大數(shù)據(jù)：奇點后人工智能會大爆發(fā)嗎？Keras作者François Chollet：你們想多了，不會的雷鋒網(wǎng) AI 科技評論按：普通大眾對“人工智能的智力超越人類，最終統(tǒng)治世界、滅絕人類”這件事充滿了擔憂，而實際上許多已經(jīng)在從事人工智能相關(guān)工作的研究者也免不了有類似的擔憂。樂觀的人都很想告訴悲觀的人為什么“人工智能大爆發(fā)”不會發(fā)生，但往往沒有好的論據(jù)和理論體系。近日，著名的機器學習研究者、Keras的作者 François Chollet 就在 Medium 上發(fā)出一篇長文，詳細解釋了智力的本質(zhì)、迭代發(fā)展是怎么回事，最終表明“人工智能大爆發(fā)”

2、是不會發(fā)生的。雷鋒網(wǎng) AI 科技評論把這篇文章全文翻譯如下。1965年，英國數(shù)學家、圖靈曾經(jīng)的同事、后來還擔任了2001太空漫游的科學顧問的 I. J. Good 首次提出了“智力爆發(fā)”的想法，這和人工智能（AI）有著密切關(guān)聯(lián)：假定有一種機器，無論多聰明的人做出的智力活動都可以被它超越，我們就把它稱作“超級智能”。由于機器的設計也是這些智力活動中的一種，一個超級智能就能比人類設計出更好的機器；那么毫無疑問地，接下來就會迎來“智力爆炸”，人類的智力會被遠遠甩開。這樣以來，第一臺擁有超級智能的機器就會是人類歷史上的最后一項發(fā)明，我們也只能希望超級智能足夠溫順體貼，能告訴人類一些辦法避免完全脫節(jié)。幾

3、十年后，“智力爆炸”的想法在人工智能領(lǐng)域已經(jīng)落地生根，關(guān)于“超級人工智能”和人類會最終滅絕的擔憂一直縈繞在人們心中。許多知名公司的負責人都認為這是一個重大風險，甚至比核戰(zhàn)爭和氣候變化的風險還要大。機器學習專業(yè)的畢業(yè)生也大都贊同這種擔憂。在2015年的一項面向人工智能研究者的電子郵件調(diào)查中，29%的參與者認為人工智能大爆炸是“很可能”和“極有可能”的；還有21%認為認為這事有相當?shù)目赡苄?。人工智能大爆炸的基本假設是這樣的：在不遠的將來，人們首先創(chuàng)造出一個“種子AI”，它具有稍微高過人類一點點的通用問題解決能力。然后這個AI就會開始設計出更好的AI，從而啟動一個循環(huán)往復的自我升級過程，在短時間內(nèi)以

4、數(shù)量級的優(yōu)勢超過人類，最終將會讓人類智能顯得不值一提。這種理論的支持者把人工智能看作是一種強權(quán)力量，它的擁有者隨之也有擁有了可以改變環(huán)境、改變世界的超自然力量，就像2014年的科幻電影超驗駭客（Transcendence）里那樣。超級人工智能幾乎是全能的，也就會對人類社會產(chǎn)生實實在在的威脅。關(guān)于人工智能的風險以及如何管控它們的公眾辯論有很強的誤導性，這些科幻電影更是火上澆油。在這篇文章中，我會闡述我的觀點：人工智能大爆炸是不可能的，這種“智力爆炸”的想法完全是來自于對智力的本質(zhì)和迭代自我增強系統(tǒng)這兩個方面的深遠的誤解。我會根據(jù)對智能系統(tǒng)和迭代系統(tǒng)的實際觀察給出我的論點。對智力的誤解引出了有缺陷

5、的層層推理“智力爆炸”背后的推理過程就和上個世紀六十七年代產(chǎn)生的早期AI理論一樣，是有些詭辯的：它把“智力”看作是一件完全抽象的概念，從它的內(nèi)容中剝離開，而且忽略了已有的關(guān)于智能系統(tǒng)和迭代自我增強系統(tǒng)兩個方面的已有證據(jù)。但智力并不一定是這樣的。說到底，人類就生存在一個充滿了智能系統(tǒng)（包括我們）和自我增強系統(tǒng)的星球上，所以我們就可以直接觀察它們、從它們身上尋找現(xiàn)有問題的答案，而不是完全脫離證據(jù)地做循環(huán)論證。為了討論智力和它可能的自我增強的屬性，我們需要先介紹一些必要的背景知識和語境。當我們討論智力的時候，我們到底討論的是什么？即便“精確地定義智力”這件事本身就有不小的困難。關(guān)于智力爆炸的論述把“

6、智力”等同于“每個獨立的智能體身上體現(xiàn)出的解決通用問題的能力”，它可以來自人類大腦，也可以來自未來的電子大腦。但這并不是一個完整的回答，所以我們從上面這個定義出發(fā)，開始拓展它。智力是取決于場景的我在“智力爆炸”理論里發(fā)現(xiàn)的第一個問題就是它沒有意識到智力其實是一個更廣闊的系統(tǒng)的一部分，有一種關(guān)于智力的觀點“缸中之腦”就認為智力可以獨立于它的場景存在。大腦僅僅是一塊生物組織，本質(zhì)上來講它沒什么好智能的。而除了大腦之外，你的身體和感知（感覺到運動的功能）也是大腦中的一個基礎(chǔ)部分。人類所處的環(huán)境是大腦中的一個基礎(chǔ)部分，人類文化是大腦中的一個基礎(chǔ)部分。這些都是人類思維的來源。對智力的考量不能把它從它用來

7、表達自己的內(nèi)容中脫離出來。具體來說，“通用人工智能”這種東西是不存在的。先從抽象角度來講，我們都知道“沒有免費的午餐”定理，它是說對于所有可能的問題來說，沒有什么問題解決方法能夠比隨機選擇的效果更好。如果智力的表現(xiàn)是一種解決問題的算法，它只有在某個具體問題的條件下才能夠被人類理解。更實際地講，可以看到現(xiàn)在我們構(gòu)建出的各種智能系統(tǒng)都是高度專用化的。現(xiàn)在我們構(gòu)建出的AI的智力都是高度專用的，專門用來解決非常細分的問題，比如下圍棋，或者把圖像分到一萬個已知的類別中。這就好像，一只章魚的智力是專門用來解決“如何做一只章魚”這個問題的。人類的智力同樣是專門用來解決如何做一個人類的。如果我們把一個全新的人

8、類大腦放在章魚的身體里，然后讓它生活在海底，那會怎么樣？它能學會如何控制這個有著8只腿的身體嗎？它能堅持個幾天嗎？我們做不了這樣的實驗，但是根據(jù)已有研究中發(fā)現(xiàn)的人類固有的基礎(chǔ)行為和早期學習模式來說，很有可能這個章魚中的人類大腦展現(xiàn)不出任何智慧行為，而且會很快死掉。怎么樣，大腦現(xiàn)在就不怎么聰明了吧？如果我們把一個人類（大腦和身體一起）放到一個完全沒有我們熟知的人類文化的環(huán)境中呢？一個被狼群養(yǎng)大的狼孩，長大以后會比他的被人類養(yǎng)大的雙胞胎兄弟更聰明嗎？如果我們把這個狼孩和年幼的愛因斯坦換一換，他會不會有機會借助教育的力量，最終同樣發(fā)現(xiàn)關(guān)于宇宙的理論呢？可供借鑒的經(jīng)驗性證據(jù)非常少，但是從我們現(xiàn)有的知識

9、中可以看到，在人類文化環(huán)境之外長大的小孩最高也只能發(fā)展出基本的、動物一樣的生存行為，當他們長成大人以后都還學不會任何語言。如果像我們剛才說的這樣，智力在本質(zhì)上是取決于具體的感知模式、具體的環(huán)境、具體的養(yǎng)育方式、具體的需要解決的問題的，那我們就不能指望只依靠調(diào)節(jié)“大腦”，就能任意地提高一個智能體的智力水平，就像不能只靠調(diào)節(jié)工廠里流水線的速度來提高整個工廠的產(chǎn)量。想要智力爆發(fā)，那么大腦本身、感知模式和環(huán)境都需要跟著進化。如果我們大腦的組成結(jié)構(gòu)是我們問題解決能力的決定性因素，那么那些IQ遠超正常人類范圍的人也就會以遠超過普通人的方式生活，解決各種以前人們認為解決不了的問題，甚至最終通知世界，就像有的

10、人害怕超過人類智力的AI會做出這些事一樣。然而實際上，具有超常的認知能力的人多數(shù)都過著異常乏味的生活，幾乎沒幾個人做出了什么值得紀念的事情；另一方面，如果我們看看那些嘗試統(tǒng)治世界的人，我們幾乎看不到其中有誰是特別聰明的。對于那些在真正的難題上做出了真正的突破的人，他們之所以能做出成果是環(huán)境境遇、性格、教育背景、智力因素組合的結(jié)果，而且他們也是在前人的工作之上一點點做出改進，從而形成突破。“成功”，這種智力的外在表現(xiàn)，是一種在合適的時間遇到一個好的問題的能力。許多解決了重大問題的杰出人物甚至都不一定有多聰明，他們的技能是專門用于某個特定領(lǐng)域的，他們在自己的主攻領(lǐng)域之外也并不見得就比普通人表現(xiàn)更好

11、。有一些人做出了更多的成就是因為他們的團隊協(xié)作能力更好，或者更有勇氣、工作中有更高的道德、有更好的想象力。也有一些人只不過碰巧就在對的場景里、在對的時間講了對的話。本質(zhì)上來說，智力是取決于場景的。環(huán)境給每個個人的智力設定了不可逾越的上限智力并不是某種超強力量；超常的智力僅憑它自己并不能給某個人帶來同樣比例的額外的力量，從而改善他自己的處境。不過，有充足的研究表明智力的高低（以IQ值衡量，不過這也有待討論）跟整個社會的分布中最接近平均值的一部分的社會成就有關(guān)系。一個IQ為130的人從統(tǒng)計意義上來講更有可能比IQ為80的人獲得成功的人生；對單個個體來講其實變數(shù)也是很多的，這種關(guān)聯(lián)只在統(tǒng)計學意義上有

12、效，但它在超過某個點之后還是會失效。沒有任何證據(jù)可以表明一個IQ為220的人能比IQ為130的人能在某個領(lǐng)域做出更大的貢獻。這是為什么呢？這種狀況指向了一個非常直觀的事實：做出高的成就需要有足夠的認知能力，要高出某個閾值，然而接下來在解決問題、在“智力的外在表現(xiàn)”時遇到的瓶頸就并不是隱含的認知能力自己了。這個瓶頸是人類自己的處境。我們所在的環(huán)境決定了我們的智力是如何呈現(xiàn)出來的，它給我們能憑借大腦做到的事情加上了一個不可逾越的上限：環(huán)境決定了我們長大以后能變得多聰明、決定了我們能以何種效率利用我們培養(yǎng)出的智力，以及決定了我們能解決什么樣的問題。所有的證據(jù)都表明，我們現(xiàn)在的生存環(huán)境很大程度上就和人

13、類歷史上過去的二十萬年里的、甚至更早時候的生存環(huán)境一樣，始終不足以讓高智慧的個體完全發(fā)展、完全運用他們的認知潛能。一個一萬年前的具有很高潛力的人類基本上是在一個復雜度相當?shù)偷沫h(huán)境中長大的，很可能只會說一種詞匯量不到5000個單詞的語言、從來都沒有閱讀或者寫作過、只接觸到了非常有限的知識、遇到了寥寥幾個認知挑戰(zhàn)。對于多數(shù)的現(xiàn)代人類來說狀況是要好一些了，但是沒有任何跡象可以表明我們現(xiàn)在在環(huán)境中遇到的機遇和挑戰(zhàn)增加得比我們的認知潛能更快。“從某種程度上說，我對愛因斯坦大腦中的權(quán)重和卷積的興趣，并不比幾乎一定存在的、具有同樣天分的、在棉花田和工廠流水線里生活死去的人更多?！?#160;Stephen

14、Jay Gould一個聰明的人類如果在森林中長大，那他只不過是一只沒有毛的猴子。類似地，一個具有超越人類的大腦的AI，如果以人類的身體在現(xiàn)代世界里生活，也不見得會比一個聰明的現(xiàn)代人學到更多更強的本事。駕駛它能的話，那么那些已知的具有高IQ的人類就肯定已經(jīng)做出了與IQ成正比的超人般的個人成就；他們對自己的環(huán)境的控制力將是普通的人類無可比擬的，也將會解決深遠、重大的問題。然而這一切現(xiàn)在也并沒有發(fā)生。人類多數(shù)的智慧并沒有存儲在大腦當中，而是外部化，變成了人類文明決定我們的大腦會發(fā)展出什么水平的智力的，并不僅僅是我們的身體、感知和環(huán)境，這里的重點是，人類的生物學上的大腦僅僅是人類總體智力的一小部分。我

15、們身邊充滿了認知意義上的“假肢”，它們連接到我們的大腦中，拓展了大腦解決問題的能力。比如你的手機、你的電腦、谷歌搜索、在學校遇到的認知工具、書籍、別的人、數(shù)學符號、編程，等等。所有認知意義上的假肢中最最基礎(chǔ)的當然就是語言本身，它可以說是認知活動用的操作系統(tǒng)，如果沒有它我們就沒辦法做深入的思考。這些東西就不僅僅是喂到大腦中然后被它使用的知識，它們是真正的外部認知過程，用非生物化的方法執(zhí)行思維路徑和解決問題的算法；它們超越了時間、空間，而且更重要的是，超越了我們每個個體。這些認知假肢并不是我們大腦的任何一部分，但卻是我們大多數(shù)認知能力的棲息之處。我們?nèi)祟惥褪怯晌覀兪褂玫墓ぞ咚茉斐鰜淼?。單獨的一個人

16、幾乎什么都做不了；這話可以再說一遍，人類只不過是兩只腳走路的猴子而已。讓人類脫離了動物本能的，是人類集體的知識和外部系統(tǒng)在數(shù)千年間的積累，我們也把這個過程稱作“文明的建立”。當科學家做出了突破性發(fā)現(xiàn)的時候，他們大腦中運轉(zhuǎn)著的思維過程僅僅是整個方程的很小一部分，問題解決過程中的絕大部分的工作量都是由電腦、別的研究者、紙筆記錄、數(shù)學符號等等完成的，他們能夠成功的原因也都是因為他們站在巨人的肩膀上：他們自己的研究成果只不過是一個延續(xù)了幾十年的、有幾千個獨立的個體參與的問題解決過程中的最后一個子程序而已。作為單獨的個體，他們自己的認知成果對于整個流程來說并不見得就比計算機芯片中的一個晶體管起到的作用更

17、大。單獨一個大腦并不足以實現(xiàn)迭代式的智力增強有多到數(shù)不清的證據(jù)都指向了這個簡單的事實：單獨一個人類大腦，只靠它自己，是不足以設計出超越自己的智慧存在的。這完全是一個實證得到的結(jié)論：在這地球上出現(xiàn)過、滅亡了的幾十億個人類大腦中，沒有一個做到了這件事。這件事很明顯，單獨一個人的智力，花了一生的時間也設計不出更高的智力存在；假如能的話，在這樣的幾十億次嘗試之后，是肯定要能發(fā)生的。然而，這幾十億個大腦，在數(shù)千年間積累了知識、發(fā)展出了外部的智慧流程、實現(xiàn)了這個“文明”系統(tǒng)，最終有可能就會帶來智力高于單個人類個體的人工大腦。能創(chuàng)造出超越人類的AI的，不是你，不是我，不是任何單獨的人類個體，而是作為一個整體

18、的人類文明。這個過程中有無數(shù)的人類參與、花費的時間我們無法想象；這個過程對書本、計算機、數(shù)學、自然科學、網(wǎng)絡等等外部智力的需求要遠高于生物智力。從個體的層次講，我們都只是人類文明中的一個個向量，從前人的工作上開始，向下傳遞我們自己的發(fā)現(xiàn)。如果人類文明對應的這個解決問題的算法運行在電腦上，我們就只是短暫參與其中的晶體管而已。經(jīng)過幾個世紀的時間、人類集體開發(fā)出的超越人類的未來人工智能，會有可能有能力創(chuàng)造出比它們自己更強大的AI嗎？不會的，就像我們?nèi)祟愐膊恢廊绾伍_發(fā)出超越自己的人工智能一樣。如果你回答“會”的話，就又和我們知道的一切沖突了。請記住，沒有任何人類，也沒有任何我們知道的具有智力的實體能

19、開發(fā)出任何比自己更聰明的東西。我們?nèi)祟愐龅氖?，逐步地、共同地?gòu)建比我們自己更強大的外部的問題解決系統(tǒng)。不過，未來的AI就會和人類以及其它人類創(chuàng)造出的智慧系統(tǒng)一樣，給人類文明添磚加瓦；而人類文明，反過來也就會不斷拓展它創(chuàng)造出的AI的能力。從這種意義上說，人工智能就和計算機、書本或者語言一樣，是一種給人類文明帶來更強大力量的科學技術(shù)，超級人工智能所代表的技術(shù)奇點也就會和計算機的發(fā)明、書本的發(fā)明、語言的發(fā)明所代表的奇點一樣。人類文明會創(chuàng)造出AI，然后繼續(xù)向前進步。人類文明最終會超越我們現(xiàn)在的存在形式，就像現(xiàn)在的人類文明超越了一萬年前的人類一樣。這是一個逐步發(fā)生的過程，而不是一個突然的轉(zhuǎn)變。智力爆炸

20、的基本假設，一個“種子AI”會出現(xiàn)，憑借比人類更強的問題解決能力，走向突然的、迭代的、不受控制的智力發(fā)展循環(huán)，是錯誤的。我們?nèi)祟惖膯栴}解決能力（具體來說，我們設計人工智能的能力）本來就一直在提高，因為這些能力大部分并不是存儲在我們的生物學大腦中的，而是蘊含在人類身體外部的所有工具中。這個迭代進化的循環(huán)已經(jīng)運轉(zhuǎn)了很長時間了，“更好的大腦”的出現(xiàn)也不會對它造成什么實質(zhì)性影響，不會比任何以往的智力增強技術(shù)影響更多。人類的大腦從來都不是人工智能設計過程中的重大瓶頸。說到這里你可能會問，人類文明本身難道就不是一個可能失控的、能自我增強的大腦嗎？我們的文明所代表的智力會爆炸嗎？不是，也不會。這里的關(guān)鍵是，

21、人類文明這個級別上的智力增強循環(huán)，只為人類帶來了隨著時間線性增加的問題解決能力。這樣是沒辦法爆炸的?？墒菫槭裁茨?？從數(shù)學上迭代增加X不就會帶來X的指數(shù)性增大嗎？不是的。簡單來說，沒有哪個現(xiàn)實世界中的復雜系統(tǒng)可以被 “X(t + 1) = X(t) * a, a > 1”這樣的模型描述。這樣的系統(tǒng)在真空中不存在，尤其也不會在智力和人類文明中存在。對于迭代自我增強的系統(tǒng)，我們又知道多少當一個智能系統(tǒng)開始優(yōu)化自己的智力的時候，我們其實都不需要猜測會不會出現(xiàn)智力的“爆炸”。即便在這之前，多數(shù)的系統(tǒng)就都是能自我迭代增強的。我們的生活里充滿了這樣的系統(tǒng)，所以我們很清楚這樣的系統(tǒng)在各種不同的

22、環(huán)境下、各種不同的時間尺度下都有哪些行為特點。你自己，就是一個迭代自我增強的系統(tǒng)：通過學習讓自己更聰明，反過來又能讓自己更高效地學習。類似地，人類文明也是自我迭代增強的，只不過是在長得多的時間尺度上。機電一體化也是一個自我迭代增強的過程：更好的工業(yè)機器人，就可以造出更好的工業(yè)機器人。軍事帝國也是自我迭代地擴張的：帝國越大，就有越多的軍事手段可以繼續(xù)擴張。個人投資也是自我迭代增強的，有更多的錢，就能掙更多的錢。不勝枚舉。讓我們以軟件為例考慮一下，編寫軟件的過程很明顯能幫助寫出更好的軟件：首先，我們編寫出能“自動化編程”的編譯器，然后我們借助編譯器開發(fā)出新的程序語言，從而可以實現(xiàn)更強大的編程范式。

23、借助這些語言，我們開發(fā)出了高級開發(fā)工具，debugger、IDE、bug預測器等等。未來，軟件甚至可以自己編程自己。那么這個自我迭代增強過程的終局如何呢？同樣在你的電腦上，你今年能做的事情就會比去年翻一倍嗎？下一年還能再翻兩倍嗎？理性地說，軟件的功能是以線性的速度逐漸提高的，但同時我們卻投入了指數(shù)增加的精力在軟件開發(fā)中。軟件開發(fā)者的數(shù)量在過去的幾十年里一直都在指數(shù)級增長；同樣地，根據(jù)摩爾定律，運行軟件所用的芯片中的晶體管的數(shù)目也是指數(shù)級爆炸的。然而，我們的電腦只是小步地、小步地比2012年的、或者2002年的、或者1992年的電腦變得更有用那么一點。為什么呢？主要原因是，軟件的功能根本上來講是

24、受限于它的使用過程中處理的內(nèi)容的，就像智力，一面可以被它用于表達自己的內(nèi)容所定義，另一面也被用于表達自己的內(nèi)容所限制。軟件也只不過是人類經(jīng)濟、人類生活這樣的巨大過程中的一個螺絲釘而已，就像我們的大腦也只不過是人類文化這個巨大的過程中的一個螺絲釘。這些內(nèi)容給軟件作用的最大潛能設置了上限，就像我們生存的環(huán)境給單個人的智力水平設置了上限一樣，即便這個人有天賜的超級大腦也沒用。除了來自內(nèi)容的硬性限制之外，即便系統(tǒng)的某一個部分有迭代自我增強的能力，系統(tǒng)里其它不能迭代自我增強的部分也不可避免地會成為整個系統(tǒng)表現(xiàn)的瓶頸。作為對迭代增強的反應，反向?qū)沟倪^程就會這樣出現(xiàn)，阻撓增強過程的繼續(xù)；以軟件的例子來說，

25、功能的增強可能會帶來資源的消耗、特性更新緩慢、用戶體驗方面的問題等等。對于個人投資來說，你自己花錢的速度就是一個類似的對抗過程：你手里的錢越多，你花出去的錢也就越多。對于智力來說，系統(tǒng)之間的溝通就是對任何內(nèi)部功能改進的阻礙。大腦如果遇到了更聰明的肢體，協(xié)調(diào)它們的時候就會遇到更多的問題；一個社會中的個體如果更聰明了，這個社會也就需要投入更多的資源在網(wǎng)絡和溝通上，等等。IQ非常高的人有更高的可能性患上某些精神疾病，這可能并不是什么巧合，歷史上的軍事帝國在超過了一定規(guī)模以后都會走向崩塌可能也并不是隨機事件。指數(shù)增長的過程，遇到了同樣指數(shù)增長的阻力。有一個值得具體說說的例子是科學技術(shù)的發(fā)展，因為它從概

26、念上很接近智力本身：科學技術(shù)，作為一個問題解決系統(tǒng)，距離一個可能失控的超級AI并沒有多遠?？茖W技術(shù)當然是一個自我迭代增強的系統(tǒng)，因為科學技術(shù)進步帶來的結(jié)果就是我們能制造出新的工具，給科學技術(shù)帶來更強的力量，不論是實驗設備（比如量子物理引出了激光的發(fā)現(xiàn)，而后讓許多新的量子物理的實驗得以進行）、思想工具（比如新的定理、新的理論）、認知工具（比如數(shù)學符號）、軟件工具、讓科學家們更好地合作的溝通流程（比如網(wǎng)絡），等等。然而，現(xiàn)代科學技術(shù)的發(fā)展仍然是可見地線性發(fā)展的。2012年的時候我就寫過一篇關(guān)于這種現(xiàn)象的文章，標題是“奇點是不會來到的”。在1950到2000年之間，我們在物理方面做出的重大進步并不比1900到1950年之間的更多，那時候的科學家們做的就很棒了。如今數(shù)學的發(fā)展也并沒有比1920年的時候快到哪里去。幾十年來，醫(yī)學的發(fā)展從各個指標來看也只不過是線性的發(fā)展。而這還是我們在科學技術(shù)方面的投入以指數(shù)級別增加之后的結(jié)果，研究人員的數(shù)目大概每隔15到2