精準(zhǔn)學(xué)習(xí)（人類學(xué)習(xí)的底層邏輯）

精準(zhǔn)學(xué)習(xí)人類學(xué)習(xí)的底層邏輯目錄TOC\h\h第1章學(xué)習(xí)的7個(gè)定義\h學(xué)習(xí)就是調(diào)整心理模型的參數(shù)\h學(xué)習(xí)是在利用組合爆炸\h學(xué)習(xí)就是將錯(cuò)誤降到最低\h學(xué)習(xí)就是探索各種可能性\h學(xué)習(xí)是一種優(yōu)化的獎(jiǎng)勵(lì)函數(shù)\h學(xué)習(xí)限定了搜索空間\h學(xué)習(xí)是投射先驗(yàn)假設(shè)\h第2章為什么人腦的學(xué)習(xí)能力比目前的人工智能機(jī)器更強(qiáng)\h人工智能缺少了什么\h學(xué)習(xí)是對(duì)領(lǐng)域語法的推理\h學(xué)習(xí)就是像科學(xué)家一樣推理\h第3章看不見的嬰兒知識(shí)\h物體概念\h數(shù)感\(zhòng)h對(duì)概率的直覺\h關(guān)于動(dòng)物和人的知識(shí)\h面孔感知\h語言本能\h第4章腦的誕生\h嬰兒的腦是組織有序的\h語言通路\h皮層的自組織\h個(gè)體差異的起源\h第5章養(yǎng)育的作用\h記憶的描述\h真實(shí)突觸和虛假記憶\h營養(yǎng)是學(xué)習(xí)的核心要素\h突觸可塑性的能力與局限\h什么是敏感期\h突觸的可塑性必須被打開或關(guān)閉\h布加勒斯特奇跡\h第6章腦的再利用\h神經(jīng)元再利用假說\h數(shù)學(xué)再利用了估算的神經(jīng)回路\h閱讀再利用了視覺和口語的神經(jīng)回路\h音樂、數(shù)學(xué)和面孔\h豐富的環(huán)境刺激所帶來的益處\h第7章注意\h警覺：腦的覺醒\h定向：腦的過濾器\h執(zhí)行控制：腦的總機(jī)\h學(xué)會(huì)去注意\h共同關(guān)注\h教學(xué)是去關(guān)注別人的知識(shí)\h第8章主動(dòng)參與\h被動(dòng)的有機(jī)體無法學(xué)習(xí)\h加工的深度越深，學(xué)習(xí)的效果越好\h發(fā)現(xiàn)教學(xué)法的失敗\h好奇心以及如何去激發(fā)它\h想要知道：動(dòng)機(jī)的源泉\h學(xué)?？赡芏髿⒑⒆雍闷嫘牡娜齻€(gè)方法\h第9章錯(cuò)誤反饋\h驚訝：學(xué)習(xí)背后的驅(qū)動(dòng)力\h腦中充斥著錯(cuò)誤信息\h錯(cuò)誤反饋并不等于懲罰\h分?jǐn)?shù)是錯(cuò)誤反饋的糟糕替代品\h自我檢測(cè)\h黃金法則：間隔學(xué)習(xí)\h第10章鞏固\h釋放腦資源\h睡眠的關(guān)鍵作用\h沉睡的腦會(huì)重演前一天的軌跡\h睡眠期間的發(fā)現(xiàn)\h睡眠、童年和學(xué)校\h13條可以帶回家以挖掘兒童潛力的信息\h未來學(xué)校聯(lián)盟第1章學(xué)習(xí)的7個(gè)定義什么是學(xué)習(xí)？我的第一個(gè)，也是最籠統(tǒng)的關(guān)于學(xué)習(xí)的定義是：學(xué)習(xí)是在腦中形成外部世界的內(nèi)部模型。你可能沒有意識(shí)到，但是你的腦已經(jīng)存儲(chǔ)了數(shù)以千計(jì)的外部世界的內(nèi)部模型。它們就像微縮模型，或多或少地忠于它們所代表的現(xiàn)實(shí)。打個(gè)比方，我們所有人的腦中都有一張關(guān)于自己家和附近街區(qū)的思維地圖。我們要做的就是閉上眼睛，調(diào)動(dòng)思維來回想它們。當(dāng)然，沒有人生來就擁有這種思維地圖，我們必須通過學(xué)習(xí)來獲得它。這類心理模型非常豐富，而且絕大多數(shù)是在無意識(shí)中生成的，超出了我們的想象。例如，你有一個(gè)龐大的英語心理模型幫助你理解你所閱讀的詞語，你可以猜測(cè)出來plastovski不是英語單詞、swoon和wistful是，而dragostan有可能是。你的腦中還有多個(gè)有關(guān)身體的模型，用于繪制你四肢的位置，并引導(dǎo)它們保持平衡。某些模型編碼了你對(duì)物體的認(rèn)知和你與他們的互動(dòng)，比如如何握筆、寫字或騎自行車。你的腦中甚至還有記錄別人思想的模型，類似一個(gè)龐大的心理目錄，里面有與你關(guān)系密切的人的信息，包括他們的外形、聲音、品味和他們的怪癖。這些模型可以對(duì)我們周圍的“宇宙”進(jìn)行非常逼真的模擬。你有沒有注意到，你的腦有時(shí)會(huì)投射出最真實(shí)的虛擬世界，在那里，你可以走動(dòng)、跳舞、去到新的地方、進(jìn)行愉快的對(duì)話或者感受到強(qiáng)烈的情感？這些都是你的夢(mèng)境！令人著迷的是，我們夢(mèng)境中出現(xiàn)的所有想法，無論它們多么復(fù)雜，都只是我們內(nèi)在心理模型隨意呈現(xiàn)的產(chǎn)物。我們醒著的時(shí)候也在做真實(shí)世界的夢(mèng)，腦不斷地向外界投射假設(shè)和解釋構(gòu)成的框架。這是因?yàn)橥干涞轿覀円暰W(wǎng)膜上的每一個(gè)影像都是模棱兩可的。例如，每當(dāng)我們看到一個(gè)盤子時(shí)，投射到視網(wǎng)膜上的影像就與無限多的橢圓形兼容。我們看到的盤子是圓形的，事實(shí)上原始的感官數(shù)據(jù)是橢圓形，這是因?yàn)槲覀兊哪X提供了額外的數(shù)據(jù)，它已經(jīng)了解到圓形是最有可能的解釋。在幕后，我們的感官區(qū)域在不停地計(jì)算概率，只有最可能的模型才會(huì)進(jìn)入我們的意識(shí)。正是腦的投射賦予來自我們感官的數(shù)據(jù)流以意義。假如沒有內(nèi)部模型，原始的感官輸入是沒有任何意義的。學(xué)習(xí)使我們的腦能夠抓住之前被遺漏的現(xiàn)實(shí)片段，并利用它來構(gòu)建新的世界模型。這個(gè)現(xiàn)實(shí)片段可以是歷史、生物學(xué)或城市地圖等任何真實(shí)世界的存在。但我們的腦也會(huì)學(xué)習(xí)繪制我們身體內(nèi)部的現(xiàn)實(shí)情況，就像我們學(xué)習(xí)協(xié)調(diào)我們的動(dòng)作、集中注意力去拉小提琴一樣。在這兩種情況下，我們的腦都將一個(gè)新的外在現(xiàn)實(shí)內(nèi)化了進(jìn)來，它調(diào)整自己的回路，以適應(yīng)一個(gè)之前沒有接觸過的領(lǐng)域。當(dāng)然，這樣的調(diào)整必須恰到好處。學(xué)習(xí)的內(nèi)核就在于它適應(yīng)外部世界和糾正錯(cuò)誤的能力。但是，當(dāng)學(xué)習(xí)者在家附近迷路、從自行車上摔下來、輸?shù)粢槐P棋或者拼錯(cuò)ecstasy時(shí)，他的腦怎么“知道”如何去更新內(nèi)部模型呢？我們接下來將講述7個(gè)關(guān)鍵的觀點(diǎn)，它們是當(dāng)今機(jī)器學(xué)習(xí)算法的核心。這些觀點(diǎn)同樣適用于我們腦的學(xué)習(xí)，是對(duì)“學(xué)習(xí)”的7個(gè)不同定義。學(xué)習(xí)就是調(diào)整心理模型的參數(shù)調(diào)整心理模型有時(shí)非常簡單。例如，我們?cè)鯓硬拍馨咽稚煜蛭覀兯吹降奈矬w并抓住它呢？笛卡爾(René-Descartes)在17世紀(jì)時(shí)就已經(jīng)推測(cè)出，我們的神經(jīng)系統(tǒng)一定包含將視覺輸入轉(zhuǎn)化為肌肉命令的加工回路（見圖1-1）。你可以嘗試親自體驗(yàn)一下：戴上別人的眼鏡，最好是一副高度數(shù)的眼鏡，抓東西；更好的方式是，戴一副能使你的視線向左偏移十幾度的棱鏡，然后試著抓住物體。你會(huì)發(fā)現(xiàn)你的第一次嘗試完全失敗了，因?yàn)榇髦坨R，你的手會(huì)伸到你瞄準(zhǔn)的物體的右邊。多嘗試幾次，向左逐漸調(diào)整你的動(dòng)作。通過不斷地嘗試和失敗，你的動(dòng)作會(huì)變得越來越精準(zhǔn)，因?yàn)槟X已經(jīng)學(xué)會(huì)了糾正視線的偏差?，F(xiàn)在，摘下眼鏡試著抓住物體，你會(huì)驚訝地發(fā)現(xiàn)你的手伸錯(cuò)了方向，太靠左了?。ㄒ妶D1-1）圖1-1學(xué)習(xí)就是調(diào)整心理模型的參數(shù)學(xué)習(xí)是什么?學(xué)習(xí)就是根據(jù)外部反饋調(diào)整腦心理模型的參數(shù)。例如，a圖中，學(xué)習(xí)用手指去瞄準(zhǔn)以校正視覺和動(dòng)作之間的偏差。每一次瞄準(zhǔn)的錯(cuò)誤都提供給腦有用的信息，繼而慢慢縮小偏差。在神經(jīng)回路中，雖然要校正的數(shù)字更大，但原理是一樣的，辨識(shí)一個(gè)符號(hào)需要精細(xì)地調(diào)整幾百萬個(gè)神經(jīng)聯(lián)結(jié)。b圖中，類似“8”的錯(cuò)誤輸出會(huì)回過頭去反向傳播，進(jìn)而調(diào)整神經(jīng)聯(lián)結(jié)的數(shù)據(jù)，在下一次的嘗試中改進(jìn)輸出。到底發(fā)生了什么事？在剛剛短暫的學(xué)習(xí)期間，腦調(diào)整了它的內(nèi)在視覺模式。此模式中對(duì)應(yīng)視覺和身體方向之間偏移的參數(shù)被重新設(shè)置了。在這個(gè)通過試錯(cuò)進(jìn)行重新校準(zhǔn)的過程中，腦所做的事情與獵人為了調(diào)整他的步槍瞄準(zhǔn)鏡所做的事情類似：通過試射來調(diào)整他的瞄準(zhǔn)鏡，最終精準(zhǔn)瞄準(zhǔn)獵物。這種學(xué)習(xí)非?？?，幾次嘗試就足以校正視覺和動(dòng)作之間的偏差。然而，這個(gè)新的參數(shù)與舊的并不兼容，因此當(dāng)我們摘掉眼鏡恢復(fù)正常視力時(shí)，又會(huì)犯錯(cuò)。不可否認(rèn)，這種類型的學(xué)習(xí)有點(diǎn)特殊，因?yàn)樗恍枰{(diào)整與視覺角度相關(guān)的一個(gè)參數(shù)，大部分的學(xué)習(xí)比這精細(xì)得多，需要調(diào)整數(shù)十個(gè)、數(shù)百個(gè)甚至數(shù)千個(gè)參數(shù)，而我們的腦回路中有幾百萬個(gè)參數(shù)（每一個(gè)突觸就是一個(gè)參數(shù)）。不過原則是相同的，即學(xué)習(xí)是在無數(shù)可能的內(nèi)部模型中尋找最符合外部世界狀態(tài)的可能性。一個(gè)在東京出生的嬰兒，在往后的兩三年里，他的語言內(nèi)部模型將不得不調(diào)整為符合日語的模型。這個(gè)嬰兒的腦就像一臺(tái)機(jī)器，內(nèi)含數(shù)以百萬計(jì)的回路設(shè)置。聽覺層面的設(shè)置決定了日語中使用的輔音和元音，及其允許的組合規(guī)則。一個(gè)出生在日本家庭的嬰兒必須知道哪些音素構(gòu)成了日本語言，以及這些音素之間的區(qū)別。例如，有一個(gè)參數(shù)是區(qū)分R和L之間的發(fā)音，這在英語中非常關(guān)鍵，在日語中卻無關(guān)緊要。在日語中，“BillClinton’selection”（比爾·克林頓的選舉）和“BillClinton’serection”（比爾·克林頓的勃起）沒有任何區(qū)別……每個(gè)嬰兒必須掌握一組固定的參數(shù)，而這些參數(shù)共同指定哪些類別的語音與他的母語相關(guān)。從語音到詞匯、語法到語義，每個(gè)層面的學(xué)習(xí)都重復(fù)了類似的過程。腦的組織結(jié)構(gòu)是多層級(jí)的，一個(gè)模型嵌套在另一個(gè)模型中，就像俄羅斯套娃一樣。學(xué)習(xí)就是用輸入的數(shù)據(jù)去設(shè)置每一個(gè)層級(jí)結(jié)構(gòu)中的參數(shù)。讓我們看一個(gè)高級(jí)范例——語法規(guī)則的習(xí)得。在英語和日語的學(xué)習(xí)中，嬰兒必須學(xué)會(huì)的一個(gè)關(guān)鍵是詞序。在一個(gè)有主語、謂語和直接賓語的標(biāo)準(zhǔn)句子中，英語句式為“主語＋謂語＋賓語”：“John+eats+anapple（約翰吃了一個(gè)蘋果）。然而在日語中，最常見的句式為“主語＋賓語＋謂語”：“約翰＋一個(gè)蘋果＋吃”。值得注意的是，這個(gè)日語句式中還會(huì)因介詞而改變。比如，“MyunclewantstoworkinBoston”變成了“Unclemy，Bostonin，workwants”。這句話就變得與《星球大戰(zhàn)》中尤達(dá)大師所說的話一樣難懂。但對(duì)一個(gè)講日語的人來說，這句話一點(diǎn)問題也沒有。有趣的是，這種倒裝句并不是相互獨(dú)立的。語言學(xué)家認(rèn)為它們來自一個(gè)名為“中心詞位置”的參數(shù)：一個(gè)短語的中心詞，在英語中總是位于第一位（在巴黎，我的叔叔，想生活），但在日語中被放在了最后（生活想，叔叔我的，巴黎在）。這個(gè)二元參數(shù)可以區(qū)分許多語言，甚至包括一些歷史上沒有關(guān)聯(lián)的語言，例如納瓦荷語遵循的規(guī)則就與日語相同。孩子為了學(xué)習(xí)英語或日語，必須學(xué)會(huì)如何設(shè)置他內(nèi)部語言模型中的中心詞位置參數(shù)。學(xué)習(xí)是在利用組合爆炸語言的學(xué)習(xí)真的可以被簡單地歸結(jié)為一些參數(shù)嗎？如果這很難讓人信服，那是因?yàn)槲覀儫o法想象當(dāng)我們?cè)黾涌烧{(diào)參數(shù)的數(shù)量時(shí)，會(huì)產(chǎn)生如此多的可能性。這就是所謂的“組合爆炸”(combinatorialexplosion)——當(dāng)你將極少數(shù)的可能性參數(shù)組合在一起時(shí)，參數(shù)的數(shù)量就會(huì)呈現(xiàn)指數(shù)級(jí)的增長。假設(shè)世界上所有語言的語法可以用大約50個(gè)二元參數(shù)來表示，就會(huì)產(chǎn)生250種組合，也就是超過1000萬億種可能的語言，或者說1后面跟著15個(gè)0！目前世界上的3000種語言的句法規(guī)則都能很輕松地被放入這個(gè)巨大的空間。然而，在我們的腦中，可調(diào)節(jié)的參數(shù)不只有50個(gè)，其數(shù)量大得驚人：80多億個(gè)神經(jīng)元，每個(gè)神經(jīng)元大約有1萬個(gè)突觸相互聯(lián)結(jié)，聯(lián)結(jié)的強(qiáng)度各不相同，所創(chuàng)造的心智表征空間可以說是無限大的。人類語言的各個(gè)層級(jí)都在大量利用這些組合。例如，腦詞庫是我們掌握的單詞以及它們的內(nèi)在模式。英語母語者一般會(huì)掌握大約5萬個(gè)單詞。這些單詞構(gòu)成了一本巨大的詞典，但我們只花了大約10年時(shí)間就學(xué)會(huì)了它們，這是因?yàn)槲覀兛梢苑纸鈱W(xué)習(xí)問題。假設(shè)這5萬個(gè)單詞中的每個(gè)單詞平均只有2個(gè)音節(jié)，每個(gè)音節(jié)由3個(gè)音素組成，這些音素來自英語的44個(gè)音素的組合，那么這些單詞的二進(jìn)制編碼需要不到200萬個(gè)基本的二元選擇（即“位”，其值是0或1）。換句話說，我們腦詞庫中的所有知識(shí)都可以放在計(jì)算機(jī)中一個(gè)250千字節(jié)（每個(gè)字節(jié)包含8個(gè)位）的小文件夾中。如果我們排除掉單詞的多義的問題，腦詞庫可以被壓縮到更小的容積。隨機(jī)抽取6個(gè)字母，如xfdrga，它們無法組成英語單詞，真正的單詞是由多個(gè)音節(jié)按一定規(guī)則組成的，像構(gòu)建金字塔一樣。語言的各個(gè)層級(jí)都是如此，句子是詞的規(guī)則集合，詞是音節(jié)的規(guī)則集合，音節(jié)是音素的規(guī)則集合。組合既是巨大的（可以在幾十個(gè)甚至數(shù)百個(gè)元素中選擇），同時(shí)又是有限制的（只有某些特定組合才會(huì)成立）。學(xué)習(xí)一門語言就必須要知道在各個(gè)層級(jí)上界定這些組合的參數(shù)?？偠灾四X通過創(chuàng)建一個(gè)多層分級(jí)的模型來分解學(xué)習(xí)問題。這在語言學(xué)習(xí)中尤其明顯——從基本的音素到整個(gè)句子，甚至是一整段話。但所有的感覺系統(tǒng)中都能重現(xiàn)同樣的層級(jí)分解原理。一些腦區(qū)只負(fù)責(zé)低層級(jí)的形態(tài)，它們?cè)诜浅６痰臅r(shí)間內(nèi)通過一個(gè)非常小的空間窗口來觀察世界，從而分析最細(xì)微的形態(tài)。例如，初級(jí)視覺區(qū)域是大腦皮層中第一個(gè)接受視覺輸入的地方，該區(qū)域每個(gè)神經(jīng)元只分析視網(wǎng)膜的一小部分。它通過“針孔”窺視外面的世界，因此只能發(fā)現(xiàn)非常低層級(jí)的規(guī)律，如是否存在會(huì)移動(dòng)的斜線等。數(shù)以百萬計(jì)的神經(jīng)元在視網(wǎng)膜的各個(gè)地方做著同樣的工作，它們的輸出成為下一個(gè)層級(jí)的輸入，從而檢測(cè)“規(guī)則的規(guī)則”，以此類推。在每下一個(gè)層級(jí)上，規(guī)模都在擴(kuò)大。人腦由此逐漸在越來越大的時(shí)間和空間范圍內(nèi)尋找規(guī)律，從這種層級(jí)結(jié)構(gòu)中衍生出檢測(cè)日益復(fù)雜的對(duì)象或概念的能力，從一條線、一根手指，到一雙手、一個(gè)手臂，到一個(gè)人的身體……兩個(gè)，兩個(gè)人面對(duì)面，兩個(gè)人面對(duì)面在握手……原來這是特朗普和馬克龍的第一次會(huì)面！學(xué)習(xí)就是將錯(cuò)誤降到最低被我們稱為“人工神經(jīng)網(wǎng)絡(luò)”的計(jì)算機(jī)算法，其靈感源自大腦皮層級(jí)性組織。它有著和大腦皮層一樣的金字塔般的連續(xù)層級(jí)結(jié)構(gòu)，每一層都具有比前一層更深層次的規(guī)律。這些連續(xù)的層級(jí)以越來越深的方式處理輸入的數(shù)據(jù)，因此它們也被稱為“深度網(wǎng)絡(luò)”。每一層級(jí)本身只能偵察外部世界的極其微小的一部分，比如在數(shù)學(xué)家們經(jīng)常談?wù)摰囊粋€(gè)線性分類的問題中，每1個(gè)神經(jīng)元只能將數(shù)據(jù)分成A和B兩類，通過畫一條直線串起它們。然而，當(dāng)你將各個(gè)層級(jí)組合在一起時(shí)，你就會(huì)得到一個(gè)非常強(qiáng)大的學(xué)習(xí)工具，它能夠偵察復(fù)雜的結(jié)構(gòu)并通過調(diào)節(jié)自己以處理各種不同的問題。從這個(gè)意義上說，計(jì)算機(jī)芯片的進(jìn)步使得今天的人工神經(jīng)網(wǎng)絡(luò)變成了深度網(wǎng)絡(luò)，它們包含了幾十個(gè)連續(xù)的層級(jí)。而距離感官輸入越遠(yuǎn)的層級(jí)，其洞察力就越強(qiáng)，識(shí)別抽象本質(zhì)的能力也就越強(qiáng)。讓我們來看一下法國卷積神經(jīng)網(wǎng)絡(luò)之父楊立昆(YannLeCun)創(chuàng)造的LeNet算法（見彩圖2）。早在20世紀(jì)90年代，卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別手寫字符方面就取得了非凡的成績。多年來，加拿大郵政部門用它實(shí)現(xiàn)了手寫郵政編碼的智能化處理。那它是如何工作的呢？該算法將書面字符以像素影像的形式輸入其中，再以10個(gè)可能數(shù)字或26個(gè)可能字母中的最佳選擇輸出。這個(gè)人工神經(jīng)網(wǎng)絡(luò)包含了許多聯(lián)結(jié)在一起的層級(jí)結(jié)構(gòu)，類似我們腦的神經(jīng)網(wǎng)絡(luò)。第一層級(jí)直接與影像相連，應(yīng)用簡單的過濾器識(shí)別直線和曲線。更高的層級(jí)則包含更廣泛和更復(fù)雜的過濾器，可以識(shí)別圖像中越來越多的構(gòu)成，比如：2的曲線、O的環(huán)、Z的平行線……如此直至輸出層。LeNet算法可以對(duì)字符做出反應(yīng)，但它不管位置、字體或大小寫，只管神經(jīng)元之間的聯(lián)結(jié)，而且這些過程是自動(dòng)化的。一旦這些聯(lián)結(jié)被算法自動(dòng)調(diào)整，每個(gè)神經(jīng)元就會(huì)用它的過濾器去界定要處理的內(nèi)容。這就是為什么一個(gè)神經(jīng)元對(duì)數(shù)字2有反應(yīng)而另一個(gè)對(duì)數(shù)字3有反應(yīng)。彩圖2學(xué)習(xí)是找出當(dāng)下問題所適合的表征層級(jí)，在卷積神經(jīng)網(wǎng)絡(luò)LeNet算法中，它通過調(diào)整每個(gè)層級(jí)的幾百萬個(gè)參數(shù)來辨識(shí)真實(shí)世界的一部分。在最低的層級(jí)，神經(jīng)元只對(duì)最基本的特質(zhì)敏感，如線條、方向和質(zhì)地等。當(dāng)順著層級(jí)逐次延伸向上，神經(jīng)元就會(huì)對(duì)比較復(fù)雜的形狀做出響應(yīng)，包括房子、眼睛和昆蟲等。那么，這數(shù)百萬個(gè)聯(lián)結(jié)是如何調(diào)整的呢？它就像前面提過的棱鏡的例子一樣。在每一次試驗(yàn)中，網(wǎng)絡(luò)都會(huì)給出一個(gè)是否出錯(cuò)的反饋，它再嘗試調(diào)整參數(shù)，以便在下一次試驗(yàn)中避免同樣的錯(cuò)誤。每一個(gè)錯(cuò)誤的答案都提供了有價(jià)值的信息。通過類似前文提到的手太靠右或太靠左這樣的正負(fù)反饋，系統(tǒng)會(huì)逐步確認(rèn)怎么做才能成功。通過回溯錯(cuò)誤的根源，機(jī)器會(huì)校正參數(shù)的設(shè)置，以避免錯(cuò)誤的發(fā)生。讓我們?cè)賮砜纯传C人是如何調(diào)整步槍瞄準(zhǔn)鏡的，這個(gè)過程簡單原始。獵人射擊，發(fā)現(xiàn)他瞄準(zhǔn)的方向距目標(biāo)向右偏離了5厘米，由此他獲得了關(guān)于誤差幅度（5厘米）和誤差方向（向右偏）的重要信息。這些信息給了他調(diào)整步槍瞄準(zhǔn)鏡的方向。只要他稍微聰明一點(diǎn)兒，就能推斷出修正方向：子彈偏右了，他應(yīng)該把瞄準(zhǔn)鏡向左偏移一點(diǎn)兒。他也可以隨意調(diào)整，看看把瞄準(zhǔn)鏡向右調(diào)時(shí)偏差是增加還是減少。以這種方式反復(fù)試錯(cuò)，獵人就會(huì)逐漸發(fā)現(xiàn)減小目標(biāo)和實(shí)際射擊點(diǎn)之間的差距的規(guī)律。為了最大限度地提高準(zhǔn)度，獵人在調(diào)整瞄準(zhǔn)鏡的過程中不自知地應(yīng)用了一種學(xué)習(xí)算法，他的腦計(jì)算了數(shù)學(xué)家所說的系統(tǒng)的“導(dǎo)數(shù)”或“梯度”，即“梯度下降算法”(gradientdescentalgorithm)：將步槍的瞄準(zhǔn)鏡朝最有效的方向移動(dòng)，以降低出錯(cuò)的概率。盡管現(xiàn)代人工智能使用的人工神經(jīng)網(wǎng)絡(luò)大多有數(shù)百萬的輸入、輸出和可調(diào)整的參數(shù)，但其運(yùn)行模式跟前面提到的獵人一樣：先觀察到自己的錯(cuò)誤，然后用錯(cuò)誤校正內(nèi)在模式，使之朝著它們認(rèn)為錯(cuò)誤減少的方向發(fā)展。在許多情況下，這樣的學(xué)習(xí)受到嚴(yán)密的監(jiān)控。我們明確地告訴人工神經(jīng)網(wǎng)絡(luò)它應(yīng)該在輸出端激活哪個(gè)答案（比如“這是1，而不是7”），我們也很清楚如果參數(shù)引發(fā)錯(cuò)誤，應(yīng)該朝哪個(gè)方向調(diào)整它們（通過數(shù)學(xué)計(jì)算，可以準(zhǔn)確地知道當(dāng)人工神經(jīng)網(wǎng)絡(luò)頻繁地將數(shù)字1激活輸出為7時(shí)，應(yīng)該修改哪些聯(lián)結(jié)）。在機(jī)器學(xué)習(xí)的術(shù)語中，這種情況被稱為“監(jiān)督學(xué)習(xí)”（人被看作機(jī)器的監(jiān)督者，知道機(jī)器必須給出的正確答案）和“誤差反向傳播”（錯(cuò)誤信號(hào)會(huì)被發(fā)送回人工神經(jīng)網(wǎng)絡(luò)得以修改其參數(shù)）。程序很簡單：我試著回答，被告知我的答案是錯(cuò)誤的，我測(cè)算錯(cuò)誤偏差，然后調(diào)整參數(shù)以糾正錯(cuò)誤，逐步調(diào)整，每一步只往正確的方向上做一點(diǎn)小小的修正。這就是為什么計(jì)算機(jī)的學(xué)習(xí)會(huì)很慢：學(xué)習(xí)一項(xiàng)復(fù)雜的活動(dòng)，比如玩“俄羅斯方塊”，計(jì)算機(jī)需要運(yùn)行這套程序數(shù)千次、數(shù)百萬次，甚至數(shù)十億次才能學(xué)會(huì)。在一個(gè)包含大量可調(diào)參數(shù)的空間中，計(jì)算機(jī)可能需要很長時(shí)間才能找到每個(gè)“螺母”和“螺栓”的最佳設(shè)置。最早的人工神經(jīng)網(wǎng)絡(luò)出現(xiàn)在20世紀(jì)80年代，那時(shí)的網(wǎng)絡(luò)就已經(jīng)按照這種逐步糾錯(cuò)的規(guī)則運(yùn)行了。現(xiàn)在，計(jì)算技術(shù)的進(jìn)步已經(jīng)將這一運(yùn)行規(guī)則擴(kuò)展到了包含數(shù)億個(gè)可調(diào)聯(lián)結(jié)的深度神經(jīng)網(wǎng)絡(luò)。這些深度神經(jīng)網(wǎng)絡(luò)由一系列連續(xù)的層級(jí)組成，每個(gè)層級(jí)對(duì)應(yīng)處理它的問題。例如彩圖2展示的LeNet系統(tǒng)，該系統(tǒng)派生于楊立昆最先提出的LeNet體系結(jié)構(gòu)，楊立昆因此贏得了最知名的國際影像識(shí)別大賽的冠軍。在接觸數(shù)十億張影像后，這個(gè)系統(tǒng)將它們分成了1000個(gè)不同的類別，包括臉、風(fēng)景、船、車、狗、昆蟲、花、路標(biāo)等。系統(tǒng)結(jié)構(gòu)周邊的每個(gè)層級(jí)都與真實(shí)世界的某個(gè)具體的層面相對(duì)應(yīng)：低層級(jí)的單位會(huì)選擇性地對(duì)線條或質(zhì)地做出響應(yīng)，層級(jí)越高，就會(huì)有越多的神經(jīng)元對(duì)復(fù)雜的輸入起反應(yīng)，如對(duì)幾何圖形（圓形、曲線、星形……）、物體的部件（褲子口袋、車門把手、一雙眼睛……），甚至對(duì)整個(gè)物體（建筑物、臉、蜘蛛……）做出響應(yīng)。梯度下降算法的研究者發(fā)現(xiàn)，將誤差最小化這些模式對(duì)影像分類是最有用的。但是，如果同樣的網(wǎng)絡(luò)接觸到書本段落或樂譜，它就要重新學(xué)習(xí)識(shí)別字母、音符或任何在新環(huán)境中出現(xiàn)的形狀。彩圖3展示了這種類型的網(wǎng)絡(luò)如何自發(fā)調(diào)整以識(shí)別數(shù)千個(gè)手寫數(shù)字。在最低級(jí)別，數(shù)據(jù)是混合的：有些影像表面上相似，但應(yīng)該加以區(qū)分，如3和8；而一些看起來完全不同的影像最終卻必須放在同一個(gè)分類中，如數(shù)字8的許多不同字體（最上面的環(huán)有些是打開的，有些是閉合的）。人工神經(jīng)網(wǎng)絡(luò)在每個(gè)層級(jí)運(yùn)行過程中不斷抽象化，直到同種字符的所有實(shí)例被準(zhǔn)確地分組。通過將誤差降低，它發(fā)現(xiàn)了與手寫數(shù)字識(shí)別問題最相關(guān)的表征的層級(jí)結(jié)構(gòu)。事實(shí)上，僅僅通過糾正自己的錯(cuò)誤，就能發(fā)現(xiàn)一整套解決周邊問題的偵察方法，這是相當(dāng)了不起的。彩圖3一個(gè)高層級(jí)神經(jīng)網(wǎng)絡(luò)如何學(xué)會(huì)將我們手寫的數(shù)字進(jìn)行分類？這是一項(xiàng)困難的工作，因?yàn)槊總€(gè)數(shù)字可以有幾百種不同的寫法。在這個(gè)網(wǎng)絡(luò)的初級(jí)層級(jí)（右下圖），人工網(wǎng)絡(luò)神經(jīng)元會(huì)混淆看起來很相似的數(shù)字，如9和4。隨著層級(jí)的升高，神經(jīng)元可以成功地將同一個(gè)數(shù)字的圖像集中在一起并區(qū)分出來。今天，通過誤差反向傳播進(jìn)行學(xué)習(xí)仍然是許多計(jì)算機(jī)應(yīng)用程序的核心。它是驅(qū)動(dòng)智能手機(jī)輕松識(shí)別聲音、智能汽車快速感知行人和路標(biāo)的引擎。在這方面，人腦也在使用類似的算法。但是，誤差反向傳播有多種形態(tài)。人工智能領(lǐng)域在過去30多年里取得了巨大的進(jìn)步，研究人員發(fā)現(xiàn)了許多促進(jìn)計(jì)算機(jī)學(xué)習(xí)的技巧。我們現(xiàn)在就來回顧它們——正如我們將看到的，它們也告訴了我們很多關(guān)于我們自身及我們的學(xué)習(xí)方式的知識(shí)。學(xué)習(xí)就是探索各種可能性前面講述的糾錯(cuò)過程的問題之一是，它可能會(huì)卡在一組不是最優(yōu)的參數(shù)上。想象一下，一顆高爾夫球在草坪上沿著最陡峭的斜坡滾動(dòng)，它可能會(huì)被卡在草地上的一個(gè)小凹陷里，無法到達(dá)整個(gè)場(chǎng)地的最低點(diǎn)，這個(gè)最低點(diǎn)就是全局最優(yōu)解(absoluteoptimum)。同樣，梯度下降算法有時(shí)會(huì)卡在一個(gè)它無法退出的點(diǎn)上，這被稱為“局部最小值”(localminimum)，它是參數(shù)空間中的一口井，是學(xué)習(xí)算法被困住后無法逃脫的陷阱，此時(shí)，學(xué)習(xí)陷入停滯，因?yàn)樗械母淖兯坪醵歼m得其反，每一次的改變都會(huì)增加錯(cuò)誤率。這個(gè)系統(tǒng)覺得它已經(jīng)學(xué)到了所有它能學(xué)到的東西，以至于對(duì)仍然存在的更好的設(shè)置視而不見，哪怕這些設(shè)置在參數(shù)空間中近在咫尺。梯度下降算法無法“看到”它們，因?yàn)樗芙^上坡，不愿意越過眼前的山到達(dá)另一個(gè)下坡。由于“目光短淺”，它只在距離起點(diǎn)一小段距離的地方探險(xiǎn)，因此錯(cuò)過了更遙遠(yuǎn)但更好的參數(shù)配置。這個(gè)問題對(duì)你來說是不是太抽象了？來看一下具體的情況。你去食品市場(chǎng)購物，在那里你花了一些時(shí)間尋找最便宜的特賣品。沿著過道，你走過第一個(gè)賣家攤位（他家產(chǎn)品的價(jià)格似乎過高），避開第二家（他家產(chǎn)品一直都很貴），最后停在了第三家，他家產(chǎn)品似乎比前兩家便宜得多。但是，誰能說隔著一條過道，別家產(chǎn)品的價(jià)格會(huì)不會(huì)更誘人呢？專注于當(dāng)下最優(yōu)價(jià)格并不能保證找到全市場(chǎng)最優(yōu)價(jià)格。計(jì)算機(jī)科學(xué)家經(jīng)常面臨這一困難，他們會(huì)使用一整套的算法解決它。這些算法中的大多數(shù)都是在尋找最佳參數(shù)的過程中引入一點(diǎn)隨機(jī)性(randomness)。原理很簡單，與其只關(guān)注市場(chǎng)的一條通道，何不隨意逛一逛；與其讓高爾夫球隨意地沿著斜坡滾下來，何不拿起來搖晃一下再扔下去，以減少落入陷阱的概率。有時(shí)，隨機(jī)搜索算法(stochasticsearchalgorithms)會(huì)嘗試一個(gè)更遠(yuǎn)且部分隨機(jī)的設(shè)置，這樣，如果有更好的解決方案可以觸及，就會(huì)被算法找到。在實(shí)踐中，人們可以通過各種方式引入一定程度的隨機(jī)性到設(shè)定中，或更新參數(shù)使訓(xùn)練范例的呈現(xiàn)順序多樣化，或在數(shù)據(jù)中添加一些噪聲，或隨機(jī)選擇一部分聯(lián)結(jié)來用，所有這些方法都會(huì)使學(xué)習(xí)的算法更加健全。一些機(jī)器學(xué)習(xí)算法也會(huì)從達(dá)爾文的進(jìn)化算法中去尋找靈感。比如在參數(shù)優(yōu)化的過程中，基于之前的解決方案引入突變和隨機(jī)交叉。在生物學(xué)中，必須小心控制突變的速度，才不會(huì)浪費(fèi)時(shí)間或制造出危險(xiǎn)的物種來。機(jī)器學(xué)習(xí)算法亦是如此，靈感來自鍛造技術(shù)。為了鍛造一把堅(jiān)不可摧的劍，鐵匠會(huì)通過退火來優(yōu)化金屬的性能。他們將金屬多次加熱，每次加熱的溫度依次降低，以增加原子按規(guī)則結(jié)構(gòu)排列的機(jī)會(huì)。這個(gè)技術(shù)現(xiàn)在已經(jīng)被用到了計(jì)算機(jī)科學(xué)中，研究者采用虛擬的“溫度”逐漸降低的方式，模擬退火的算法，在參數(shù)中引入隨機(jī)性。隨機(jī)性的概率起初會(huì)很高，但會(huì)逐漸下降，直到系統(tǒng)固定在一個(gè)最佳設(shè)置上。計(jì)算機(jī)科學(xué)家發(fā)現(xiàn)這些算法非常有效，所以一些算法在進(jìn)化過程中被內(nèi)化到我們腦中也就不足為奇了。隨機(jī)的探索、隨機(jī)產(chǎn)生的好奇心和頻繁的神經(jīng)元放電都在智人的學(xué)習(xí)中扮演著重要的角色。無論我們是在玩“石頭剪刀布”、在即興創(chuàng)作爵士樂，還是在研究數(shù)學(xué)問題的可能解法，隨機(jī)性都是至關(guān)重要的。孩子玩耍時(shí)就是在用大量的隨機(jī)性在探索各種的可能性，那時(shí)他們已經(jīng)進(jìn)入學(xué)習(xí)模式了。而在晚上睡覺時(shí)，他們的腦會(huì)繼續(xù)胡思亂想，直到突然想出一個(gè)最能解釋他們白天經(jīng)歷的說法。在本書的第三部分，我將討論半隨機(jī)算法(semi-randomalgorithm)，這種算法控制著孩子非凡的好奇心以及少數(shù)成年人的赤子之心。學(xué)習(xí)是一種優(yōu)化的獎(jiǎng)勵(lì)函數(shù)還記得可以識(shí)別數(shù)字的LeNet系統(tǒng)嗎？這種人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的前提是為其提供正確答案。對(duì)于每個(gè)輸入的圖像，它需要知道它對(duì)應(yīng)的是10個(gè)可能數(shù)字中的哪一個(gè)。人工神經(jīng)網(wǎng)絡(luò)只能通過計(jì)算其響應(yīng)和正確答案之間的偏差來進(jìn)行自我糾正，這個(gè)過程被稱為“監(jiān)督學(xué)習(xí)”(supervisedlearning)。系統(tǒng)之外的監(jiān)督者知道正確答案，并試圖將其傳輸給機(jī)器。這種方法是有效的，但應(yīng)該注意的是，這種提前知道正確答案的情況相當(dāng)罕見。當(dāng)幼兒學(xué)習(xí)走路時(shí)，沒有人確切地告訴他們應(yīng)該收縮哪塊肌肉，他們收到的只有一次又一次的鼓勵(lì)，直到不再跌倒。幼兒的學(xué)習(xí)完全是基于對(duì)結(jié)果的評(píng)估：我摔倒了，或者我終于走到了房間的另一邊。人工智能面臨著同樣的“無監(jiān)督學(xué)習(xí)”(unsupervisedlearning)問題。當(dāng)一臺(tái)機(jī)器學(xué)習(xí)玩電子游戲時(shí)，它被告知的唯一一件事情就是它必須努力獲得最高分。沒有人事先告訴它可以采取哪些具體行動(dòng)來實(shí)現(xiàn)這一點(diǎn)。那么，它是如何迅速找到正確方法的呢？科學(xué)家們發(fā)明了“強(qiáng)化學(xué)習(xí)”(reinforcementlearning)來應(yīng)對(duì)這一挑戰(zhàn)。我們不向系統(tǒng)提供任何關(guān)于它必須做什么的細(xì)節(jié)（也沒人知道該做什么），只是提供“獎(jiǎng)勵(lì)”，即一種量化分?jǐn)?shù)形式的評(píng)估。但更糟糕的是，機(jī)器可能會(huì)在延遲很長一段時(shí)間后才收到分?jǐn)?shù)，遠(yuǎn)遠(yuǎn)滯后于它做決定的那一刻。谷歌的子公司DeepMind研發(fā)了一款能夠下國際象棋、跳棋和圍棋的機(jī)器，它使用的就是強(qiáng)化學(xué)習(xí)的原理。這個(gè)任務(wù)很艱巨，因?yàn)橹挥械阶詈笠豢?，系統(tǒng)才會(huì)收到唯一的表明輸贏的獎(jiǎng)勵(lì)信號(hào)。在棋局進(jìn)行過程中，系統(tǒng)不會(huì)收到任何反饋。那么，系統(tǒng)如何才能計(jì)算出每一步要做什么呢？而且，一旦揭曉了最終分?jǐn)?shù)，機(jī)器如何回溯評(píng)估它前面做的決定呢？計(jì)算機(jī)科學(xué)家發(fā)現(xiàn)的技巧是給機(jī)器編程，讓它同時(shí)做兩件事：行動(dòng)和自我評(píng)估。自我評(píng)估被稱為“評(píng)論者”，它的目標(biāo)是盡可能準(zhǔn)確地評(píng)估游戲的狀態(tài)，以便預(yù)測(cè)最終的獎(jiǎng)勵(lì)。我是贏了還是輸了？我處于勢(shì)均力敵的狀態(tài)還是快要輸了？評(píng)論者可以讓系統(tǒng)時(shí)時(shí)刻刻評(píng)估自己的行動(dòng)，而不僅僅是在結(jié)束的時(shí)候得知結(jié)論?！靶袆?dòng)者”的目標(biāo)是使用這個(gè)評(píng)估來糾正自己。等等，我最好不要這么做，因?yàn)樵u(píng)論者認(rèn)為這會(huì)增加我失敗的概率。一次又一次的反復(fù)試驗(yàn)后，行動(dòng)者和評(píng)論者一起進(jìn)步：一個(gè)專注于最有效的行動(dòng)，另一個(gè)學(xué)習(xí)更敏銳地評(píng)估這些行動(dòng)的結(jié)果。這個(gè)“行動(dòng)者—評(píng)論者”組合被賦予了一種非凡的先見之明：在浩瀚的棋局海洋中，預(yù)測(cè)哪些行為可能會(huì)贏，哪些行為只會(huì)導(dǎo)致失敗。行動(dòng)者與評(píng)論者的結(jié)合是當(dāng)代人工智能最有效的策略之一。在層級(jí)化的神經(jīng)網(wǎng)絡(luò)的支持下，它創(chuàng)造了奇跡。早在20世紀(jì)80年代，它就使人工神經(jīng)網(wǎng)絡(luò)贏得了五子棋世界杯冠軍。最近，DeepMind運(yùn)用它研發(fā)了一個(gè)多功能人工神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以學(xué)會(huì)所有類型的電子游戲，如超級(jí)馬里奧和俄羅斯方塊。人們只需將圖像的像素作為輸入、可能的動(dòng)作作為輸出，并將游戲得分作為獎(jiǎng)勵(lì)函數(shù)，機(jī)器自己就能學(xué)會(huì)其他所有的細(xì)節(jié)。當(dāng)它玩俄羅斯方塊時(shí)，它會(huì)發(fā)現(xiàn)屏幕是由形狀組成的，墜落的那個(gè)磚塊是最重要的元素，各種動(dòng)作可以改變它的方向和位置，最終將自己變成一個(gè)超級(jí)人造玩家。當(dāng)它玩超級(jí)馬里奧時(shí)，輸入和獎(jiǎng)勵(lì)的變化教會(huì)它注意完全不同的設(shè)置：馬里奧身體的像素是什么，他是如何移動(dòng)的，敵人在哪里，墻壁是什么形狀的，什么是門，什么是陷阱，什么是金幣以及如何與每個(gè)元素互動(dòng)。通過調(diào)整其參數(shù)，調(diào)節(jié)將各層級(jí)聯(lián)結(jié)在一起的數(shù)百萬個(gè)聯(lián)結(jié)……這個(gè)人工神經(jīng)網(wǎng)絡(luò)掌握了所有游戲的需求，學(xué)習(xí)識(shí)別俄羅斯方塊、吃豆人或刺猬索尼克里的各種形狀。教一臺(tái)機(jī)器玩電子游戲有什么意義？2年后，DeepMind的工程師利用他們從玩游戲中學(xué)到的東西解決了一個(gè)至關(guān)重要的經(jīng)濟(jì)問題：谷歌應(yīng)該如何優(yōu)化其計(jì)算機(jī)服務(wù)器的管理以獲得更大效益？二者所需的人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本相似，唯一需要改變的是輸入（日期、時(shí)間、天氣、國際事件、搜索請(qǐng)求、聯(lián)結(jié)到每臺(tái)服務(wù)器的人數(shù)等）、輸出（在各大洲打開或關(guān)閉這個(gè)或那個(gè)服務(wù)器）和獎(jiǎng)勵(lì)功能（消耗更少的能源）。其結(jié)果是谷歌的電力消耗得以大幅縮減。在無數(shù)專業(yè)工程師已經(jīng)優(yōu)化了這些服務(wù)器的基礎(chǔ)上，該神經(jīng)網(wǎng)絡(luò)還能替谷歌縮減高達(dá)40%的能源消耗，節(jié)省數(shù)千萬美元。人工智能已經(jīng)真正達(dá)到可以顛覆整個(gè)行業(yè)的水平了。DeepMind之后又取得了更令人驚嘆的成就，它的AlphaGo程序在圍棋人機(jī)大戰(zhàn)中擊敗了共獲得18個(gè)世界冠軍的李世石。直到現(xiàn)在，該事件依然被認(rèn)為是人工智能領(lǐng)域的珠穆朗瑪峰。圍棋比賽在一個(gè)19×19的方格棋盤上進(jìn)行，有361個(gè)位子可以下黑白棋子，它的排列組合的數(shù)量如此之大，以至于系統(tǒng)地探索每個(gè)棋手未來可以落子的所有行動(dòng)嚴(yán)格來說根本不可能。然而，強(qiáng)化學(xué)習(xí)讓AlphaGo程序比任何人類棋手都能更好地識(shí)別有利和不利的組合。其中一個(gè)訣竅就是讓程序與自己對(duì)打，就像棋手通過同時(shí)下白棋和下黑棋來進(jìn)行訓(xùn)練一樣。如此，在每一場(chǎng)比賽結(jié)束時(shí)，獲勝的程序會(huì)強(qiáng)化自己的行動(dòng)，而落敗者會(huì)削減其步驟，但兩種做法都讓程序?qū)W會(huì)了更有效地評(píng)估自己的行動(dòng)。我們嘲笑電影《吹牛大王歷險(xiǎn)記》(TheAdventuresofBaronMunchausen)中的男爵，他愚蠢地試圖通過提拉自己靴子上的扣帶使自己飛起來。然而，在人工智能領(lǐng)域，蒙克豪森男爵的瘋狂催生了一種神奇的“自舉法”(bootstrapping)算法策略。該算法從缺乏知識(shí)支撐的毫無意義的架構(gòu)開始，一點(diǎn)一點(diǎn)地慢慢成長為世界冠軍，它所做的一切只是與自己較量而已。通過讓兩個(gè)人工神經(jīng)網(wǎng)絡(luò)合作或者競(jìng)爭(zhēng)來提高學(xué)習(xí)速度的方法使人工智能獲得了長足的進(jìn)步。最新的一個(gè)想法被稱為“對(duì)抗性學(xué)習(xí)”(adversariallearning)，通過訓(xùn)練兩個(gè)系統(tǒng)對(duì)抗讓其中的一個(gè)系統(tǒng)成為專家（比如凡·高的畫的鑒定專家），而另一個(gè)的唯一目標(biāo)是讓第一個(gè)系統(tǒng)失?。ㄍㄟ^學(xué)習(xí)成為一個(gè)出色的偽造凡·高的畫作的贗品大師）。第一個(gè)系統(tǒng)只要成功識(shí)別出凡·高的真跡就會(huì)獲得獎(jiǎng)勵(lì)，而第二個(gè)系統(tǒng)只要成功騙過了第一個(gè)系統(tǒng)的“眼睛”就會(huì)獲得獎(jiǎng)勵(lì)。這種對(duì)抗性學(xué)習(xí)算法同時(shí)產(chǎn)生了兩種人工智能，一種是研究凡·高的權(quán)威，擅長通過最小的細(xì)節(jié)來鑒定一幅真正的畫作；另一種是天才偽造者，能夠繪制能愚弄最好的鑒賞專家的畫作。這種方法適用于人腦嗎？我們的兩個(gè)腦半球和眾多的皮層下基底神經(jīng)核也聚集了一大批“專家”，他們相互爭(zhēng)斗、協(xié)調(diào)和評(píng)估。腦中的某些區(qū)域會(huì)模擬別人在做什么，它使我們可以預(yù)見和想象自己行為產(chǎn)生的結(jié)果，這些預(yù)想無比真實(shí)，堪比最好的偽造者，比如我們的記憶和想象可以讓我們看到去年夏天游泳的海灣，或者我們?cè)诤诎抵凶プ〉拈T把手。有些腦區(qū)會(huì)學(xué)習(xí)批評(píng)其他腦區(qū)，它們不斷地評(píng)估我們的能力，預(yù)測(cè)我們可能得到的獎(jiǎng)懲，促使我們采取行動(dòng)或保持沉默。我們還將看到元認(rèn)知這個(gè)認(rèn)識(shí)自我、評(píng)估自我、在心理上模擬如果我們這樣做或那樣做會(huì)發(fā)生什么的能力，元認(rèn)知在人類學(xué)習(xí)中發(fā)揮著根本作用。我們自己形成的觀點(diǎn)幫助我們進(jìn)步，在某些情況下又會(huì)將我們鎖在一個(gè)失敗的惡性循環(huán)中。因此，將腦視為一群協(xié)作和競(jìng)爭(zhēng)的專家的集合并無不妥。學(xué)習(xí)限定了搜索空間當(dāng)代人工智能仍然面臨著一個(gè)重大問題，那就是內(nèi)部模型的參數(shù)越多，系統(tǒng)就越難找到最佳的調(diào)整方法。而在目前的人工神經(jīng)網(wǎng)絡(luò)中，搜索空間是巨大的。因此，計(jì)算機(jī)科學(xué)家不得不處理大規(guī)模的組合爆炸：在每個(gè)層級(jí)都有數(shù)以百萬計(jì)的選擇，而它們的組合是如此之多，系統(tǒng)不可能探索所有的選擇。因此，學(xué)習(xí)有時(shí)會(huì)非常緩慢，需要在這片廣闊的可能性地圖中進(jìn)行數(shù)十億次嘗試才能將系統(tǒng)推向正確的方向。在巨大的空間中，無論數(shù)據(jù)有多少，都會(huì)變得稀缺。這個(gè)問題被稱為“維度詛咒”(curseofdimensionality)，當(dāng)你有數(shù)百萬個(gè)潛在的杠桿需要撬動(dòng)時(shí)，學(xué)習(xí)就會(huì)變得非常困難。神經(jīng)網(wǎng)絡(luò)擁有的大量參數(shù)往往還會(huì)導(dǎo)致另外一個(gè)問題，這就是所謂的“過度擬合”(overfitting)或“過度學(xué)習(xí)”：系統(tǒng)擁有如此多的自由度，以至于它發(fā)現(xiàn)記住每個(gè)例子的所有細(xì)節(jié)比找出一個(gè)更普遍的規(guī)則來解釋這些細(xì)節(jié)更容易。正如計(jì)算機(jī)科學(xué)之父約翰·馮·諾伊曼(JohnvonNeumann)的名言：“用4個(gè)參數(shù)我可以畫出一頭大象，用5個(gè)參數(shù)我可以讓它甩動(dòng)鼻子?！彼J(rèn)為擁有太多的自由參數(shù)可能是一種詛咒，因?yàn)閮H僅通過記住每個(gè)細(xì)節(jié)來“過度擬合”各種數(shù)據(jù)太容易了，你不需要對(duì)大象這個(gè)物種有太多深入的了解，就可以將其歸類為皮厚的動(dòng)物。但這并不意味著系統(tǒng)捕捉到了所有重要的東西，自由參數(shù)過多不利于抽象化。雖然這個(gè)系統(tǒng)很容易學(xué)習(xí)，但它不能類化到新的情境中去，實(shí)現(xiàn)舉一反三。然而，這種泛化正是學(xué)習(xí)的關(guān)鍵。一臺(tái)機(jī)器能夠識(shí)別它之前看過的畫面，或者贏得它曾經(jīng)下過的圍棋游戲，但這有什么意義呢？顯然，真正的目標(biāo)是它可以識(shí)別任何一張照片、戰(zhàn)勝任何一名圍棋玩家，無論情境是熟悉的還是陌生的。當(dāng)然，計(jì)算機(jī)科學(xué)家正在研究這些問題的各種解決方案。簡化模型是既能加速學(xué)習(xí)又能提高泛化能力的最有效的干預(yù)措施之一。只要需要調(diào)整的參數(shù)數(shù)量減少，就可以迫使系統(tǒng)尋找更普遍的解決方案。這是楊立昆發(fā)明卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵靈感，卷積神經(jīng)網(wǎng)絡(luò)是一種人工智能學(xué)習(xí)設(shè)備，在圖像識(shí)別領(lǐng)域中應(yīng)用頗廣。他的想法很簡單，為了識(shí)別圖片中的物體，需要在圖片的各個(gè)位置進(jìn)行同樣的加工。例如，要識(shí)別一張照片中的所有人臉，就應(yīng)該對(duì)圖片的每個(gè)部分應(yīng)用相同的算法，包括尋找橢圓形、一雙眼睛等。沒有必要在視網(wǎng)膜的每個(gè)點(diǎn)上學(xué)習(xí)不同的模型，在一個(gè)地方學(xué)到的東西應(yīng)該可以在其他地方重復(fù)使用才對(duì)。在學(xué)習(xí)過程中，楊立昆的卷積神經(jīng)網(wǎng)絡(luò)將它們從給定區(qū)域?qū)W到的東西應(yīng)用到了整個(gè)網(wǎng)絡(luò)的每個(gè)層級(jí)，以及更大的范圍。因此，需要學(xué)習(xí)的參數(shù)數(shù)量就少了很多?？偟膩碚f，系統(tǒng)只需調(diào)整它應(yīng)用于所有地方的單個(gè)過濾器，而無需為圖像中的每個(gè)位置調(diào)整過多不同的聯(lián)結(jié)。這個(gè)簡單的技巧極大地提高了圖像識(shí)別系統(tǒng)的性能，特別是對(duì)新圖像的泛化。原因很簡單，在一張新圖像上運(yùn)行的算法得益于它從所見過的每一張照片的每個(gè)點(diǎn)上獲得的龐大經(jīng)驗(yàn)。泛化還加快了學(xué)習(xí)的速度，因?yàn)闄C(jī)器只需要探索視覺模型的一個(gè)子集即可。在學(xué)習(xí)之前，它已經(jīng)知道關(guān)于這個(gè)世界的一個(gè)重要原則：相同的對(duì)象可以出現(xiàn)在圖像的任何位置。此技巧可推廣到許多其他領(lǐng)域。比如，要識(shí)別語音，就必須對(duì)說話人的具體聲音進(jìn)行抽象化。實(shí)現(xiàn)方法是通過強(qiáng)制人工神經(jīng)網(wǎng)絡(luò)在不同聲音頻段使用相同的聯(lián)結(jié)，不管這個(gè)聲音是低還是高。減少必須調(diào)整的參數(shù)數(shù)量有兩個(gè)好處，即加快學(xué)習(xí)速度和更好地對(duì)新語音的泛化。這就是你的智能手機(jī)能夠響應(yīng)你的聲音的原因。學(xué)習(xí)是投射先驗(yàn)假設(shè)楊立昆的策略詮釋了一個(gè)更普遍的概念：利用先天知識(shí)。卷積神經(jīng)網(wǎng)絡(luò)之所以比其他類型的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得更好更快，是因?yàn)樗粫?huì)學(xué)習(xí)所有東西。它在自己的架構(gòu)中融入了一個(gè)強(qiáng)有力的假設(shè)，那就是在一個(gè)地方學(xué)到的東西可以推廣到其他地方。圖像識(shí)別的主要問題在于它的不變性：我要識(shí)別一張臉，不管它的位置和大小，也不管它移動(dòng)到了右邊或左邊、更遠(yuǎn)或更近。這是一個(gè)挑戰(zhàn)，但同時(shí)也是一個(gè)非常嚴(yán)格的限制，即我可以期待同樣的線索幫助我在空間的任何地方識(shí)別出一張臉。通過在任何地方復(fù)制相同的算法，卷積神經(jīng)網(wǎng)絡(luò)有效地利用了這一限制，并將其集成到了自己的結(jié)構(gòu)中。在開始學(xué)習(xí)之前，系統(tǒng)就已經(jīng)“知道”了視覺世界的關(guān)鍵屬性。它無須學(xué)習(xí)不變性，而是將其作為先驗(yàn)假設(shè)，并以此來縮小學(xué)習(xí)空間，真的很聰明！這里我想說的是，先天和后天本不應(yīng)該對(duì)立。純粹的、沒有任何先天限制的情況下的學(xué)習(xí)是根本不存在的。任何學(xué)習(xí)的算法都或多或少包含著一些關(guān)于要學(xué)習(xí)的領(lǐng)域的先驗(yàn)假設(shè)。與其試圖從頭開始學(xué)習(xí)所有東西，不如依賴先驗(yàn)假設(shè)，這些假設(shè)清楚地描述了必須探索的領(lǐng)域的基本規(guī)律，并將這些規(guī)律集成到系統(tǒng)的體系結(jié)構(gòu)中，這要高效得多。先驗(yàn)假設(shè)越多，學(xué)習(xí)速度就越快（當(dāng)然，前提是這些假設(shè)是正確的），這是普遍真理。如果你認(rèn)為AlphaGo程序是從零開始訓(xùn)練自己跟自己下圍棋的，那就大錯(cuò)特錯(cuò)了。它最初的表征包括棋盤的形貌和對(duì)稱性，將搜索空間縮小到了原有的1/8。我們的腦也是由各種各樣的假設(shè)塑造的。我們?cè)诤竺鎸⒖吹剑瑡雰撼錾鷷r(shí)，腦已經(jīng)井然有序，而且儲(chǔ)備了淵博的知識(shí)。他們隱約地知道，物體只有在被推動(dòng)時(shí)才會(huì)移動(dòng)、固體之間不會(huì)相互穿透，他們還知道世界上有許多陌生的實(shí)體，如會(huì)說話和移動(dòng)的人。這些知識(shí)不需要學(xué)習(xí)，因?yàn)樗鼈冊(cè)谌祟惿畹娜魏蔚胤蕉际侨绱?，我們的基因組將它們作為固定回路置入腦，從而規(guī)范和加快了學(xué)習(xí)。嬰兒不必學(xué)習(xí)世界的一切，因?yàn)樗麄兊哪X中充滿了先天的規(guī)范，只有無法預(yù)測(cè)的具體參數(shù)（如臉型、虹膜顏色、語調(diào)和個(gè)人品位）才有待后天習(xí)得。再說一次，先天和后天不必對(duì)立起來。嬰兒的腦之所以知道人和無生命物體的區(qū)別，那是因?yàn)樗呀?jīng)學(xué)會(huì)了這一點(diǎn)。不是在出生的最初幾天學(xué)會(huì)的，而是在數(shù)百萬年的進(jìn)化過程中學(xué)會(huì)的。自然選擇實(shí)際上是一種學(xué)習(xí)算法，一個(gè)令人難以置信的強(qiáng)大程序，它已經(jīng)運(yùn)行了數(shù)億年，置入了數(shù)十億臺(tái)學(xué)習(xí)機(jī)器（即曾經(jīng)存在過的每一種生物）。我們是這個(gè)深不可測(cè)的智慧的繼承者。通過進(jìn)化的試驗(yàn)和失敗，我們的基因組已經(jīng)將我們之前幾代人的知識(shí)內(nèi)化。這種與生俱來的知識(shí)與我們?cè)谟猩陮W(xué)到的具體事實(shí)是不同的，它更抽象，因?yàn)樗刮覀兊纳窠?jīng)網(wǎng)絡(luò)偏向于尊重基本的自然規(guī)律。簡而言之，在懷孕期間，我們的基因奠定了腦架構(gòu)的基礎(chǔ)，通過對(duì)探索的空間大小施加限制來指導(dǎo)和加速隨后的學(xué)習(xí)。在計(jì)算機(jī)科學(xué)術(shù)語中，我們可以說基因預(yù)置了腦的“超參數(shù)”：指定層數(shù)、神經(jīng)元類型、它們相互聯(lián)結(jié)的一般形狀、它們是否在視網(wǎng)膜上的任何一點(diǎn)復(fù)制等高水平變量。因?yàn)檫@些變量中的許多都儲(chǔ)存在我們的基因組中，我們不再需要學(xué)習(xí)它們：我們的物種在進(jìn)化過程中已將它們內(nèi)化。因此，我們的腦不是簡單被動(dòng)地接受感官輸入。從一開始，它就已經(jīng)擁有了一套抽象的假設(shè)，一套通過達(dá)爾文進(jìn)化算法篩選積累起來的智慧，現(xiàn)在它把這些智慧投射到外部世界。并非所有的科學(xué)家都同意這一觀點(diǎn)，但我認(rèn)為這是一個(gè)中心論點(diǎn)：當(dāng)今許多人工神經(jīng)網(wǎng)絡(luò)背后的幼稚經(jīng)驗(yàn)主義哲學(xué)是錯(cuò)誤的。他們認(rèn)為我們的腦回路生來就是雜亂無章的，沒有任何知識(shí)，這些回路之后會(huì)受到環(huán)境的影響，這根本是不正確的。在人和機(jī)器中，學(xué)習(xí)總是從一組先驗(yàn)假設(shè)開始，這些假設(shè)被投射到輸入的數(shù)據(jù)上，系統(tǒng)從這些假設(shè)中選擇最適合當(dāng)前環(huán)境的假設(shè)。正如讓-皮埃爾·尚熱(Jean-PierreChangeux)在他1985年出版的暢銷書《神經(jīng)人》(NeuronalMan)中所說：“學(xué)習(xí)就是消除不對(duì)的信息?！钡?章為什么人腦的學(xué)習(xí)能力比目前的人工智能機(jī)器更強(qiáng)人工智能近幾年的迅猛發(fā)展，也許意味著我們已經(jīng)發(fā)現(xiàn)了如何復(fù)制甚至超越人類學(xué)習(xí)能力和智力的奧秘。一些預(yù)言家甚至認(rèn)為，機(jī)器即將統(tǒng)治人類。然而，這與事實(shí)相去甚遠(yuǎn)。事實(shí)上，許多認(rèn)知心理學(xué)家在贊賞人工神經(jīng)網(wǎng)絡(luò)最近的發(fā)展的同時(shí)，也清楚這些機(jī)器的能力仍然十分有限。大部分人工神經(jīng)網(wǎng)絡(luò)實(shí)際上只能進(jìn)行人腦在前零點(diǎn)幾秒內(nèi)進(jìn)行的無意識(shí)的運(yùn)作，比如接收、識(shí)別、分類一個(gè)圖像并理解其含義。但是，我們的腦法力無邊，它能有意識(shí)地、仔細(xì)地、一步一步地，在幾秒鐘內(nèi)搜索這個(gè)圖像，它還能構(gòu)建這個(gè)圖像在真實(shí)世界的符號(hào)表征，并通過語言與他人分享。這樣緩慢地、理智地、符號(hào)化地運(yùn)作是人腦的特權(quán)?，F(xiàn)有的機(jī)器學(xué)習(xí)無法進(jìn)行這樣的運(yùn)作。雖然機(jī)器翻譯與邏輯推理領(lǐng)域的研究一直在進(jìn)步，但關(guān)于人工神經(jīng)網(wǎng)絡(luò)的一個(gè)常見批評(píng)是它們嘗試在同一水平上學(xué)習(xí)所有事物，就好像任何問題都屬于自動(dòng)分類一般。這就好比對(duì)一個(gè)拿著錘子的人來說，任何東西看起來都像釘子！但是我們的腦要靈活得多，它能夠很快掌握信息并分清主次，它還能在任何可能的時(shí)候提取具有普遍性、邏輯性的明確的原則。人工智能缺少了什么找到人工智能的缺陷是個(gè)有趣的任務(wù)，因?yàn)檫@也是分辨人類獨(dú)特的學(xué)習(xí)能力的方法。下面是一份簡短的，可能還不完整的功能清單。這些功能甚至連嬰兒都具備，而目前的大多數(shù)人工智能卻缺乏這些能力。學(xué)習(xí)抽象概念。大部分人工神經(jīng)網(wǎng)絡(luò)只能掌握信息處理的初級(jí)階段，就像腦的視覺區(qū)域在1/5秒內(nèi)解析一幅圖。深度學(xué)習(xí)算法的運(yùn)算深度也遠(yuǎn)不及一些人宣稱的那樣。深度學(xué)習(xí)算法的發(fā)明者之一約書亞·本吉奧(YoshuaBengio)認(rèn)為，深度學(xué)習(xí)實(shí)際上更傾向于學(xué)習(xí)數(shù)據(jù)中淺顯的統(tǒng)計(jì)規(guī)則，而非高層次的抽象概念。比如說，在識(shí)別一個(gè)物件時(shí)，它們經(jīng)常依賴于視圖中幾個(gè)淺顯特征的呈現(xiàn)，如具體的顏色或形狀等。改變這些細(xì)節(jié)，深度學(xué)習(xí)算法就會(huì)崩潰。因?yàn)楝F(xiàn)在的卷積神經(jīng)網(wǎng)絡(luò)無法識(shí)別物件的核心組成，它們很難理解一張椅子不管有四只腳還是一只腳，不管是由玻璃、金屬還是可伸縮塑料做成的，它都只是一張椅子。傾向于關(guān)注膚淺的特征使這些網(wǎng)絡(luò)更容易產(chǎn)生大規(guī)模的差錯(cuò)。有許多關(guān)于如何忽悠人工神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)，比如用一根香蕉的圖像，對(duì)像素做些許改變或貼上一個(gè)特殊標(biāo)簽，人工神經(jīng)網(wǎng)絡(luò)就會(huì)誤以為該圖片是一臺(tái)烤面包機(jī)！當(dāng)你將一張圖在某人眼前快速閃過時(shí)，人們大概率會(huì)像機(jī)器一樣犯下相同錯(cuò)誤——把狗當(dāng)成貓。但是，只要給他們多一點(diǎn)時(shí)間，他們就會(huì)糾正自己的錯(cuò)誤。與電腦不同，我們具有質(zhì)疑自己所相信的并將注意力重新聚焦到圖像中與我們第一印象不相符的部分的能力。這樣的二次分析是有意識(shí)且聰慧的，它利用了我們推理與提取抽象概念的綜合能力。人工神經(jīng)網(wǎng)絡(luò)忽視了一個(gè)核心要點(diǎn)，即人類學(xué)習(xí)并不是圖像識(shí)別過濾器的裝置，而是對(duì)世界抽象模式的構(gòu)建。比如，通過閱讀學(xué)習(xí)，我們掌握了每一個(gè)字母的抽象概念，從而能夠認(rèn)出它的各種形態(tài)，還可以創(chuàng)造出它的各種新的形態(tài)（見圖2-1）。圖2-1字母的各種形態(tài)認(rèn)知科學(xué)家侯世達(dá)曾經(jīng)說過，人工智能的真正挑戰(zhàn)在于識(shí)別字母A！這一嘲諷無疑是夸張的，但也觸及了問題的核心，即便在這最微小的問題背景下，人類都能施展自己無與倫比的抽象化本領(lǐng)。這個(gè)壯舉來源于日常生活中的一個(gè)有趣物件——驗(yàn)證碼，即一小段字母，一些網(wǎng)站會(huì)讓你識(shí)別它，來證明你是人類而不是機(jī)器。但計(jì)算機(jī)科學(xué)迭代迅速，2017年，一個(gè)人工智能系統(tǒng)以幾乎擬人的程度成功識(shí)別了驗(yàn)證碼。不出所料，這種算法從多個(gè)方面模仿了人腦。這絕對(duì)是一次精心的杰作，因?yàn)樗軌蛱崛∶總€(gè)字母的架構(gòu)，如字母A內(nèi)部的短橫線，并使用了所有統(tǒng)計(jì)推理資源來認(rèn)證一個(gè)抽象概念是否適用于當(dāng)前的圖像。然而，無論這個(gè)算法多么精密，也只能運(yùn)用于驗(yàn)證碼。我們的腦則能將抽象化本領(lǐng)用于日常生活的方方面面。高效的數(shù)據(jù)學(xué)習(xí)。每個(gè)人都同意，當(dāng)今的人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率緩慢，它們需要成千上萬甚至上億的數(shù)據(jù)來發(fā)展一個(gè)領(lǐng)域的直覺。我們甚至還有其行動(dòng)緩慢的實(shí)證。比如，DeepMind設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)至少要玩900小時(shí)才能在雅達(dá)利(AtariConsale)游戲中達(dá)到一個(gè)合理等級(jí)，而人類達(dá)到相同等級(jí)只需要2小時(shí)。另一個(gè)例子是語言學(xué)習(xí)方面的。心理語言學(xué)家伊曼紐爾·迪普(EmmanuelDupoux)推測(cè)，在大多數(shù)法國家庭中，兒童每年會(huì)聽到500～1000小時(shí)的對(duì)話。這個(gè)數(shù)據(jù)比掌握笛卡爾式的方言，包括拗口的soixante-douze（法語意為72）或s’ilvouspla?t（法語意為請(qǐng)求）要多得多。但是，對(duì)玻利維亞叢林里的提斯曼原住民來說，他們的兒童每年只會(huì)聽到60小時(shí)的對(duì)話。令人驚奇的是，這有限的經(jīng)驗(yàn)并不會(huì)阻礙他們說一口流利的提斯曼語。相比之下，當(dāng)前來自蘋果、百度和谷歌的最好的計(jì)算機(jī)系統(tǒng)需要其20到1000倍的數(shù)據(jù)來獲得些許語言技能。在學(xué)習(xí)領(lǐng)域，人腦的高效性仍然無與倫比。機(jī)器渴求數(shù)據(jù)，而人類可以高效地運(yùn)用數(shù)據(jù)。人類的學(xué)習(xí)可以將最少的數(shù)據(jù)實(shí)現(xiàn)最大化運(yùn)用。社會(huì)學(xué)習(xí)。人類是唯一會(huì)主動(dòng)分享信息的物種。我們通過語言向其他人學(xué)習(xí)。這一本領(lǐng)是目前的人工神經(jīng)網(wǎng)絡(luò)無法企及的。在這一模式中，知識(shí)被加密，在數(shù)以億計(jì)的突觸權(quán)重值(synapticweights)中被稀釋。在這個(gè)隱蔽的形式下，它無法被提取并選擇性地分享給他人。相反，我們的腦可以有意識(shí)地感知最高級(jí)的信息，從而使我們能明確地向他人說明。有意識(shí)的知識(shí)與口頭表達(dá)相輔相成，每當(dāng)我們足夠清楚地理解某件事物時(shí)，頭腦中一個(gè)公式與想法的語言就會(huì)形成呼應(yīng)，然后用語言表述我們的理解。我們?cè)谂c他人分享信息時(shí)會(huì)使用最少的詞匯（如“教堂后面那條小路右轉(zhuǎn)就到市場(chǎng)了”），這樣非凡的效率仍是動(dòng)物界和計(jì)算機(jī)界無法企及的。一次性測(cè)試學(xué)習(xí)。一個(gè)極端例子是我們通過一次測(cè)試就能學(xué)會(huì)一項(xiàng)新東西。如果我們介紹一個(gè)新動(dòng)詞，就拿purget來說，哪怕只介紹一次，你就學(xué)會(huì)如何運(yùn)用它了。當(dāng)然，一些人工神經(jīng)網(wǎng)絡(luò)也能儲(chǔ)存一個(gè)具體的片段。機(jī)器尚無法做到而人腦能夠輕而易舉地做到極致的，是將新信息綜合到已存在的知識(shí)系統(tǒng)里。你不僅會(huì)記住purget這個(gè)新詞，你還能立馬知道它的時(shí)態(tài)變化形式以及如何把它放入其他句子：Doyoueverpurget?Ipurgotityesterday.Haveyoueverpurgotten?Purgettingisaproblem.當(dāng)你說“Let’spurgettomorrow”時(shí)，你不僅僅是在學(xué)習(xí)一個(gè)單詞，你也在將它插入一個(gè)符號(hào)與規(guī)則的巨大系統(tǒng)，即它是一個(gè)具有不規(guī)則過去分詞的動(dòng)詞（過去式和過去分詞分別為purgot、purgotten），并且在現(xiàn)在時(shí)中具有規(guī)則的變化（Ipurget、youpueget、shepurgets等）。學(xué)習(xí)就是成功地將新知識(shí)納入已有的知識(shí)網(wǎng)絡(luò)的過程。系統(tǒng)性以及思想的語言。人腦能夠在具體事例背后發(fā)現(xiàn)普遍規(guī)律，語法規(guī)則只是這獨(dú)特天分中的一個(gè)例子。不論是在數(shù)學(xué)、語言、科學(xué)領(lǐng)域，還是在音樂領(lǐng)域，人腦都能從中提取抽象原則、系統(tǒng)規(guī)律，從而再運(yùn)用到不同情境中。以算數(shù)為例，我們將兩個(gè)數(shù)相加的能力是非常普遍的，一旦我們學(xué)習(xí)了較小數(shù)字的加法，便可以將之系統(tǒng)化，并任意運(yùn)用到更大的數(shù)字的加法。更為出色的是，我們可以得出非常普遍的推論。許多五六歲的兒童就能發(fā)現(xiàn)任意一個(gè)數(shù)字n都有一個(gè)后續(xù)數(shù)字n+1，那么所有整數(shù)的序列是無限的，且沒有最大的整數(shù)。我仍感懷自己第一次發(fā)現(xiàn)這個(gè)規(guī)律的時(shí)刻，實(shí)際上那是我知道的第一個(gè)數(shù)學(xué)定律。抽象化的力量是卓越的！我們腦中的神經(jīng)元是有限的，那么它是如何構(gòu)建出無限的概念的呢？如今的人工神經(jīng)網(wǎng)絡(luò)無法表達(dá)“每個(gè)數(shù)字都有一個(gè)后續(xù)數(shù)字”這樣簡單的抽象定律?？偨Y(jié)絕對(duì)真理不是它們所擅長的。系統(tǒng)性是在符號(hào)規(guī)則基礎(chǔ)上進(jìn)行總結(jié)的能力，而不是膚淺的同質(zhì)化。它仍然困擾著現(xiàn)行人工神經(jīng)網(wǎng)絡(luò)的運(yùn)算。具有諷刺意義的是，所謂的深度學(xué)習(xí)算法幾乎完全無法進(jìn)行任何深刻的思考。然而，我們的腦似乎具有用一種思維語言構(gòu)建方程式的流暢本領(lǐng)。比如，它可以表達(dá)無窮集的概念，因?yàn)槟X具有一個(gè)內(nèi)部語言，其天生就具有否定(negation)和量化的抽象功能（無窮＝非有限＝超越任何數(shù)字）。美國哲學(xué)家杰里·福多爾(JerryFodor)根據(jù)這項(xiàng)能力發(fā)展了一個(gè)理論，他認(rèn)為，我們的思考包含了會(huì)根據(jù)“思想的語言”的系統(tǒng)規(guī)則來組合的符號(hào)。這一語言的力量源于其循環(huán)往復(fù)的天性，即每個(gè)新創(chuàng)造的客體（比如“無限”這個(gè)概念）都可以不受限地立刻被重新使用在新的組合里。有多少無限可能存在著？數(shù)學(xué)家格奧爾格·康托爾(GeorgCantor)問了他自己這個(gè)看似荒謬的問題，卻引導(dǎo)他構(gòu)建了超限數(shù)理論。威廉·馮·洪堡(WilhelmvonHumboldt)認(rèn)為，對(duì)有限方法進(jìn)行無限使用的能力就是人類思維的特征。一些計(jì)算機(jī)科學(xué)模式嘗試掌握兒童對(duì)抽象數(shù)學(xué)規(guī)律的習(xí)得。但是它們不得不結(jié)合一種完全不同的學(xué)習(xí)方式，這是一種涉及規(guī)則和語法，并能在最短時(shí)間內(nèi)選擇出最合理規(guī)律的學(xué)習(xí)方式。在這一觀點(diǎn)中，學(xué)習(xí)變得與編程相似，即它包括了從思維語言的所有選項(xiàng)里選擇出符合數(shù)據(jù)的最簡單的內(nèi)部公式。現(xiàn)行的人工神經(jīng)網(wǎng)絡(luò)大部分無法表達(dá)人腦模擬世界時(shí)所運(yùn)用的一系列抽象詞組、公式、規(guī)則和理論。這大概不是巧合，因?yàn)檫@當(dāng)中涉及人特有的一些東西，一些不曾在動(dòng)物腦中發(fā)現(xiàn)的、也尚未被現(xiàn)代神經(jīng)科學(xué)解釋的、人類獨(dú)有的面貌。在靈長類動(dòng)物中，似乎只有人腦能根據(jù)一個(gè)復(fù)雜的樹狀句法的組合來表征一組符號(hào)。比如，我的實(shí)驗(yàn)室數(shù)據(jù)發(fā)現(xiàn)，人腦在聽到一連串的聲音，如“嗶嗶嗶?！睍r(shí)，會(huì)不由自主地將其背后的抽象結(jié)構(gòu)（3個(gè)相同的聲音之后是一個(gè)不同的聲音）理論化。在同樣情況下，猴子探測(cè)到了連續(xù)的4個(gè)聲音，發(fā)現(xiàn)最后一個(gè)聲音的不同，但似乎不會(huì)把這樣的片段性知識(shí)整合到一個(gè)單獨(dú)的公式里。我們認(rèn)識(shí)到這一點(diǎn)，是因?yàn)樵跈z測(cè)猴子的腦活動(dòng)時(shí)，我們看到數(shù)字和序列回路明顯地活躍起來，但從來沒有在被稱為“布羅卡區(qū)”的人類語言區(qū)觀察到整合性激活。類似地，猴子需要幾萬次測(cè)驗(yàn)才會(huì)理解如何將序列的順序顛倒（從ABCD轉(zhuǎn)變成DCBA），而對(duì)一個(gè)4歲的孩子而言，嘗試5次即可。甚至幾個(gè)月大的嬰兒就已經(jīng)能夠用抽象和系統(tǒng)的規(guī)則編碼外部世界。這是人工神經(jīng)網(wǎng)絡(luò)和其他靈長類物種完全無法企及的能力。組合。一旦我們學(xué)會(huì)了兩個(gè)數(shù)字相加這樣的本領(lǐng)，這個(gè)能力就會(huì)變成我們的整體才能中的一部分，即刻就能被用于達(dá)到其他目標(biāo)。我們可以在各種情況下把它用作子程序，比如在餐廳付錢時(shí)，或檢查我們的稅表時(shí)。最重要的是，我們能把這項(xiàng)能力與其他習(xí)得的技能重組，比如，我們可以輕松地根據(jù)一個(gè)運(yùn)算指令，在一個(gè)數(shù)字上加上2，然后判斷其結(jié)果大于還是小于5。令人驚訝的是，當(dāng)下的人工神經(jīng)網(wǎng)絡(luò)尚未顯示出這樣的靈活性。它們習(xí)得的知識(shí)還局限于隱秘的、無法獲取的聯(lián)結(jié)中，從而很難將它重新運(yùn)用于其他更復(fù)雜的任務(wù)中。將之前所學(xué)技能進(jìn)行組合的能力，也就是重組技能并運(yùn)用于解決新問題的能力，超越了當(dāng)下的人工神經(jīng)網(wǎng)絡(luò)模型。如今的人工智能只能解決極其有限的問題：AlphaGo程序雖然打敗了所有圍棋冠軍，卻是一個(gè)固執(zhí)的“專家”，它無法將其才能運(yùn)用到其他的游戲中，哪怕這個(gè)游戲只與圍棋有些許差異，如使用15×15的棋盤，而不是19×19的標(biāo)準(zhǔn)棋盤。而在人腦中，學(xué)習(xí)幾乎總是代表著使知識(shí)顯性化，從而使之被再次使用、重組，并能向他人解釋。我們?cè)俅慰吹搅巳四X獨(dú)有的本領(lǐng)，與語言相關(guān)且已證實(shí)無法被機(jī)器復(fù)制。早在1637年，笛卡爾在其名著《方法論》(DiscourseonMethod)中就預(yù)測(cè)了這個(gè)問題：如果存在與我們的身體相似并盡可能真實(shí)地模仿我們行動(dòng)的機(jī)器，總有兩條確鑿的途徑來識(shí)別他們不是真正的人類。第一條途徑是，機(jī)器絕不可能像人一樣，能通過講話或組建其他符號(hào)來向他人表達(dá)自己的想法。我們能很容易地想象，一臺(tái)機(jī)器的制造方式使它能夠說話……但它無法將詞語以不同方式排列以回應(yīng)在其面前所說的一切話，而最愚笨的人都能做到這一點(diǎn)。第二條途徑是，即便它們能與人類媲美，把許多事做好，甚至比任何人都做得更好，它們也絕對(duì)會(huì)在其他事情上失敗。由此我們可以發(fā)現(xiàn)，機(jī)器的行動(dòng)不是以知識(shí)為基礎(chǔ)的，而僅僅只是由其零件的屬性決定的，因?yàn)槔硇允且环N能被用于各種情況的普遍工具，而機(jī)器零件需要對(duì)每一個(gè)特定的行為作出特定的處置。理性是思維的普遍工具……笛卡爾列舉的思維能力指出了第二個(gè)學(xué)習(xí)系統(tǒng)，它是基于規(guī)則和符號(hào)的，并在層級(jí)上高于前一個(gè)系統(tǒng)。在這個(gè)學(xué)習(xí)系統(tǒng)的早期階段，我們的視覺系統(tǒng)與現(xiàn)行的人工神經(jīng)網(wǎng)絡(luò)有些許相似：它學(xué)會(huì)過濾收到的圖像并識(shí)別常見的結(jié)構(gòu)。這個(gè)能力足以幫助我們識(shí)別一張臉、一個(gè)單詞或圍棋的局面。但是，這個(gè)學(xué)習(xí)系統(tǒng)的處理風(fēng)格接著會(huì)發(fā)生根本性的改變：學(xué)習(xí)向推理靠攏，即嘗試去掌握領(lǐng)域規(guī)則的邏輯推斷。創(chuàng)造出具有這第二層智能的機(jī)器，對(duì)現(xiàn)代人工智能研究是巨大挑戰(zhàn)。讓我們看看定義人類在這個(gè)層級(jí)中如何學(xué)習(xí)的兩個(gè)要素。它們超越了當(dāng)下大部分的機(jī)器學(xué)習(xí)運(yùn)算。學(xué)習(xí)是對(duì)領(lǐng)域語法的推理人類的特征之一是不懈地搜尋抽象規(guī)則，從一個(gè)具體情況及隨后在新情況的測(cè)試觀察中提取出高級(jí)別的總結(jié)。嘗試構(gòu)建這樣的抽象定理可謂非常有力的學(xué)習(xí)策略，因?yàn)榇蟛糠殖橄蠖ɡ砬∏【褪沁m用于最多觀察的規(guī)則。大規(guī)模加快學(xué)習(xí)的終極方法，就是找出能解釋所有已知數(shù)據(jù)的合適定理或邏輯規(guī)則，而人腦深諳此道。我們來看一個(gè)例子。想象一打不透光的盒子，里面裝滿了各種顏色的球。我隨機(jī)抽選了一個(gè)從沒有被動(dòng)過的盒子，伸手進(jìn)去抽出了一個(gè)綠色的球。你能推斷盒子里的內(nèi)容嗎？下一個(gè)球的顏色會(huì)是什么？第一個(gè)進(jìn)入腦海的答案大概是：我不知道。你沒給任何有用信息，我怎么可能知道下一個(gè)球的顏色？這可以理解，但是想象一下，我曾從其他盒子里抽取了一些球，你注意到了如下規(guī)則：在一個(gè)既定盒子里，所有球都是一個(gè)顏色。那么這個(gè)問題就變得容易了。當(dāng)我向你展示一個(gè)新盒子，你只需要抽出一個(gè)綠球就能推斷出其余所有球都會(huì)是綠色。有了這個(gè)普遍規(guī)律，僅通過一次測(cè)試就能判斷結(jié)果。這個(gè)例子闡釋了高級(jí)別知識(shí)，常常在所謂的“元”級(jí)別中形成，能引導(dǎo)一整個(gè)系列的低級(jí)別觀察?！霸谝粋€(gè)既定盒子里，所有球的顏色都相同”這一抽象的元規(guī)則，一旦被人腦習(xí)得，便能大規(guī)模地加速學(xué)習(xí)。當(dāng)然，它也可能是錯(cuò)的。如果第四個(gè)盒子里有所有顏色的球，你會(huì)非常震驚（或許我該說“元”震驚）。如果錯(cuò)誤發(fā)生，你就得修正自己的思維模式，質(zhì)疑所有盒子都有相同顏色的球的假設(shè)。也許你會(huì)提出一個(gè)更高級(jí)別的假設(shè)，一個(gè)“元-元”假設(shè)，比如，你可能會(huì)猜測(cè)這些盒子有兩種：單色的和多色的。這樣，要得出任何結(jié)論，你就必須至少從每個(gè)盒子里抽取兩次。在任何情況下，構(gòu)建一個(gè)層級(jí)式抽象規(guī)則都能幫你省下寶貴的學(xué)習(xí)時(shí)間。因此，在這一情境下，學(xué)習(xí)意味著管理內(nèi)部規(guī)則層級(jí)，并嘗試盡快推導(dǎo)出能歸納整個(gè)系列觀察的最普遍規(guī)則。人腦似乎從兒童時(shí)期就開始運(yùn)用這個(gè)層級(jí)原則了。就拿一個(gè)兩三歲的孩子來說，他與父母走在花園里學(xué)習(xí)新詞，比如蝴蝶。通常情況下，只需要聽這個(gè)詞一兩次，這個(gè)孩子就足以記住它的意思了。這樣卓越的學(xué)習(xí)速度超過了當(dāng)今任何已知的人工神經(jīng)網(wǎng)絡(luò)。這個(gè)問題為什么如此困難？因?yàn)檎f出每個(gè)詞的時(shí)候不會(huì)完全限制其意義。說出蝴蝶的時(shí)候，通常是當(dāng)一個(gè)孩子身處復(fù)雜環(huán)境中時(shí)，周遭是花、樹、玩具和人，所有這些因素都是這個(gè)詞潛在意義的候選項(xiàng)。還有其他較不明顯的意義，如我們生活的每個(gè)時(shí)刻里充斥的聲響、味道、活動(dòng)、行為，還有那些抽象背景。正如我們所知，蝴蝶可以代表顏色、天空、移動(dòng)或?qū)ΨQ性。抽象詞匯的存在使這個(gè)問題越發(fā)令人不解。如果無法感知或體驗(yàn)參照物，那么兒童是如何學(xué)習(xí)“思考”“相信”“不”“自由”“死亡”這些詞的意義的？每當(dāng)孩子們聽到演說者談到自己用“我”這個(gè)字時(shí)，他們是如何理解“我”的意思的？抽象詞的快速學(xué)習(xí)與巴甫洛夫的經(jīng)典條件反射(Pavlovianconditioning)或斯金納的操作性條件反射(Skinnerianassociation)一樣，與單詞學(xué)習(xí)的天真觀點(diǎn)不相容。僅僅試圖將輸入與輸出、圖像與單詞聯(lián)系起來的神經(jīng)網(wǎng)絡(luò)，通常需要進(jìn)行數(shù)千次試錯(cuò)，才能開始理解蝴蝶這個(gè)詞指的是圖像角落里的那只顏色鮮艷的昆蟲……而這種將單詞與圖片聯(lián)系起來的膚淺做法，永遠(yuǎn)不會(huì)發(fā)現(xiàn)沒有固定參照物的單詞的含義，比如“我們”“總是”或“氣味”。詞匯習(xí)得的機(jī)制對(duì)認(rèn)知科學(xué)來說是一項(xiàng)巨大挑戰(zhàn)。我們知道，解決方案的一部分在于兒童建構(gòu)非語言的、抽象的、邏輯性的表述能力。甚至在他們學(xué)會(huì)第一個(gè)單詞之前，兒童就已經(jīng)擁有一種思想的語言，他們可以在其中建構(gòu)并測(cè)試抽象的假設(shè)。他們的腦不是白板，而他們投射到外部世界的先天知識(shí)可以極大地限制他們所處的學(xué)習(xí)的抽象空間。此外，兒童很快就能學(xué)會(huì)單詞的含義，因?yàn)樗麄冊(cè)谶x擇假設(shè)時(shí)，會(huì)以一整套高層次的規(guī)則作為指導(dǎo)。這種元規(guī)則會(huì)極大地加速學(xué)習(xí)，與盒子里的彩色球問題異曲同工。幫助詞匯習(xí)得的一個(gè)準(zhǔn)則在于選擇符合數(shù)據(jù)的最簡單、最小的假設(shè)（見圖2-2）。比如，當(dāng)一個(gè)嬰兒聽到母親說“看這只狗”時(shí)，理論上，沒什么理由會(huì)妨礙我們將“狗”這個(gè)字指代那只特指的狗（史努比），抑或?qū)⑵渲复魏尾溉閯?dòng)物、有4只腳的生物或活體。兒童如何發(fā)現(xiàn)詞語的真實(shí)意義，比如“狗”代表且只代表所有狗？實(shí)驗(yàn)發(fā)現(xiàn)，兒童會(huì)通過測(cè)試所有假設(shè)，但只保留符合他們所聽到的最簡單的那個(gè)假設(shè)來進(jìn)行邏輯推理。因此，當(dāng)兒童聽到“史努比”這個(gè)詞時(shí)，他們總是處在這個(gè)特定寵物的語境下，符合環(huán)境特征的最小范圍的假設(shè)則局限于這只特定的狗。而且，當(dāng)兒童第一次聽到“狗”這個(gè)詞時(shí)處于單一具體環(huán)境中，他們可能暫時(shí)會(huì)認(rèn)為這個(gè)詞只代表了那只特別的動(dòng)物。但是只要他們?cè)诓煌h(huán)境下再次聽到這個(gè)詞兩遍，就能夠推斷出這個(gè)詞指代的是狗這整個(gè)類別。這個(gè)過程的數(shù)學(xué)模型預(yù)測(cè)，三四個(gè)實(shí)例就足夠匯聚出一個(gè)詞的合適意義。這樣的兒童推理比當(dāng)下的任何人工神經(jīng)網(wǎng)絡(luò)都要迅速。圖2-2腦解釋形態(tài)的基本原理學(xué)習(xí)意味著嘗試選擇符合數(shù)據(jù)的最簡模型。假設(shè)我向你展示a圖并告訴你那3個(gè)被黑色實(shí)線包圍的物體就是“石灰花”。在缺乏數(shù)據(jù)的情況下，你怎么找出其他石灰花呢？你的腦會(huì)產(chǎn)生一個(gè)模型來解釋這些形態(tài)是怎么產(chǎn)生的，即建一個(gè)層級(jí)式屬性樹狀圖（b圖），然后從分支中選擇符合數(shù)據(jù)的最小支。還有一些其他的訣竅使得兒童比當(dāng)今人工智能系統(tǒng)能夠更快速地學(xué)習(xí)語言。其中一個(gè)元規(guī)則是，通常情況下，說話者會(huì)專注于自己說話的內(nèi)容。一旦嬰兒理解了這個(gè)規(guī)律，他們就可以極大地縮小自己搜尋意義的抽象空間。在孩子們獲得足夠數(shù)據(jù)證明每當(dāng)聽到“蝴蝶”這個(gè)詞時(shí)都有一種小巧的彩色的昆蟲出現(xiàn)以前，他們不必像計(jì)算機(jī)一般將每個(gè)詞都與視覺情境中的物體相關(guān)聯(lián)，孩子會(huì)隨著母親的視線方向或所指的方向來推斷她在說什么。這項(xiàng)語言學(xué)習(xí)的基本原則被稱作“共享關(guān)注”(sharedattention)。有一個(gè)簡單的實(shí)驗(yàn)：向一個(gè)兩三歲的孩子展示一個(gè)玩具，然后讓一個(gè)成人盯著玩具說：“噢，一個(gè)沃格(Wog)！”一次實(shí)驗(yàn)就可以讓這個(gè)孩子領(lǐng)會(huì)到“沃格”是那個(gè)玩具的名字?，F(xiàn)在來重復(fù)這個(gè)情境，但是成人不再說話，而是由一個(gè)安裝在屋頂?shù)膿P(yáng)聲器播放“噢，一個(gè)沃格”。孩子在這種情境下基本上學(xué)不到任何東西，因?yàn)樗麩o法理解說話者的意圖。共享關(guān)注這一原則使得孩子學(xué)會(huì)了抽象概念的全部詞匯。這需要他們將自己置身于說話者的視角，去理解說話者指代的具體想法或詞語。兒童還會(huì)使用其他許多元規(guī)則來學(xué)習(xí)詞語。比如語法背景。當(dāng)有人對(duì)他們說“看那只蝴蝶”時(shí)，定冠詞“那只(the)”的出現(xiàn)意味著接下來會(huì)是一個(gè)名詞。這也是他們必須學(xué)會(huì)的元規(guī)則。兒童并非生來就知道每門語言的所有冠詞，但研究顯示他們對(duì)這類語言的學(xué)習(xí)非常迅速。幼兒在12個(gè)月大時(shí)就已經(jīng)學(xué)會(huì)了最常見的定冠詞和其他功能性詞，并用它們來指導(dǎo)自己后續(xù)的學(xué)習(xí)。兒童能做到這一點(diǎn)是因?yàn)檫@些語法詞匯頻繁出現(xiàn)，且它們幾乎是固定出現(xiàn)在名詞或名詞詞組之前。這看起來像循環(huán)論證，但并非如此。嬰兒從6個(gè)月大時(shí)開始學(xué)習(xí)名詞，比如最常見的奶瓶和椅子……然后他們會(huì)注意到這些詞之前有一個(gè)常用冠詞……他們便推斷這些詞大概屬于同一個(gè)類別——名詞。這些名詞通常又指代物件……當(dāng)孩子聽到一個(gè)新讀音，比如蝴蝶時(shí)，元規(guī)則就驅(qū)使他們從周圍物體中搜尋一個(gè)可能的含義，而不是把它當(dāng)作一個(gè)動(dòng)詞或形容詞。每個(gè)學(xué)習(xí)情境都在強(qiáng)化這個(gè)規(guī)則，并推動(dòng)后續(xù)的學(xué)習(xí)，在每天的大范圍實(shí)踐中加速學(xué)習(xí)。發(fā)展心理學(xué)家認(rèn)為，兒童依賴自舉法，通過一系列小型且系統(tǒng)化的推理步驟，逐漸自行發(fā)展出語言學(xué)習(xí)運(yùn)算能力。“互排性假設(shè)”(mutualexclusivityassumption)是兒童用來加速詞匯學(xué)習(xí)的另一個(gè)元規(guī)則，被簡潔地表述為“一物一名”。這個(gè)元規(guī)則認(rèn)為兩個(gè)不同的詞通常不會(huì)指代同一個(gè)概念，一個(gè)新詞只能指代一個(gè)全新的物體或概念。有了這條規(guī)則，兒童只要聽到一個(gè)不熟悉的詞，他們就會(huì)限制對(duì)自己尚不清楚名字的物體的含義搜索，一般16個(gè)月大的兒童就能敏捷地使用這個(gè)規(guī)則。試試下面這個(gè)實(shí)驗(yàn)：拿兩個(gè)碗，一個(gè)是藍(lán)色的，另一個(gè)的顏色新穎，比如橄欖綠。要求孩子“給我那個(gè)淘滴(towdy)碗”。他通常會(huì)給你那個(gè)非藍(lán)色的碗，因?yàn)樗J(rèn)為如果你說的是藍(lán)色的那個(gè)碗，你就會(huì)用“藍(lán)色”這個(gè)詞。既然沒用，說明你要的是另一個(gè)未知顏色名字的碗。而這一次的經(jīng)歷就足以讓他記住這個(gè)奇怪的顏色叫做“淘滴”了。我們?cè)俅我娮C了掌握元規(guī)則是如何大規(guī)模加速學(xué)習(xí)的，而這些元規(guī)則很有可能是后天習(xí)得的。的確，一些實(shí)驗(yàn)指出，雙語家庭的兒童比單語家庭的兒童更少地使用這些元規(guī)則。雙語環(huán)境使孩子意識(shí)到自己的父母能用不同的詞來指代同一件東西。單語家庭的孩子則發(fā)現(xiàn)無論父母何時(shí)使用新詞匯，大概都是想讓他們學(xué)習(xí)一個(gè)新物體或概念。如果我們?cè)谝粋€(gè)放滿類似物件的房間說：“給我這個(gè)嘉利士。”孩子們會(huì)到處尋找我們說的這件謎一樣的東西，而且他們不會(huì)認(rèn)為我們可能指的是一件他們已經(jīng)知道的東西。所有這些元規(guī)則都闡釋了所謂的“抽象之福”(blessingofabstraction)——最抽象的規(guī)則是最容易學(xué)的，因?yàn)閮和牭降拿總€(gè)詞語都為之提供了支持證據(jù)。因此，類似“名詞前一般要加定冠詞”的語法規(guī)則可能在兒童發(fā)展早期就被習(xí)得了，并會(huì)指導(dǎo)隨后的名詞詞匯的學(xué)習(xí)。因?yàn)槌橄笾?，兒童在兩三歲時(shí)會(huì)進(jìn)入一個(gè)“詞匯爆炸”時(shí)期。在這期間，他們能夠在只基于有限線索的情況下，每天輕松學(xué)會(huì)10～20個(gè)新詞，而這些簡單的元規(guī)則卻正是阻礙機(jī)器算法進(jìn)步的關(guān)鍵。使用元規(guī)則似乎需要足夠的智能，但這并非人類物種獨(dú)有的。從某個(gè)程度上來說，其他動(dòng)物也能進(jìn)行抽象推理。就拿牧羊犬里克來說，它的訓(xùn)練包括撿起各式各樣的物體。你只需要說：“里克，去撿那個(gè)恐龍?！边@只動(dòng)物就會(huì)進(jìn)入游戲房間，幾秒后嘴巴里叼著恐龍毛絨玩具回來了。測(cè)試他的動(dòng)物行為學(xué)家發(fā)現(xiàn)，里克知道大約200個(gè)詞。最令人振奮的發(fā)現(xiàn)是，里克也會(huì)使用元規(guī)則來學(xué)習(xí)新詞。如果你告訴他：“里克，去撿那個(gè)斯克里德(sikirid)?！彼偸悄艿鸹匾粋€(gè)他不知道名字的新物件。它也會(huì)使用“一物一名”這樣的元規(guī)則。數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家已經(jīng)開始嘗試讓機(jī)器學(xué)習(xí)層級(jí)式規(guī)則、元規(guī)則和元-元規(guī)則，直至任意水平的運(yùn)算。在這些層級(jí)式運(yùn)算學(xué)習(xí)中，每一個(gè)學(xué)習(xí)情境不僅會(huì)限制低級(jí)參數(shù)，也會(huì)規(guī)范高級(jí)的抽象參數(shù)，從而引導(dǎo)后續(xù)的學(xué)習(xí)。雖然它們的效率尚無法媲美人類的語言學(xué)習(xí)，但也有了值得贊賞的表現(xiàn)。例如，彩圖4顯示了最近研發(fā)的機(jī)器算法如何像尋找外部世界最佳模型的科學(xué)家一樣行事，這個(gè)系統(tǒng)具有一套抽象原始參數(shù)，還有能通過重組基礎(chǔ)規(guī)則使之制造出無限更高階結(jié)構(gòu)的語法。比如，它能夠?qū)⒁粭l線性鏈定義為一組緊密相連的點(diǎn)，這個(gè)定義的特征是“每個(gè)點(diǎn)有兩個(gè)相鄰的點(diǎn)，一個(gè)在左，一個(gè)在右”；這個(gè)系統(tǒng)還能夠自己去發(fā)現(xiàn)這條線性鏈?zhǔn)谴硪唤M整數(shù)（從零到無限）的最佳方式。該語法的一個(gè)變形會(huì)產(chǎn)生一個(gè)二元樹狀結(jié)構(gòu)，每一個(gè)莖節(jié)點(diǎn)都有一位家長和兩個(gè)孩子。這樣的樹狀結(jié)構(gòu)是在當(dāng)系統(tǒng)被激活時(shí)被自動(dòng)選出來的。這個(gè)機(jī)器就如人工達(dá)爾文一般，會(huì)自動(dòng)自發(fā)地去重新發(fā)現(xiàn)生命之樹！彩圖4麻省理工學(xué)院的兩個(gè)科學(xué)家發(fā)明了一種算法，被用來研究科學(xué)領(lǐng)域的隱藏性結(jié)構(gòu)。這種算法有個(gè)語法規(guī)則可以組合出所有新的結(jié)構(gòu)，如線條、平面、圓弧、圓筒……運(yùn)用這種算法，科學(xué)家們論證了動(dòng)物系統(tǒng)進(jìn)化樹（達(dá)爾文）、地球是圓形的〔巴門尼德(Parmenides)〕以及牛頓色環(huán)（牛頓）。組合這些規(guī)則還會(huì)制造出平面、圓柱體、球體，其算法還能讓這些結(jié)構(gòu)符合地球的地理結(jié)構(gòu)。這個(gè)算法的升級(jí)版本還能表達(dá)更抽象的概念。例如，美國計(jì)算機(jī)科學(xué)家諾亞·古德曼(NoahGoodman)和喬?！ぬ啬硝U姆(JoshTenenbaum)設(shè)計(jì)了一個(gè)可以得出因果關(guān)系原則的系統(tǒng)。構(gòu)建該系統(tǒng)的是一個(gè)深?yuàn)W的數(shù)學(xué)公式；在一個(gè)直接、非循環(huán)的聯(lián)結(jié)各個(gè)變量的圖形中，存在著一個(gè)變量子集，其他子集也都依賴于這個(gè)子集。這句話很難理解，我引用它是因?yàn)檫@個(gè)例子完美描述了這種思維語法所能夠表達(dá)和測(cè)試的一種抽象的內(nèi)部公式。這個(gè)系統(tǒng)會(huì)測(cè)試上千個(gè)公式并保留那些符合輸入資料的，從而快速演繹出了因果原則（假如輸入的感知經(jīng)驗(yàn)一部分是原因，而其他的都是結(jié)果）。這個(gè)例子也論證了抽象之福：這樣的高層級(jí)假設(shè)可以大規(guī)模加速學(xué)習(xí)，因?yàn)樗鼘⒖蛇x假設(shè)的搜索范圍大幅縮小了。由此，一代又一代的孩子不斷地追問著“為什么？”以搜尋可能的解釋和原因，這也為人類不斷追尋科學(xué)知識(shí)提供了燃料。根據(jù)這個(gè)看法，學(xué)習(xí)包括從一組眾多的人腦思維語言數(shù)據(jù)中，選出最符合外部事物對(duì)應(yīng)的那一個(gè)。我們很快就會(huì)看到，這是兒童所擁有的一個(gè)卓越模式。他們就像一個(gè)個(gè)剛出道的科學(xué)家，構(gòu)建理論并將之與外部世界進(jìn)行比較。這意味著兒童的思維表征比當(dāng)下的人工神經(jīng)網(wǎng)絡(luò)要結(jié)構(gòu)化得多。從出生起，兒童的腦中就已經(jīng)具備了兩個(gè)核心成分：能使制造出豐盈的抽象公式成為可能的所有機(jī)械裝置（即思維語言的組合），以及根據(jù)數(shù)據(jù)的合理性明智選擇出合適公式的能力。這就是腦的新版本：一個(gè)巨大的假設(shè)生產(chǎn)模型，制造層級(jí)式假設(shè)的規(guī)則和結(jié)構(gòu)并實(shí)現(xiàn)大規(guī)模的結(jié)構(gòu)化，同時(shí)又能逐漸限制自己以符合現(xiàn)實(shí)。學(xué)習(xí)就是像科學(xué)家一樣推理腦是怎么選擇最佳假設(shè)的？外部世界的模型應(yīng)該基于怎樣的標(biāo)準(zhǔn)來被接受或被拒絕？事實(shí)上，有一個(gè)理想策略來回答這些問題。此策略的關(guān)鍵在于近些年發(fā)展出的一些有效學(xué)習(xí)理論的核心，即“腦像一個(gè)剛出道的科學(xué)家一樣行事”這一假設(shè)。根據(jù)這個(gè)假設(shè)，學(xué)習(xí)就是像一個(gè)優(yōu)秀統(tǒng)計(jì)學(xué)家一樣在幾個(gè)備選理論中選擇正確率最高的一個(gè)，因?yàn)樗钅芙忉尲扔袛?shù)據(jù)?？茖W(xué)推理的原理是什么？當(dāng)科學(xué)家構(gòu)建一個(gè)理論時(shí)，他們不只是寫下數(shù)學(xué)公式，還要做預(yù)測(cè)。一個(gè)理論的優(yōu)勢(shì)在于其原始預(yù)測(cè)的豐富性。隨后對(duì)這些預(yù)測(cè)的確認(rèn)或推翻決定了這個(gè)理論的有效或失敗。研究者會(huì)運(yùn)用一個(gè)簡單邏輯：陳述幾個(gè)理論，揭示他們的一系列預(yù)測(cè)，然后排除那些預(yù)測(cè)不被實(shí)驗(yàn)和觀察確證的對(duì)應(yīng)理論。當(dāng)然，單一實(shí)驗(yàn)不足以論證，為了區(qū)分真實(shí)結(jié)果與誤差，不同實(shí)驗(yàn)室進(jìn)行幾次復(fù)制實(shí)驗(yàn)通常是必要的。重述哲學(xué)家卡爾·波普(KarlPopper)的話：隨著一系列推斷與駁斥對(duì)一個(gè)理論的推進(jìn)性完善，無知就會(huì)逐漸衰落?？茖W(xué)緩慢的進(jìn)展與我們的學(xué)習(xí)相似。隨著我們的腦通過觀察越發(fā)準(zhǔn)確地構(gòu)建關(guān)于外部世界的理論，每個(gè)人思想里的無知會(huì)逐漸消退。但是，“孩子是剛出道的科學(xué)家”難道不是一個(gè)模糊的比方嗎？不，它實(shí)際上是一個(gè)關(guān)于人腦如何運(yùn)作的精準(zhǔn)表述。而且，在過去的30年間，“剛出道的科學(xué)家”這個(gè)假設(shè)引領(lǐng)了一系列關(guān)于兒童如何推理和學(xué)習(xí)的重大發(fā)現(xiàn)。數(shù)學(xué)家及計(jì)算機(jī)科學(xué)家很早以前就已經(jīng)從理論上說明了在不確定性面前推理的最佳方式。這一精準(zhǔn)理論被稱為“貝葉斯”，是以其發(fā)明者托馬斯·貝葉斯的名字命名的。貝葉斯是一位英國長老教會(huì)的牧師，也是一位數(shù)學(xué)家，后來成為皇家學(xué)會(huì)的成員?；蛟S我們得稱這個(gè)理論為“拉普拉斯式理論”(laplaliantheory)，因?yàn)槭莻ゴ蟮姆▏鴶?shù)學(xué)家皮埃爾-西蒙·拉普拉斯(Pierre-SimonLaplace)將其第一次正式推出的。不論它的古老源頭為何，這個(gè)觀點(diǎn)直到最近20年才開始獲得認(rèn)知科學(xué)及機(jī)器學(xué)習(xí)領(lǐng)域的重視。越來越多研究者開始意識(shí)到，只有扎根于概率理論的貝葉斯理論才能確保從每個(gè)數(shù)據(jù)點(diǎn)中提取信息的最大化。學(xué)習(xí)就是要從每一個(gè)觀察中提取盡可能多的推斷，即使這個(gè)推斷是很不確定的。而這正是貝葉斯理論管用的原因。貝葉斯和拉普拉斯究竟發(fā)現(xiàn)了什么？簡單來說，推理的正確方法就是通過概率來推理，從而追溯每個(gè)觀測(cè)結(jié)果最有可能發(fā)生的原因，無論觀測(cè)結(jié)果多么微小。讓我們先回到邏輯的基礎(chǔ)。古時(shí)起，人類就已經(jīng)知道如何基于真相進(jìn)行推理，真或假。亞里士多德發(fā)明了被我們稱為三段論的推理準(zhǔn)則，我們或多或少都會(huì)通過直覺運(yùn)用它們。比如，modustollens（直譯為“否定的方法”