神經(jīng)網(wǎng)絡(luò)簡史

神經(jīng)網(wǎng)絡(luò)簡史2015-01-12團成片的尼克36大數(shù)據(jù)自圖靈提出“機器與智能”，一直就有兩派觀點，一派認為實現(xiàn)人工智能必須用邏輯和符號系統(tǒng)，這一派看問題是自頂向下的；還有一派認為通過仿造大腦可以達到人工智能，這一派是自底向上的，他們認定如果能造一臺機器，模擬大腦中的神經(jīng)網(wǎng)絡(luò)，這臺機器就有智能了。前一派，我想用“想啥來啥”來形容；后一派就稱之為“吃啥補啥”，估計他們的思想來源于中國古代的原始思維，套一句庸俗的哲學(xué)詞，前者偏唯心，后者偏唯物。這兩派一直是人工智能領(lǐng)域里兩個階級、兩條路線的斗爭，這斗爭有時還你死我活。麥卡洛可（McCulloch）皮茨（Pitts)模擬神經(jīng)網(wǎng)絡(luò)的原創(chuàng)文章發(fā)表于1943年，兩位作者都是傳奇人物，麥卡洛可（McCulloch）和皮茨（Pitts)。話分兩頭。皮茨打小就喜歡數(shù)學(xué)和哲學(xué)，初中時還讀過羅素的《數(shù)學(xué)原理》，還和羅素通信，羅素愛才，邀請他到英國跟隨自己學(xué)習(xí)邏輯。但皮茨家里是苦出身，連高中都讀不起，英國留學(xué)自然未果。他十五歲時，他爸強行要他退學(xué)上班，就像所有愛讀書的窮孩子，皮茨一怒就離家出走了。他打聽到偶像羅素那時要到芝加哥大學(xué)任教，就只身來到芝加哥，還真見到了羅素，老羅遂把他推薦給那時也在芝加哥任教的卡爾納普?？柤{普想看看這孩子到底有多聰明，就把自己的《語言的邏輯句法》一書送給皮茨，沒過一個月，皮茨就看完了，把寫滿筆記的原書還給卡爾納普。老卡驚為天人，于是給他在芝加哥大學(xué)安排了份打掃衛(wèi)生的工作。別看不起打掃衛(wèi)生，電影《心靈捕手》（GoodWillHunting）里馬特·達蒙飾演的角色也是在知名大學(xué)打掃衛(wèi)生時，不小心解了道數(shù)學(xué)難題，引起老師的注意。掃馬路至少可避免流浪街頭。皮茨后來結(jié)識了也在芝加哥的麥卡洛可。沃倫-麥卡洛可比皮茨大一輩，他本科在耶魯學(xué)哲學(xué)和心理學(xué)，后在哥倫比亞得了心理學(xué)碩士和醫(yī)學(xué)博士（MD)，其實醫(yī)學(xué)博士和哲學(xué)博士不是一回事，MD不是學(xué)術(shù)學(xué)位，屬終極職業(yè)學(xué)位，和MBA、MFA差不多。MD的那個D是指“醫(yī)生”，PhD的D才是博士。麥卡洛可畢業(yè)后做了幾年實習(xí)醫(yī)生，先去了耶魯研究神經(jīng)生理學(xué)，后又去了伊利諾伊大學(xué)芝加哥分校，做精神病學(xué)系的教授。麥卡洛可的強項是神經(jīng)科學(xué)，但不懂?dāng)?shù)學(xué)，他和十七歲的流浪漢數(shù)學(xué)票友皮茨是絕配。他們合作的成果就是神經(jīng)網(wǎng)絡(luò)的第一篇文章：“ALogicalCalculusofIdeasImmanentinNervousActivity”,發(fā)表在《數(shù)學(xué)生物物理期刊》上。這篇文章也成了控制論的思想源泉之一。諾伯特·維納控制論的始作俑者諾伯特·維納早年自稱神童，他爸是哈佛教授，曾經(jīng)帶著他到英國見過羅素，但羅素特不喜歡這孩子和他爹。自打進入二十世紀后，甭管哪門哪派的學(xué)問，最后都能扯到羅素那兒，不想得諾貝爾文學(xué)獎的科學(xué)家都不是好情人。維納后來也在哈佛任教，但不被主流數(shù)學(xué)家喜歡，沒拿到終身教職。最后到了隔壁的麻省理工落腳，在二戰(zhàn)時搞了點武器研究。那時最好的數(shù)學(xué)家和物理學(xué)家都參與了造原子彈的“曼哈頓”計劃，維納卻沒沾邊。這也許同他的個性有關(guān)系，他的同事和家人都覺得他對數(shù)學(xué)之外的事情反應(yīng)遲鈍。維納提出“控制論”后出了大名，在麻省理工搞了一大筆錢，麥卡洛可就帶著皮茨等一票人馬投奔維納，有錢才能當(dāng)老大，哪都一樣。維納的老婆瑪格麗特是納粹，在二戰(zhàn)時，家里還偷藏了本英文版的希特勒的《我的奮斗》。那時他們的女兒芭芭拉正在讀小學(xué)，有意無意也看過那書，寫作文時居然引用書里的“警句”，差點被學(xué)校開除。麥卡洛可的老婆是猶太人，與瑪格麗特形同水火。其實維納祖上是波蘭猶太人，瑪格麗特早干啥去了？維納娶瑪格麗特是為了自嘲嗎？就像很多中國男人討洋老婆或老外娶中國剩女，圖的不是相貌，是稀罕。反正最后維納被中和為“不可知論者”（agnostic）?，敻覃愄赜写螌S納說麥卡洛可小組有人（可能暗指皮茨）勾引寶貝女兒芭芭拉，維納大怒，隨即斷絕和麥克洛克及其學(xué)生的所有往來?，F(xiàn)在看瑪格麗特是有意造謠。但維納的舉動對皮茨造成巨大創(chuàng)傷，皮茨本來是維納的特招學(xué)生（specialstudent），但估計他年幼時受過挫折，秉性怪異。和維納鬧翻后，他拒絕麻省理工給他的研究生學(xué)位，對學(xué)問也心灰意冷。皮茨1969年比他的長輩麥卡洛可早幾個月離世，只有四十六歲。邁克爾·阿比卜（MichaelArbib)得維納真?zhèn)鞯娜瞬欢?，不能不說一下邁克爾·阿比卜（MichaelArbib)。他二十三歲就在維納手下得了PhD，他出名是那本科普書《大腦、機器和數(shù)學(xué)》。阿比卜后來創(chuàng)辦了麻省大學(xué)的計算機系，并延攬一幫人工智能人馬，其中有后來以“強化學(xué)習(xí)”出名的巴托（AndyBarto)，使麻省大學(xué)的人工智能一直處領(lǐng)先地位。阿比卜后來轉(zhuǎn)往南加州大學(xué)，擔(dān)任一堆系的教授，包括計算機、生物、生物醫(yī)學(xué)工程、電氣工程、神經(jīng)科學(xué)、還有心理；他那名片要是印出來，估計很像中國的農(nóng)民企業(yè)家，就差“政協(xié)委員”或“人大代表”了。阿比卜到南加州后，沒出過什么有影響力的原創(chuàng)成果。在神經(jīng)網(wǎng)絡(luò)不景氣時，巴托的“可適應(yīng)學(xué)習(xí)實驗室”曾經(jīng)短期收容了很多人，其中就有后來的大佬級人物，如喬丹（MichaelJordan），喬丹在伯克利時又培養(yǎng)了AndrewNg等一干人馬，那是后話。1949年，神經(jīng)心理學(xué)家Hebb出版《行為組織學(xué)》（OrganizationofBehavior)，在該書中，Hebb提出了被后人稱為“Hebb規(guī)則”的學(xué)習(xí)機制。這個規(guī)則認為如果兩個細胞總是同時激活的話，它們之間就有某種關(guān)聯(lián)，同時激活的概率越高，關(guān)聯(lián)度也越高。換句話說，就是“吃啥補啥”。2000年諾貝爾醫(yī)學(xué)獎得主肯德爾（EricKandel）的動物實驗也證實了Hebb規(guī)則。后來的各種無監(jiān)督機器學(xué)習(xí)算法或多或少都是Hebb規(guī)則的變種。弗蘭克·羅森布拉特神經(jīng)網(wǎng)絡(luò)研究的后一個大突破是1957年。康奈爾大學(xué)的實驗心理學(xué)家弗蘭克·羅森布拉特在一臺IBM-704計算機上模擬實現(xiàn)了一種他發(fā)明的叫作“感知機”（Perceptron）的神經(jīng)網(wǎng)絡(luò)模型。這個模型可以完成一些簡單的視覺處理任務(wù)。這引起了轟動。羅森布拉特在理論上證明了單層神經(jīng)網(wǎng)絡(luò)在處理線性可分的模式識別問題時，可以收斂，并以此為基礎(chǔ)，做了若干“感知機”有學(xué)習(xí)能力的實驗。羅森布拉特1962年出了本書：《神經(jīng)動力學(xué)原理：感知機和大腦機制的理論》（PrinciplesofNeurodynamics:PerceptronsandtheTheoryofBrainMechanisms），這書總結(jié)了他的所有研究成果，一時成為“吃啥補啥”派的圣經(jīng)。羅森布拉特的名聲越來越大，得到的研究經(jīng)費也越來越多。國防部和海軍都資助了他的研究工作。媒體對羅森布拉特也表現(xiàn)出了過度的關(guān)注。畢竟，能夠構(gòu)建一臺可以模擬大腦的機器，當(dāng)然是一個頭版頭條的搶眼消息。此時的羅森布拉特也一改往日的害羞，經(jīng)常在媒體出鏡，他開跑車、彈鋼琴，到處顯擺。這使得另一派的人相當(dāng)不爽。明斯基是人工智能的奠基人之一，是達特茅斯會議的組織者。明斯基在一次會議上和羅森布拉特大吵，他認為神經(jīng)網(wǎng)絡(luò)不能解決人工智能的問題。隨后，明斯基和麻省理工學(xué)院的另一位教授佩普特合作，企圖從理論上證明他們的觀點。他們合作的成果就是那本影響巨大、“是也非也”的書：《感知機：計算幾何學(xué)》（Perceptrons:AnIntroductiontoComputationalGeometry)。在書中，明斯基和佩普特證明單層神經(jīng)網(wǎng)絡(luò)不能解決XOR（異或）問題。異或是一個基本邏輯問題，如果這個問題都解決不了，那神經(jīng)網(wǎng)絡(luò)的計算能力實在有限。其實羅森布拉特也已猜到“感知機”可能存在限制，特別是在“符號處理”方面，并以他神經(jīng)心理學(xué)家的經(jīng)驗指出，某些大腦受到傷害的人也不能處理符號。但“感知機”的缺陷被明斯基以一種敵意的方式呈現(xiàn)，當(dāng)時對羅森布拉特是致命打擊。所有原來的政府資助機構(gòu)也逐漸停止對神經(jīng)網(wǎng)絡(luò)的研究。1971年，羅森布拉特四十三歲生日那天，在劃船時淹死。很多人認為他是自殺。王國維沉湖時遺言“經(jīng)此世變，義無再辱”，在羅森布拉特，我猜“辱”是明斯基的書，“世變”是隨后“神經(jīng)網(wǎng)絡(luò)”學(xué)科的消沉。不同的是，王靜安謂之“世變”是歷史潮流，但神經(jīng)網(wǎng)絡(luò)學(xué)科十年后會逆襲。表面是科學(xué)，但有證據(jù)表明明斯基和羅森布拉特以前就有瓜葛。他們是中學(xué)同學(xué)。布朗克斯（Bronx）科學(xué)高中大概是全世界最好的高中，畢業(yè)生里出過八個諾貝爾獎、六個普利策獎、一個圖靈獎。遠的不說，明斯基是1945年畢業(yè)生，而羅森布拉特是1946年畢業(yè)生。美國高中學(xué)制四年，明斯基和羅森布拉特至少有兩年重疊，而且彼此認識，互相嫉妒。1956年的達特茅斯會議定義了“人工智能”這個詞，會議的組織者包括明斯基、麥卡錫和香農(nóng)等，參會者還有司馬賀，紐威爾等。這個會議在定義“人工智能”領(lǐng)域時只是提到了神經(jīng)網(wǎng)絡(luò)。那時明斯基是神經(jīng)網(wǎng)絡(luò)的支持者。他1954年在普林斯頓的博士論文題目是“神經(jīng)-模擬強化系統(tǒng)的理論，及其在大腦模型問題上的應(yīng)用”（TheoryofNeural-AnalogReinforcementSystemsanditsApplicationtotheBrain-ModelProblem），實際是一篇關(guān)于神經(jīng)網(wǎng)絡(luò)的論文。他晚年接受采訪時開玩笑說，那篇三百多頁的博士論文從來沒正式發(fā)表過，大概只印了三本，他自己也記不清內(nèi)容了。貌似他想極力開脫自己和神經(jīng)網(wǎng)絡(luò)學(xué)科的千絲萬縷的關(guān)系。達特茅斯會議的主題并不是神經(jīng)網(wǎng)絡(luò)，而是后來被紐維爾和司馬賀稱為“物理符號系統(tǒng)”的東西，也就是說達特茅斯會議，“想啥來啥”派是主要基調(diào)。羅森布拉特被比他大一歲的明斯基妒忌是自然的。工作上，明斯基所負責(zé)的麻省理工學(xué)院的人工智能實驗室也在向國防部和海軍申請經(jīng)費。大多數(shù)的圈內(nèi)科學(xué)家，對羅森布拉特突然被塑造的明星范兒很反感。明斯基早期也是“吃啥補啥”派出身，但此時已經(jīng)改為“想啥來啥”派了。由于他和佩普特對感知機的批判，倆人后來被“吃啥補啥”派稱為“魔鬼搭檔”。其實明斯基認識佩普特結(jié)識還是通過麥卡洛克的介紹，歷史真是糾結(jié)。被稱“魔鬼”是因為《感知機》第一版有言：“羅森布拉特的論文大多沒有科學(xué)價值?！边@話跳步確實有點大，但羅森布拉特人緣不好，沒有得到同行的支持。比羅森布拉特小一歲的維德羅（Widrow）是斯坦福大學(xué)教授，在羅森布拉特剛提出“感知機”時，就提出了Adaline可適應(yīng)性算法。Adaline和感知機很相似，也是機器學(xué)習(xí)的鼻祖模型之一。羅森布拉特享受盛譽時，維德羅也沾了光，但在羅森布拉特死后，他卻并沒有被非難。維德羅在幾十年后回憶說，那是因為他后來主要在電機系（EE）做集成電路的工作，而不是在計算機系里從事派系繁雜的人工智能研究，圈子不同，老死不相往來。大佬米德（CarverMead）感知機的失敗導(dǎo)致神經(jīng)網(wǎng)絡(luò)研究的式微，用加州理工學(xué)院的集成電路大佬米德（CarverMead）的話說是“二十年大饑荒”。明斯基在《感知機》一書再版時，刪除了原版中對羅森布拉特的個人攻擊的句子，并手寫了“紀念羅森布拉特”（InmemoryofFrankRosenblatt）。但其他在“大饑荒”時期受到壓迫的科學(xué)家認為明斯基不可原諒，后來神經(jīng)網(wǎng)絡(luò)得勢后，這些人紛紛對明斯基口誅筆伐。美國電氣電子工程師協(xié)會（IEEE）于2004年設(shè)立了羅森布拉特獎，以獎勵在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的杰出研究。在信息科學(xué)和神經(jīng)科學(xué)的結(jié)合部的失敗，并沒有影響到神經(jīng)生物學(xué)內(nèi)部。哈佛神經(jīng)生物學(xué)家胡貝爾（Hubel）和威瑟爾（Wiesel）對視網(wǎng)膜和視皮層（visualcortex）中神經(jīng)細胞的信息處理模式做了深入研究，他們?yōu)榇双@得1981年的諾貝爾醫(yī)學(xué)獎。隨后，麻省理工學(xué)院英年早逝的大衛(wèi)·馬爾（Marr）為視覺信息處理建立數(shù)學(xué)模型，影響了后來連接主義的運動。威瑟爾后來離開哈佛去了洛克菲勒大學(xué)。1991年洛克菲勒大學(xué)時任校長大衛(wèi)·巴爾的摩出了學(xué)術(shù)丑聞被迫辭職后，威瑟爾出任洛克菲勒校長，為把那所學(xué)校建成生物學(xué)的重鎮(zhèn)做出貢獻。1974年，哈佛的一篇博士論文證明了在神經(jīng)網(wǎng)絡(luò)多加一層，并且利用“后向傳播”（Back-propagation）學(xué)習(xí)方法，可以解決XOR問題。這篇論文的作者是沃波斯（Werbos），他后來得到了IEEE神經(jīng)網(wǎng)絡(luò)學(xué)會的先驅(qū)獎。沃波斯這篇文章剛發(fā)表時并沒引起多少重視，那時正是神經(jīng)網(wǎng)絡(luò)研究的低谷，文章不合時宜?；羝辗茽柕拢℉opfield）神經(jīng)網(wǎng)絡(luò)在1980年代的復(fù)興歸功于物理學(xué)家霍普菲爾德（Hopfield）。1982年，那時在加州理工擔(dān)任生物物理教授的霍普菲爾德，提出了一種新的神經(jīng)網(wǎng)絡(luò)，可以解決一大類模式識別問題，還可以給出一類組合優(yōu)化問題的近似解。這種神經(jīng)網(wǎng)絡(luò)模型后被稱為霍普菲爾德網(wǎng)絡(luò)。1984年，霍普菲爾德用模擬集成電路實現(xiàn)了自己提出的模型。霍老也培養(yǎng)了一批后起之秀，包括現(xiàn)在在生物學(xué)重鎮(zhèn)Salk研究所擔(dān)任計算神經(jīng)生物學(xué)實驗室主任的TerrySejnowski?；衾虾筠D(zhuǎn)往普林斯頓擔(dān)任分子生物學(xué)教授，現(xiàn)已退休?；羝辗茽柕履Ｐ偷奶岢稣駣^了神經(jīng)網(wǎng)絡(luò)領(lǐng)域。一幫早期神經(jīng)網(wǎng)絡(luò)研究的幸存者，在生物學(xué)家克里克（Crick，對，就是發(fā)明DNA雙螺旋的那位諾貝爾獎得主）和認知科學(xué)大佬唐·諾曼（DonNorman）的鼓勵下，以加州大學(xué)圣地亞哥分校為基地，開始了“連接主義”（Connectionism）運動，這個運動的領(lǐng)導(dǎo)者是兩位心理學(xué)家魯梅爾哈特（Rumelhart）和麥克利蘭德（McLelland），外加一位計算機科學(xué)家辛頓（GeoffreyHinton）。連接主義運動的成果之一就是那本著名的被稱為PDP（ParallelandDistributedProcessing)的文集（分兩卷)。此書的出版給認知科學(xué)和計算機科學(xué)吹了股大風(fēng)，被后起的神經(jīng)網(wǎng)絡(luò)新秀們成為圣經(jīng)?！吧窠?jīng)網(wǎng)絡(luò)”在八十年代就像九十年代的互聯(lián)網(wǎng)，后來的Web2.0，和眼下的“大數(shù)據(jù)”。誰都想套套近乎。一些做理論的大佬也不能免俗，發(fā)明RSA算法的R（Rivest）也帶了幾個學(xué)生轉(zhuǎn)做神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題的復(fù)雜性。一時間紅旗不倒，彩旗飄飄，好不熱鬧。1993年，美國電氣電子工程師學(xué)會IEEE開始出版《神經(jīng)網(wǎng)絡(luò)會刊》，為該領(lǐng)域的高質(zhì)量文章提供出版渠道。美國國防部和海軍、能源部等也加大資助力度。神經(jīng)網(wǎng)絡(luò)一下子成了顯學(xué)。連接主義運動也培養(yǎng)了一堆新人，并使得加州大學(xué)圣地亞哥分校的認知科學(xué)系成為同類系科的佼佼者。魯梅爾哈特后轉(zhuǎn)往斯坦福大學(xué)任教，前年不幸死于已掙扎多年的神經(jīng)退化疾病。喬丹就是他的學(xué)生，而AndrewNg(吳恩達)又是喬丹的學(xué)生，魯梅爾哈特人雖離世，但香火沒滅。他的另一名學(xué)生RobertGlushko后來遠離本行，跟隨硅谷互聯(lián)網(wǎng)早期英雄馬蹄塔南鮑姆（MartyTennenbaum,據(jù)說馬蹄的兒子都在麻省理工當(dāng)教授了），創(chuàng)立了一家XML公司，那家公司后來賣給CommerceOne，賺了一票錢。Glushko捐錢設(shè)立了“魯梅爾哈特獎”來獎勵神經(jīng)網(wǎng)絡(luò)的研究者，辛頓成了第一位獲獎?wù)摺｛溈死m德則先轉(zhuǎn)往卡內(nèi)基梅隆擔(dān)任計算機和心理兩系教授，后來也到斯坦福，在那里建立了“心、腦、計算研究中心”，一度還擔(dān)任心理系主任。辛頓則先轉(zhuǎn)往卡內(nèi)基梅隆，最終到加拿大多倫多大學(xué)計算機系任教。辛頓現(xiàn)在可是神經(jīng)網(wǎng)絡(luò)最牛的人了。他還有一段不太為外人所知的革命家史：他是布爾的外曾曾孫子（對，就是“布爾代數(shù)”的那個布爾），他曾祖母Ellen是布爾的女兒。中國革命的參與者、美國鐵桿左派韓丁和寒春（WilliamandJoanHinton）也是Ellen的孫子孫女，照這么說韓丁是辛頓的堂叔，寒春是辛頓的堂姑。布爾的小女兒、Ellen的妹妹伏尼契（EthelLilianVoynich）是傳遍蘇聯(lián)和中國的小說《牛虻》的作者?！杜ｒ怠肺鞣讲涣翓|方亮，在蘇聯(lián)和中國是幾代人的革命加愛情勵志暢銷書。晚年在紐約生活陷入困頓的伏尼契，靠了蘇聯(lián)和周恩來特批的中國的意外稿費得以善終。這一家子把中國、蘇聯(lián)、革命、邏輯和神經(jīng)網(wǎng)絡(luò)都聯(lián)系起來了，通吃“吃啥補啥”派和“想啥來啥”派。智力題：伏尼契和辛頓是啥關(guān)系。語言學(xué)家、公共知識分子斯蒂夫·平克對連接主義不以為然。魯梅爾哈特和麥克利蘭德在PDP圣經(jīng)中合作了一章，講神經(jīng)網(wǎng)絡(luò)可以學(xué)會動詞的過去式，比如一看start，就知道started，一看come就知道came等等。平克認為有規(guī)則的過去式（直接加ed的，如started）可以通過簡單計算得來；而不規(guī)則的（不通過加ed的，如came）則是存在大腦的一個特定區(qū)域。平克引用神經(jīng)心理學(xué)的證據(jù)指出處理規(guī)則的和不規(guī)則的操作是在大腦不同部位完成的，他還認為神經(jīng)網(wǎng)絡(luò)的行為和一類大腦受傷害患失語癥的病人的行為相似。其實這種觀察并不深刻，都是羅森布拉特三十年前玩剩下的。符號系統(tǒng)可能比較適合處理規(guī)則的情況，而神經(jīng)網(wǎng)絡(luò)可能更適合不規(guī)則的情況，這個一般人都能想到。對神經(jīng)網(wǎng)絡(luò)派的批評也如此：我們可以定義一個規(guī)則，可以用符號系統(tǒng)實現(xiàn)也可以用神經(jīng)網(wǎng)絡(luò)實現(xiàn)。哪個快用哪個。符號處理和神經(jīng)網(wǎng)絡(luò)的方法論之爭有時會被更大地夸張。偉大的喬姆斯基就不認可人工智能領(lǐng)域的最新進展。機器翻譯歷來是人工智能的試金石之一，就像在1996年之前的計算機下棋。機器翻譯的早期實踐都源于喬姆斯基的理論，但近來的突破卻是基于統(tǒng)計的方法。喬姆斯基認為統(tǒng)計的方法不“優(yōu)雅”（elegant），只是模仿而不是理解。會騎自行車不算理解，對自行車為什么不倒，能說三道四，才算理解。谷歌的研發(fā)總監(jiān)彼特·諾維格為統(tǒng)計方法辯護時說：簡單的模型（如喬姆斯基理論，以及后來的各種改進版本）不能解決復(fù)雜的問題，人工智能的進一步發(fā)展必須兩條腿走路。諾維格在加入谷歌之前曾是加州大學(xué)伯克利分校的計算機教授，他對兩派都了如指掌，在學(xué)術(shù)界和工業(yè)界都被尊重，他寫的《人工智能》是最流行的教科書。他的觀點似乎被更多的人接受。神經(jīng)網(wǎng)絡(luò)在八十年代的光芒被后來的互聯(lián)網(wǎng)掩蓋了。但這幾年又恰恰是互聯(lián)網(wǎng)給了神經(jīng)網(wǎng)絡(luò)更大的機會。這幾年計算機科學(xué)最火的詞兒就是“深度學(xué)習(xí)”。神經(jīng)網(wǎng)絡(luò)由一層一層的神經(jīng)元構(gòu)成。層數(shù)越多，就越深，所