深度學(xué)習(xí)-基于Python語(yǔ)言和Tensorflow平臺(tái)第1章_人工智能極簡(jiǎn)歷史課件

1、人工智能極簡(jiǎn)歷史第1章深度學(xué)習(xí)基于Python語(yǔ)言和Tensorflow平臺(tái)重要人物及其貢獻(xiàn)為什么要了解人工智能的發(fā)展歷史主要理論和關(guān)鍵技術(shù)重要事件簡(jiǎn)要了解在人工智能發(fā)展歷程中：出現(xiàn)的經(jīng)緯（時(shí)間順序和邏輯關(guān)系）有助于更好地理解書(shū)中內(nèi)容，“知其然，更知其所以然”。了解人工智能發(fā)展的歷史脈絡(luò)了解深度學(xué)習(xí)技術(shù)的由來(lái)和最新發(fā)展動(dòng)向01HISTORY02RISE&FALL03OUTLOOKtarget目標(biāo)體會(huì)人工智能發(fā)展歷程中各個(gè)波峰波谷的緣由目錄導(dǎo)航1.11.21.31.4重要奠基時(shí)期人工智能的誕生第一個(gè)快速發(fā)展期人工智能的第一個(gè)寒冬Contents 關(guān)鍵要素之一：對(duì)神經(jīng)元的研究和模型化人工智能研究的

2、萌芽圣地亞哥拉蒙-卡哈爾（西班牙語(yǔ)：Santiago Ramn y Cajal，1852年5月1日1934年10月17日），西班牙病理學(xué)家、組織學(xué)家，神經(jīng)學(xué)家，1906年諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)得主。被認(rèn)為是現(xiàn)代神經(jīng)科學(xué)之父，繪圖技能出眾，他關(guān)于腦細(xì)胞的幾百個(gè)插圖至今仍用于教學(xué)與人類對(duì)自身大腦的研究息息相關(guān) 拉蒙-卡哈爾的貢獻(xiàn)人工神經(jīng)元的研究和人工神經(jīng)元模型的提出明確闡述了神經(jīng)元(也叫做神經(jīng)細(xì)胞)的獨(dú)立性和神經(jīng)元之間通過(guò)樹(shù)枝狀觸角相互連接的關(guān)系奠定了生物神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，也為人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network)提供了重要的參考依據(jù)MP模型的提出1943年，神經(jīng)學(xué)家沃倫麥

3、卡洛克（Warren McCulloch）和年輕的數(shù)學(xué)家沃爾特皮茨（Walter Pitts）提出了一個(gè)人工神經(jīng)元的模型麥卡洛克-皮茨神經(jīng)元模型（McCulloch-Pitts Neuron Model），簡(jiǎn)稱MP模型+Warren McCullochWalter Pitts迄今為止，神經(jīng)網(wǎng)絡(luò)的基本單元仍然在使用這個(gè)模型 MP模型最初的模型現(xiàn)代簡(jiǎn)潔的表達(dá)MP模型的組網(wǎng)神經(jīng)元組成神經(jīng)網(wǎng)絡(luò)的示意圖 關(guān)鍵要素之二：計(jì)算機(jī)和程序的出現(xiàn)計(jì)算機(jī)的發(fā)明對(duì)人工智能研究的促進(jìn)1945 年末至 1946 年初，世界上第一臺(tái)數(shù)字計(jì)算機(jī)ENIAC誕生在美國(guó)賓夕法尼亞大學(xué)馮諾伊曼體系結(jié)構(gòu)迄今為止，馮諾伊曼體系結(jié)構(gòu)在各類

4、計(jì)算機(jī)中仍在廣泛被使用計(jì)算機(jī)和程序的出現(xiàn)，使得人工智能的實(shí)現(xiàn)有了硬件和軟件基礎(chǔ) 關(guān)鍵要素之三：圖靈測(cè)試的提出圖靈測(cè)試堅(jiān)信人工智能可以成功，并確定了一個(gè)判斷人工智能成功與否的標(biāo)準(zhǔn)。目錄導(dǎo)航1.11.21.31.41.5重要奠基時(shí)期人工智能的誕生第一個(gè)快速發(fā)展期人工智能的第一個(gè)寒冬AI研究的沉默探索與復(fù)蘇Contents 達(dá)特茅斯會(huì)議（Dartmouth Conference）人工智能正式誕生1956年夏天，以約翰麥卡錫、馬文明斯基、克勞德香農(nóng)、艾倫紐厄爾、赫伯特西蒙、納撒尼爾羅切斯特等為首的一批當(dāng)時(shí)科學(xué)界的年輕才俊在美國(guó)的達(dá)特茅斯開(kāi)會(huì)，會(huì)議名字叫做人工智能夏季研討會(huì)。在會(huì)議上，大家一起研究探討了

5、用機(jī)器模擬智能的一系列有關(guān)問(wèn)題，并首次正式提出了“人工智能”這一術(shù)語(yǔ)，它標(biāo)志著“人工智能” 這門(mén)新興學(xué)科的正式誕生，因此之后大家普遍認(rèn)為1956年是人工智能的元年。AI = Artificial Intelligence目錄導(dǎo)航1.21.31.41.51.6人工智能的誕生第一個(gè)快速發(fā)展期人工智能的第一個(gè)寒冬AI研究的沉默探索與復(fù)蘇第二次冬天Contents弗蘭克羅森布拉特和他的感知機(jī)感知機(jī)模型的出現(xiàn)，使人類歷史上開(kāi)始了真正意義上的機(jī)器學(xué)習(xí)時(shí)代。 約翰麥卡錫和LISP語(yǔ)言約翰麥卡錫John McCarthy發(fā)明了第一個(gè)面向人工智能的高級(jí)計(jì)算機(jī)語(yǔ)言LISP函數(shù)式程序設(shè)計(jì)語(yǔ)言實(shí)現(xiàn)了樹(shù)形數(shù)據(jù)結(jié)構(gòu)、自動(dòng)

6、存儲(chǔ)管理、動(dòng)態(tài)類型、條件表達(dá)式、遞歸運(yùn)算等在當(dāng)時(shí)較為高級(jí)的功能目錄導(dǎo)航1.31.41.51.61.7第一個(gè)快速發(fā)展期人工智能的第一個(gè)寒冬AI研究的沉默探索與復(fù)蘇第二次冬天再一次騰飛Contents馬文明斯基所起的作用馬文明斯基是人工智能的創(chuàng)始人之一，但也是AI第一次寒冬的重要因素1969年，明斯基與他人合著的Perceptron一書(shū)中，斷定了感知機(jī)的局限性（即無(wú)法處理非線性問(wèn)題）。詹姆斯萊特希爾的報(bào)告1973年，著名數(shù)學(xué)家詹姆斯萊特希爾（James Lighthill）爵士向英國(guó)科學(xué)研究委員會(huì)提交報(bào)告，否定AI達(dá)到了預(yù)期的進(jìn)展，導(dǎo)致各國(guó)政府對(duì)AI領(lǐng)域停止資金投入，標(biāo)志著人工智能第一個(gè)寒冬的開(kāi)始

7、。The Lighthill debate on Artificial Intelligence: The general purpose robot is a mirageSir James Lighthill目錄導(dǎo)航1.41.51.61.71.8人工智能的第一個(gè)寒冬AI研究的沉默探索與復(fù)蘇第二次冬天再一次騰飛未來(lái)展望Contents沉默的探索階段人們對(duì)AI的研究并未停止專家系統(tǒng)的研究 另一條探索之路 專家系統(tǒng)與Prolog語(yǔ)言的出現(xiàn)專家系統(tǒng)是匯聚了某個(gè)領(lǐng)域內(nèi)的專家知識(shí)和經(jīng)驗(yàn)，由計(jì)算機(jī)系統(tǒng)進(jìn)行推理和推斷，幫助和輔助人類進(jìn)行決策的系統(tǒng)。無(wú)監(jiān)督學(xué)習(xí)技術(shù)的提出無(wú)監(jiān)督學(xué)習(xí)是人們收集數(shù)據(jù)，讓神經(jīng)網(wǎng)絡(luò)自

8、己去發(fā)現(xiàn)規(guī)律并做出處理的機(jī)器學(xué)習(xí)方法，是現(xiàn)在乃至未來(lái)人工智能研究的重要方向之一1972年,芬蘭科學(xué)家托伊沃科霍寧（Teuvo Kohonen）提出了自組織特征網(wǎng)絡(luò)（self-organizing feature map，簡(jiǎn)稱SOFM），支持無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）反向傳播算法的出現(xiàn)1974年，保羅沃波斯（Paul Werbos）第一次提出了后來(lái)對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展騰飛具有重要意義的反向傳播算法反向傳播算法（Backpropagation Algorithm，簡(jiǎn)稱BP 算法）是根據(jù)神經(jīng)網(wǎng)絡(luò)的計(jì)算結(jié)果誤差來(lái)調(diào)整神經(jīng)網(wǎng)絡(luò)參數(shù)以達(dá)到訓(xùn)練神經(jīng)網(wǎng)絡(luò)目的的方法。但由于處于AI的寒

9、冬期中，該方法在當(dāng)時(shí)沒(méi)有得到足夠的重視?；羝辗茽柕戮W(wǎng)絡(luò)1982年，美國(guó)物理學(xué)家約翰約瑟夫霍普菲爾德（John Joseph Hopfield）提出了一種具有反饋機(jī)制的神經(jīng)網(wǎng)絡(luò)，并將動(dòng)力學(xué)結(jié)合進(jìn)神經(jīng)網(wǎng)絡(luò)中來(lái)。1984 年，霍普菲爾德成功實(shí)現(xiàn)了自己提出的神經(jīng)網(wǎng)絡(luò)模型，重新激發(fā)了人們對(duì)神經(jīng)網(wǎng)絡(luò)研究的熱情。增強(qiáng)學(xué)習(xí)（ Reinforcement Learning ）1983年，安德魯巴托（Andrew G. Barto）、理查德薩頓（Richard S. Sutton）等人發(fā)表了關(guān)于增強(qiáng)學(xué)習(xí)的文章。增強(qiáng)學(xué)習(xí)是研究機(jī)器如何在不斷變化的環(huán)境中相應(yīng)地做出最合適的反應(yīng)，通過(guò)讓機(jī)器不斷調(diào)整自己的行為以求獲得更好

10、的長(zhǎng)效回報(bào)（Long-term Reward）來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)，被廣泛用于無(wú)人駕駛、電子競(jìng)技等方向。玻爾茲曼機(jī)（Boltzmann Machine）1985年，大衛(wèi)艾克利、杰弗里辛頓（Geoffrey Hinton）和特里塞吉諾斯基等人基于霍普菲爾德神經(jīng)網(wǎng)絡(luò)加入了隨機(jī)機(jī)制，提出了玻爾茲曼機(jī)（Boltzmann Machine）的模型，這個(gè)模型由于引入了隨機(jī)振動(dòng)的機(jī)制，一定程度上具備了讓神經(jīng)網(wǎng)絡(luò)擺脫局部最優(yōu)解的能力。反向傳播算法的發(fā)展1986年，大衛(wèi)魯姆哈特（David Rumelhart）和詹姆斯麥克萊蘭（James McClelland）在（Parallel Distributed Proce

11、ssing: Explorations in the Microstructure of Cognition）一文中，重新提出了反向傳播學(xué)習(xí)算法并給出了完整的數(shù)學(xué)推導(dǎo)過(guò)程。同一時(shí)期，辛頓、羅納德威廉姆斯、大衛(wèi)帕克和楊立昆等人也分別做出了關(guān)于BP算法的獨(dú)立研究和貢獻(xiàn)。BP算法正式出現(xiàn)的意義在于，對(duì)于如何更高效地訓(xùn)練神經(jīng)網(wǎng)絡(luò)，讓神經(jīng)網(wǎng)絡(luò)更有序地進(jìn)行學(xué)習(xí)，提供了有效的、可遵循的理論和方法，這在以后神經(jīng)網(wǎng)絡(luò)尤其是深度學(xué)習(xí)領(lǐng)域是一個(gè)里程碑式的事件，至今BP方法仍然是訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的最主要、最有效的方法。多層前饋神經(jīng)網(wǎng)絡(luò)多層前饋神經(jīng)網(wǎng)絡(luò)是一個(gè)包含輸入層、多個(gè)隱藏層和輸出層在內(nèi)的神經(jīng)網(wǎng)絡(luò)，所謂的前饋指的是

12、神經(jīng)網(wǎng)絡(luò)中的各層均只從上一層接收信號(hào)并向下一層輸出信號(hào)，即每層只向前傳遞信號(hào)而不向后反饋梯度下降算法梯度下降算法是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的反向傳播算法的基礎(chǔ)之一目錄導(dǎo)航1.51.61.71.8AI研究的沉默探索與復(fù)蘇第二次冬天再一次騰飛未來(lái)展望Contents人工智能的第二個(gè)冬天 幅度不大：兩個(gè)原因：人們期望值明顯降低；沒(méi)有類似第一次AI寒冬的理論上的重大挫折。 時(shí)間范圍不明顯：有觀點(diǎn)認(rèn)為是從1987年華爾街金融危機(jī)帶來(lái)的對(duì)人工智能投資大幅縮減開(kāi)始的。 主要起因：個(gè)人電腦（Personal Computer，簡(jiǎn)稱PC）的出現(xiàn)及其蓬勃發(fā)展。目錄導(dǎo)航1.61.71.8第二次冬天再一次騰飛未來(lái)展望Conten

13、ts騰飛的要素之一 計(jì)算機(jī)性能提升GPU的發(fā)展云計(jì)算的出現(xiàn)計(jì)算能力不再是瓶頸計(jì)算機(jī)綜合計(jì)算能力的大幅提升+人們對(duì)軟硬件駕馭能力的提高騰飛的要素之二 大數(shù)據(jù)讓神經(jīng)網(wǎng)絡(luò)不再缺乏訓(xùn)練數(shù)據(jù)大數(shù)據(jù)的出現(xiàn)騰飛的要素之三 神經(jīng)網(wǎng)絡(luò)研究的成熟化反向傳播學(xué)習(xí)算法研究進(jìn)一步成熟卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡(jiǎn)稱CNN）的發(fā)明循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，簡(jiǎn)稱RNN）的研究長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short-Term Memory Network，簡(jiǎn)稱LSTM）的提出深度學(xué)習(xí)技術(shù)理論的提出重要發(fā)明（卷積網(wǎng)絡(luò)）帶來(lái)黎明LeNet用于手寫(xiě)文字

14、的識(shí)別1989年，Yann LeCun（中文名字楊立昆）發(fā)明了具有實(shí)際研究?jī)r(jià)值的第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型LeNet。開(kāi)啟新時(shí)代的AlexNet神經(jīng)網(wǎng)絡(luò)2012年，在ImageNet工程舉辦的年度圖像識(shí)別大賽（Annual ImageNet Large Scale Visual Recognition Challenge）上，包括亞歷克斯克里澤夫斯基（Alex Krizhevsky）, 辛頓等人在內(nèi)的團(tuán)隊(duì)推出的AlexNet神經(jīng)網(wǎng)絡(luò)，獲得了當(dāng)年的冠軍。先進(jìn)的AlexNet神經(jīng)網(wǎng)絡(luò)使用了綜合幾種新方法、已經(jīng)較為成型的深度學(xué)習(xí)技術(shù)AlphaGo戰(zhàn)勝世界冠軍成為這一次AI大發(fā)展（特別是“深度學(xué)習(xí)”的概念）廣為世人所知的標(biāo)志事件目錄導(dǎo)航1.71.8再一次騰飛未來(lái)展望Contents人工智能的分類弱人工智能機(jī)器的智能在一些特定領(lǐng)域或具體任務(wù)上接近或超越人類的水平通用人工智能機(jī)器在所有需要智能的方面