人工智能入門 課件 劉峽壁1.緒論、2.人工神經(jīng)網(wǎng)絡與機器學習

人工智能入門γνωθισεαυτ?ν(認識你自己)AI:Introduction2AI:Introduction2大綱什么是人工智能(AI)?

什么是思考？人工機器能否以及是否應該達到自我思考的程度？人工智能發(fā)展簡史人工智能實現(xiàn)途徑AI:Introduction3PartⅠ:什么是人工智能？AI:Introduction4

“使真正的機器表現(xiàn)得像科幻電影中的那些機器一樣”--RussellBeale請仔細觀看視頻，思考什么是人工智能？人工智能是通過智能機器延伸、增強人類改造自然和治理社會能力的新興技術(shù)。AI:Introduction5“有多少專家，就會有多少種關(guān)于智能的說法.”

--R.J.Sternberg什么是人工智能？？AI:Introduction6

什么是人工智能？Perception行為能力問題求解能力推理能力學習能力社交能力創(chuàng)造力感知能力AI:Introduction7AI:Introduction7什么是人工智能？？理解并創(chuàng)造智能實體多學科交叉計算機科學，哲學

，心理學，語言學，神經(jīng)學，……包含多個子領(lǐng)域認知科學，自然語言處理，機器學習，模式識別，計算機視覺，數(shù)據(jù)挖掘，……AI:Introduction8AI:Introduction8如何衡量機器是否具有智能？兩種觀點強調(diào)外在表現(xiàn)(弱人工智能)機器是否具有智能的行為?圖靈測試強調(diào)內(nèi)在機制(強人工智能)機器是否真正在思考?J.R.Searle

的中文屋思想實驗AI:Introduction9AI:Introduction9圖靈測試機器如何表現(xiàn)出智能？圖靈(1950)《計算機器與智能》具有可操作性的機器智能測試:模擬試驗為了通過圖靈測試，需要突破人工智能中的許多重要問題，如知識表示，推理，自然語言理解，機器學習等AI:Introduction10AI:Introduction10中文屋實驗一個不懂中文的人呆在一間密閉的屋子里，他有一本記錄中文處理規(guī)則的書。屋外的測試者從門縫塞給他中文紙條。

他在書中查找處理這些中文語句的規(guī)則。

根據(jù)規(guī)則將一些中文字符抄在紙條上作為對相應語句的回答。

呆在屋內(nèi)的人顯然不理解他所處理的中文。

所以，賽爾勒提出(1980):

-不存在具有理解能力的計算機程序

-賦予非生物機器以智能是語無倫次AI:Introduction11AI:Introduction11人工智能的目標遠期目標揭示人類智能的根本機理，用智能機器去模擬、延伸、擴展人類智能，實現(xiàn)腦力勞動的自動化近期目標制造智能機器,尤其是具有智能的計算機程序.提供輔助性的智能工具以幫助人們解決一些具體問題AI:Introduction12“智能”正在變得越來越流行：AI:Introduction13AI:Introduction13人工智能與計算機科學部分類似于數(shù)學與物理的關(guān)系

計算機科學關(guān)注信息處理的一般理論,并為實現(xiàn)人工智能提供計算工具,但是這些不是人工智能關(guān)注的重點.人工智能對于計算機科學的發(fā)展具有重大影響.

AI:Introduction14PartⅡ:人工智能發(fā)展簡史AI:Introduction15AI:Introduction15人工智能孕育期哲學

邏輯,推理方法,思維機器,學習的基礎(chǔ),語言,理性數(shù)學

形式邏輯符號化,計算理論,可判定性,可處理性,概率經(jīng)濟效用,決策論神經(jīng)科學

思維活動的物質(zhì)性心理學

感知,控制,實驗技術(shù)計算機科學

構(gòu)造更快的計算機控制論

制造能夠隨著時間的推移最優(yōu)化其目標的系統(tǒng)語言學

知識表示，語法AI:Introduction16AI:Introduction16人工智能發(fā)展期1943 麥克洛奇和皮茲：大腦的布爾電路模型1950 圖靈的“計算機器與智能”1956達特茅斯會議：正式采用名稱“人工智能”1952-69 迅速發(fā)展，過于樂觀1950s 早期的人工智能程序，包括塞繆爾的西洋跳棋程序，Newell 和Simon的定理證明程序，Gelernter的幾何引擎1965魯賓遜歸結(jié)演繹推理1966-73 出現(xiàn)了計算復雜性問題，神經(jīng)網(wǎng)絡的研究處于停滯等

1969-79 專家系統(tǒng)的早期開發(fā)1980- 人工智能走向?qū)嶋H應用1986- 神經(jīng)網(wǎng)絡再次流行1987- 人工智能變成一門科學1995- 智能體概念的出現(xiàn)AI:Introduction17AI:Introduction17人工智能現(xiàn)狀深藍在1997年打敗了世界棋王卡斯帕洛夫證明了十幾年來未能解決的一個數(shù)學猜想（Robbins猜想）橫跨美國的汽車無人駕駛（從匹茨堡到圣地亞哥的路途中，98%的路程為自動駕駛）1991年海灣戰(zhàn)爭期間,美國軍方運用人工智能規(guī)劃程序?qū)崿F(xiàn)后勤保障，涉及50000輛車輛以及人員NASA通過自動規(guī)劃程序控制宇航器的飛行PROVERB程序能比大多數(shù)人類更好地解決字謎游戲AI:Introduction18AI:Introduction18真實的故事DavidCohn：“雖然計算機已經(jīng)能夠打敗世界上最好的棋手，我們卻仍然不能使其像4歲小孩一樣去思考?！?/p>

AaronSlomon：“我們現(xiàn)在才剛剛開始明白怎樣用機器處理信息，智能是什么，以及我們?nèi)祟愂鞘裁??！?/p>

何不馬上開始人工智能探險之旅呢？AI:Introduction19AI:Introduction19PartⅢ:人工智能的實現(xiàn)途徑AI:Introduction20AI:Introduction20機器學習

“嬰兒機器”符號智能神經(jīng)網(wǎng)絡行為智能進化計算

”人造生命”群智能人工智能的實現(xiàn)途徑AI:Introduction21AI:Introduction21機器學習Q.制造一個“嬰兒機器”，它通過讀書學習、從經(jīng)驗中學習等手段逐步增長智力，這個想法如何？人們早在20世紀40年代就提出了這個設(shè)想，最終它將會得到實現(xiàn)。

但是就目前而言，人們對人類學習機理、方法以及如何實現(xiàn)等問題的認識還處于非常初級的階段，就連“嬰兒是如何從經(jīng)驗中進行學習”的問題都知之甚少，更遑論其他。--JohnMcCarthyAI:Introduction22AI:Introduction22符號智能紐維爾和西蒙的“物理符號系統(tǒng)假說”機器對符號信息的處理就足以產(chǎn)生人工智能.人類智能的基礎(chǔ)是對符號信息的處理.目前，“物理符號系統(tǒng)假說”是否成立仍然是一個有爭議的問題.自上而下的人工智能實現(xiàn)策略AI:Introduction23AI:Introduction23問題求解

專家系統(tǒng)

知識工程搜索,表示,推理GPS,深藍,DENDRAL,CYC,……問題框架問題(CYC,Go,……)用大量的計算來代替理解符號智能AI:Introduction24AI:Introduction24神經(jīng)網(wǎng)絡人類大腦的工作機制與機器有很大的不同大腦如何工作？

自下而上的人工智能實現(xiàn)策略生物神經(jīng)網(wǎng)絡AI:Introduction25AI:Introduction25發(fā)展簡史

M-P神經(jīng)元模型

感知器

霍普菲爾德網(wǎng)絡模型,B-P學習方法(Rumelhart&McClelland)

應用

識別,視覺,商業(yè),醫(yī)學,…….主要問題

-拓撲結(jié)構(gòu)-學習方法神經(jīng)網(wǎng)絡AI:Introduction26AI:Introduction26行為智能布魯克斯(1991)<<沒有表示的智能>>

機器蟲:艾倫(Allen),赫伯特(Herbert),成吉思(Genghis)-智能的基本構(gòu)造單元是一些非常簡單的行為，更為復雜的行為是通過這些簡單行為的相互作用產(chǎn)生的。-首先應制造具有昆蟲一類低等生物智能水平的系統(tǒng)。

AI:Introduction27現(xiàn)場式人工智能

-構(gòu)造不能與外界友好交互的無實體智能系統(tǒng)(traditional)-構(gòu)造在真實環(huán)境中活動的智能系統(tǒng)(Nouvelle).

行為智能AI:Introduction28AI:Introduction28進化計算生物進化

-產(chǎn)生大量能夠適應不同環(huán)境的各種生物物種.

模擬進化

-在計算機上模擬生物進化過程,可以讓計算機通過進化的方式找到問題的解答。

AI:Introduction29AI:Introduction29遺傳算法

像DNA中的分子串一樣，用符號串編碼問題的解決方案。通過符號串的突變和重組找到好的解。

進化策略

用解的原始形式表示個體,主要用突變和選擇作為搜索算子，其中突變通常通過對問題的解向量進行正態(tài)隨機擾動實現(xiàn)；選擇則是按適應度排序方式進行.進化規(guī)劃

與進化策略很難區(qū)分。主要區(qū)別是僅利用重組實現(xiàn)解的改變。它將每個個體看做一個物種，而不是同一物種中的不同個體，因此每個父代個體產(chǎn)生一個子代個體。進化計算AI:Introduction30AI:Introduction30群智能智能經(jīng)常被認為是單個個體的行為。是因為我們有智慧所以組成社會呢？還是因為我們存在于社會中所以有智慧呢？-智能可以在社交活動中呈現(xiàn)出來.突現(xiàn)行為

–

一個群體所表現(xiàn)出來的在其個體身上看不到的行為.群智能-模擬生物間的社會交往-由一組簡單智能體呈現(xiàn)出來的集體智慧AI:Introduction31群智能AI:Introduction32觀察鳥群和魚群能夠以和諧的方式一起運動，但其中沒有指揮員(領(lǐng)導)-是什么決定了沒有領(lǐng)導的群體的行為？蟻群能夠快速找到從它們的巢穴到食物源的最短路徑-同時還能處理許多復雜問題，如:維持城堡，修建巢穴，清理巢穴，進行重物的搬運，等等-單個螞蟻實際上是在進行盲目地、無記憶地隨機行走！無中央控制的分布式系統(tǒng)不僅有助于模擬，而且有助于解決優(yōu)化問題。AI:Introduction33AI:Introduction33群智能計算工具多智能體系統(tǒng)多個相互作用的智能體組成的系統(tǒng).應用于電腦游戲,網(wǎng)絡,交通,物流,等等。蟻群優(yōu)化算法1991(Dorigo)主要用于組合優(yōu)化問題粒子群優(yōu)化算法1995(Kennedy&Eberhart)更通用的優(yōu)化技術(shù)人工神經(jīng)網(wǎng)絡與機器學習AI:ANN35大綱什么是人工神經(jīng)網(wǎng)絡(ANN)?

多層感知器(MLP)-誤差反向傳播算法(B-P)機器學習的意義-學習策略監(jiān)督學習1、人工神經(jīng)網(wǎng)絡01AI:ANN37PartⅠ:什么是ANN?AI:ANN38一個讓汽車學習自動駕駛的神經(jīng)網(wǎng)絡T.M.Mitchell,MachineLearning,2006隱藏單元的權(quán)值A(chǔ)I:ANN39汽車自動駕駛的視頻AI:ANN401.1人工神經(jīng)網(wǎng)絡將相互獨立的單元之間連接起來形成一種圖的結(jié)構(gòu)，這樣的圖可能是有環(huán)的也可能是無環(huán)的，可能是有向圖也可能是無向圖.

自底向上AI

受生物神經(jīng)系統(tǒng)的啟發(fā)，從結(jié)構(gòu)上模擬仿真AI功能AI:ANN41生物神經(jīng)系統(tǒng)

時間和空間上的累積

興奮和抑制圖片來源：http://kvhs.nbed.nb.ca/gallant/biology/neuron_structure.jpgAI:ANN42人工神經(jīng)系統(tǒng)

M-P神經(jīng)元θx1x2xnyω1ω2ωn輸入輸出閾值McClloch與Pitts，《神經(jīng)活動中固有的思想邏輯運算》,1943f:激活函數(shù)g:整合函數(shù)AI:ANN43整合函數(shù)加權(quán)求和

徑向距離AI:ANN44激活函數(shù)

閾值型線性飽和線性S型函數(shù)雙曲正切函數(shù)高斯函數(shù)AI:ANN451.2人工神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)前饋型神經(jīng)網(wǎng)絡-沒有環(huán)-靜態(tài)結(jié)構(gòu)

反饋型神經(jīng)網(wǎng)絡結(jié)構(gòu)-有環(huán)-動態(tài)結(jié)構(gòu)(非線性動力系統(tǒng))AI:ANN46前饋網(wǎng)絡的一般結(jié)構(gòu)反饋網(wǎng)絡的一般結(jié)構(gòu)AI:ANN471.3人工神經(jīng)網(wǎng)絡的學習方法神經(jīng)網(wǎng)絡根據(jù)所處環(huán)境對它的刺激自適應的調(diào)整其網(wǎng)絡結(jié)構(gòu)中的自由參數(shù).學習模型

漸進式vs.批處理兩類

監(jiān)督型vs.非監(jiān)督型AI:ANN48重要的神經(jīng)網(wǎng)絡模型模型結(jié)構(gòu)學習方法模型結(jié)構(gòu)學習方法多層感知器前饋型網(wǎng)絡結(jié)構(gòu)誤差修正玻爾茲曼機單層，反饋型網(wǎng)絡結(jié)構(gòu)隨機性徑向基函數(shù)網(wǎng)絡多層，前饋型網(wǎng)絡結(jié)構(gòu)誤差修正自適應共振理論兩層，反饋型網(wǎng)絡結(jié)構(gòu)競爭型學習霍普菲爾德網(wǎng)絡單層，反饋型網(wǎng)絡結(jié)構(gòu)外積Kohonen自組織特征映射網(wǎng)單層軟競爭學習AI:ANN49PartⅡ:多層感知器(MLP)AI:ANN502.1B-P神經(jīng)網(wǎng)絡結(jié)構(gòu)

一種多層感知機,其中的激活函數(shù)采用S型函數(shù).AI:ANN51B-P學習算法學習方法

-輸入數(shù)據(jù)被前向輸入到隱含層,然后再輸入到輸出層

-誤差信息被反向傳播，從輸出層到隱含層再到輸入層Rumelhart&Meclelland,Nature,1986AI:ANN52B-P學習步驟Step1.在訓練集中選擇一種模式并將其輸入到網(wǎng)絡中Step2.計算輸入序列中輸入層，隱含層，輸出層神經(jīng)元的激活情況.Step3.通過比較實際輸出與期望輸出，計算輸出神經(jīng)元的誤差.Step4.用計算出來的誤差更新網(wǎng)絡中的所有權(quán)重，從而使全局誤差度量變小.Step5.重復上述Step1-Step5直到全局誤差小于一個給定的閾值.AI:ANN53B-P求導全局誤差度量理想輸出實際輸出平方誤差目標是最小化平方誤差,即達到最小均方誤差(MSE)2、機器學習02AI:MachineLearning55PartⅠ:機器學習的意義

AI:MachineLearning56機器學習什么？學習是系統(tǒng)中的變化，這種變化使系統(tǒng)在重復同樣工作或類似工作時，能夠做得更好。

西蒙機器學習研究如何使計算機程序自動根據(jù)經(jīng)驗提升其性能。應用領(lǐng)域涵蓋從大量數(shù)據(jù)中發(fā)現(xiàn)一般規(guī)則的數(shù)據(jù)挖掘程序到自動學習用戶興趣的信息過濾系統(tǒng)等。TomM.MitchellAI:MachineLearning57定義學習的任務基于經(jīng)驗，根據(jù)性能準則，提升完成相應任務的性能任務:下跳棋性能:對于任意對手，取勝的概率

經(jīng)驗:以自己為對手，進行的練習任務:識別手寫字性能:被正確分類的字所占的比例經(jīng)驗:經(jīng)過人工標注的手寫字的數(shù)據(jù)庫任務:視覺傳感器自動駕駛性能:出錯前行駛的平均距離經(jīng)驗:人類駕駛的時候記錄下來的一系列圖像和控制命令ExamplesAI:MachineLearning58為什么要進行機器學習？在環(huán)境事先未知時，學習至關(guān)重要(可用于開發(fā)能夠自動適應環(huán)境的系統(tǒng)). 比如，當設(shè)計者缺少關(guān)于環(huán)境的全部信息時學習是一個很有用的系統(tǒng)構(gòu)建方法(可用于構(gòu)建人工方式很難實現(xiàn)或者很昂貴的系統(tǒng)).比如,將系統(tǒng)暴露在真實的環(huán)境中自我提升而不是直接構(gòu)建該系統(tǒng)。AI:MachineLearning59為什么要進行機器學習？（續(xù)）從龐大的數(shù)據(jù)庫里發(fā)掘新信息(數(shù)據(jù)挖掘)。商場購物數(shù)據(jù)分析(如：尿布和啤酒)醫(yī)學文本挖掘(如：偏頭痛和鈣)對于機器學習的研究可以幫助我們理解人類以及其他生物的學習方式。AI:MachineLearning60學習系統(tǒng)的評價實驗在不同的基準數(shù)據(jù)集上，采用交叉驗證試驗來比較各種不同的方法。收集評價系統(tǒng)性能的數(shù)據(jù)，如測試準確率、訓練時間、測試時間等。分析方法在統(tǒng)計顯著性上的不同。理論從數(shù)學上分析算法，為以下幾點提供理論支持：計算復雜性擬合訓練數(shù)據(jù)的能力樣本復雜性(得到一個準確的函數(shù)所需要的訓練數(shù)據(jù)的個數(shù))AI:MachineLearning61S.J.RusselllandP.Norvig,“artificialintelligence:amodernapproach”.具有學習能力的智能系統(tǒng)的架構(gòu)AI:MachineLearning62學習機構(gòu)學習機構(gòu)的設(shè)計需要考慮：學習性能組件中的什么部分可利用什么反饋方式來學習這些部分怎樣表示性能組件？反饋類型: 監(jiān)督學習:每一個輸入數(shù)據(jù)都有對應的期望輸出非監(jiān)督學習:沒有輸入數(shù)據(jù)的期望輸出強化學習:通過獎懲學習AI:MachineLearning63學習策略機械式學習

基于存儲的學習指導式學習

將外部指導者提供的知識形式轉(zhuǎn)化為可供執(zhí)行機構(gòu)直接使用的知識形式類比學習

利用不同領(lǐng)域知識的相似性AI:MachineLearning64學習策略（續(xù)）解釋學習

演繹和歸納相結(jié)合歸納學習

1.人工神經(jīng)網(wǎng)絡

2.統(tǒng)計學習

3.決策樹

4.聚類

監(jiān)督非監(jiān)督AI:MachineLearning65機械式學習學習==存儲？存儲問題的解，當遇到相同的問題時進行檢索。存儲和計算的權(quán)衡AI:MachineLearning66PartⅡ:監(jiān)督學習AI:MachineLearning672.1什么是監(jiān)督學習？最簡單的形式:根據(jù)輸入數(shù)據(jù)學習一個函數(shù)f

是目標函數(shù)

一個數(shù)據(jù)是一個(x,f(x))對

問題:給定一個訓練數(shù)據(jù)集，找到一個函數(shù)h，以使

h≈fAI:MachineLearning68監(jiān)督學習方法構(gòu)造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning69監(jiān)督學習方法構(gòu)造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning70監(jiān)督學習方法構(gòu)造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)