人工智能簡史與機器學習及其應用課件

1、人工智能(AI)及機器學習及其應用提 綱Part 1 AI簡史和技術(shù)、局限和挑戰(zhàn)等Part 2 機器學習簡介Part 1 AI簡史及其范疇 AI的重要技術(shù) AI的局限、研究領(lǐng)域、挑戰(zhàn) 我國新一代AI目標 我國部分AI狀況 牛津報告博弈: AlphaGo以大比分戰(zhàn)勝圍棋世界冠軍李世石AlphaGo基于人類的3000萬多棋局訓練技術(shù)：深度學習+蒙特卡洛搜索（MCTS）結(jié)合了人類經(jīng)驗，但也產(chǎn)生了意外的棋局說明人類經(jīng)驗由于空間大小或定勢限制，往往收斂于局部最優(yōu)而未發(fā)現(xiàn)，而機器學習恰好突破了此限制 =突破限制的下一個例Alpha Zero博弈: AlphaGo ZeroD Silver et al. N

2、ature 550, 354359 (2017) doi:10.1038/nature24270從零開始，基于圍棋基本規(guī)則自學，機器自學不足 40 天，即超越了前版 AlphaGo Master (幾個月前，曾以 60 : 0 戰(zhàn)勝了當今幾乎所有人類圍棋高手。技術(shù)：深度學習(啟發(fā)函數(shù)等)+MCTS+從零自學無人類經(jīng)驗輔助圖像識別在限定圖像類別的識別任務中達到甚至超越了人類水平技術(shù)：深度學習ImageNet競賽于2017年終止（感知層面），開始轉(zhuǎn)向認知層面對象關(guān)系的理解語音識別 微軟實現(xiàn)歷史性突破：2016年10月，其語音識別系統(tǒng)在日常對話數(shù)據(jù)集上，達到了5.9%的錯誤率，首次取得與人類識別方法

3、相當?shù)木?從HMM占優(yōu)的技術(shù) =深度學習 無人駕駛(車輛/無人機)Google無人駕駛(車輛/無人機)(技術(shù)：深度學習+強化學習)醫(yī)學診斷IBM的Watson機器(技術(shù):機器學習+結(jié)構(gòu)化知識)腦瘤診斷(nature)一個超級AI系統(tǒng)，采用機器學習方法基于腫瘤組織DNA的甲基化數(shù)據(jù)，能準確區(qū)分近100種不同的中樞神經(jīng)系統(tǒng)腫瘤。還能自學成才，發(fā)現(xiàn)一些臨床指南中沒包含的新分類。/a/225818277_651994金融工程諸多機器學習技術(shù)：監(jiān)控、欺詐檢測等當下的成功可歸因于大數(shù)據(jù) (感知/存儲)大模型 (深度網(wǎng)絡/機器學習發(fā)展)大計算 (計算能力或算力)總結(jié)為“大數(shù)據(jù)、小任務范式朱松純”朱松純，淺

4、談人工智能：現(xiàn)狀、任務、構(gòu)架與統(tǒng)一。/s/-wSYLu-XvOrsST8_KEUa-Q然而羅馬不是一天建成的！AI簡史人類智能范疇-1：粗分感知 (Perception)認知 (Cognition)演化 (Evolution)人類智能范疇-2：細分邏輯推理等能力語言能力圖像/圖形的感知能力認知能力空間能力 音樂感知的能力 肢體的控制能力 人際關(guān)系的能力 自然探索的能力AI的定義知乎AI(N種) 相比人類智能，目前AI僅在3個方面有所表現(xiàn)AI簡史-理想機器人(與人類媲美)知乎AI-實際始于60年前 （由一場達特茅斯討論會引發(fā)）發(fā)展歷程改自徐寶貴的“擁抱人工智能2.0新時代”其他劃分法：邏輯學派(

5、符號主義), 仿生學派(連接主義), 控制學派(行為主義)引路人（圖靈獎得主）6次8人獲獎,占比 8/65!Marvin Minsky John McCarthy Allen Newell Herbert Simon1969 1971 1975 1975人工智能人工智能人工智能，認知心理學和表處理 1994 1994 2010 2011 E. Feigenbaum Raj Reddy Leslie Valiant Judea Pearl大規(guī)模人工智能系統(tǒng)計算學習理論貝葉斯網(wǎng)絡/因果推理 Alan Turing （1912-1954.6.7）計算機科學/AI之父 圖靈機/圖靈測試AI的三種形態(tài)（

6、基本決定了AI路走向）目前關(guān)注點：弱AIAI目前的重要技術(shù)機器學習（ML），為何？回顧歷程: 邏輯推理知識工程機器學習(AI的核心)推理把邏輯推理能力賦予機器。代表成果如圖靈獎得主西蒙和紐厄爾研制的“邏輯理論家”程序，證明了邏輯學家羅素和懷特海所著數(shù)學原理中的全部定理，10年比2月！知識把知識總結(jié)后教給機器。代表成果如圖靈獎得主、被稱為知識工程之父的愛德華費根鮑姆的“專家系統(tǒng)”。學習知識表示很難讓機器能學“利用經(jīng)驗改善系統(tǒng)自身的能力”。經(jīng)驗：以數(shù)據(jù)形式出現(xiàn)數(shù)據(jù)分析方法：機器學習內(nèi)容：監(jiān)督學習、半監(jiān)督學習、無監(jiān)督學習、強化學習、深度學習等當前AI的局限、趨勢和挑戰(zhàn)目前AI成功的應用主要在感知領(lǐng)域

7、 語音識別，圖像/人臉識別等，更接近“動物智能” 如針對深度學習(DL-大數(shù)據(jù)&小任務范式): 需標注大量數(shù)據(jù), 代價高昂訓練深層模型，步履維艱分布式計算，左右為難調(diào)參黑科技，難言之隱黑箱算法，不明就里個體智能，南轅北轍 摘自 MSRA 劉鐵巖 PPT DL需拓展現(xiàn)有的BP學習框架 如 gcForest/Deep Forest周志華等和 Capsule Hinton等 新思路！ 當前AI共同面臨的挑戰(zhàn)(基礎(chǔ)部分)安全的AI Thomas Dietterich, AAAI前主席 包括: 不確定性問題(對變化環(huán)境的適應性), 不可解釋性問題（為何如此決策等）小數(shù)據(jù)、大任務范式 * 朱松純(用大量任

8、務而非大量數(shù)據(jù)塑造智能系統(tǒng)和模型)物理/社會常識缺乏(如場景理解/語義理解和對話/人機自治交互)認知問題知識表示（如對常識Common Sense）、運用、理解數(shù)據(jù)共享/隱私保護問題 * 2017年10月26日，Science上刊發(fā)了一項最新研究：通過了對基于網(wǎng)絡文本驗證全自動區(qū)分計算機和人類的圖靈測試。其中提出了一種新型生成式組合模型 (RCN-遞歸皮層網(wǎng)絡)，使用小樣本學習，在CAPTCHA上獲得突破。技術(shù)層面：四大趨勢=九大挑戰(zhàn)賁可榮人工智能技術(shù)及其應用進展PPT1. Acting in Dynamic environmentsR1.連續(xù)或終身學習(Continual/Lifelong

9、learning)平行世界: 提供強化學習充分挖掘平行世界，提供毫秒級、異構(gòu)硬件和擁有嚴格截至時間的系統(tǒng)。唯快不破: 有效模擬現(xiàn)實環(huán)境，隨著環(huán)境連續(xù)，不可預測的變化，但是跑的比環(huán)境還快！R2.魯棒決策(Robust decisions)蝴蝶效應: 構(gòu)建微粒度系統(tǒng)以自動跟蹤捕捉不同來源的噪聲。信念區(qū)間: 構(gòu)建穩(wěn)定信念區(qū)間的決策系統(tǒng)， 尤其面對未知數(shù)據(jù)R3.可解釋的決策(Explainable decisions)增強交互: 可交互追蹤 ,再現(xiàn)各種分析和決策。溯源歸因: 可推理引發(fā)源。2. Secure AIR4.安全的飛地(Secure enclaves)區(qū)分保密的AI代碼和開放的AI代碼來構(gòu)建

10、擁有安全飛地的AI系統(tǒng)R5.對抗學習(Adversarial Learning)不管訓練或是預測階段都要擁有區(qū)分敵對虛假輸入,并在跟蹤和消除欺詐后，重新決策R6.機密數(shù)據(jù)的共享學習(Shared learning on confidential data)跨數(shù)據(jù)源的學習，但不可泄密，即隱私保護學習或數(shù)據(jù)挖掘；激勵保密機構(gòu)開放數(shù)據(jù)的動因3. AI-Specific ArchitecturesR7.領(lǐng)域?qū)Ｓ糜布?Domain specific hardware)提供專用硬件提高效率, 降低能耗, 提供軟件兼容的各種專用硬件R8.可組合的AI系統(tǒng)(Composable AI systems)開發(fā)各種

11、AI庫, 模塊庫, 簡化AI系統(tǒng)開發(fā)R9.云邊緣系統(tǒng)(Cloud-edge systems)增強邊緣系統(tǒng)對數(shù)據(jù)的智能獲取能力。使云走向計算集中型以生成高質(zhì)量決策AI發(fā)展體系(產(chǎn)業(yè))我國的AI目標我國的AI目標(戰(zhàn)略層面)國務院三步走戰(zhàn)略目標：新一代AI發(fā)展規(guī)劃 第一步，到 2020 年AI總體技術(shù)和應用與世界先進水平同步， AI產(chǎn)業(yè) 成為新的重要經(jīng)濟增長點、技術(shù)應用成為改善民生的新途徑，有力支撐進入創(chuàng)新型國家行列和實現(xiàn)全面建成小康社會的奮斗目標 。 第二步，到 2025 年AI基礎(chǔ)理論實現(xiàn)重大突破，部分技術(shù)與應用達到世界領(lǐng)先水平我國的AI目標(戰(zhàn)略層面)第三步，到 2030 年AI理論、 技術(shù)

12、與應用 總體達到世界領(lǐng)先水平，成為世界主要AI創(chuàng)新中心，智能經(jīng)濟、智能社會取得明顯成效,為躋身創(chuàng)新型國家前列和經(jīng)濟強國奠定重要基礎(chǔ)。我國的AI目標(戰(zhàn)術(shù)層面 AI2.0)新一代AI發(fā)展規(guī)劃的5個關(guān)鍵技術(shù)/重點方向大數(shù)據(jù)智能跨媒體智能自主智能混合增強智能群體智能 實現(xiàn)的智能機器最終需擁有 自主的感知、認知、決策、學習、執(zhí)行和社會協(xié)作能力，符合人類情感、倫理與道德觀念新一代AI發(fā)展規(guī)劃暨重大科技項目啟動 4個開放創(chuàng)新平臺(2017-11-15) 自動駕駛 依托百度公司建設(shè) 城市大腦 依托阿里云公司建設(shè) 醫(yī)療影像 依托騰訊公司建設(shè) 智能語音 依托科大訊飛公司建設(shè)/s/TJZTwY22y9Wx_5mw

13、NUYA1A部分AI狀況: 人才狀況目前AI人才市場：全球稀缺，供不應求！ 需更大規(guī)模的投入基礎(chǔ)教育和研究，當下AI仍是非常新的領(lǐng)域，如 果不對上游的教育和研究，加大力度支持的話，不管從人才的角度，還是從整個領(lǐng)域的角度，會出現(xiàn)一個危機，把企業(yè)界和學術(shù)界結(jié)合在一起，大家共同努力，共同培養(yǎng)更多的AI人才。 斯坦福大學，Google云計算實驗室首席 李飛飛教授有多少“智能人工”就有多少“人工智能”。 南京大學 周志華教授【牛津報告】解碼中國AI夢 考察了中國AI的戰(zhàn)略和背景，綜合硬件、數(shù)據(jù)、人才、算法和產(chǎn)業(yè)等核心驅(qū)動力，提出“國家AI潛力指數(shù)”，對比中美后發(fā)現(xiàn)中國當前AI實力約為美國的一半（17：3

14、3），除了數(shù)據(jù)，在其他方面均處于落后水平。/s/FMuCSFOh4eyBDFXxqnUUiQ牛津報告機器學習簡介-part 2概念學習系統(tǒng)學習方法學習過程建模和模型選擇表示學習結(jié)束語概念：何為機器學習（通俗定義） 任何通過數(shù)據(jù)訓練的學習算法的相關(guān)研究都屬于機器學習 經(jīng)典ML算法: K-線性回歸（Linear Regression) ； K-均值聚類方法（K-means); 主成分分析(Principal Component Analysis-PCA）; 決策樹（Decision Trees)和隨機森林（Random Forest）; 支持向量機（Support Vector Machines）

15、; 人工神經(jīng)網(wǎng)絡（Artificial Neural Networks）正式些的定義 利用經(jīng)驗改善系統(tǒng)自身的性能！更具體點是： 學習是一個蘊含特定目的的知識獲取過程，其內(nèi)部表現(xiàn)為新知識的不斷建立和修正，而外部則表現(xiàn)為性能改善。經(jīng)驗(數(shù)據(jù)和常識)，在此更多指的是數(shù)據(jù)，即從數(shù)據(jù)中總結(jié)規(guī)律用于將來的預測具體如何學習- 視數(shù)據(jù)包含的信息相應學習學習系統(tǒng) 系統(tǒng)涉及數(shù)據(jù)層面模型層面學習層面 數(shù)據(jù)層面靜態(tài)與動態(tài)（如照片與視頻等）小數(shù)據(jù)與大數(shù)據(jù) (如異常&正常+類不平衡/代價敏感同質(zhì)與異質(zhì) （如實數(shù)型與符號&實數(shù)的混合等）單態(tài)與多態(tài) （如僅圖像與聲音&圖像等）小類數(shù)與大類數(shù)(如性別與個體識別)缺失&帶噪數(shù)據(jù)高

16、維數(shù)據(jù)&非數(shù)值數(shù)據(jù)（如串、圖等） 學習層面：經(jīng)典學習方法現(xiàn)代學習方法兩者混合 模型及學習層面模型層面：形式：線性/非線性等體系：淺/深度/遞歸等模型 學習方法 學習方法機械學習歸納學習類比學習解釋學習決策樹&森林貝葉斯分類器聚類學習方法關(guān)系圖1 Ian Goodfellow etal. Deep Learning. MIT Press, 2016. 學習過程 監(jiān)督學習(SL)示范監(jiān)督學習框架訓練示例以輸入-輸出對 (x, d)形式給出, y=F(x)是x的預測結(jié)果 其中輸出(y)為(預測)標記/標簽/類號，由教師(teacher)或監(jiān)督者提供.例子（下面y/d互換使用）:教孩子識別不同的動物(

17、x-動物形象；d/y-名稱為標記).人臉圖像識別（x-人臉圖像，d/y-名字標記）,監(jiān)督學習函數(shù)/模型f(x)訓 練/學習標記測試數(shù)據(jù)訓練數(shù)據(jù)55事實上，f(x)是一個從x到y(tǒng)的映射監(jiān)督學習56算法訓練預測(標記)蘋果？函數(shù)/模型+-+-+訓練數(shù)據(jù)+示例標記學習建模和模型選擇與建模相關(guān)的要素相關(guān)要素模型/映射函數(shù)f(.)刻畫（如線性機, SVM, 神經(jīng)網(wǎng)絡等）確定目標/損失函數(shù)(如平方損失, 互熵等,更一般的是凸與非凸）并優(yōu)化獲得模型評測：泛化性能(可解釋為舉一反三的能力)函數(shù)或模型f哪來？就需按先驗作假設(shè)！如神經(jīng)網(wǎng)絡，依據(jù)？模型選擇的困難：示范目標: 分離2個類的給定樣本但仍有好的預測性能/

18、行為過擬合(Over-fitting)過擬合(Over-fitting)過擬合性能欠擬合(Under-fitting)好的擬合(good-fitting)有限的樣本數(shù)或規(guī)模大量甚至無窮個擬合函數(shù)/模型/假設(shè)能滿足給定的有限觀察=一個病態(tài)問題!例子：給定部分序列：1 3 5 ？ ？ 如何確定或選擇一個擬合函數(shù)實現(xiàn)對先前未見過數(shù)據(jù)的良好預測， 所謂好的泛化性能(generalization Ability)； 困難所在: 病態(tài)問題！ 即小(甚至零)的訓練誤差但實際僅有少量模型能有好的泛化性能！因而，一個共存問題：病態(tài)性2022/8/2166為何？ 1) 給定一組訓練樣本 2) 給定一組函數(shù)集H=f

19、 |，學習即是通過S從H找到一個期望的f 使其能對與訓練數(shù)據(jù)服從同分布的未見過數(shù)據(jù)產(chǎn)生好的泛化或推廣性，具體就是最小化t(x)(或F(x) 是真實但未知的映射函數(shù)/模型（x=y). 然而，泛化誤差不可計算，歸咎于未知的P(x)和t(x)!模型選擇指導原則模型選擇指導原則No Free Lunch Theorem (沒有免費午餐定理）= 模型選擇 沒有天生優(yōu)越的學習器，只有充分利用了與問題相關(guān)先驗知識的模型才是優(yōu)的！ 事實是： 樣本(經(jīng)驗)有限，先驗甚少，因此從中所建的模型幾乎沒有一個是對的，只有相對好的！2022/8/2169典型方法四類方法1. 模型選擇2. 正則化/或規(guī)整化(Regular

20、ization) ()3. 模型組合或集成4. 多視圖方法D. Schuurmans, F. Southey. Metric-based methods for adaptive model selection and regularization. ML, 48, 51-84, 20022022/8/2170為何用正則化? 意圖： 病態(tài) 所謂良態(tài)問題如果滿足：存在性 唯一性 連續(xù)性/穩(wěn)定性 關(guān)鍵是如何轉(zhuǎn)變？S. Haykin. Neural Networks: A Comprehensive Foundation. Tsinghua University Press, 2002良態(tài)2022/

21、8/2171流行方法：Tikhonov(吉洪諾夫)正則化 1963, Tikhonov 提出了正則化或規(guī)整化) 去解病態(tài)問題. 動機: 借助某個輔助非負泛函/模型實現(xiàn)解的穩(wěn)定化！ 其中在泛函中嵌入了解或問題的先驗信息 如 (深度)神經(jīng)網(wǎng)絡中的 1) 權(quán)衰減（Weight Decay）；2）退出(Dropout)； 3) 早期終止（Early Stopping）,本質(zhì)是結(jié)合問題的先驗去建模 * Generalization（泛化）=Data （數(shù)據(jù)）+ Knowledge (知識) 常用先驗知識: 輸入與輸出間的映射/擬合函數(shù)應當光滑(Smooth)！ 意即： 相似輸入對應相似輸出！ 1 Oli

22、vier Bousquet & Bernhard Scholkopf 2003 ppt: Statistical learning theory除涉及模型層面外，還有涉及特征層面的準則Ugly Duckling Theorem（丑小鴨定理） 特征表示(Representation Learning) 沒有天生好的特征，只有結(jié)合了與問題相關(guān)知識的表示才是好的。 Why？表示學習Yoshua Bengio Deep learning, MLSS2014 能習得多層抽象Yoshua Bengio, Deep learning, MLSS2014payoff : 報酬disentangle: 解析，理順總之在有限樣本/經(jīng)驗下為預測未來建模，涉及 特征層面 模型層面 優(yōu)化層面 需關(guān)注的機器學習方法Lifelong/Continua