人工智能技術導論 課件01 人工智能概述、02 機器學習

第一章人工智能概述本章目標了解人工智能的定義、分類及應用領域熟悉人工智能起源和發(fā)展掌握人工智能的技術框架

理解發(fā)展人工智能的戰(zhàn)略意義1.1人工智能簡介機器人索非亞獲得沙特國籍AlphaGO戰(zhàn)勝人類最強棋手人臉識別協(xié)助警方抓捕犯人手機多國語言在線翻譯無人駕駛汽車種牙機器人超級震撼人工智能應用到城市生活、醫(yī)療、教育、通訊等領域，AI技術漸漸走進人們生活。1.1.1人工智能的定義

人工智能（AI，ArtificialIntelligence），是模擬實現(xiàn)人的抽象思維和智能行為的技術，即通過利用計算機軟件模擬人類特有的大腦抽象思維能力和智能行為，如學習、思考、判斷、推理等，以完成原本需要人的智力才可勝任的工作。1.1.2人工智能的分類低于人類智力水平AlphaGo特點：人類可以很好地控制其發(fā)展和運行和人類智力旗鼓相當，能夠進行思考、計劃、學習等特點：在人類設置的規(guī)則和軌道上發(fā)展超出人類智力水平西部世界（第三季）人工智能獲得自主意識在幾乎所有領域都比最聰明的人類大腦都聰明很多1.1.3人工智能起源和發(fā)展科幻電影中的人工智能人類的好幫手？人類的終結者？人類的朋友？如何與人工智能相處?60年代，星際迷航80年代，終結者21世紀，人工智能1.1.3人工智能起源和發(fā)展圖靈測試圖靈（AlanMathisonTuring，1912年6月23日—1954年6月7日）被稱為計算機科學之父發(fā)表了一篇名為《計算機和智能》的論文1950年提出了著名的“圖靈測試”讓一位測試者分別與一臺計算機和一個人進行交談，測試者事先并不知道哪一個是人，哪一個是計算機。如果交談后測試者分不出哪一個被測試者是人和哪一個是計算機，則認為這臺被測試的計算機具有智能。圖靈測試機器能思考嗎？1.1.3人工智能起源和發(fā)展起源：1956年達特茅斯會議提出人工智能定義：使一部機器的反應方式就像是一個人在行動時所依據(jù)的智能。1.1.3人工智能起源和發(fā)展AI誕生的標志：1956年“人工智能”的名稱和任務得以確定1.1.3人工智能起源和發(fā)展人工智能發(fā)展的六個階段1.1.3人工智能起源和發(fā)展1、第一次熱潮（1956-1976）人工智能主要用于解決代數(shù)、幾何問題，以及學習和使用英語程序，研發(fā)主要圍繞機器的邏輯推理能力展開。其中20世紀60年代自然語言處理和人機對話技術的突破性發(fā)展，大大地提升了人們對人工智能的期望，也將人工智能帶入了第一波高潮。這個階段產(chǎn)生了很多理論基石，這些不僅成為了人工智能的理論基石，還成為了計算機領域的基石。1.1.3人工智能起源和發(fā)展2、第一次寒冬（1976-1982）樂觀的承諾一直無法兌現(xiàn)，而在實際中邏輯證明器、感知器、增強學習等只能做很簡單、非常專門且很窄的任務。即使最杰出的AI程序也只能解決它們嘗試解決的問題中最簡單的一部分，也就是說所有的AI程序都只是“玩具”。受限于當時計算機算力不足，同時由于國會壓力下美英政府于1973年停止向沒有明確目標的人工智能研究項目撥款，人工智能研發(fā)變現(xiàn)周期拉長、行業(yè)遇冷。1.1.3人工智能起源和發(fā)展3、第二次熱潮（1980-1987）：專家系統(tǒng)專家系統(tǒng)只能模擬特定領域人類專家的技能，但這足以激發(fā)新的融資趨勢。最活躍的是日本政府，意圖創(chuàng)造第五代計算機。間接迫使美國和英國恢復對人工智能研究的資助。但需要一個巨型知識庫。最早的專家系統(tǒng)是1968年由費根鮑姆研發(fā)的DENDRAL系統(tǒng)，可以幫助化學家判斷某特定物質(zhì)的分子結構；DENDRAL首次對知識庫提出定義。1.1.3人工智能起源和發(fā)展3、第二次熱潮（1980-1987）：神經(jīng)網(wǎng)絡1982年英國科學家霍普菲爾德幾乎同時與杰弗里·辛頓發(fā)現(xiàn)了具有學習能力的神經(jīng)網(wǎng)絡算法。

這使得神經(jīng)網(wǎng)絡一路發(fā)展，在后面的90年代開始商業(yè)化，被用于文字圖像識別和語音識別。1986年出現(xiàn)了人工智能數(shù)學模型方面的重大發(fā)明，包括著名的多層神經(jīng)網(wǎng)絡和反向傳播算法等,出現(xiàn)能與人類下象棋的高度智能機器。

1.1.3人工智能起源和發(fā)展4、第二次寒冬（1987-1997）1987年，個人電腦變得比人工智能多年的研究成果——專家系統(tǒng)（Lisp機器）更強大。專家系統(tǒng)最初取得的成功是有限的，它無法自我學習并更新知識庫和算法，維護起來越來越麻煩，成本越來越高。1.1.3人工智能起源和發(fā)展5、復蘇期（1997-2010）：機器學習1997年國際商業(yè)機器公司（簡稱IBM）深藍超級計算機戰(zhàn)勝了國際象棋世界冠軍卡斯帕羅夫。2001年，布雷曼博士提升隨機森林2006年深度學習算法的提出2007年，在斯坦福任教的華裔科學家李飛飛，發(fā)起創(chuàng)建了ImageNet項目、2012年AlexNet在ImageNet訓練集上圖像識別精度取得重大突破，直接推升了新一輪人工智能發(fā)展的浪潮。機器學習是一種人工智能技術，它可以讓計算機從數(shù)據(jù)中學習，并自動改進算法，以提高性能。這個時期的代表性機器學習算法包括決策樹、神經(jīng)網(wǎng)絡和遺傳算法。1.1.3人工智能起源和發(fā)展6、增長爆發(fā)期（2010-）：深度學習2016年，李世石與AlphaGo總比分1比4告負，將公眾的視注意力也大量投向了人工智能，真正地將人工智能推向了研究和公眾視野的中心，人工智能收獲了空前的關注度。1.1.3人工智能起源和發(fā)展6、增長爆發(fā)期（2010-）：深度學習2020年代，自然語言處理和計算機視覺的技術得到了進一步的發(fā)展。自然語言處理方面，出現(xiàn)了一系列新的技術，如BERT、GPT和T5等預訓練模型，以及GPT-3、GPT-4等生成式模型。計算機視覺方面，出現(xiàn)了一系列新的技術，如目標檢測、圖像分割和圖像生成等。2022年11月底，人工智能對話聊天機器人ChatGPT推出，迅速在社交媒體上走紅。ChatGPT是人工智能技術驅(qū)動的自然語言處理工具，它能夠基于在預訓練階段所見的模式和統(tǒng)計規(guī)律，來生成回答，還能根據(jù)聊天的上下文進行互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼，寫論文等任務。1.1.3人工智能起源和發(fā)展人工智能發(fā)展的應用方面近期重要事件1950年圖靈測試1956年達特茅斯會議提出“人工智能”概念……2011年蘋果語音助手Siri2012年Google無人駕駛汽車2014年微軟智能助理小娜2016年AlphaGo戰(zhàn)勝世界圍棋冠軍（2017年最強版AlphaGoZero）2020年GPT-3問世最先進的自然語言處理模型2022年多輪對話聊天機器人ChatGPT1.1.3人工智能起源和發(fā)展思政小課堂：向科學家們致敬人工智能之父有四個人，他們分別是艾倫·麥席森·圖靈、約翰.麥卡錫、馬文·明斯基、西摩爾·帕普特。具體貢獻：（1）艾倫·麥席森·圖靈，奠定了人工智能的邏輯，并且提出了圖靈測試，計算機在5分鐘之內(nèi)回答的問題中，超過百分之三十被認為是人類做出的解答，讓人工智能初步得到人們的認可。（2）約翰.麥卡錫，將批處理方式改進成了能夠同時允許多人使用的分時方式。（3）馬文·明斯基，發(fā)明了能夠模擬人類活動的機器人，也是最早的能夠模擬人類的機器人。（4）西摩爾·帕普特，將兒童和人工智能以非常有趣的方式結合在了一起，從這里開始，科技與教育開始融合，對后來的教育影響非常大。LOGO語言創(chuàng)始人。1.1.4人工智能應用領域1.2人工智能技術領域1.2人工智能技術領域腦：機器學習(神經(jīng)網(wǎng)絡…)、專家系統(tǒng)、情景感知計算眼：計算機視覺、視頻識別、圖像識別耳：語音識別、自然語言處理、實時翻譯身：智能機器人口：自然語言處理、實時翻譯1.2.1人工智能四要素人工智能的四個維度(四要素)1.2.2人工智能技術框架人工智能的技術框架按照產(chǎn)業(yè)生態(tài)通?？梢詣澐譃榛A層、技術層、應用層三大板塊?；A層提供了支撐人工智能應用的基礎設施和技術，包括存儲和處理大規(guī)模數(shù)據(jù)的能力，以及高性能的計算和通信基礎設施；技術層提供了各種人工智能技術和算法，用于處理和分析數(shù)據(jù)，并提取有用的信息和知識；應用層是人工智能技術的最終應用領域，將技術層提供的算法和模型應用到具體的問題和場景中，實現(xiàn)智能化的決策和優(yōu)化。1.2.2人工智能技術框架1.2.2人工智能技術框架1.2.3人工智能技術發(fā)展趨勢l框架：更易用的開發(fā)框架l算法：性能更優(yōu)，體積更小的算法模型l算力：端-邊-云全面發(fā)展的算力l數(shù)據(jù)：更完善的基礎數(shù)據(jù)服務產(chǎn)業(yè)，更安全的數(shù)據(jù)共享l場景：不斷突破的行業(yè)應用1、更易用的開發(fā)框架各種AI開發(fā)框架都在朝易用、全能的方向演進，不斷降低人工智能的開發(fā)門檻。1.2.3人工智能技術發(fā)展趨勢2、體積更小的深度模型性能更優(yōu)的模型往往有著更大的參數(shù)量，大的模型在工業(yè)應用時會有運行效率的問題。越來越多的模型壓縮技術被提出，在保證模型性能的同時，進一步壓縮模型體積，適應工業(yè)應用的需求。1.2.3人工智能技術發(fā)展趨勢3、端-邊-云全面發(fā)展的算力應用于云端、邊緣設備、移動終端的人工智能芯片規(guī)模不斷增長，進一步解決人工智能的算力問題。1.2.3人工智能技術發(fā)展趨勢4、更安全的數(shù)據(jù)共享聯(lián)邦學習在保證數(shù)據(jù)隱私安全的前提下，利用不同數(shù)據(jù)源合作訓練模型，進一步突破數(shù)據(jù)的瓶頸。1.2.3人工智能技術發(fā)展趨勢5、不斷突破的應用場景隨著人工智能在各個垂直領域的不斷探索，人工智能的應用場景將不斷被突破：p緩解心理問題：人工智能聊天機器人結合心理學知識，幫助緩解孤獨癥等心理健康問題。p自動車險定損：人工智能技術幫助保險公司實現(xiàn)車險理賠優(yōu)化，通過圖像識別等深度學習算法完成車險定損。p后端辦公自動化：AI正在自動化管理工作，但數(shù)據(jù)的不同性質(zhì)和格式使其成為一項具有挑戰(zhàn)性的任務。盡管每個行業(yè)和應用都有其獨特的挑戰(zhàn)，但不同的行業(yè)正在逐步采用基于機器學習的工作流程解決方案。p……1.2.3人工智能技術發(fā)展趨勢1.3人工智能的意義及挑戰(zhàn)人工智能是引領未來的戰(zhàn)略性技術人工智能是開啟未來智能世界的密匙是未來科技發(fā)展的戰(zhàn)略制高點是推動人類社會變革的第四次工業(yè)革命誰掌握人工智能，誰就將成為未來核心技術的掌控者。1.3.1發(fā)展人工智能的戰(zhàn)略意義1.3.1發(fā)展人工智能的戰(zhàn)略意義1.人工智能的戰(zhàn)略意義表現(xiàn)在其對經(jīng)濟發(fā)展的推動作用。2.人工智能的戰(zhàn)略意義還表現(xiàn)在其對社會生活的改變和提升作用。3.人工智能的戰(zhàn)略意義還體現(xiàn)在其對國家安全和國防建設的重要作用。4.人工智能的戰(zhàn)略意義還體現(xiàn)在其對全球競爭力的提升作用。思政小課堂：中國“1+N”政策體系十九大以來，國家陸續(xù)出臺了“1+N”政策體系，為人工智能發(fā)展提供政策依據(jù)和制度保障。其中，“1”是指2017年國務院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》，這是我國在人工智能領域中的首個系統(tǒng)部署的文件，也是面向未來打造我國先發(fā)優(yōu)勢的頂層設計文件，將人工智能正式上升為國家戰(zhàn)略，提出了面向2030年我國新一代人工智能發(fā)展的指導思想、戰(zhàn)略目標、重點任務和保障措施。“N”是頂層設計出臺之后，部委層面陸續(xù)出臺的關于人工智能產(chǎn)業(yè)的發(fā)展規(guī)劃、行動計劃、實施方案等落地政策，其中工信部、科技部發(fā)布的政策主要涉及數(shù)實融合、場景創(chuàng)新、區(qū)域創(chuàng)新等內(nèi)容，國家標準委、發(fā)改委圍繞標準體系、倫理規(guī)范、基礎設施建設等內(nèi)容開展工作。1.3.1發(fā)展人工智能的戰(zhàn)略意義1.3.2人工智能的挑戰(zhàn)1、數(shù)據(jù)隱私和安全性問題2、人工智能的倫理和道德問題3、就業(yè)問題隨著人工智能技術的發(fā)展，人們越來越關注人工智能的倫理和社會問題。在2020年代，研究人員和政策制定者也開始探討如何確保人工智能的公正性、透明性和責任性，以及如何保護個人隱私和數(shù)據(jù)安全等問題。同時，人工智能的發(fā)展也帶來了一些新的社會問題，如人工智能對就業(yè)和教育的影響，以及人工智能的道德和法律問題等。1.3.2人工智能的挑戰(zhàn)隨著計算機視覺的發(fā)展，圖像及視頻的可行信也越來越低?，F(xiàn)在我們可以通過PS，GAN（生成對抗網(wǎng)絡）等技術制作假圖像，讓人難分真?zhèn)?。p通過PS，把犯罪嫌疑人P在一個從未去過的地方或?qū)⑺c從未見過的人放在一起，以此來制造假證據(jù)。p通過PS，很多減肥藥廣告可以改變?nèi)宋锏耐庥^以達到減肥前后的對比。p如Lyrebird是一個可以從幾分鐘錄音樣本中自動模仿人聲音的工具，也可能會被不法分子利用。p利用GAN網(wǎng)絡生成家居圖像發(fā)布在租房和訂酒店的平臺。還能眼見為實嗎？1.3.2人工智能的挑戰(zhàn)從人類的發(fā)展進程上看，我們一直在尋求提高效率的途徑，即以更少的資源獲得更多。我們用尖銳的石頭，更高效地狩獵和采集食物；用蒸汽機，減少了對馬匹的需求。實現(xiàn)自動化的每一步都會改變工作生活。在AI的時代，哪些工作會被AI取代呢？AI會取代那些重復性強、創(chuàng)造性低，弱社交的工作。大家都會失業(yè)嗎？1.4人工智能初體驗EasyDL是百度大腦推出的零門檻AI開發(fā)平臺，提供從數(shù)據(jù)采集、標注、清洗到模型訓練、部署的一站式AI開發(fā)能力。EasyDL支持6大技術方向:（1）EasyDL圖像：圖像分類、物體檢測、圖像分割（2）EasyDL文本：文本分類-單標簽、文本分類-多標簽、文本實體抽取、情感傾向分析、短文本相似度（3）EasyDL語音：語音識別、聲音分類（4）EasyDLOCR：文字識別（5）EasyDL視頻：視頻分類、目標跟蹤（6）EasyDL結構化數(shù)據(jù)：表格預測1.4人工智能初體驗【案例】百度EasyDL平臺應用——貓狗分類/easydl/vision/1、人工智能（AI，ArtificialIntelligence）是模擬實現(xiàn)人的抽象思維和智能行為的技術，即通過利用計算機軟件模擬人類特有的大腦抽象思維能力和智能行為，如學習、思考、判斷、推理等，以完成原本需要人的智力才可勝任的工作。2、從發(fā)展程度的角度上，人工智能可以分為三大類：弱人工智能、強人工智能、超人工智能。3、達特茅斯會議是人類歷史上第一次人工智能研討，被認為是人工智能誕生的標志。1956年被認為是人工智能元年。4、人工智能四要素：數(shù)據(jù)、算力、算法、場景。5、人工智能的技術框架按照產(chǎn)業(yè)生態(tài)通常可以劃分為基礎層、技術層、應用層三大板塊。6、隨著人工智能尤其是近期大模型技術的快速發(fā)展，AIGC產(chǎn)業(yè)化應用加速，人工智能進一步向金融、藝術、新聞、創(chuàng)作等新領域滲透，使得人工智能監(jiān)管技術不斷升級和復雜化，如何正確處理好“監(jiān)管”和“創(chuàng)新”將是未來人工智能發(fā)展的關鍵著力點。本章總結小組練習主題：人工智能的前世今生和未來要求：制作一個PPT，抽1-2組下節(jié)課演示時間5-10分鐘感謝聆聽第二章機器學習本章目標了解機器學習的應用領域掌握機器學習的分類掌握機器學習的流程掌握機器學習的算法理解機器學習的意義2.1機器學習簡介人工智能、機器學習、深度學習三者之間的關系人工智能是目標，機器學習是手段，深度學習是方法。2.1.1機器學習定義

機器學習就是一種通過計算機系統(tǒng)利用數(shù)據(jù)進行自動學習的方法。目標就是要讓計算機系統(tǒng)通過不斷學習和優(yōu)化，從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律、提取特征，并能夠在未來的數(shù)據(jù)中做出智能決策。定義一：湯姆·米切爾給出機器學習一個具象化定義假設用P（Performace）來評估計算機程序在某類任務T（Task）上的性能，若一個程序通過利用經(jīng)驗E（Experience）在T中任務上獲得了性能改善，則我們就說關于T和P，該程序?qū)進行了學習。定義二：Nvidia給出機器學習定義最基本的機器學習是使用算法解析數(shù)據(jù)，從中學習，然后對世界上某事做出決定或預測的做法。定義三：斯坦福給出機器學習定義機器學習是讓計算機在沒有明確編程的情況下采取行動的科學。定義四：麥肯錫公司給出機器學習定義機器學習基于可以從數(shù)據(jù)中學習而不依賴于基于規(guī)則的編程的算法。定義五：卡內(nèi)基梅隆大學給出機器學習定義機器學習領域旨在回答這樣一個問題：”我們?nèi)绾谓⒛軌蚋鶕?jù)經(jīng)驗自動改進的計算機系統(tǒng)，以及管理所有學習過程的基本法則是什么？“2.1.1機器學習定義

機器學習使用大量的數(shù)據(jù)來“訓練”，通過各種算法從數(shù)據(jù)中學習如何完成任務。

機器學習通過算法，使得機器能夠從大量歷史數(shù)據(jù)中學習規(guī)律，并利用規(guī)律對新的樣本做智能識別或?qū)ξ磥碜鲱A測。2.1.1機器學習定義

機器學習與人類學習的對應關系

“人類的經(jīng)驗”對應于“機器的歷史數(shù)據(jù)”，“人類通過經(jīng)驗歸納出的規(guī)律”對應于“機器通過歷史數(shù)據(jù)訓練出來的模型”，“人類利用規(guī)律解決新問題并預測未來”對應于“機器利用模型預測新數(shù)據(jù)對應的結果”。通過這樣的對應可以發(fā)現(xiàn)，機器學習的思想并不復雜，僅僅是對人類在生活中學習、成長過程的一種模擬。2.1.2機器學習發(fā)展史知識推理期始于20世紀50年代中期，這時的人工智能主要通過專家系統(tǒng)賦予計算機邏輯推理能力，赫伯特·西蒙和艾倫·紐厄爾實現(xiàn)的自動定理證明了邏輯學家拉賽爾（Russell）和懷特黑德（Whitehead）編寫的《數(shù)學原理》中的52條定理。20世紀70年代開始，人工智能進入知識工程期，費根鮑姆作為“知識工程之父”在1994年獲得了圖靈獎。2006年，辛頓發(fā)表了深度信念網(wǎng)絡論文，本希奧等人發(fā)表了論文“GreedyLayer-WiseTrainingofDeepNetworks”（深層網(wǎng)絡的貪婪層智慧訓練），楊立昆團隊發(fā)表了論文“EfficientLearningofSparseRepresentationswithanEnergy-BasedModel”（基于能量模型的稀疏表示的高效學習），標志著人工智能進入了深層網(wǎng)絡的實踐階段。

機器學習的發(fā)展可分為知識推理期、知識工程期、淺層學習和深度學習幾個階段。在20世紀50年代，機器學習的研究代表性工作主要是羅森布拉特《基于神經(jīng)感知科學提出的計算機神經(jīng)網(wǎng)絡（即感知機）》。在隨后的10年中，淺層學習的神經(jīng)網(wǎng)絡曾經(jīng)風靡一時，特別是馬文·明斯基提出了著名的XOR問題和感知機線性不可分的問題。k近鄰（K-NearestNeighbor，KNN）等算法的相繼提出，淺層模型在模型理解、準確率、模型訓練等方面被超越。云計算和GPU（GraphicsProcessingUnit，圖形處理單元）并行計算為深度學習的發(fā)展提供了基礎保障。2.1.2機器學習發(fā)展史

機器學習算法理論大致演變過程機器學習階段年份主要成果代表人物人工智能起源1936自動機模型理論阿蘭·圖靈（AlanTuring）1943MP(McCulloch-Pitts)模型（神經(jīng)元模型）沃倫·麥卡洛克（WarrenMcCulloch）、沃爾特·皮茨(WalterPitts)1951符號演算約翰·馮·諾依曼（JohnvonNeumann）1956人工智能約翰·麥卡錫（JohnMcCarthy）、馬文·明斯基（MarvinMinsky）、克勞德·香農(nóng)（ClaudeShannon）人工智能初期1958LISP約翰·麥卡錫1962感知機收斂理論弗蘭克·羅森布拉特（FrankRosenblatt）1972GPS(General-ProblemSolver,通用問題求解程序）艾倫·紐厄爾（AllenNewell）赫伯特·西蒙（HerbertSimon)1975框架知識表示馬文·明斯基進化計算1965進化策略英戈·雷興貝格（IngoRechenberg）1975遺傳算法約翰·霍蘭（JohnHolland）1992基因計算約翰·科扎（JohnKoza）

專家系統(tǒng)和知識工程1965模糊邏輯、模糊集盧特菲·扎德（LotfiZadeh）1969DENDRAL、MYCIN愛德華·費根鮑姆（EdwardFeigenbaum）、布魯斯·布坎南（BruceBuchanan）、約書亞·萊德伯格（JoshuaLederberg)1979ROSPECTOR杜達（Duda）神經(jīng)網(wǎng)絡1982霍普菲爾德神經(jīng)網(wǎng)絡約翰·霍普菲爾德（JohnHopfield）1982自組織網(wǎng)絡圖沃·科霍寧（TeuvoKohonen）1986BP算法魯姆哈特（Rumelhart）、麥克萊蘭（McClelland）1989LeNet楊立昆（YannLeCun）1997RNN(RecurrentNeuralNetwork,循環(huán)神經(jīng)網(wǎng)絡）、LSTM（LongShort-TermMemory，長短期記憶）

澤普·霍赫賴特（SeppHochreiter）、尤爾根·施米德胡貝（JurgenSchmidhuber）1998CNN(ConvolutionalNeuralNetwork，卷積神經(jīng)網(wǎng)絡） 楊立昆機器學習階段年份主要成果代表人物分類算法1986ID3（IterativeDichotomiser3，迭代二叉樹3代）算法羅斯·昆蘭（RossQuinlan）1988Boosting算法約夫·弗雷德（YoavFreund）、邁克爾·卡恩斯（MichaelKearns)1993C4.5算法羅斯·昆蘭1995AdaBoost算法弗雷德、羅伯特·夏普（RobertSchapire）1995支持向量機科琳娜·科爾特斯（CorinnaCortes）、萬普尼克（Vapnik）2001隨機森林利奧·布賴曼（LeoBreiman）、阿黛爾·卡特勒（AdeleCutler）深度學習2006深度信念網(wǎng)絡杰弗里·辛頓（GeoffreyHinton）2012谷歌大腦吳恩達（AndrewNg）2014GAN(GenerativeAdversarialNetwork，生成對抗網(wǎng)絡）伊恩·古德費洛（IanGoodfellow）2014注意力機制約書亞·本希奧（YoshuaBengio）2014VGG/GoolgleNet牛津大學和克里斯蒂安·塞格迪（ChristianSzegedy）2015ResNet何愷明等2017Transformer谷歌（Google）公司2018BERT(BidirectionalEncoderRepresentationsfromTransformers,基于轉(zhuǎn)換器的雙向編碼表征）谷歌公司2.1.3機器學習的應用領域1.數(shù)據(jù)分析與挖掘2.計算機視覺3.自然語言處理4.語音識別

數(shù)據(jù)分析與挖掘技術是機器學習算法和數(shù)據(jù)存取技術的結合，是利用機器學習提供的統(tǒng)計分析、知識發(fā)現(xiàn)等手段分析，從大量的業(yè)務數(shù)據(jù)中挖掘隱藏、有用的、正確的知識促進決策的執(zhí)行。計算機視覺的主要技術基礎是圖像處理和機器學習。自然語言處理是讓機器理解人類語言的一門技術。語音識別是利用自然語言處理、機器學習等相關技術識別人類語言的技術。1.1.3人工智能起源和發(fā)展

機器學習是人工智能的重要研究方向，它包含著豐富的知識體系，因此按照一定的規(guī)則對其進行細分顯得尤為必要。60年代，星際迷航80年代，終結者21世紀，人工智能2.2.1機器學習分類?機器學習的主要分類有兩種：

基于學習方式的分類和基于學習任務的分類。?根據(jù)學習方式的不同可分為監(jiān)督學習、無監(jiān)督學習和強化學習。?根據(jù)學習任務的不同可分為分類、回歸、聚類和降維。

機器學習

強化學習

無監(jiān)督學習

降維

聚類

回歸

分類

監(jiān)督學習

不同的分類方式彼此又存在著聯(lián)系，分類和回歸屬于監(jiān)督學習，而聚類和降維屬于無監(jiān)督學習。2.2.2機器學習基本術語1)模型

模型是機器學習中的核心概念。2)數(shù)據(jù)集

數(shù)據(jù)集就是樣本的集合。3)樣本&特征

樣本指的是數(shù)據(jù)集中的數(shù)據(jù)，一行數(shù)據(jù)被稱為“一個樣本”，一個樣本包含一個或多個特征。一行一樣本，一列一特征2.2.2機器學習基本術語4)向量“向量”是機器學習的關鍵術語。5）矩陣矩陣是一個常用的數(shù)學術語，可以把矩陣看成由向量組成的二維數(shù)組，數(shù)據(jù)集就是以二維矩陣的形式存儲數(shù)據(jù)的。6）假設函數(shù)和損失函數(shù)

假設函數(shù)和損失函數(shù)并非某個模塊下的函數(shù)方法，而是根據(jù)實際應用場景確定的一種函數(shù)形式，就像解決數(shù)學的應用題目一樣，根據(jù)題意寫出解決問題的方程組。2.2.2機器學習基本術語①假設函數(shù)

假設函數(shù)（HypothesisFunction）可表述為：

y=f(x)

其中x表示輸入數(shù)據(jù)，而y表示輸出的預測結果。2.2.2機器學習基本術語②損失函數(shù)

損失函數(shù)（LossFunction）又叫目標函數(shù)，簡寫為L(x)，x是假設函數(shù)得出的預測結果“Y”。

?L(x)的返回值越大表示預測結果與實際偏差越大，越小則證明預測值越“逼近”真實值，這就是機器學習的最終目的。

損失函數(shù)就像一個度量尺，通過“假設函數(shù)”預測結果的優(yōu)劣，做出相應的優(yōu)化策略。2.2.2機器學習基本術語③優(yōu)化方法“優(yōu)化方法”可以理解為假設函數(shù)和損失函數(shù)之間的溝通橋梁。

f(x)假設函數(shù)

L(x)損失函數(shù)

輸入數(shù)據(jù)通過L(x)可以得知假設函數(shù)輸出的預測結果與實際值的偏差值，當該值較大時就需要對其做出相應的調(diào)整，這個調(diào)整的過程叫做“參數(shù)優(yōu)化”。輸出預測結果輸出“偏差值”優(yōu)化方法2.2.2機器學習基本術語7）擬合、過擬合和欠擬合欠擬合過擬合擬合2.2.3機器學習流程問題定義數(shù)據(jù)準備模型選擇與開發(fā)模型訓練和調(diào)優(yōu)模型評估測試一個完整的機器學習流程包括：

問題定義、數(shù)據(jù)準備、模型選擇與開發(fā)、模型訓練和調(diào)優(yōu)、模型評估測試等5個步驟。

分析問題，確定問題的類型。分析它是監(jiān)督學習還是無監(jiān)督學習，是分類問題還是回歸問題等。

數(shù)據(jù)采集，數(shù)據(jù)預處理，特征提取，數(shù)據(jù)集拆分。

模型的作用是根據(jù)輸入的特征給出輸出的結果。選擇合適的機器學習算法模型，編寫對應的模型代碼。

使用數(shù)據(jù)集對模型進行訓練，調(diào)整模型參數(shù)，得到一個最優(yōu)的函數(shù)，然后將待預測的特征自變量輸入模型即可得到預測的結果。

對訓練好的模型進行評估和測試，驗證模型是否滿足業(yè)務需求。2.2.4機器學習常用算法這些算法可以使用Python中的scikit-learn中內(nèi)置的相應函數(shù)實現(xiàn)。機器學習常用的算法有K近鄰、線性回歸、邏輯回歸、樸素貝葉斯、決策樹、支持向量機、K均值聚類等。2.2.4機器學習常用算法1.K近鄰（K-NearestNeighbor，KNN）

K近鄰算法的核心思想就是距離的比較，即離誰近，就和誰屬于同一分類。依據(jù)

K近鄰算法，假設K代表鄰居的個數(shù)：?如果K=3，圓點最鄰近的3個鄰居是2個小三角形和1個小正方形，少數(shù)從服多數(shù)，基于統(tǒng)計的方法，判定圓點屬于三角形一類。?如果K=5，圓點最鄰近的5個鄰居是2個三角形和3個正方形，少數(shù)服從多數(shù)，基于統(tǒng)計的方法，判定圓點屬于正方形一類。在KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對象，對于新來的待分樣本，只要找到離它最近的K個實例，按照少數(shù)服從多數(shù)原則，哪個類別多就把它歸為哪一類。2.2.4機器學習常用算法2.線性回歸（LinearRegression）

線性回歸是一種用于建立變量之間線性關系的監(jiān)督學習算法。它通過擬合一條直線來最小化預測值與實際值的差距。如果預測的變量是離散的，稱之為分類；如果預測的變量是連續(xù)的，稱之為回歸。線性回歸假設目標值與特征之間線性相關，即滿足一個多元一次方程。在二維空間中，通過擬合一條直線建立自變量與因變量之間的關系，在三維空間中則擬合一個平面。

表示樣本，表示每個樣本都有個特征，其中是在第個特征上的取值。表示樣本，每個樣本都有個特征。2.2.4機器學習常用算法3.邏輯回歸（LogisticRegression）邏輯回歸是一種用于處理分類問題的監(jiān)督學習算法。盡管名字中帶有“回歸”，但實際上邏輯回歸是一種分類算法。二分類的邏輯回歸的本質(zhì)是用一個映射函數(shù)Sigmoid將一個線性模型得到的連續(xù)結果映射到離散模型上。邏輯回歸的目的就是尋找一個非線性函數(shù)Sigmoid的最佳擬合參數(shù)，求解過程可以由最優(yōu)化算法來完成。Sigmoid函數(shù)也稱邏輯函數(shù)，該函數(shù)公式：

由Sigmoid函數(shù)的圖像知：當z趨近于無窮大時，

趨近于1；當z趨近于無窮小時，

趨近于0。的值映射到（0，1）。當z趨近于無窮大時，趨近于1；當z趨近于無窮小時，趨近于0。2.2.4機器學習常用算法4.樸素貝葉斯（NaiveBayes）

樸素貝葉斯是一種基于貝葉斯定理與特征條件獨立假設的分類算法。它假設所有特征相互獨立、互不影響，每個特征同等重要。樸素貝葉斯算法是以貝葉斯定理為基礎并且假設特征條件之間相互獨立的方法，先通過已給定的訓練集，以特征詞之間獨立作為前提假設，學習從輸入到輸出的聯(lián)合概率分布，再基于學習到的模型，輸入x求出使得后驗概率最大的輸出y。貝葉斯定理是描述隨機事件A和B的條件概率（或邊緣概率）的一則定理：由于

的大小是固定不變的，因此在比較后驗概率時，只比較上式的分子部分即可。因此可以得到一個樣本數(shù)據(jù)屬于類別

的樸素貝葉斯計算式：2.2.4機器學習常用算法5.決策樹（DecisionTree）決策樹是一種基于樹狀結構進行決策的算法，它是一種監(jiān)督學習，可用于分類和回歸問題。決策樹是在已知各種情況發(fā)生概率的基礎上，通過構成決策樹來求取凈現(xiàn)值的期望值大于等于零的概率，評價項目風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。2.2.4機器學習常用算法6.支持向量機（SupportVectorMachine，SVM）支持向量機是一種監(jiān)督機器學習算法，可用于分類或回歸任務。支持向量機使用一種稱為內(nèi)核技巧的技術來轉(zhuǎn)換數(shù)據(jù)，然后基于這些轉(zhuǎn)換找到可能輸出之間的最佳邊界。也就是找到一個超平面，最大化樣本點到該超平面的間隔。如何將圓點數(shù)據(jù)與五角星數(shù)據(jù)進行分割？SVM的核函數(shù)能夠?qū)?shù)據(jù)從二維空間投射至高維空間。?如果將二維空間變成三維空間，如果圓點泡泡上浮，五角星下沉，這樣就可以在浮起的圓點數(shù)據(jù)和沉下的五角星數(shù)據(jù)之間找到一個超平面將兩類數(shù)據(jù)進行分割。2.2.4機器學習常用算法7.K均值聚類（K-MeansClustering）聚類算法是指將一堆沒有標簽的數(shù)據(jù)自動劃分成幾類的方法，屬于無監(jiān)督學習方法。1）k值如何確定？

采用“肘”方法（elbowmethod）確定k值。2）初始的k個質(zhì)心怎么選？

第一種方法是選擇彼此距離最遠的點，先選第一個點；然后選離第一個點最遠的點當?shù)诙€點；再選第三個點，第三個點到第一、第二兩點的距離之和最大；以此類推，直到選出k個質(zhì)心。第二種方法是先根據(jù)其他聚類算法得到聚類結果，再從結果中的每個分類選一個點。K-Means算法關鍵：2.2.4機器學習常用算法8.隨機森林（RandomForest）隨機森林是一種集成學習方法，通過組合多個決策樹來進行預測。每個決策樹都是在不同的數(shù)據(jù)子集上訓練的，同時引入了隨機性，使得每棵樹都有差異。2.3深度學習與神經(jīng)網(wǎng)絡深度學習可以理解成用深度神經(jīng)網(wǎng)絡（DNN，DeepNeuralNetwork）來進行機器學習。深度學習的概念源于人工神經(jīng)網(wǎng)絡的研究，含多個隱藏層的多層感知器就是一種深度學習結構。2.3.1深度學習（DL，DeepLearning）深度學習從字面理解包含兩個意思，“深度”和“學習”。為了模擬人腦中的“學習策略”和“學習方法”。學術界研究出使用計算機去模擬這一學習過程的方法，被稱為“神經(jīng)網(wǎng)絡”。1)學習學習就是一個認知的過程，從學習未知開始，到對已知的總結、歸納、思考與探索。

“神經(jīng)網(wǎng)絡”這個詞從字面上看和人腦有著一點關系。在人腦中負責活動的基本單元是“神經(jīng)元”，它以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構成的神經(jīng)細胞。人腦中含有上百億個神經(jīng)元，而這些神經(jīng)元互相連接成一個更龐大的結構，稱為“神經(jīng)網(wǎng)絡”。2.3.1深度學習（DL，DeepLearning）深度學習從字面理解包含兩個意思，“深度”和“學習”。

深度學習是一個復雜的機器學習算法，其模型使用包含大量層的神經(jīng)網(wǎng)絡。它是人為地使用不同層次不同任務目標的“分層”神經(jīng)元，去模擬整個輸入、輸出過程的一種手段。2)深度

input_layer是輸入層，hidden_layer_1到hidden_layer_n是隱藏層，output_layer是輸出層。深度指的是隱藏的層數(shù)。2.3.1深度學習（DL，DeepLearning）深度學習模型：主要的思想就是模擬人的神經(jīng)元，每個神經(jīng)元接收到信息，處理完后傳遞給與之相鄰的所有神經(jīng)元。?卷積神經(jīng)網(wǎng)絡（convolutionalneuralnetwork，CNN）?深度置信網(wǎng)絡（deepbelievenet，DBN）?堆棧自編碼網(wǎng)絡（stackedauto-encodernetwork，SAEN）模型2.3.2神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡技術起源于20世紀50年代到20世紀60年代，經(jīng)過許多科學家的努力，人腦神經(jīng)元的這種處理信息模式最終演化為神經(jīng)元模型，也叫感知機（perceptron）。它是一種多輸入、單輸出的非線性閾值器件，包含輸入層、輸出層和一個隱藏層。

在一個神經(jīng)網(wǎng)絡中，神經(jīng)元是構成神經(jīng)網(wǎng)絡的最小單元，如果一個神經(jīng)元的輸出等于n個輸入的加權和，則網(wǎng)絡模型是一個線性輸出。在每個神經(jīng)元加權求和后經(jīng)過一個激活函數(shù)（ActivationFunction），則引入了非線性因素，神經(jīng)網(wǎng)絡就可以應用到任意非線性模型中。2.3.2神經(jīng)網(wǎng)絡1．神經(jīng)網(wǎng)絡的原理2.3.2神經(jīng)網(wǎng)絡1．神經(jīng)網(wǎng)絡的原理

神經(jīng)網(wǎng)絡中，每一層都有不同的神經(jīng)元，且每個神經(jīng)元都會接收來自上一層神經(jīng)元的信號，并且產(chǎn)生新的輸出信號傳到下一層神經(jīng)元中。神經(jīng)元接收上一層的輸入并輸出到下一層的方式被稱為前向傳播，這種神經(jīng)網(wǎng)絡被稱為前饋神經(jīng)網(wǎng)絡或多層感知器（multilayerperceptron，MLP）。1）神經(jīng)網(wǎng)絡結構2.3.2神經(jīng)網(wǎng)絡2）激活函數(shù)

神經(jīng)網(wǎng)絡能解決復雜問題的能力主要取決于網(wǎng)絡所采用的激活函數(shù)。

激活函數(shù)決定該神經(jīng)元接收輸入與