人工智能概論 課件 錢玲 第3、4章 人工智能軟硬件平臺、機器學(xué)習(xí)

高職高專人工智能通識課規(guī)劃教材人工智能概論本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺【素養(yǎng)目標(biāo)】通過芯片制造工藝的學(xué)習(xí)，培養(yǎng)學(xué)生精益求精的專業(yè)精神、職業(yè)精神和工匠精神；通過智能芯片產(chǎn)業(yè)發(fā)展?fàn)顩r的學(xué)習(xí)，激發(fā)學(xué)生自主創(chuàng)新、科技報國的家國情懷和使命擔(dān)當(dāng)；通過對我國智能芯片相關(guān)公司和產(chǎn)品的了解，培養(yǎng)學(xué)生的創(chuàng)新創(chuàng)業(yè)意識，激發(fā)愛國熱情。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺【知識目標(biāo)】掌握芯片的定義、分類和制造工藝；掌握智能芯片的概念、分類和特點；了解摩爾定律；了解智能芯片產(chǎn)業(yè)發(fā)展?fàn)顩r；了解人工智能開發(fā)框架及其核心特征；了解國內(nèi)外人工智能開發(fā)框架的發(fā)展進程及其優(yōu)缺點。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺【能力目標(biāo)】能夠正確認識我國芯片的發(fā)展水平、產(chǎn)業(yè)現(xiàn)狀和國際地位；能夠理解人工智能開發(fā)框架的作用；能夠闡述我國人工智能芯片領(lǐng)域的企業(yè)及其特點和優(yōu)勢。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺【思維導(dǎo)圖】第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開發(fā)框架高職高專人工智能通識課規(guī)劃教材3.4本章實訓(xùn)3.5拓展知識人工智能三要素第3章人工智能軟硬件平臺人工智能的目的就是讓機器能夠像人一樣思考，讓機器擁有智能。人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力。當(dāng)前，人工智能技術(shù)已全面滲透到制造、醫(yī)療、交通、金融、教育、安防等眾多領(lǐng)域。人工智能三要素是數(shù)據(jù)、算力和算法。其中，算力主要由人工智能芯片支撐，是承載人工智能核心技術(shù)的硬件基礎(chǔ)。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.1什么是芯片芯片，又稱微電路、微芯片、集成電路，是指內(nèi)含集成電路的硅片，芯片的體積很小，通常是作為計算機或其他電子設(shè)備的一部分。晶體管被發(fā)明并大量生產(chǎn)之后，各式固態(tài)半導(dǎo)體組件，如二極管、三極管等被大量使用，取代了真空管（電子管）在電路中的功能與角色。到了20世紀(jì)中后期，半導(dǎo)體制造技術(shù)的進步使得集成電路成為可能。相對于手工組裝電路使用個別分立電子組件，集成電路可以把很大數(shù)量的微晶體管集成到一個芯片中，這是一個巨大的進步。集成電路具有規(guī)模生產(chǎn)能力、高可靠性，以及集成電路設(shè)計的模塊化方法等特點，從而推動標(biāo)準(zhǔn)化集成電路代替了離散晶體管。真空管晶體管（二極管）集成電路晶體管（三極管）3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.1什么是芯片集成電路相對于離散晶體管主要有兩個優(yōu)勢：成本低和性能高。成本低是由于芯片把所有的組件通過照相平版技術(shù)，作為一個單位印刷，而不是在一個時間只制作一個晶體管。性能高是因為組件很小且彼此靠近，組件快速開關(guān)，從而提高了性能，并且能耗消耗更低。現(xiàn)如今，芯片面積通常為幾平方毫米到幾百平方毫米，每平方毫米可以容納上億個晶體管。世界上第一塊集成電路是由杰克·基爾比（JackKilby）于1958年完成的，該電路包括一個雙極性晶體管、三個電阻和一個電容器。杰克·基爾比因此榮獲2000年諾貝爾物理學(xué)獎。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.2芯片的分類1.按照處理信號方式分類芯片按照處理信號方式可以劃分為：模擬芯片、數(shù)字芯片。信號分為模擬信號和數(shù)字信號，數(shù)字芯片就是處理數(shù)字信號的，比如CPU、邏輯電路等；模擬芯片是處理模擬信號的，比如運算放大器、線性穩(wěn)壓器、基準(zhǔn)電壓源等。如今，大多數(shù)芯片都可以同時處理數(shù)字信號和模擬信號，一塊芯片到底歸屬為哪類產(chǎn)品是沒有絕對標(biāo)準(zhǔn)的，通常會根據(jù)芯片的核心功能來區(qū)分。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.2芯片的分類2.按照應(yīng)用場景分類芯片按照應(yīng)用場景可以劃分為：軍工級芯片、汽車級芯片、工業(yè)級芯片、民用級芯片。領(lǐng)域軍工級汽車級工業(yè)級民用級工作溫度范圍-55℃～125℃-40℃～125℃-40℃～85℃0℃～70℃電路設(shè)計輔助電路和備份電路設(shè)計，多級防雷設(shè)計，雙變壓器設(shè)計，抗干擾技術(shù)，多重短路保護，多重?zé)岜Ｗo，超高壓保護等多級防雷設(shè)計，雙變壓器設(shè)計，抗干擾技術(shù)，多重短路保護，多重?zé)岜Ｗo，超高壓保護等多級防雷設(shè)計，雙變壓器設(shè)計，抗干擾技術(shù)，短路保護，熱保護，超高壓保護等防雷設(shè)計，短路保護，熱保護等工藝處理耐沖擊，耐高低溫，耐霉菌增強封裝設(shè)計和散熱處理防水，防潮，防腐，防霉變處理防水處理系統(tǒng)成本造價非常高，維護費用也高積木式結(jié)構(gòu)，每個電路均帶有自檢功能并增強了散熱處理，造價較高，維護費用也較高積木式結(jié)構(gòu)，每個電路均帶有自檢功能，造價稍高，但維護費用低線路板一體化設(shè)計，價格低廉但維護費用較高3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.2芯片的分類3.按照集成度分類芯片按照集成度可以劃分為：小規(guī)模集成電路（SSI）、中規(guī)模集成電路（MSI）、大規(guī)模集成電路（LSI）、超大規(guī)模集成電路（VLSI）。評判集成度的根據(jù)是芯片上集成的元器件個數(shù)。目前，智能手機里的芯片基本都是超大規(guī)模集成電路了，芯片里面集合了數(shù)以億計的元器件。其實這屬于早期來表述芯片集成度的方式，在隨后的發(fā)展過程中，通常以特征線寬（設(shè)計基準(zhǔn)）的尺寸來表述芯片集成度，比如微米、納米。也可以理解為我們現(xiàn)在所常說的工藝制程。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.2芯片的分類4.按照工藝制程分類芯片按照工藝制程可以劃分為：3nm、5nm、7nm、14nm、28nm等。這里的nm(1nm＝10-９m)是長度單位，是指CMOS器件的柵長，也可以理解為最小布線寬度或者最小加工尺寸。目前，比較先進的制程有臺積電和三星的3nm，國內(nèi)較先進的制程是中芯國際的14nm。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.2芯片的分類5.按照使用功能分類3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.3芯片的制造工藝芯片的制造工藝需要經(jīng)過多個步驟，主要包括晶圓制備、晶圓清洗、光刻、蝕刻、沉積、離子注入、退火、測試等過程。（1）晶圓制備。通常首先使用高純度的硅材料制作晶圓，然后對其進行切割和拋光等工藝處理，制備成具有一定厚度和平整度的硅片。（2）晶圓清洗。對晶圓進行化學(xué)清洗和去除表面污染物的處理。（3）光刻。利用光刻機，將芯片上的電路圖形投影到光刻膠層上，形成圖形模板。（4）蝕刻。使用蝕刻機，將光刻膠層中未被遮住的部分進行蝕刻，形成電路線路。（5）沉積。使用化學(xué)氣相沉積設(shè)備，將金屬等材料沉積在芯片表面，形成電路元件。（6）離子注入。使用離子注入機，將雜質(zhì)注入硅片中，形成PN結(jié)，以形成晶體管等元器件。（7）退火。對芯片進行高溫退火處理，使晶圓中的雜質(zhì)分布均勻，以提高芯片的電性能。（8）測試。檢測芯片的性能和可靠性，發(fā)現(xiàn)缺陷和故障，以保證芯片的質(zhì)量。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺3.1.4摩爾定律1965年，英特爾公司創(chuàng)始人之一戈登·摩爾（GordonMoore）在繪制一份發(fā)展報告的圖表時發(fā)現(xiàn)了一個驚人的趨勢：每一顆芯片所能容納的晶體管數(shù)目，約每隔18個月到24個月就會增加一倍，性能也將提升一倍。這就是業(yè)內(nèi)非常著名的“摩爾定律”，其預(yù)言了芯片的規(guī)模和性能的發(fā)展速度。1971年，英特爾公司開發(fā)出第一代微處理器，集成了2300個晶體管。2007年，45nm的處理器集成了8億多晶體管。現(xiàn)如今，麒麟9000處理器采用的是5nm工藝制程，集成了153億晶體管。在過往的50多年中，芯片行業(yè)一直在遵循著“摩爾定律”發(fā)展。工藝制程不可能無限縮小，現(xiàn)在，芯片工藝已經(jīng)逼近“極限”，近幾年，芯片的發(fā)展速度也已經(jīng)放緩。隨著技術(shù)發(fā)展，芯片發(fā)展歷程也定然會遇到瓶頸。2023年3月24日，戈登?摩爾結(jié)束了輝煌的一生，享年94歲。第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開發(fā)框架高職高專人工智能通識課規(guī)劃教材3.4本章實訓(xùn)3.5拓展知識3.2

智能芯片第3章人工智能軟硬件平臺3.2.1什么是智能芯片1.智能芯片的概念從廣義上講，只要能夠運行人工智能算法的芯片都可以稱為智能芯片（AI芯片），但是，通常意義上的智能芯片指的是，針對人工智能領(lǐng)域設(shè)計的芯片，其架構(gòu)和指令集針對人工智能領(lǐng)域中的各類算法和應(yīng)用作了專門優(yōu)化，從而可以高效地支持視覺、語音、自然語言處理和傳統(tǒng)機器學(xué)習(xí)等智能處理任務(wù)。因此，智能芯片也稱為人工智能加速器（AI加速器）或計算卡。3.2

智能芯片第3章人工智能軟硬件平臺3.2.1什么是智能芯片2.智能芯片與傳統(tǒng)芯片的區(qū)別傳統(tǒng)的中央處理器芯片（CPU）不適合執(zhí)行人工智能算法。傳統(tǒng)CPU計算指令遵循串行執(zhí)行的方式，背負著指令調(diào)度、指令寄存、指令翻譯、編碼、運算核心和緩存等與人工智能算法無關(guān)的任務(wù)，運算能力受限。圖形處理器芯片（GPU）在傳統(tǒng)CPU的基礎(chǔ)上做了簡化，因此可以處理的數(shù)據(jù)類型單一，但是由于加入了更多的浮點運算單元，因此更加適合大量算術(shù)計算而邏輯運算較少的場合。在進行AI運算時，GPU在性能、功耗等很多方面遠遠優(yōu)于CPU，所以才經(jīng)常被拿來“兼職”進行AI運算，但GPU的功耗較大，且成本昂貴。3.2

智能芯片第3章人工智能軟硬件平臺3.2.1什么是智能芯片2.智能芯片與傳統(tǒng)芯片的區(qū)別智能芯片的設(shè)計思想基于算法的角度精簡GPU架構(gòu)，為其加入更多的運算單元，在應(yīng)用場景和算法相對確定的基礎(chǔ)上，使得硬件更加專門化。因此，傳統(tǒng)芯片和智能芯片最大的不同是，前者是為通用功能設(shè)計的架構(gòu)，后者是為專用功能優(yōu)化的架構(gòu)。這一區(qū)別決定了即便是最高效的GPU，與智能芯片相比，在時延、性能、功耗、能效比等方面也是有差距的，因而研發(fā)智能芯片是人工智能發(fā)展的必然趨勢。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類智能芯片分類通常有按技術(shù)架構(gòu)分類、按功能分類、按部署位置分類三種分類方式。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類1.按技術(shù)架構(gòu)分類智能芯片按照技術(shù)架構(gòu)，可以劃分為圖形處理器芯片、半定制化芯片、全定制化芯片和類腦芯片。（1）圖形處理器芯片（GPU）。GPU是相對較早期的加速計算處理器，具有速度快、通用性強等特點。由于傳統(tǒng)CPU的計算指令遵循串行執(zhí)行方式，不能發(fā)揮芯片的全部潛力，而GPU具有高并行結(jié)構(gòu)，在處理圖形數(shù)據(jù)和復(fù)雜算法方面擁有比CPU更高的效率。英偉達公司（NVIDIA）和AMD公司在GPU領(lǐng)域處于領(lǐng)先位置，我國的長沙景嘉微公司是國內(nèi)唯一擁有自主知識產(chǎn)權(quán)和成熟產(chǎn)品的GPU芯片公司。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類1.按技術(shù)架構(gòu)分類在結(jié)構(gòu)上，CPU主要由控制器（Control）、算術(shù)邏輯單元（ALU）、高速緩存（Cache）等組成，而GPU則擁有更多ALU用于數(shù)據(jù)處理，這樣的結(jié)構(gòu)更適合對密集型數(shù)據(jù)進行并行處理，程序在GPU系統(tǒng)上的運行速度相較于單核CPU可以提升幾十倍乃至上千倍。同時，GPU擁有更加強大的浮點運算能力，可以緩解深度學(xué)習(xí)算法的訓(xùn)練難題，釋放人工智能的潛能。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類1.按技術(shù)架構(gòu)分類（2）半定制化芯片。即現(xiàn)場可編程門陣列（FieldProgrammableGateArray，F(xiàn)PGA），其內(nèi)部包括邏輯塊、輸入/輸出塊、可編程內(nèi)部連線等，如圖所示。FPGA通過編程可以把計算邏輯映射到硬件上，通過編程調(diào)整內(nèi)部連線，把不同的邏輯塊和輸入/輸出塊連通在一起去完成計算任務(wù)。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類FPGA允許多次編程，具有可編程、高性能和低功耗三大特性。FPGA的可編程性帶來高性能和低功耗，開發(fā)成本低但芯片成本高。CPU、GPU等常用計算芯片由于架構(gòu)固定，因此硬件原生支持的指令也是固定的。而FPGA是可編程的，因此可以靈活地針對算法修改電路，提前把固定算法的數(shù)據(jù)流以及執(zhí)行指令寫在硬件里，節(jié)約了指令獲取和解碼時間從而大幅提高運算效率。FPGA非常適合在芯片功能尚未完全定型、算法仍需不斷迭代完善的情況下使用。使用FPGA芯片需要通過定義硬件去實現(xiàn)軟件算法，對使用者的技術(shù)水平要求較高，因此在設(shè)計并實現(xiàn)復(fù)雜的人工智能算法方面難度較高。賽靈思公司和英特爾公司在FPGA領(lǐng)域具有較大的優(yōu)勢。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類（3）全定制化芯片。即專用集成電路（ApplicationSpecificIntegratedCircuits，ASIC），是一種根據(jù)特殊應(yīng)用場景要求進行全定制化的專用人工智能芯片。與FPGA相比，ASIC無法通過修改電路進行功能擴展；而與CPU、GPU等通用計算芯片相比，ASIC性能高、功耗低、成本低，適合應(yīng)用于對性能功耗比要求極高的移動設(shè)備端。谷歌公司發(fā)布的張量處理器（TensorProcessingUnit，TPU）是專為機器學(xué)習(xí)定制的，也是當(dāng)前最知名也最有實用價值的ASIC。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類（4）類腦芯片。類腦芯片是一種對人腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行物理模擬的新型芯片架構(gòu)，通過模擬人腦的神經(jīng)網(wǎng)絡(luò)工作機理實現(xiàn)感知和認知等功能。真正的人工智能芯片未來發(fā)展的方向是類腦芯片。IBM公司研發(fā)的TrueNorth芯片就是一種典型的類腦芯片，其計算架構(gòu)顛覆了經(jīng)典的馮·諾依曼體系架構(gòu)。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類TrueNorth芯片的架構(gòu)模仿生物大腦神經(jīng)網(wǎng)絡(luò)，采用神經(jīng)形態(tài)器件構(gòu)建，如下圖所示，主要由神經(jīng)元、突觸以及網(wǎng)絡(luò)互聯(lián)而成。類腦芯片把定制化的數(shù)字處理內(nèi)核當(dāng)作神經(jīng)元，把內(nèi)存當(dāng)作突觸，將CPU、內(nèi)存及通信元件等完全集成在本地，實現(xiàn)了算存一體，突破了馮·諾依曼架構(gòu)中CPU與內(nèi)存之間的“內(nèi)存墻”瓶頸，但目前多數(shù)仍是實驗室產(chǎn)品。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類表3-2不同技術(shù)架構(gòu)的智能芯片對比對比內(nèi)容GPUFPGAASIC類腦芯片定制化程度通用型半定制化全定制化定制化開發(fā)難度較易中等較高很高開發(fā)工具OpenCL、CUDAOpenCL、Verilog/VHDLEDA工具EDA工具開發(fā)周期幾個月半年到一年一年以上一年以上應(yīng)用場景神經(jīng)網(wǎng)絡(luò)訓(xùn)練、神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心、嵌入式/邊緣計算尚處于研究階段優(yōu)點高性能、開發(fā)簡單、框架成熟、成本最低高性能、靈活性相對較強、成本較低高性能、低功耗、體積小、可用于移動場景目前表現(xiàn)出的智能程度最高，功耗低缺點高功耗、僅適用于數(shù)據(jù)中心峰值效率較低、有一定的開發(fā)難度開發(fā)難度較高、成本較高、技術(shù)風(fēng)險大目前無成熟算法，處于研究階段3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類2.按功能分類智能芯片根據(jù)功能任務(wù)，可以分為訓(xùn)練（Training）芯片和推斷（Inference）芯片。（1）訓(xùn)練芯片。訓(xùn)練是指向人工智能算法模型中輸入大量已標(biāo)注好的數(shù)據(jù)和素材，以進行“學(xué)習(xí)”，對模型的參數(shù)不斷進行優(yōu)化調(diào)整，最終形成一個具備某種特定功能、結(jié)果最優(yōu)的神經(jīng)網(wǎng)絡(luò)算法模型。人工智能訓(xùn)練芯片是指專門對人工智能訓(xùn)練算法進行優(yōu)化加速的芯片。由于訓(xùn)練所需的數(shù)據(jù)量大，算法復(fù)雜度高，因此，訓(xùn)練芯片對算力、能效、精度等要求非常高，而且還需要具備較高的通用性，以支持已有的多種算法，甚至還要考慮未來的算法的訓(xùn)練。由于對算力有著極高要求，訓(xùn)練芯片一般更適合部署在大型云端設(shè)施中，而且多采用“CPU＋GPU”“CPU＋GPU＋加速芯片”等異構(gòu)模式，加速芯片可以是GPU、FPGA或ASIC專用芯片等。目前，人工智能訓(xùn)練芯片的市場主要被英偉達的GPU和谷歌的TPU所占據(jù)，英特爾和AMD正在積極搶占該市場。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類2.按功能分類（2）推斷芯片。推斷是指向已經(jīng)訓(xùn)練好的人工智能算法模型中輸入新的數(shù)據(jù)和素材，經(jīng)過計算后獲得符合人們預(yù)期的相應(yīng)的輸出。人工智能推斷芯片即是指專門對人工智能推斷算法進行優(yōu)化加速的芯片，其更加關(guān)注能耗、算力、時延、成本等綜合因素。推斷芯片可以部署在云端和邊緣端，實現(xiàn)難度和市場門檻相對較低，因此，這一領(lǐng)域的市場競爭者較多。在云端推斷芯片領(lǐng)域，英偉達、谷歌、AMD、賽靈思等傳統(tǒng)芯片廠商是主要的領(lǐng)導(dǎo)者，我國的寒武紀(jì)、燧原科技、比特大陸等廠商也推出了性能較高、市場反響不錯的自主研發(fā)的芯片。在終端推斷芯片領(lǐng)域，應(yīng)用場景豐富，市場集中度不高，產(chǎn)品有一定的多樣性，英偉達、英特爾、高通、ARM等傳統(tǒng)芯片大廠在該領(lǐng)域布局較早，我國的寒武紀(jì)、地平線、阿里平頭哥、云天勵飛等新興企業(yè)在垂直行業(yè)也有不俗表現(xiàn)。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類3.按部署位置分類智能芯片按照部署位置，可以分為云端智能芯片、設(shè)備端智能芯片。（1）云端智能芯片。這類芯片運算能力強大，功耗較高，一般部署在公有云、私有云、混合云、以及數(shù)據(jù)中心、超級計算機（超算）等計算基礎(chǔ)設(shè)施領(lǐng)域，主要用于深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推斷，處理語音、視頻、圖像等海量數(shù)據(jù)，支持大規(guī)模并行計算，通常以加速卡的形式集成多個芯片模塊，并行完成相關(guān)計算任務(wù)。（2）設(shè)備端智能芯片。這類芯片一般功耗低、體積小、性能要求不高、成本也較低，相比于云端智能芯片來說，設(shè)備端智能芯片不需要運行特別復(fù)雜的算法，只需具備少量的人工智能計算能力即可，一般部署在智能手機、無人機、攝像頭、邊緣計算設(shè)備、工控設(shè)備等移動設(shè)備或嵌入式設(shè)備上。3.2

智能芯片第3章人工智能軟硬件平臺3.2.3智能芯片的發(fā)展歷程智能芯片的發(fā)展歷程可分為四個階段。第一階段（2006年前）：在這一階段，尚未出現(xiàn)突破性的人工智能算法，并且能夠獲取的數(shù)據(jù)也較為有限，傳統(tǒng)通用CPU已經(jīng)能夠完全滿足當(dāng)時的計算需要，學(xué)術(shù)界和產(chǎn)業(yè)界均對人工智能芯片沒有特殊需求。因此，人工智能芯片產(chǎn)業(yè)的發(fā)展一直較為緩慢。第二階段（2006～2009年）：在這一階段，游戲、高清視頻等行業(yè)快速發(fā)展，同時也助推了GPU產(chǎn)品的迭代升級。2006年，GPU廠商英偉達發(fā)布了統(tǒng)一計算設(shè)備架構(gòu)，（CUDA），第一次使GPU具備了可編程性，同時使GPU的核心流式處理器既具有處理像素、頂點、圖形等渲染能力，又同時具備通用的單精度浮點處理能力，即令GPU既能做游戲和渲染，也能做并行度很高的通用計算，英偉達將其稱為GPCPU。GPU所具有的并行計算特性比通用CPU的計算效率更高，更加適用于深度學(xué)習(xí)等人工智能先進算法所需的“暴力計算”場景。在GPU的助力下，人工智能算法的運算效率可以提高幾十倍，由此，研究人員開始大規(guī)模使用GPU開展人工智能領(lǐng)域的研究和應(yīng)用。3.2

智能芯片第3章人工智能軟硬件平臺3.2.3智能芯片的發(fā)展歷程第三階段（2010～2015年）：2010年之后，以云計算、大數(shù)據(jù)等為代表的新一代信息技術(shù)高速發(fā)展并逐漸開始普及，云端采用“CPU+GPU”混合計算模式，使得研究人員開展人工智能所需的大規(guī)模計算更加便捷高效，進一步推動了人工智能算法的演進和人工智能芯片的廣泛使用，同時也促進了各種類型的人工智能芯片的研究與應(yīng)用。第四階段（2016年至今）：2016年，采用TPU架構(gòu)的谷歌旗下DeepMind公司研發(fā)的人工智能系統(tǒng)阿爾法圍棋（AlphaGo）擊敗了世界冠軍韓國棋手李世石，使得以深度學(xué)習(xí)為核心的人工智能技術(shù)得到了全球范圍內(nèi)的極大關(guān)注。此后，業(yè)界對于人工智能算力的要求越來越高，而GPU價格昂貴、功耗高的缺點也使其在場景各異的應(yīng)用環(huán)境中受到諸多限制，因此，研究人員開始研發(fā)專門針對人工智能算法進行優(yōu)化的定制化芯片。大量人工智能芯片領(lǐng)域的初創(chuàng)公司在這一階段涌現(xiàn)，傳統(tǒng)互聯(lián)網(wǎng)巨頭也迅速入局該領(lǐng)域并開始爭奪市場，專用人工智能芯片呈現(xiàn)出百花齊放的格局，在應(yīng)用領(lǐng)域、計算能力、能耗比等方面都有了極大的提升。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀1.

傳統(tǒng)芯片企業(yè)在人工智能芯片領(lǐng)域優(yōu)勢地位明顯英偉達、英特爾、AMD、高通等傳統(tǒng)芯片廠商憑借在芯片領(lǐng)域多年的領(lǐng)先地位，迅速切入人工智能領(lǐng)域，積極布局，目前處于引領(lǐng)產(chǎn)業(yè)發(fā)展的地位（見表3-3），在GPU和FPGA方面則基本位于壟斷地位。英偉達推出了Tesla系列GPU芯片，專門用于深度學(xué)習(xí)算法加速；還推出了Tegra處理器，應(yīng)用于自動駕駛領(lǐng)域，并提供配套的研發(fā)工具包。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀序號公司典型智能芯片發(fā)布年份技術(shù)架構(gòu)功能任務(wù)1英偉達TeslaV100TeslaA10020172020GPUGPU云端訓(xùn)練、云端推斷云端訓(xùn)練、云端推斷2英特爾NervanaNNP-TNervanaNNP-I20192019NNP-T1000NNP-I1000云端訓(xùn)練云端推斷3IBMTrueNorth2014類腦芯片設(shè)備端推斷4谷歌TPUv4EdgeTPU20202018ASICASIC云端訓(xùn)練、云端推斷設(shè)備端推斷5蘋果A172023ARM架構(gòu)SoC設(shè)備端推斷6AMDEPYC42022Zen4架構(gòu)云端推斷7ARMARMCortex-M55ARMEthos-U5520202020ARMHeliummicroNPU設(shè)備端推斷設(shè)備端推斷8高通驍龍8Gen2CloudAI10020222020ARM架構(gòu)SoCASIC設(shè)備端推斷云端推斷9三星Exynos22002022ARM架構(gòu)SoC設(shè)備端推斷10賽靈思VersalACAP2019SoC云端推斷等表3-3不同技術(shù)架構(gòu)的智能芯片對比SoC(SystemonChip?)稱為系統(tǒng)級芯片，也稱片上系統(tǒng)，是一個產(chǎn)品，是一個有專用目標(biāo)的集成電路，其中包含完整系統(tǒng)并有嵌入軟件的全部內(nèi)容3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀1.

傳統(tǒng)芯片企業(yè)在人工智能芯片領(lǐng)域優(yōu)勢地位明顯AMD于2018年推出了RadeonInstinct系列GPU，主要應(yīng)用在數(shù)據(jù)中心、超算等人工智能算力基礎(chǔ)設(shè)施上，用于深度學(xué)習(xí)算法加速。當(dāng)前，GPU作為業(yè)界使用最為廣泛、人工智能計算最成熟的通用型芯片，成為數(shù)據(jù)中心、超算等大型算力設(shè)施的首選，占據(jù)了人工智能芯片的主要市場份額。在效率和場景應(yīng)用要求大幅提升和變化之前，GPU仍將是人工智能芯片領(lǐng)域的主要領(lǐng)導(dǎo)者。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀2.互聯(lián)網(wǎng)及IT巨頭紛紛加大人工智能芯片自主研發(fā)定制力度自2015年以來，谷歌、IBM、臉書（Facebook）、微軟、蘋果、亞馬遜等國際互聯(lián)網(wǎng)界及IT界巨頭紛紛跨界研發(fā)人工智能芯片，力圖突破算力瓶頸，并把核心部件掌握在自己手中。谷歌公司于2016年發(fā)布了專門針對開源框架TensorFlow開發(fā)的芯片TPU，并幫助AlphaGo擊敗李世石；近幾年，谷歌公司還推出了可在GoogleCloudPlatform中使用的云端芯片CloudTPU，以及設(shè)備端推斷芯片EdgeTPU，以打造閉環(huán)生態(tài)。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀2.互聯(lián)網(wǎng)及IT巨頭紛紛加大人工智能芯片自主研發(fā)定制力度微軟公司于2017年發(fā)布了基于FPGA芯片組建的ProjectBrainwave低時延深度學(xué)習(xí)系統(tǒng)，以使微軟公司的各種服務(wù)可以更迅速地支持人工智能功能。2018年，亞馬遜公司發(fā)布了高性能推斷芯片AWSInferentia，該芯片支持TensorFlow、Caffe2等主流框架。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段目前，在CPU、GPU等高端通用芯片領(lǐng)域，我國的設(shè)計能力與國外先進水平仍然差距較大，部分自主研發(fā)芯片采用了ARM架構(gòu)等國外成熟芯片架構(gòu)和IP核等進行設(shè)計。隨著人工智能技術(shù)大規(guī)模應(yīng)用于金融、政務(wù)、自動駕駛、智能家居、安防等領(lǐng)域，促進了各類專用人工智能芯片的發(fā)展，我國的一些初創(chuàng)型企業(yè)，如寒武紀(jì)、地平線、云天勵飛、深鑒科技等已經(jīng)開始在人工智能芯片領(lǐng)域有所建樹。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段我國人工智能芯片企業(yè)基本都圍繞設(shè)備端的語音或視覺芯片進行開發(fā)，從事云端芯片研發(fā)，尤其是云端訓(xùn)練芯片的企業(yè)較少，僅華為、百度等公司有產(chǎn)品推出，我國云端芯片與國外技術(shù)水平差距仍然較大。此外，我國還尚未形成有影響力的“芯片—算法—平臺—應(yīng)用—生態(tài)”的產(chǎn)業(yè)生態(tài)環(huán)境，企業(yè)多熱衷于追逐市場熱點，缺乏基礎(chǔ)技術(shù)積累，研發(fā)后勁不足。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢IBM公司率先在類腦芯片領(lǐng)域取得突破，2014年推出了TrueNorth類腦芯片，該芯片采用28nm工藝，集成了54億個晶體管，包括4096個內(nèi)核、100萬個神經(jīng)元和2.56億個神經(jīng)突觸。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢2019年，清華大學(xué)發(fā)布了其自主研發(fā)的類腦芯片“天機芯”，該芯片使用28nm工藝，包含約40000個神經(jīng)元和1000萬個突觸，支持同時運行卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及神經(jīng)模態(tài)脈沖神經(jīng)網(wǎng)絡(luò)等多種神經(jīng)網(wǎng)絡(luò)，是全球首款既能支持脈沖神經(jīng)網(wǎng)絡(luò)又可以支持人工神經(jīng)網(wǎng)絡(luò)的異構(gòu)融合類腦計算芯片?！疤鞕C芯”還登上了世界頂級期刊《Nature》封面。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢上海西井科技公司發(fā)布的DeepSouth芯片，采用FPGA模擬神經(jīng)元以實現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)的工作方式，其包含約5000萬個神經(jīng)元和高達50多億個神經(jīng)突觸，可以直接在芯片上完成計算。浙江大學(xué)與杭州電子科技大學(xué)共同研發(fā)了“達爾文”芯片，該芯片集成了500萬個晶體管，包含2048個硅材質(zhì)的仿生神經(jīng)元和約400萬個神經(jīng)突觸，可從外界接收并累積刺激，從而產(chǎn)生脈沖信號，并處理和傳遞信息。第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開發(fā)框架高職高專人工智能通識課規(guī)劃教材3.4本章實訓(xùn)3.5拓展知識3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.1開發(fā)框架的作用隨著計算機技術(shù)的發(fā)展和應(yīng)用范圍的不斷延伸，作為計算機靈魂的軟件系統(tǒng)的規(guī)模也在不斷擴大，并且其結(jié)構(gòu)越來越復(fù)雜，代碼越來越冗長，幾萬、幾十萬甚至幾百萬行代碼的軟件系統(tǒng)比比皆是。為了解決這些問題，系統(tǒng)開發(fā)者在軟件開發(fā)過程中，將基礎(chǔ)代碼進行封裝，以形成模塊化的代碼，并提供相應(yīng)的應(yīng)用程序編程接口（ApplicationProgrammingInterface，API），其他開發(fā)者在軟件開發(fā)過程中直接調(diào)用API，不必再考慮太多底層功能的操作，并可以在此基礎(chǔ)上進行后續(xù)的軟件開發(fā)設(shè)計。這種在軟件開發(fā)中對通用功能進行封裝并且可重用的設(shè)計就是開發(fā)框架。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.1開發(fā)框架的作用開發(fā)框架在軟件開發(fā)的過程中起著不可或缺的作用。開發(fā)框架能夠屏蔽掉底層繁瑣的開發(fā)細節(jié)，給開發(fā)者提供簡單的開發(fā)接口，在軟件開發(fā)時只需調(diào)用框架就可以實現(xiàn)一定的功能。由于開發(fā)框架具有可復(fù)用特點，利用開發(fā)框架實現(xiàn)軟件開發(fā)時，不僅編程過程容易，而且軟件的可讀性很好，極大地降低了軟件開發(fā)的復(fù)雜度，提高了開發(fā)效率與軟件質(zhì)量。人工智能軟件比傳統(tǒng)的計算機軟件更加復(fù)雜，但更具智能性。人工智能的智能化主要依靠算法來實現(xiàn)。由于人工智能算法具有復(fù)雜性，因此在構(gòu)建開發(fā)框架之前，只有具有專業(yè)知識的人才具備開發(fā)人工智能軟件的能力，一般的軟件開發(fā)人員進行人工智能軟件開發(fā)是一件望塵莫及的事。開發(fā)框架的出現(xiàn)，為人工智能開發(fā)提供了智能單元，實現(xiàn)了對人工智能算法的封裝、數(shù)據(jù)的調(diào)用以及計算資源的調(diào)度，提升了開發(fā)效率，極大地降低了人工智能系統(tǒng)開發(fā)的復(fù)雜性。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.2開發(fā)框架的核心特征人工智能開發(fā)框架的核心特征有如下幾點。（1）規(guī)范化。一個良好的開發(fā)框架應(yīng)嚴格執(zhí)行代碼開發(fā)規(guī)范要求，便于使用者理解與掌握。（2）代碼模塊化。開發(fā)框架一般都有統(tǒng)一的代碼風(fēng)格，同一分層的不同類代碼，具有相似的模板化結(jié)構(gòu)，可以使用模板工具統(tǒng)一生成，從而可以減少大量重復(fù)代碼的編寫。（3）可重用性。無須對開發(fā)框架進行修改或改動，就可以在不同環(huán)境下重復(fù)使用。（4）封裝性（高內(nèi)聚）。開發(fā)人員將各種需要的功能代碼進行集成，調(diào)用時不需要考慮功能的實現(xiàn)細節(jié)，只需要關(guān)注功能的實現(xiàn)結(jié)果。（5）可維護性。對一個成熟的開發(fā)框架進行二次開發(fā)或維護時，添加、修改或刪除某個功能不會對整體框架產(chǎn)生不利影響。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架使用人工智能開發(fā)框架能夠降低人工智能系統(tǒng)開發(fā)的復(fù)雜性。人工智能開發(fā)人員對人工智能開發(fā)框架的依賴程度非常高，人工智能開發(fā)框架在人工智能行業(yè)處于核心地位。幾乎所有人工智能項目，包括商業(yè)和學(xué)術(shù)項目，都是建立在一個或多個開源框架之上的，例如TensorFlow、PyTorch、MXNet、MindSpore、PaddlePaddle等。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架1.TensorFlowTensorFlow是由GoogleBrain團隊開發(fā)的一款開源的機器學(xué)習(xí)開發(fā)框架，是目前廣泛應(yīng)用于各種深度學(xué)習(xí)領(lǐng)域的重要工具之一。此開發(fā)框架可以在任何CPU、GPU、TPU，以及任何桌面或邊緣設(shè)備上進行計算。TensorFlow由Tensor（張量）和Flow（流）組成：Tensor代表N維數(shù)組，F(xiàn)low代表基于數(shù)據(jù)流圖的計算，TensorFlow指的是張量從數(shù)量流圖的一端流動到另一端的計算過程。TensorFlow可以處理各種不同類型的數(shù)據(jù)，如圖像、語音、文本等，具有很高的靈活性和可擴展性。TensorFlow使用基于數(shù)據(jù)流圖的計算模型來構(gòu)建機器學(xué)習(xí)模型，用戶可以通過在數(shù)據(jù)流圖上定義操作和變量來搭建自己的神經(jīng)網(wǎng)絡(luò)模型，同時，TensorFlow提供了大量的優(yōu)化器、損失函數(shù)、數(shù)據(jù)處理工具等，使得用戶可以方便地進行模型訓(xùn)練和優(yōu)化。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架1.TensorFlow優(yōu)點：（1）TensorFlow具有廣泛的應(yīng)用領(lǐng)域，可以應(yīng)用于自然語言處理、圖像識別、語音識別等多個領(lǐng)域。（2）TensorFlow擁有豐富的文檔和大量的教程，使得開發(fā)者易于上手。（3）TensorFlow可以靈活地運行在多種硬件平臺上，包括CPU、GPU和TPU等。（4）TensorFlow提供了高層次的API，使得開發(fā)者可以快速地構(gòu)建、訓(xùn)練和部署深度學(xué)習(xí)模型。缺點：（1）TensorFlow的學(xué)習(xí)曲線較為陡峭，需要花費較長時間學(xué)習(xí)。（2）TensorFlow的部分功能需要使用較為復(fù)雜的API實現(xiàn)，需要較高的技能水平。（3）在某些任務(wù)上，TensorFlow的性能不如其他一些深度學(xué)習(xí)框架，如PyTorch。（4）TensorFlow有時候會因為版本更新等原因?qū)е麓a不兼容。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架2.PyTorchPyTorch是一個由臉書公司（Facebook）開發(fā)的一款開源深度學(xué)習(xí)框架，它提供了一種靈活的用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法。PyTorch支持多種編程語言，如Python、C++和Java，可以在多種硬件平臺上運行，如CPU、GPU和TPU?？梢灾С执笠?guī)模的數(shù)據(jù)集、自動微調(diào)、多種深度學(xué)習(xí)模型，可以提供高效的計算性能等。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架2.PyTorch優(yōu)點：（1）靈活性高。PyTorch的動態(tài)圖機制使得模型構(gòu)建非常靈活。（2）易于使用。PyTorch的API設(shè)計非常直觀，易于上手和使用。（3）優(yōu)秀的性能。PyTorch的計算圖構(gòu)建方式使得它可以高效地在GPU上運行。（4）強大的社區(qū)支持。由于PyTorch被廣泛使用，因此有一個龐大而活躍的社區(qū)，該社區(qū)內(nèi)提供了大量的文檔、教程和示例代碼。缺點：（1）不夠穩(wěn)定。由于使用動態(tài)圖機制，PyTorch在訓(xùn)練大型模型時可能會因為內(nèi)存不足而崩潰，導(dǎo)致需要進行更多的手動內(nèi)存管理。（2）部署相對困難。相對于TensorFlow，PyTorch的部署相對困難，這主要是因為PyTorch缺乏與TensorFlow相似的生產(chǎn)級別工具鏈和部署方式。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架3.MXNetMXNet是一款基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)框架，由亞馬遜公司創(chuàng)建并開源。MXNet支持多種深度學(xué)習(xí)模型的訓(xùn)練，包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和生成對抗網(wǎng)絡(luò)（GAN）等。

MXNet擁有多種高級特性，如自動混合精度、模型并行等。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架3.MXNet優(yōu)點：（1）自動混合精度訓(xùn)練。MXNet可以自動選擇使用FP32或者混合精度FP16進行訓(xùn)練，以提高訓(xùn)練速度并減少內(nèi)存使用。（2）動態(tài)計算圖。MXNet的計算圖是動態(tài)的，這使得MXNet能夠處理變長序列的輸入。（3）高效的計算性能。MXNet通過MXNet庫的多語言支持，使用CUDA、OpenMP和MKL等高效的計算庫進行計算。缺點：（1）前沿功能不夠發(fā)達。MXNet的前沿功能可能不如TensorFlow和PyTorch發(fā)達，因此一些最新的技術(shù)和模型可能無法在MXNet上使用。（2）模型性能較弱。在某些特定的任務(wù)上，MXNet的性能可能比TensorFlow和PyTorch差一些，但是這種情況很少出現(xiàn)。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架4.MindSporeMindSpore(昇思)是華為公司推出的一款開源AI計算框架，在國產(chǎn)框架中認知度名列第一。MindSpore具備全方位能力，既能提供特定的能力（如開發(fā)大模型，進行科學(xué)計算），又能實現(xiàn)全生命周期的開發(fā)（端到端開發(fā)，從訓(xùn)練到部署）。MindSpore是一個全場景深度學(xué)習(xí)框架，旨在實現(xiàn)易開發(fā)、高效執(zhí)行、全場景統(tǒng)一部署三大目標(biāo)。其中，易開發(fā)表現(xiàn)為API友好、調(diào)試難度低；高效執(zhí)行包括計算效率、數(shù)據(jù)預(yù)處理效率和分布式訓(xùn)練效率（運行態(tài)）；全場景是指框架同時支持云、邊緣及端側(cè)場景。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺MindSpore總體架構(gòu)3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架4.MindSpore(1)ModelZoo（模型庫）：提供可用的深度學(xué)習(xí)算法網(wǎng)絡(luò)。(2)MindSporeExtend（擴展庫）：MindSpore的領(lǐng)域擴展庫，支持拓展新領(lǐng)域場景，如強化學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)（GNN）、深度概率編程等。(3)MindSporeScience（科學(xué)計算）：基于MindSpore架構(gòu)打造的科學(xué)計算行業(yè)套件，如電磁仿真、分子模擬、量子計算等，加以加速科學(xué)行業(yè)應(yīng)用開發(fā)。(4)MindExpression（全場景統(tǒng)一API）：基于Python的前端表達與編程接口，支持兩個融合（函數(shù)/OOP編程范式融合、AI＋數(shù)值計算表達融合）以及兩個統(tǒng)一（動靜表達統(tǒng)一、單機分布式表達統(tǒng)一）。(5)第三方前端：支持第三方多語言前端表達，未來計劃陸續(xù)提供C/C++、Java等第三方前端的對接工作，MindSpore也在考慮自研編程語言前端——倉頡。同時，內(nèi)部也在做與Julia（面向科學(xué)計算的高性能動態(tài)編程語言）等第三方前端的對接工作，引入更多的第三方生態(tài)。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架4.MindSpore(6)MindSporeData（數(shù)據(jù)處理層）：提供高效的數(shù)據(jù)處理、常用數(shù)據(jù)集加載等功能和編程接口。(7)MindCompiler（AI編譯器）：圖層的核心編譯器，主要基于端云統(tǒng)一的MindIR（中間表達層）實現(xiàn)三大功能，包括硬件無關(guān)的優(yōu)化（類型推導(dǎo)、自動微分等）、硬件相關(guān)優(yōu)化（自動并行、二階優(yōu)化、內(nèi)存優(yōu)化、圖算融合、流水線執(zhí)行等）、部署推理相關(guān)的優(yōu)化（量化、剪枝、蒸餾等）。(8)MindRT（全場景運行時系統(tǒng)）：MindSpore的運行時系統(tǒng)，包含云側(cè)運行時系統(tǒng)、端側(cè)以及更小IoT（物聯(lián)網(wǎng)）的輕量化運行時系統(tǒng)。(9)MindSporeInsight（可視化調(diào)試調(diào)優(yōu)工具）：MindSpore的可視化調(diào)試調(diào)優(yōu)工具，能夠可視化地查看網(wǎng)絡(luò)調(diào)試、性能調(diào)優(yōu)、精度調(diào)優(yōu)等。(10)MindSporeArmour（安全增強庫）：面向企業(yè)級運用時，提供安全與隱私保護相關(guān)增強功能，如對抗魯棒性、模型安全測試、差分隱私訓(xùn)練、隱私泄露風(fēng)險評估等。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架4.MindSpore優(yōu)點：（1）易于使用。MindSpore提供了豐富的API和內(nèi)置算法，用戶可以快速上手并進行模型訓(xùn)練和推理。（2）支持多種硬件。MindSpore支持多種硬件加速器，包括華為自研的昇騰AI加速器，可以在不同的硬件平臺上運行模型，從而提高模型的效率和性能。（3）強大的分布式訓(xùn)練支持。MindSpore可以實現(xiàn)分布式模型訓(xùn)練，支持多種分布式訓(xùn)練策略和參數(shù)服務(wù)器，從而提高了訓(xùn)練速度和效率。缺點：（1）生態(tài)相對較小。與TensorFlow和PyTorch相比，MindSpore的生態(tài)相對較小，社區(qū)支持和第三方庫相對較少。（2）文檔相對不足。MindSpore的文檔相對不足，對于初學(xué)者來說，在使用時會有一些困難。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架5.PaddlePaddlePaddlePaddle（飛槳）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國首款自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件和豐富的工具組件于一體。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架5.PaddlePaddle優(yōu)點：（1）分布式訓(xùn)練。PaddlePaddle支持數(shù)據(jù)并行和模型并行兩種分布式訓(xùn)練模式，可加速模型訓(xùn)練。（2）動態(tài)圖模式。PaddlePaddle支持靜態(tài)圖和動態(tài)圖兩種模式，動態(tài)圖模式使得模型開發(fā)和調(diào)試更加靈活和高效。（3）高效的模型推理。PaddlePaddle提供了高效的模型推理引擎，支持多種硬件平臺上的高速推理，包括CPU、GPU和FPGA等。（4）強大的工具集。PaddlePaddle提供了一系列豐富的工具集，包括自動化數(shù)據(jù)處理、高效的數(shù)據(jù)增強、高可視化的模型訓(xùn)練過程及高效的模型轉(zhuǎn)換工具等。3.3

人工智能開發(fā)框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發(fā)框架5.PaddlePaddle缺點：（1）算子庫較少。PaddlePaddle的算子庫相對于TensorFlow和PyTorch等框架來說較少，不支持一些新型的算子實現(xiàn)。（2）API相對復(fù)雜。PaddlePaddle的API較為復(fù)雜，學(xué)習(xí)曲線相對較陡峭，對于初學(xué)者來說，可能會有一定難度。第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開發(fā)框架高職高專人工智能通識課規(guī)劃教材3.4本章實訓(xùn)3.5拓展知識3.4

本章實訓(xùn)第3章人工智能軟硬件平臺

人工智能芯片相關(guān)企業(yè)調(diào)研近年來，在國家政策的引導(dǎo)下，我國人工智能產(chǎn)業(yè)得到了蓬勃發(fā)展，出現(xiàn)了不少高質(zhì)量的研究機構(gòu)，也涌現(xiàn)出了一大批極具競爭力的、與人工智能芯片相關(guān)的科技公司，例如華為海思、中科寒武紀(jì)、海光信息、景嘉微、平頭哥、地平線、燧原科技、云天勵飛、摩爾線程、黑芝麻智能等。這些公司在人工智能芯片領(lǐng)域的發(fā)展各有不同且各有所長，既提升了我國的產(chǎn)品和服務(wù)在國際和國內(nèi)的競爭力，又提升了國內(nèi)人民生活的滿意度。請以此為背景，對在人工智能芯片領(lǐng)域極具代表性的企業(yè)進行調(diào)研，比較其在人工智能芯片領(lǐng)域的特點和優(yōu)勢、并將結(jié)論填寫在表3-4中。3.4

本章實訓(xùn)第3章人工智能軟硬件平臺企業(yè)名稱特點和優(yōu)勢（包括但不限于技術(shù)體系、產(chǎn)業(yè)鏈、應(yīng)用領(lǐng)域等）

表3-4人工智能芯片領(lǐng)域的企業(yè)及其特點和優(yōu)勢

人工智能芯片相關(guān)企業(yè)調(diào)研第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開發(fā)框架高職高專人工智能通識課規(guī)劃教材3.4本章實訓(xùn)3.5拓展知識3.5

拓展知識第3章人工智能軟硬件平臺3.5拓展知識：我國科學(xué)家研制出首個全模擬光電智能計算芯片經(jīng)長期聯(lián)合攻關(guān)，清華大學(xué)研究團隊突破傳統(tǒng)芯片的物理瓶頸，創(chuàng)造性提出光電融合的全新計算框架，并研制出國際首個全模擬光電智能計算芯片（簡稱ACCEL）。經(jīng)實測，該芯片在智能視覺目標(biāo)識別任務(wù)方面的算力可達目前高性能商用芯片的3000余倍，為超高性能芯片的研發(fā)開辟全新路徑。該成果近日發(fā)表于《自然》雜志上。3.5

拓展知識第3章人工智能軟硬件平臺3.5拓展知識：我國科學(xué)家研制出首個全模擬光電智能計算芯片近年來，如何構(gòu)建新的計算架構(gòu)，發(fā)展新型人工智能計算芯片，是國際關(guān)注的前沿?zé)狳c。利用光波作為載體進行信息處理的光計算，因高速度、低功耗等優(yōu)點成為科學(xué)界研究熱點。然而，計算載體從電變?yōu)楣?，還要替代現(xiàn)有電子器件實現(xiàn)系統(tǒng)級應(yīng)用，面臨諸多難題。為此，清華大學(xué)信息科學(xué)技術(shù)學(xué)院院長戴瓊海院士、自動化系助理教授吳嘉敏，以及電子工程系副教授方璐、副研究員喬飛，結(jié)合光計算、純模擬電子計算等技術(shù)，突破傳統(tǒng)芯片架構(gòu)中數(shù)據(jù)轉(zhuǎn)換速度、精度與功耗相互制約的物理瓶頸，提出一種全新的計算框架，有望解決大規(guī)模計算單元集成、光計算與電子信號計算的高效接口等國際性難題。3.5

拓展知識第3章人工智能軟硬件平臺3.5拓展知識：我國科學(xué)家研制出首個全模擬光電智能計算芯片“我們是在全模擬信號下發(fā)揮光和電的優(yōu)勢，避免了模擬-數(shù)字轉(zhuǎn)換問題，突破了功耗和速度的瓶頸?！狈借幢硎?，除算力優(yōu)勢外，在智能視覺目標(biāo)識別任務(wù)和無人系統(tǒng)（如自動駕駛）場景計算中，ACCEL的系統(tǒng)級能效（單位能量可進行的運算數(shù)）經(jīng)實測是現(xiàn)有高性能芯片的400萬余倍，“這一超低功耗的優(yōu)勢將有助于改善限制芯片集成的芯片發(fā)熱問題，有望為未來芯片設(shè)計帶來突破?！盇CCEL未來有望在無人系統(tǒng)、工業(yè)檢測和人工智能大模型等方面實現(xiàn)應(yīng)用。感謝聆聽高職高專人工智能通識課規(guī)劃教材人工智能概論本章學(xué)習(xí)目標(biāo)第4章機器學(xué)習(xí)【素養(yǎng)目標(biāo)】通過學(xué)習(xí)機器學(xué)習(xí)算法思想，對學(xué)生進行科學(xué)思維方法訓(xùn)練、激發(fā)學(xué)習(xí)熱情；通過學(xué)習(xí)機器學(xué)習(xí)算法，提高學(xué)生分析與解決復(fù)雜問題的能力；通過學(xué)習(xí)拓展知識，培養(yǎng)學(xué)生的團隊合作精神和精益求精的專業(yè)精神。本章學(xué)習(xí)目標(biāo)第4章機器學(xué)習(xí)【知識目標(biāo)】掌握機器學(xué)習(xí)的概念及發(fā)展歷程；掌握監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)等機器學(xué)習(xí)類型；理解線性回歸、支持向量機、決策樹、K近鄰算法、K均值聚類算法、關(guān)聯(lián)分析、深度學(xué)習(xí)等機器學(xué)習(xí)算法的工作原理；了解機器學(xué)習(xí)的應(yīng)用。本章學(xué)習(xí)目標(biāo)第4章機器學(xué)習(xí)【能力目標(biāo)】能夠針對機器學(xué)習(xí)具體應(yīng)用功能，闡述其實現(xiàn)原理；能夠針對工作生活場景中的具體需求，選擇合適的機器學(xué)習(xí)算法；會使用“形色”工具識別植物。本章學(xué)習(xí)目標(biāo)第4章機器學(xué)習(xí)【思維導(dǎo)圖】第四章機器學(xué)習(xí)4.1機器學(xué)習(xí)概述4.2機器學(xué)習(xí)類型4.3機器學(xué)習(xí)常用算法高職高專人工智能通識課規(guī)劃教材4.4本章實訓(xùn)4.5拓展知識4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.1什么是機器學(xué)習(xí)1.機器學(xué)習(xí)的定義機器學(xué)習(xí)（MachineLearning，ML）是人工智能的一個重要分支與核心研究內(nèi)容，是目前實現(xiàn)人工智能的一條重要途徑。機器學(xué)習(xí)專門研究機器如何模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，同時能夠重新組織已有的知識結(jié)構(gòu)，并不斷改善自身的性能。這是的“機器”是指包含硬件和軟件的計算機系統(tǒng)。機器學(xué)習(xí)的應(yīng)用已遍及人工智能的各個分支，如專家系統(tǒng)、自動推理、自然語言理解、模式識別、計算機視覺、智能機器人等領(lǐng)域。機器學(xué)習(xí)是一個多領(lǐng)域交叉學(xué)科，涉及計算機科學(xué)、概率論、統(tǒng)計學(xué)、逼近論、算法復(fù)雜度理論等多門學(xué)科。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.1什么是機器學(xué)習(xí)機器學(xué)習(xí)任務(wù)可以簡單地理解為“總結(jié)經(jīng)驗、發(fā)現(xiàn)規(guī)律、掌握規(guī)律、預(yù)測未來”。人類的學(xué)習(xí)過程可以描述為，對在工作、生活中積累的歷史經(jīng)驗進行歸納，以獲得一些規(guī)律。如果有新的問題出現(xiàn)，就需要根據(jù)歸納的規(guī)律來預(yù)測未來未知的事情，如右上圖所示。機器的學(xué)習(xí)過程可以描述為，利用歷史數(shù)據(jù)，經(jīng)過訓(xùn)練得到一個模型。如果有新的數(shù)據(jù)出現(xiàn)，就使用習(xí)得的模型來預(yù)測未來未知的事情，如右下圖所示。圖4-1人類學(xué)習(xí)過程圖4-2機器學(xué)習(xí)過程4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.1什么是機器學(xué)習(xí)2.機器學(xué)習(xí)術(shù)語機器學(xué)習(xí)處理的對象是數(shù)據(jù)。數(shù)據(jù)集是一組具有相似結(jié)構(gòu)的數(shù)據(jù)樣本的合集；學(xué)習(xí)算法將經(jīng)驗（數(shù)據(jù)）轉(zhuǎn)化為最終“模型”；樣本是對某個對象的描述，也叫示例；屬性或特征是對象的某個方面表現(xiàn)；屬性值或特征值是屬性上的取值；維數(shù)是描述樣本屬性參數(shù)的個數(shù)。計算機判斷西瓜是否好瓜4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.1什么是機器學(xué)習(xí)3.數(shù)據(jù)集劃分機器學(xué)習(xí)中，需要將數(shù)據(jù)分為訓(xùn)練集（上課）和測試集（作業(yè)），分別用來對模型進行訓(xùn)練和測試。（1）訓(xùn)練集。訓(xùn)練（Train）集是讓算法學(xué)習(xí)出一個模型，通過優(yōu)化參數(shù)，以訓(xùn)練模型。（2）測試集。測試（Test）集是通過訓(xùn)練集得出模型后，使用測試集進行模型測試，來查看模型的好壞。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.1什么是機器學(xué)習(xí)3.數(shù)據(jù)集劃分舉例來說，若擬合直線y＝wx＋b，則根據(jù)新的x數(shù)據(jù)，就可以知道y的值。訓(xùn)練集的作用是，通過已知的x和y，學(xué)習(xí)出或者訓(xùn)練出合適的w和b，使得實際值和預(yù)測值盡可能接近。但是如果將所有已知的x和y全部用作訓(xùn)練，則根據(jù)新的數(shù)據(jù)x，無法知道預(yù)測出的y有多么接近真實數(shù)據(jù)。這怎么辦？此時就需要測試集了。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.1什么是機器學(xué)習(xí)3.數(shù)據(jù)集劃分將所有已知數(shù)據(jù)分為兩部分，多數(shù)（比如80%）作為訓(xùn)練集，少數(shù)（比如20%）作為測試集。測試集還需要滿足以下兩個條件：規(guī)模足夠大，可產(chǎn)生具有統(tǒng)計意義的結(jié)果。能代表整個數(shù)據(jù)集。只有測試集滿足上述兩個條件，才有可能得到一個很好的泛化到新數(shù)據(jù)的模型。注意：絕對禁止使用測試數(shù)據(jù)進行訓(xùn)練。數(shù)據(jù)集測試集訓(xùn)練集4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.1什么是機器學(xué)習(xí)4.過擬合和欠擬合過擬合是指模型完美地或者很好地擬合了數(shù)據(jù)集的某一部分(訓(xùn)練集)，但是此模型很可能并不能用來預(yù)測數(shù)據(jù)集的其他部分(測試集)。欠擬合指的是模型無法很好地擬合訓(xùn)練數(shù)據(jù)，無法捕捉到數(shù)據(jù)中的真實模式和關(guān)系。在這種情況下，模型過于簡單或者復(fù)雜度不足，無法充分學(xué)習(xí)數(shù)據(jù)中的特征和模式。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.2機器學(xué)習(xí)的發(fā)展歷程自從20世紀(jì)50年代開始研究機器學(xué)習(xí)以來，不同時期的研究途徑和目標(biāo)也不同，機器學(xué)習(xí)的發(fā)展歷程大致分為四個階段：熱烈時期、冷靜時期、復(fù)興時期、最新階段。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.2機器學(xué)習(xí)的發(fā)展歷程第一階段是20世紀(jì)50年代到60年代中葉，稱為機器學(xué)習(xí)發(fā)展的熱烈時期。在這個階段，機器學(xué)習(xí)所研究的是“沒有知識”的學(xué)習(xí)，即“無知”學(xué)習(xí)。該階段的研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)，其主要研究方法是不斷修改系統(tǒng)的控制參數(shù)和改進系統(tǒng)的執(zhí)行能力，不涉及與具體任務(wù)有關(guān)的知識。本階段的代表性工作是1952年IBM科學(xué)家亞瑟·塞繆爾（ArthurSamuel）開發(fā)的西洋跳棋程序；1958年羅森·布拉特設(shè)計的第一個計算機神經(jīng)網(wǎng)絡(luò)——感知機（Perceptron），它模擬了人類大腦的運作方式。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.2機器學(xué)習(xí)的發(fā)展歷程第二階段是20世紀(jì)60年代中葉到70年代中葉，稱為機器學(xué)習(xí)發(fā)展的冷靜時期。該階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機器的內(nèi)部描述。該階段的代表性工作有溫斯頓（Winston）的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)和海斯·羅思(HayesRoth)等人的基于邏輯的歸納學(xué)習(xí)系統(tǒng)，但這些學(xué)習(xí)系統(tǒng)只能學(xué)習(xí)單一概念，而且未能投入實際應(yīng)用。事實上，在這個時期，整個AI領(lǐng)域都遭遇了瓶頸。當(dāng)時，計算機的有限內(nèi)存和處理速度不足以解決任何實際的AI問題。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.2機器學(xué)習(xí)的發(fā)展歷程第三階段是20世紀(jì)70年代中葉到80年代中葉，稱為機器學(xué)習(xí)發(fā)展的復(fù)興時期。在此階段，機器學(xué)習(xí)從學(xué)習(xí)單一概念擴展到學(xué)習(xí)多個概念，并探索不同的學(xué)習(xí)策略和方法，且在該階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來，并且取得了很大的成功。1980年，在美國的卡內(nèi)基梅隆大學(xué)(CMU)召開了第一屆機器學(xué)習(xí)國際研討會，標(biāo)志著機器學(xué)習(xí)研究已在全世界興起。此后，機器學(xué)習(xí)得到了大量應(yīng)用。1981年，偉博斯（Weibos）基于神經(jīng)網(wǎng)絡(luò)反向傳播(BP)算法提出多層感知器(MLP)的概念；1986年，昆蘭（Quinlan）提出決策樹算法。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.2機器學(xué)習(xí)的發(fā)展歷程第四階段是20世紀(jì)80年代中葉至今，這是機器學(xué)習(xí)發(fā)展的最新階段。1995年，機器學(xué)習(xí)領(lǐng)域中一個最重要的突破，由瓦普尼克（Vapnik）和科爾特斯（Cortes）在大量理論和實證的條件下提出的支持向量機(SVM)，從此將機器學(xué)習(xí)社區(qū)劃分為神經(jīng)網(wǎng)絡(luò)社區(qū)和支持向量機社區(qū)。2006年，神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域領(lǐng)軍者辛頓(Hinton)提出了神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)（DeepLearning）算法，使神經(jīng)網(wǎng)絡(luò)的能力大大提高，并向支持向量機發(fā)出挑戰(zhàn)。4.1

機器學(xué)習(xí)概述第4章機器學(xué)習(xí)4.1.2機器學(xué)習(xí)的發(fā)展歷程這個階段的機器學(xué)習(xí)具有如下特點。（1）機器學(xué)習(xí)已成為新的邊緣學(xué)科，它綜合應(yīng)用了心理學(xué)、生物學(xué)、神經(jīng)生理學(xué)、數(shù)學(xué)、自動化和計算機科學(xué)等學(xué)科，形成了機器學(xué)習(xí)理論基礎(chǔ)。（2）整合了各種學(xué)習(xí)方法，且形式多樣的集成學(xué)習(xí)系統(tǒng)研究正在興起。（3）機器學(xué)習(xí)與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點正在形成。（4）各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴大，部分應(yīng)用研究成果已轉(zhuǎn)化為產(chǎn)品。（5）與機器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動空前活躍。第四章機器學(xué)習(xí)4.1機器學(xué)習(xí)概述4.2機器學(xué)習(xí)類型4.3機器學(xué)習(xí)常用算法高職高專人工智能通識課規(guī)劃教材4.4本章實訓(xùn)4.5拓展知識4.2機器學(xué)習(xí)類型第4章機器學(xué)習(xí)機器學(xué)習(xí)的核心是“使用算法分析數(shù)據(jù)，從數(shù)據(jù)中學(xué)習(xí)，然后對未知的某件事情做出決定或預(yù)測”。這意味著，機器學(xué)習(xí)不是直接地編寫程序來執(zhí)行某些任務(wù)，而是指導(dǎo)機器如何獲得一個模型來完成任務(wù)。機器通過學(xué)習(xí)可以提取數(shù)據(jù)規(guī)律、創(chuàng)建模型。根據(jù)數(shù)據(jù)類型的不同，與之對應(yīng)的機器學(xué)習(xí)類型也不同，主要有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)等。4.2

機器學(xué)習(xí)類型第4章機器學(xué)習(xí)4.2.1監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)就是根據(jù)已有的大量的輸入數(shù)據(jù)與輸出數(shù)據(jù)（結(jié)果）之間的關(guān)系，去尋找合適的模型（函數(shù)），并使用模型去預(yù)測未來的結(jié)果。每個訓(xùn)練數(shù)據(jù)樣本都有特征值和對應(yīng)的標(biāo)簽，機器學(xué)習(xí)時從有標(biāo)簽的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)并獲得模型，以便對未知或未來的數(shù)據(jù)做出預(yù)測?！氨O(jiān)督”指的是已經(jīng)知道樣本的輸出信號或標(biāo)簽。監(jiān)督學(xué)習(xí)猶如學(xué)生在學(xué)習(xí)過程中有老師講授一樣，會事先知道相關(guān)答案。例如，有兩朵鮮花圖片，并已知鮮花的名稱（玫瑰花、格?；ǎ?，即鮮花的標(biāo)簽。事先要對計算機要學(xué)習(xí)的數(shù)據(jù)樣本進行標(biāo)注（打標(biāo)簽），如圖所示，即事先知道明確的結(jié)果（答案），這相當(dāng)于監(jiān)督了計算機的學(xué)習(xí)過程。4.2

機器學(xué)習(xí)類型第4章機器學(xué)習(xí)4.2.1監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)常用于解決生活中分類和回歸的問題，如垃圾郵件分類、判斷腫瘤是良性還是惡性等問題。（1）分類。帶有離散分類標(biāo)簽的監(jiān)督學(xué)習(xí)也稱為分類任務(wù)，這些分類標(biāo)簽是離散值。分類任務(wù)的常見算法包括：邏輯回歸、支持向量機(SVM)、決策樹、隨機森林、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)等。分類示意圖如圖所示。4.2

機器學(xué)習(xí)類型第4章機器學(xué)習(xí)4.2.1監(jiān)督學(xué)習(xí)（2）回歸。監(jiān)督學(xué)習(xí)的另一個子類是回歸，其結(jié)果信號是連續(xù)的數(shù)值?；貧w的任務(wù)是預(yù)測目標(biāo)數(shù)值，如在給定一組特性（房屋大小、房間數(shù)等）的情況下，來預(yù)測房屋的售價?；貧w分析的常見算法包括：線性回歸、神經(jīng)網(wǎng)絡(luò)、AdaBoosting等。線性回歸如圖所示。4.2

機器學(xué)習(xí)類型第4章機器學(xué)習(xí)4.2.2無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)又稱為歸納性學(xué)習(xí)。在無監(jiān)督學(xué)習(xí)中，數(shù)據(jù)樣本事先是無標(biāo)簽的，也就是沒有分類的，需要從大量數(shù)據(jù)中自行獲得新方法或新發(fā)現(xiàn)，機器需要直接對無標(biāo)簽的數(shù)據(jù)建立模型，然后對觀察數(shù)據(jù)進行分類或者區(qū)分?！盁o監(jiān)督”指的是事先不知道樣本的輸出信號或標(biāo)簽。無監(jiān)督學(xué)習(xí)猶如學(xué)生自學(xué)的過程，沒有老師的講授，學(xué)生需要通過自覺尋找答案。無監(jiān)督學(xué)習(xí)的應(yīng)用模式主要包括聚類算法和關(guān)聯(lián)規(guī)則抽取。4.2

機器學(xué)習(xí)類型第4章機器學(xué)習(xí)4.2.2無監(jiān)督學(xué)習(xí)聚類算法又分為K-means聚類和層次聚類。聚類算法的目標(biāo)是創(chuàng)建對象分組，使得同一組內(nèi)的對象盡可能相似，而處于不同組內(nèi)的對象盡可能相異。聚類算法如圖所示。4.2

機器學(xué)習(xí)類型第4章機器學(xué)習(xí)4.2.3半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)是模式識別領(lǐng)域研究的重點問題，是監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。在現(xiàn)實生活中，有時對數(shù)據(jù)進行標(biāo)記的代價很高，大量的數(shù)據(jù)往往是未經(jīng)過標(biāo)記的，而僅有一小部分數(shù)據(jù)是經(jīng)過標(biāo)記的。半監(jiān)督學(xué)習(xí)使用大量的未標(biāo)記數(shù)據(jù)，同時使用少量的標(biāo)記數(shù)據(jù)，來進行模式識別工作。使用未標(biāo)記的數(shù)據(jù)的目的是獲得對數(shù)據(jù)結(jié)構(gòu)的更多理解。4.2

機器學(xué)習(xí)類型第4章機器學(xué)習(xí)4.2.4強化學(xué)習(xí)強化學(xué)習(xí)，又稱再勵學(xué)習(xí)、評價學(xué)習(xí)或增強學(xué)習(xí)，用于描述和解決智能體（Agent）在與環(huán)境的交互過程中通過學(xué)習(xí)策略以達成回報最大化或?qū)崿F(xiàn)特定目標(biāo)的問題。強化學(xué)習(xí)是從動物學(xué)習(xí)、參數(shù)擾動自適應(yīng)控制等理論發(fā)展而來的，其基本原理是：如果智能體的某個行為策略導(dǎo)致環(huán)境正的獎賞（強化信號），那么智能體以后產(chǎn)生這個行為策略的趨勢便會加強。智能體的目標(biāo)是在每個離散狀態(tài)發(fā)現(xiàn)最優(yōu)策略，以使期望的折扣獎賞和達到最大。與監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)不同，強化學(xué)習(xí)不涉及提供“正確”答案或輸出，相反，它只關(guān)注性能和行為，這類似于人類根據(jù)積極或消極的結(jié)果來學(xué)習(xí)。例如，一個小孩剛開始時并不知道玩火會被灼傷，一旦不小心被火灼傷了，以后就會小心避開火源。4.2

機器學(xué)習(xí)類型第4章機器學(xué)習(xí)4.2.4強化學(xué)習(xí)強化學(xué)習(xí)的經(jīng)典應(yīng)用是玩游戲。例如，一款下棋軟件可以學(xué)會不把它的國王移到對手的棋子可以進入的空間。剛開始，軟件完全不知道如何將棋子放到正確的地方，但是，一旦軟件將棋子放在正確的地方，系統(tǒng)就向其反饋獎勵（如增加分值），一旦放到會被對方攻擊到的地方，系統(tǒng)就向其反饋懲罰（如扣掉分值）。經(jīng)過大量的訓(xùn)練后，軟件逐漸在獎勵和懲罰中，學(xué)會了正確放置棋子。這一基本訓(xùn)練可以被擴展和推斷出來，直到軟件能夠打敗人類頂級玩家為止。第四章機器學(xué)習(xí)4.1機器學(xué)習(xí)概述4.2機器學(xué)習(xí)類型4.3機器學(xué)習(xí)常用算法高職高專人工智能通識課規(guī)劃教材4.4本章實訓(xùn)4.5拓展知識4.3機器學(xué)習(xí)常用算法第4章機器學(xué)習(xí)4.3.1線性回歸1.什么是一元線性回歸“回歸”這一術(shù)語