人工智能概論 課件 第3章 人工智能軟硬件平臺(tái)

高職高專(zhuān)人工智能通識(shí)課規(guī)劃教材人工智能概論本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺(tái)【素養(yǎng)目標(biāo)】通過(guò)芯片制造工藝的學(xué)習(xí)，培養(yǎng)學(xué)生精益求精的專(zhuān)業(yè)精神、職業(yè)精神和工匠精神；通過(guò)智能芯片產(chǎn)業(yè)發(fā)展?fàn)顩r的學(xué)習(xí)，激發(fā)學(xué)生自主創(chuàng)新、科技報(bào)國(guó)的家國(guó)情懷和使命擔(dān)當(dāng)；通過(guò)對(duì)我國(guó)智能芯片相關(guān)公司和產(chǎn)品的了解，培養(yǎng)學(xué)生的創(chuàng)新創(chuàng)業(yè)意識(shí)，激發(fā)愛(ài)國(guó)熱情。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺(tái)【知識(shí)目標(biāo)】掌握芯片的定義、分類(lèi)和制造工藝；掌握智能芯片的概念、分類(lèi)和特點(diǎn)；了解摩爾定律；了解智能芯片產(chǎn)業(yè)發(fā)展?fàn)顩r；了解人工智能開(kāi)發(fā)框架及其核心特征；了解國(guó)內(nèi)外人工智能開(kāi)發(fā)框架的發(fā)展進(jìn)程及其優(yōu)缺點(diǎn)。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺(tái)【能力目標(biāo)】能夠正確認(rèn)識(shí)我國(guó)芯片的發(fā)展水平、產(chǎn)業(yè)現(xiàn)狀和國(guó)際地位；能夠理解人工智能開(kāi)發(fā)框架的作用；能夠闡述我國(guó)人工智能芯片領(lǐng)域的企業(yè)及其特點(diǎn)和優(yōu)勢(shì)。本章學(xué)習(xí)目標(biāo)第3章人工智能軟硬平臺(tái)【思維導(dǎo)圖】第三章人工智能軟硬件平臺(tái)3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開(kāi)發(fā)框架高職高專(zhuān)人工智能通識(shí)課規(guī)劃教材3.4本章實(shí)訓(xùn)3.5拓展知識(shí)人工智能三要素第3章人工智能軟硬件平臺(tái)人工智能的目的就是讓機(jī)器能夠像人一樣思考，讓機(jī)器擁有智能。人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力。當(dāng)前，人工智能技術(shù)已全面滲透到制造、醫(yī)療、交通、金融、教育、安防等眾多領(lǐng)域。人工智能三要素是數(shù)據(jù)、算力和算法。其中，算力主要由人工智能芯片支撐，是承載人工智能核心技術(shù)的硬件基礎(chǔ)。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.1什么是芯片芯片，又稱(chēng)微電路、微芯片、集成電路，是指內(nèi)含集成電路的硅片，芯片的體積很小，通常是作為計(jì)算機(jī)或其他電子設(shè)備的一部分。晶體管被發(fā)明并大量生產(chǎn)之后，各式固態(tài)半導(dǎo)體組件，如二極管、三極管等被大量使用，取代了真空管（電子管）在電路中的功能與角色。到了20世紀(jì)中后期，半導(dǎo)體制造技術(shù)的進(jìn)步使得集成電路成為可能。相對(duì)于手工組裝電路使用個(gè)別分立電子組件，集成電路可以把很大數(shù)量的微晶體管集成到一個(gè)芯片中，這是一個(gè)巨大的進(jìn)步。集成電路具有規(guī)模生產(chǎn)能力、高可靠性，以及集成電路設(shè)計(jì)的模塊化方法等特點(diǎn)，從而推動(dòng)標(biāo)準(zhǔn)化集成電路代替了離散晶體管。真空管晶體管（二極管）集成電路晶體管（三極管）3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.1什么是芯片集成電路相對(duì)于離散晶體管主要有兩個(gè)優(yōu)勢(shì)：成本低和性能高。成本低是由于芯片把所有的組件通過(guò)照相平版技術(shù)，作為一個(gè)單位印刷，而不是在一個(gè)時(shí)間只制作一個(gè)晶體管。性能高是因?yàn)榻M件很小且彼此靠近，組件快速開(kāi)關(guān)，從而提高了性能，并且能耗消耗更低?，F(xiàn)如今，芯片面積通常為幾平方毫米到幾百平方毫米，每平方毫米可以容納上億個(gè)晶體管。世界上第一塊集成電路是由杰克·基爾比（JackKilby）于1958年完成的，該電路包括一個(gè)雙極性晶體管、三個(gè)電阻和一個(gè)電容器。杰克·基爾比因此榮獲2000年諾貝爾物理學(xué)獎(jiǎng)。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類(lèi)1.按照處理信號(hào)方式分類(lèi)芯片按照處理信號(hào)方式可以劃分為：模擬芯片、數(shù)字芯片。信號(hào)分為模擬信號(hào)和數(shù)字信號(hào)，數(shù)字芯片就是處理數(shù)字信號(hào)的，比如CPU、邏輯電路等；模擬芯片是處理模擬信號(hào)的，比如運(yùn)算放大器、線性穩(wěn)壓器、基準(zhǔn)電壓源等。如今，大多數(shù)芯片都可以同時(shí)處理數(shù)字信號(hào)和模擬信號(hào)，一塊芯片到底歸屬為哪類(lèi)產(chǎn)品是沒(méi)有絕對(duì)標(biāo)準(zhǔn)的，通常會(huì)根據(jù)芯片的核心功能來(lái)區(qū)分。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類(lèi)2.按照應(yīng)用場(chǎng)景分類(lèi)芯片按照應(yīng)用場(chǎng)景可以劃分為：軍工級(jí)芯片、汽車(chē)級(jí)芯片、工業(yè)級(jí)芯片、民用級(jí)芯片。領(lǐng)域軍工級(jí)汽車(chē)級(jí)工業(yè)級(jí)民用級(jí)工作溫度范圍-55℃～125℃-40℃～125℃-40℃～85℃0℃～70℃電路設(shè)計(jì)輔助電路和備份電路設(shè)計(jì)，多級(jí)防雷設(shè)計(jì)，雙變壓器設(shè)計(jì)，抗干擾技術(shù)，多重短路保護(hù)，多重?zé)岜Ｗo(hù)，超高壓保護(hù)等多級(jí)防雷設(shè)計(jì)，雙變壓器設(shè)計(jì)，抗干擾技術(shù)，多重短路保護(hù)，多重?zé)岜Ｗo(hù)，超高壓保護(hù)等多級(jí)防雷設(shè)計(jì)，雙變壓器設(shè)計(jì)，抗干擾技術(shù)，短路保護(hù)，熱保護(hù)，超高壓保護(hù)等防雷設(shè)計(jì)，短路保護(hù)，熱保護(hù)等工藝處理耐沖擊，耐高低溫，耐霉菌增強(qiáng)封裝設(shè)計(jì)和散熱處理防水，防潮，防腐，防霉變處理防水處理系統(tǒng)成本造價(jià)非常高，維護(hù)費(fèi)用也高積木式結(jié)構(gòu)，每個(gè)電路均帶有自檢功能并增強(qiáng)了散熱處理，造價(jià)較高，維護(hù)費(fèi)用也較高積木式結(jié)構(gòu)，每個(gè)電路均帶有自檢功能，造價(jià)稍高，但維護(hù)費(fèi)用低線路板一體化設(shè)計(jì)，價(jià)格低廉但維護(hù)費(fèi)用較高3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類(lèi)3.按照集成度分類(lèi)芯片按照集成度可以劃分為：小規(guī)模集成電路（SSI）、中規(guī)模集成電路（MSI）、大規(guī)模集成電路（LSI）、超大規(guī)模集成電路（VLSI）。評(píng)判集成度的根據(jù)是芯片上集成的元器件個(gè)數(shù)。目前，智能手機(jī)里的芯片基本都是超大規(guī)模集成電路了，芯片里面集合了數(shù)以?xún)|計(jì)的元器件。其實(shí)這屬于早期來(lái)表述芯片集成度的方式，在隨后的發(fā)展過(guò)程中，通常以特征線寬（設(shè)計(jì)基準(zhǔn)）的尺寸來(lái)表述芯片集成度，比如微米、納米。也可以理解為我們現(xiàn)在所常說(shuō)的工藝制程。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類(lèi)4.按照工藝制程分類(lèi)芯片按照工藝制程可以劃分為：3nm、5nm、7nm、14nm、28nm等。這里的nm(1nm＝10-９m)是長(zhǎng)度單位，是指CMOS器件的柵長(zhǎng)，也可以理解為最小布線寬度或者最小加工尺寸。目前，比較先進(jìn)的制程有臺(tái)積電和三星的3nm，國(guó)內(nèi)較先進(jìn)的制程是中芯國(guó)際的14nm。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.2芯片的分類(lèi)5.按照使用功能分類(lèi)3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.3芯片的制造工藝芯片的制造工藝需要經(jīng)過(guò)多個(gè)步驟，主要包括晶圓制備、晶圓清洗、光刻、蝕刻、沉積、離子注入、退火、測(cè)試等過(guò)程。（1）晶圓制備。通常首先使用高純度的硅材料制作晶圓，然后對(duì)其進(jìn)行切割和拋光等工藝處理，制備成具有一定厚度和平整度的硅片。（2）晶圓清洗。對(duì)晶圓進(jìn)行化學(xué)清洗和去除表面污染物的處理。（3）光刻。利用光刻機(jī)，將芯片上的電路圖形投影到光刻膠層上，形成圖形模板。（4）蝕刻。使用蝕刻機(jī)，將光刻膠層中未被遮住的部分進(jìn)行蝕刻，形成電路線路。（5）沉積。使用化學(xué)氣相沉積設(shè)備，將金屬等材料沉積在芯片表面，形成電路元件。（6）離子注入。使用離子注入機(jī)，將雜質(zhì)注入硅片中，形成PN結(jié)，以形成晶體管等元器件。（7）退火。對(duì)芯片進(jìn)行高溫退火處理，使晶圓中的雜質(zhì)分布均勻，以提高芯片的電性能。（8）測(cè)試。檢測(cè)芯片的性能和可靠性，發(fā)現(xiàn)缺陷和故障，以保證芯片的質(zhì)量。3.1芯片是人工智能的算力基礎(chǔ)第3章人工智能軟硬件平臺(tái)3.1.4摩爾定律1965年，英特爾公司創(chuàng)始人之一戈登·摩爾（GordonMoore）在繪制一份發(fā)展報(bào)告的圖表時(shí)發(fā)現(xiàn)了一個(gè)驚人的趨勢(shì)：每一顆芯片所能容納的晶體管數(shù)目，約每隔18個(gè)月到24個(gè)月就會(huì)增加一倍，性能也將提升一倍。這就是業(yè)內(nèi)非常著名的“摩爾定律”，其預(yù)言了芯片的規(guī)模和性能的發(fā)展速度。1971年，英特爾公司開(kāi)發(fā)出第一代微處理器，集成了2300個(gè)晶體管。2007年，45nm的處理器集成了8億多晶體管。現(xiàn)如今，麒麟9000處理器采用的是5nm工藝制程，集成了153億晶體管。在過(guò)往的50多年中，芯片行業(yè)一直在遵循著“摩爾定律”發(fā)展。工藝制程不可能無(wú)限縮小，現(xiàn)在，芯片工藝已經(jīng)逼近“極限”，近幾年，芯片的發(fā)展速度也已經(jīng)放緩。隨著技術(shù)發(fā)展，芯片發(fā)展歷程也定然會(huì)遇到瓶頸。2023年3月24日，戈登?摩爾結(jié)束了輝煌的一生，享年94歲。第三章人工智能軟硬件平臺(tái)3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開(kāi)發(fā)框架高職高專(zhuān)人工智能通識(shí)課規(guī)劃教材3.4本章實(shí)訓(xùn)3.5拓展知識(shí)3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.1什么是智能芯片1.智能芯片的概念從廣義上講，只要能夠運(yùn)行人工智能算法的芯片都可以稱(chēng)為智能芯片（AI芯片），但是，通常意義上的智能芯片指的是，針對(duì)人工智能領(lǐng)域設(shè)計(jì)的芯片，其架構(gòu)和指令集針對(duì)人工智能領(lǐng)域中的各類(lèi)算法和應(yīng)用作了專(zhuān)門(mén)優(yōu)化，從而可以高效地支持視覺(jué)、語(yǔ)音、自然語(yǔ)言處理和傳統(tǒng)機(jī)器學(xué)習(xí)等智能處理任務(wù)。因此，智能芯片也稱(chēng)為人工智能加速器（AI加速器）或計(jì)算卡。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.1什么是智能芯片2.智能芯片與傳統(tǒng)芯片的區(qū)別傳統(tǒng)的中央處理器芯片（CPU）不適合執(zhí)行人工智能算法。傳統(tǒng)CPU計(jì)算指令遵循串行執(zhí)行的方式，背負(fù)著指令調(diào)度、指令寄存、指令翻譯、編碼、運(yùn)算核心和緩存等與人工智能算法無(wú)關(guān)的任務(wù)，運(yùn)算能力受限。圖形處理器芯片（GPU）在傳統(tǒng)CPU的基礎(chǔ)上做了簡(jiǎn)化，因此可以處理的數(shù)據(jù)類(lèi)型單一，但是由于加入了更多的浮點(diǎn)運(yùn)算單元，因此更加適合大量算術(shù)計(jì)算而邏輯運(yùn)算較少的場(chǎng)合。在進(jìn)行AI運(yùn)算時(shí)，GPU在性能、功耗等很多方面遠(yuǎn)遠(yuǎn)優(yōu)于CPU，所以才經(jīng)常被拿來(lái)“兼職”進(jìn)行AI運(yùn)算，但GPU的功耗較大，且成本昂貴。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.1什么是智能芯片2.智能芯片與傳統(tǒng)芯片的區(qū)別智能芯片的設(shè)計(jì)思想基于算法的角度精簡(jiǎn)GPU架構(gòu)，為其加入更多的運(yùn)算單元，在應(yīng)用場(chǎng)景和算法相對(duì)確定的基礎(chǔ)上，使得硬件更加專(zhuān)門(mén)化。因此，傳統(tǒng)芯片和智能芯片最大的不同是，前者是為通用功能設(shè)計(jì)的架構(gòu)，后者是為專(zhuān)用功能優(yōu)化的架構(gòu)。這一區(qū)別決定了即便是最高效的GPU，與智能芯片相比，在時(shí)延、性能、功耗、能效比等方面也是有差距的，因而研發(fā)智能芯片是人工智能發(fā)展的必然趨勢(shì)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)智能芯片分類(lèi)通常有按技術(shù)架構(gòu)分類(lèi)、按功能分類(lèi)、按部署位置分類(lèi)三種分類(lèi)方式。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)1.按技術(shù)架構(gòu)分類(lèi)智能芯片按照技術(shù)架構(gòu)，可以劃分為圖形處理器芯片、半定制化芯片、全定制化芯片和類(lèi)腦芯片。（1）圖形處理器芯片（GPU）。GPU是相對(duì)較早期的加速計(jì)算處理器，具有速度快、通用性強(qiáng)等特點(diǎn)。由于傳統(tǒng)CPU的計(jì)算指令遵循串行執(zhí)行方式，不能發(fā)揮芯片的全部潛力，而GPU具有高并行結(jié)構(gòu)，在處理圖形數(shù)據(jù)和復(fù)雜算法方面擁有比CPU更高的效率。英偉達(dá)公司（NVIDIA）和AMD公司在GPU領(lǐng)域處于領(lǐng)先位置，我國(guó)的長(zhǎng)沙景嘉微公司是國(guó)內(nèi)唯一擁有自主知識(shí)產(chǎn)權(quán)和成熟產(chǎn)品的GPU芯片公司。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)1.按技術(shù)架構(gòu)分類(lèi)在結(jié)構(gòu)上，CPU主要由控制器（Control）、算術(shù)邏輯單元（ALU）、高速緩存（Cache）等組成，而GPU則擁有更多ALU用于數(shù)據(jù)處理，這樣的結(jié)構(gòu)更適合對(duì)密集型數(shù)據(jù)進(jìn)行并行處理，程序在GPU系統(tǒng)上的運(yùn)行速度相較于單核CPU可以提升幾十倍乃至上千倍。同時(shí)，GPU擁有更加強(qiáng)大的浮點(diǎn)運(yùn)算能力，可以緩解深度學(xué)習(xí)算法的訓(xùn)練難題，釋放人工智能的潛能。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)1.按技術(shù)架構(gòu)分類(lèi)（2）半定制化芯片。即現(xiàn)場(chǎng)可編程門(mén)陣列（FieldProgrammableGateArray，F(xiàn)PGA），其內(nèi)部包括邏輯塊、輸入/輸出塊、可編程內(nèi)部連線等，如圖所示。FPGA通過(guò)編程可以把計(jì)算邏輯映射到硬件上，通過(guò)編程調(diào)整內(nèi)部連線，把不同的邏輯塊和輸入/輸出塊連通在一起去完成計(jì)算任務(wù)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)FPGA允許多次編程，具有可編程、高性能和低功耗三大特性。FPGA的可編程性帶來(lái)高性能和低功耗，開(kāi)發(fā)成本低但芯片成本高。CPU、GPU等常用計(jì)算芯片由于架構(gòu)固定，因此硬件原生支持的指令也是固定的。而FPGA是可編程的，因此可以靈活地針對(duì)算法修改電路，提前把固定算法的數(shù)據(jù)流以及執(zhí)行指令寫(xiě)在硬件里，節(jié)約了指令獲取和解碼時(shí)間從而大幅提高運(yùn)算效率。FPGA非常適合在芯片功能尚未完全定型、算法仍需不斷迭代完善的情況下使用。使用FPGA芯片需要通過(guò)定義硬件去實(shí)現(xiàn)軟件算法，對(duì)使用者的技術(shù)水平要求較高，因此在設(shè)計(jì)并實(shí)現(xiàn)復(fù)雜的人工智能算法方面難度較高。賽靈思公司和英特爾公司在FPGA領(lǐng)域具有較大的優(yōu)勢(shì)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)（3）全定制化芯片。即專(zhuān)用集成電路（ApplicationSpecificIntegratedCircuits，ASIC），是一種根據(jù)特殊應(yīng)用場(chǎng)景要求進(jìn)行全定制化的專(zhuān)用人工智能芯片。與FPGA相比，ASIC無(wú)法通過(guò)修改電路進(jìn)行功能擴(kuò)展；而與CPU、GPU等通用計(jì)算芯片相比，ASIC性能高、功耗低、成本低，適合應(yīng)用于對(duì)性能功耗比要求極高的移動(dòng)設(shè)備端。谷歌公司發(fā)布的張量處理器（TensorProcessingUnit，TPU）是專(zhuān)為機(jī)器學(xué)習(xí)定制的，也是當(dāng)前最知名也最有實(shí)用價(jià)值的ASIC。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)（4）類(lèi)腦芯片。類(lèi)腦芯片是一種對(duì)人腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行物理模擬的新型芯片架構(gòu)，通過(guò)模擬人腦的神經(jīng)網(wǎng)絡(luò)工作機(jī)理實(shí)現(xiàn)感知和認(rèn)知等功能。真正的人工智能芯片未來(lái)發(fā)展的方向是類(lèi)腦芯片。IBM公司研發(fā)的TrueNorth芯片就是一種典型的類(lèi)腦芯片，其計(jì)算架構(gòu)顛覆了經(jīng)典的馮·諾依曼體系架構(gòu)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)TrueNorth芯片的架構(gòu)模仿生物大腦神經(jīng)網(wǎng)絡(luò)，采用神經(jīng)形態(tài)器件構(gòu)建，如下圖所示，主要由神經(jīng)元、突觸以及網(wǎng)絡(luò)互聯(lián)而成。類(lèi)腦芯片把定制化的數(shù)字處理內(nèi)核當(dāng)作神經(jīng)元，把內(nèi)存當(dāng)作突觸，將CPU、內(nèi)存及通信元件等完全集成在本地，實(shí)現(xiàn)了算存一體，突破了馮·諾依曼架構(gòu)中CPU與內(nèi)存之間的“內(nèi)存墻”瓶頸，但目前多數(shù)仍是實(shí)驗(yàn)室產(chǎn)品。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)表3-2不同技術(shù)架構(gòu)的智能芯片對(duì)比對(duì)比內(nèi)容GPUFPGAASIC類(lèi)腦芯片定制化程度通用型半定制化全定制化定制化開(kāi)發(fā)難度較易中等較高很高開(kāi)發(fā)工具OpenCL、CUDAOpenCL、Verilog/VHDLEDA工具EDA工具開(kāi)發(fā)周期幾個(gè)月半年到一年一年以上一年以上應(yīng)用場(chǎng)景神經(jīng)網(wǎng)絡(luò)訓(xùn)練、神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心神經(jīng)網(wǎng)絡(luò)推斷、數(shù)據(jù)中心、嵌入式/邊緣計(jì)算尚處于研究階段優(yōu)點(diǎn)高性能、開(kāi)發(fā)簡(jiǎn)單、框架成熟、成本最低高性能、靈活性相對(duì)較強(qiáng)、成本較低高性能、低功耗、體積小、可用于移動(dòng)場(chǎng)景目前表現(xiàn)出的智能程度最高，功耗低缺點(diǎn)高功耗、僅適用于數(shù)據(jù)中心峰值效率較低、有一定的開(kāi)發(fā)難度開(kāi)發(fā)難度較高、成本較高、技術(shù)風(fēng)險(xiǎn)大目前無(wú)成熟算法，處于研究階段3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)2.按功能分類(lèi)智能芯片根據(jù)功能任務(wù)，可以分為訓(xùn)練（Training）芯片和推斷（Inference）芯片。（1）訓(xùn)練芯片。訓(xùn)練是指向人工智能算法模型中輸入大量已標(biāo)注好的數(shù)據(jù)和素材，以進(jìn)行“學(xué)習(xí)”，對(duì)模型的參數(shù)不斷進(jìn)行優(yōu)化調(diào)整，最終形成一個(gè)具備某種特定功能、結(jié)果最優(yōu)的神經(jīng)網(wǎng)絡(luò)算法模型。人工智能訓(xùn)練芯片是指專(zhuān)門(mén)對(duì)人工智能訓(xùn)練算法進(jìn)行優(yōu)化加速的芯片。由于訓(xùn)練所需的數(shù)據(jù)量大，算法復(fù)雜度高，因此，訓(xùn)練芯片對(duì)算力、能效、精度等要求非常高，而且還需要具備較高的通用性，以支持已有的多種算法，甚至還要考慮未來(lái)的算法的訓(xùn)練。由于對(duì)算力有著極高要求，訓(xùn)練芯片一般更適合部署在大型云端設(shè)施中，而且多采用“CPU＋GPU”“CPU＋GPU＋加速芯片”等異構(gòu)模式，加速芯片可以是GPU、FPGA或ASIC專(zhuān)用芯片等。目前，人工智能訓(xùn)練芯片的市場(chǎng)主要被英偉達(dá)的GPU和谷歌的TPU所占據(jù)，英特爾和AMD正在積極搶占該市場(chǎng)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)2.按功能分類(lèi)（2）推斷芯片。推斷是指向已經(jīng)訓(xùn)練好的人工智能算法模型中輸入新的數(shù)據(jù)和素材，經(jīng)過(guò)計(jì)算后獲得符合人們預(yù)期的相應(yīng)的輸出。人工智能推斷芯片即是指專(zhuān)門(mén)對(duì)人工智能推斷算法進(jìn)行優(yōu)化加速的芯片，其更加關(guān)注能耗、算力、時(shí)延、成本等綜合因素。推斷芯片可以部署在云端和邊緣端，實(shí)現(xiàn)難度和市場(chǎng)門(mén)檻相對(duì)較低，因此，這一領(lǐng)域的市場(chǎng)競(jìng)爭(zhēng)者較多。在云端推斷芯片領(lǐng)域，英偉達(dá)、谷歌、AMD、賽靈思等傳統(tǒng)芯片廠商是主要的領(lǐng)導(dǎo)者，我國(guó)的寒武紀(jì)、燧原科技、比特大陸等廠商也推出了性能較高、市場(chǎng)反響不錯(cuò)的自主研發(fā)的芯片。在終端推斷芯片領(lǐng)域，應(yīng)用場(chǎng)景豐富，市場(chǎng)集中度不高，產(chǎn)品有一定的多樣性，英偉達(dá)、英特爾、高通、ARM等傳統(tǒng)芯片大廠在該領(lǐng)域布局較早，我國(guó)的寒武紀(jì)、地平線、阿里平頭哥、云天勵(lì)飛等新興企業(yè)在垂直行業(yè)也有不俗表現(xiàn)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.2智能芯片的分類(lèi)3.按部署位置分類(lèi)智能芯片按照部署位置，可以分為云端智能芯片、設(shè)備端智能芯片。（1）云端智能芯片。這類(lèi)芯片運(yùn)算能力強(qiáng)大，功耗較高，一般部署在公有云、私有云、混合云、以及數(shù)據(jù)中心、超級(jí)計(jì)算機(jī)（超算）等計(jì)算基礎(chǔ)設(shè)施領(lǐng)域，主要用于深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推斷，處理語(yǔ)音、視頻、圖像等海量數(shù)據(jù)，支持大規(guī)模并行計(jì)算，通常以加速卡的形式集成多個(gè)芯片模塊，并行完成相關(guān)計(jì)算任務(wù)。（2）設(shè)備端智能芯片。這類(lèi)芯片一般功耗低、體積小、性能要求不高、成本也較低，相比于云端智能芯片來(lái)說(shuō)，設(shè)備端智能芯片不需要運(yùn)行特別復(fù)雜的算法，只需具備少量的人工智能計(jì)算能力即可，一般部署在智能手機(jī)、無(wú)人機(jī)、攝像頭、邊緣計(jì)算設(shè)備、工控設(shè)備等移動(dòng)設(shè)備或嵌入式設(shè)備上。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.3智能芯片的發(fā)展歷程智能芯片的發(fā)展歷程可分為四個(gè)階段。第一階段（2006年前）：在這一階段，尚未出現(xiàn)突破性的人工智能算法，并且能夠獲取的數(shù)據(jù)也較為有限，傳統(tǒng)通用CPU已經(jīng)能夠完全滿(mǎn)足當(dāng)時(shí)的計(jì)算需要，學(xué)術(shù)界和產(chǎn)業(yè)界均對(duì)人工智能芯片沒(méi)有特殊需求。因此，人工智能芯片產(chǎn)業(yè)的發(fā)展一直較為緩慢。第二階段（2006～2009年）：在這一階段，游戲、高清視頻等行業(yè)快速發(fā)展，同時(shí)也助推了GPU產(chǎn)品的迭代升級(jí)。2006年，GPU廠商英偉達(dá)發(fā)布了統(tǒng)一計(jì)算設(shè)備架構(gòu)，（CUDA），第一次使GPU具備了可編程性，同時(shí)使GPU的核心流式處理器既具有處理像素、頂點(diǎn)、圖形等渲染能力，又同時(shí)具備通用的單精度浮點(diǎn)處理能力，即令GPU既能做游戲和渲染，也能做并行度很高的通用計(jì)算，英偉達(dá)將其稱(chēng)為GPCPU。GPU所具有的并行計(jì)算特性比通用CPU的計(jì)算效率更高，更加適用于深度學(xué)習(xí)等人工智能先進(jìn)算法所需的“暴力計(jì)算”場(chǎng)景。在GPU的助力下，人工智能算法的運(yùn)算效率可以提高幾十倍，由此，研究人員開(kāi)始大規(guī)模使用GPU開(kāi)展人工智能領(lǐng)域的研究和應(yīng)用。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.3智能芯片的發(fā)展歷程第三階段（2010～2015年）：2010年之后，以云計(jì)算、大數(shù)據(jù)等為代表的新一代信息技術(shù)高速發(fā)展并逐漸開(kāi)始普及，云端采用“CPU+GPU”混合計(jì)算模式，使得研究人員開(kāi)展人工智能所需的大規(guī)模計(jì)算更加便捷高效，進(jìn)一步推動(dòng)了人工智能算法的演進(jìn)和人工智能芯片的廣泛使用，同時(shí)也促進(jìn)了各種類(lèi)型的人工智能芯片的研究與應(yīng)用。第四階段（2016年至今）：2016年，采用TPU架構(gòu)的谷歌旗下DeepMind公司研發(fā)的人工智能系統(tǒng)阿爾法圍棋（AlphaGo）擊敗了世界冠軍韓國(guó)棋手李世石，使得以深度學(xué)習(xí)為核心的人工智能技術(shù)得到了全球范圍內(nèi)的極大關(guān)注。此后，業(yè)界對(duì)于人工智能算力的要求越來(lái)越高，而GPU價(jià)格昂貴、功耗高的缺點(diǎn)也使其在場(chǎng)景各異的應(yīng)用環(huán)境中受到諸多限制，因此，研究人員開(kāi)始研發(fā)專(zhuān)門(mén)針對(duì)人工智能算法進(jìn)行優(yōu)化的定制化芯片。大量人工智能芯片領(lǐng)域的初創(chuàng)公司在這一階段涌現(xiàn)，傳統(tǒng)互聯(lián)網(wǎng)巨頭也迅速入局該領(lǐng)域并開(kāi)始爭(zhēng)奪市場(chǎng)，專(zhuān)用人工智能芯片呈現(xiàn)出百花齊放的格局，在應(yīng)用領(lǐng)域、計(jì)算能力、能耗比等方面都有了極大的提升。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀1.

傳統(tǒng)芯片企業(yè)在人工智能芯片領(lǐng)域優(yōu)勢(shì)地位明顯英偉達(dá)、英特爾、AMD、高通等傳統(tǒng)芯片廠商憑借在芯片領(lǐng)域多年的領(lǐng)先地位，迅速切入人工智能領(lǐng)域，積極布局，目前處于引領(lǐng)產(chǎn)業(yè)發(fā)展的地位（見(jiàn)表3-3），在GPU和FPGA方面則基本位于壟斷地位。英偉達(dá)推出了Tesla系列GPU芯片，專(zhuān)門(mén)用于深度學(xué)習(xí)算法加速；還推出了Tegra處理器，應(yīng)用于自動(dòng)駕駛領(lǐng)域，并提供配套的研發(fā)工具包。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀序號(hào)公司典型智能芯片發(fā)布年份技術(shù)架構(gòu)功能任務(wù)1英偉達(dá)TeslaV100TeslaA10020172020GPUGPU云端訓(xùn)練、云端推斷云端訓(xùn)練、云端推斷2英特爾NervanaNNP-TNervanaNNP-I20192019NNP-T1000NNP-I1000云端訓(xùn)練云端推斷3IBMTrueNorth2014類(lèi)腦芯片設(shè)備端推斷4谷歌TPUv4EdgeTPU20202018ASICASIC云端訓(xùn)練、云端推斷設(shè)備端推斷5蘋(píng)果A172023ARM架構(gòu)SoC設(shè)備端推斷6AMDEPYC42022Zen4架構(gòu)云端推斷7ARMARMCortex-M55ARMEthos-U5520202020ARMHeliummicroNPU設(shè)備端推斷設(shè)備端推斷8高通驍龍8Gen2CloudAI10020222020ARM架構(gòu)SoCASIC設(shè)備端推斷云端推斷9三星Exynos22002022ARM架構(gòu)SoC設(shè)備端推斷10賽靈思VersalACAP2019SoC云端推斷等表3-3不同技術(shù)架構(gòu)的智能芯片對(duì)比SoC(SystemonChip?)稱(chēng)為系統(tǒng)級(jí)芯片，也稱(chēng)片上系統(tǒng)，是一個(gè)產(chǎn)品，是一個(gè)有專(zhuān)用目標(biāo)的集成電路，其中包含完整系統(tǒng)并有嵌入軟件的全部?jī)?nèi)容3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀1.

傳統(tǒng)芯片企業(yè)在人工智能芯片領(lǐng)域優(yōu)勢(shì)地位明顯AMD于2018年推出了RadeonInstinct系列GPU，主要應(yīng)用在數(shù)據(jù)中心、超算等人工智能算力基礎(chǔ)設(shè)施上，用于深度學(xué)習(xí)算法加速。當(dāng)前，GPU作為業(yè)界使用最為廣泛、人工智能計(jì)算最成熟的通用型芯片，成為數(shù)據(jù)中心、超算等大型算力設(shè)施的首選，占據(jù)了人工智能芯片的主要市場(chǎng)份額。在效率和場(chǎng)景應(yīng)用要求大幅提升和變化之前，GPU仍將是人工智能芯片領(lǐng)域的主要領(lǐng)導(dǎo)者。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀2.互聯(lián)網(wǎng)及IT巨頭紛紛加大人工智能芯片自主研發(fā)定制力度自2015年以來(lái)，谷歌、IBM、臉書(shū)（Facebook）、微軟、蘋(píng)果、亞馬遜等國(guó)際互聯(lián)網(wǎng)界及IT界巨頭紛紛跨界研發(fā)人工智能芯片，力圖突破算力瓶頸，并把核心部件掌握在自己手中。谷歌公司于2016年發(fā)布了專(zhuān)門(mén)針對(duì)開(kāi)源框架TensorFlow開(kāi)發(fā)的芯片TPU，并幫助AlphaGo擊敗李世石；近幾年，谷歌公司還推出了可在GoogleCloudPlatform中使用的云端芯片CloudTPU，以及設(shè)備端推斷芯片EdgeTPU，以打造閉環(huán)生態(tài)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀2.互聯(lián)網(wǎng)及IT巨頭紛紛加大人工智能芯片自主研發(fā)定制力度微軟公司于2017年發(fā)布了基于FPGA芯片組建的ProjectBrainwave低時(shí)延深度學(xué)習(xí)系統(tǒng)，以使微軟公司的各種服務(wù)可以更迅速地支持人工智能功能。2018年，亞馬遜公司發(fā)布了高性能推斷芯片AWSInferentia，該芯片支持TensorFlow、Caffe2等主流框架。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國(guó)內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段目前，在CPU、GPU等高端通用芯片領(lǐng)域，我國(guó)的設(shè)計(jì)能力與國(guó)外先進(jìn)水平仍然差距較大，部分自主研發(fā)芯片采用了ARM架構(gòu)等國(guó)外成熟芯片架構(gòu)和IP核等進(jìn)行設(shè)計(jì)。隨著人工智能技術(shù)大規(guī)模應(yīng)用于金融、政務(wù)、自動(dòng)駕駛、智能家居、安防等領(lǐng)域，促進(jìn)了各類(lèi)專(zhuān)用人工智能芯片的發(fā)展，我國(guó)的一些初創(chuàng)型企業(yè)，如寒武紀(jì)、地平線、云天勵(lì)飛、深鑒科技等已經(jīng)開(kāi)始在人工智能芯片領(lǐng)域有所建樹(shù)。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國(guó)內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段我國(guó)人工智能芯片企業(yè)基本都圍繞設(shè)備端的語(yǔ)音或視覺(jué)芯片進(jìn)行開(kāi)發(fā)，從事云端芯片研發(fā)，尤其是云端訓(xùn)練芯片的企業(yè)較少，僅華為、百度等公司有產(chǎn)品推出，我國(guó)云端芯片與國(guó)外技術(shù)水平差距仍然較大。此外，我國(guó)還尚未形成有影響力的“芯片—算法—平臺(tái)—應(yīng)用—生態(tài)”的產(chǎn)業(yè)生態(tài)環(huán)境，企業(yè)多熱衷于追逐市場(chǎng)熱點(diǎn)，缺乏基礎(chǔ)技術(shù)積累，研發(fā)后勁不足。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀3.國(guó)內(nèi)人工智能芯片行業(yè)發(fā)展迅猛，但仍處在起步階段3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類(lèi)腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢(shì)IBM公司率先在類(lèi)腦芯片領(lǐng)域取得突破，2014年推出了TrueNorth類(lèi)腦芯片，該芯片采用28nm工藝，集成了54億個(gè)晶體管，包括4096個(gè)內(nèi)核、100萬(wàn)個(gè)神經(jīng)元和2.56億個(gè)神經(jīng)突觸。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類(lèi)腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢(shì)2019年，清華大學(xué)發(fā)布了其自主研發(fā)的類(lèi)腦芯片“天機(jī)芯”，該芯片使用28nm工藝，包含約40000個(gè)神經(jīng)元和1000萬(wàn)個(gè)突觸，支持同時(shí)運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及神經(jīng)模態(tài)脈沖神經(jīng)網(wǎng)絡(luò)等多種神經(jīng)網(wǎng)絡(luò)，是全球首款既能支持脈沖神經(jīng)網(wǎng)絡(luò)又可以支持人工神經(jīng)網(wǎng)絡(luò)的異構(gòu)融合類(lèi)腦計(jì)算芯片。“天機(jī)芯”還登上了世界頂級(jí)期刊《Nature》封面。3.2

智能芯片第3章人工智能軟硬件平臺(tái)3.2.4智能芯片產(chǎn)業(yè)發(fā)展現(xiàn)狀4.類(lèi)腦芯片領(lǐng)域呈現(xiàn)異軍突起之勢(shì)上海西井科技公司發(fā)布的DeepSouth芯片，采用FPGA模擬神經(jīng)元以實(shí)現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)的工作方式，其包含約5000萬(wàn)個(gè)神經(jīng)元和高達(dá)50多億個(gè)神經(jīng)突觸，可以直接在芯片上完成計(jì)算。浙江大學(xué)與杭州電子科技大學(xué)共同研發(fā)了“達(dá)爾文”芯片，該芯片集成了500萬(wàn)個(gè)晶體管，包含2048個(gè)硅材質(zhì)的仿生神經(jīng)元和約400萬(wàn)個(gè)神經(jīng)突觸，可從外界接收并累積刺激，從而產(chǎn)生脈沖信號(hào)，并處理和傳遞信息。第三章人工智能軟硬件平臺(tái)3.1芯片是人工智能的算力基礎(chǔ)3.2智能芯片3.3人工智能開(kāi)發(fā)框架高職高專(zhuān)人工智能通識(shí)課規(guī)劃教材3.4本章實(shí)訓(xùn)3.5拓展知識(shí)3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.1開(kāi)發(fā)框架的作用隨著計(jì)算機(jī)技術(shù)的發(fā)展和應(yīng)用范圍的不斷延伸，作為計(jì)算機(jī)靈魂的軟件系統(tǒng)的規(guī)模也在不斷擴(kuò)大，并且其結(jié)構(gòu)越來(lái)越復(fù)雜，代碼越來(lái)越冗長(zhǎng)，幾萬(wàn)、幾十萬(wàn)甚至幾百萬(wàn)行代碼的軟件系統(tǒng)比比皆是。為了解決這些問(wèn)題，系統(tǒng)開(kāi)發(fā)者在軟件開(kāi)發(fā)過(guò)程中，將基礎(chǔ)代碼進(jìn)行封裝，以形成模塊化的代碼，并提供相應(yīng)的應(yīng)用程序編程接口（ApplicationProgrammingInterface，API），其他開(kāi)發(fā)者在軟件開(kāi)發(fā)過(guò)程中直接調(diào)用API，不必再考慮太多底層功能的操作，并可以在此基礎(chǔ)上進(jìn)行后續(xù)的軟件開(kāi)發(fā)設(shè)計(jì)。這種在軟件開(kāi)發(fā)中對(duì)通用功能進(jìn)行封裝并且可重用的設(shè)計(jì)就是開(kāi)發(fā)框架。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.1開(kāi)發(fā)框架的作用開(kāi)發(fā)框架在軟件開(kāi)發(fā)的過(guò)程中起著不可或缺的作用。開(kāi)發(fā)框架能夠屏蔽掉底層繁瑣的開(kāi)發(fā)細(xì)節(jié)，給開(kāi)發(fā)者提供簡(jiǎn)單的開(kāi)發(fā)接口，在軟件開(kāi)發(fā)時(shí)只需調(diào)用框架就可以實(shí)現(xiàn)一定的功能。由于開(kāi)發(fā)框架具有可復(fù)用特點(diǎn)，利用開(kāi)發(fā)框架實(shí)現(xiàn)軟件開(kāi)發(fā)時(shí)，不僅編程過(guò)程容易，而且軟件的可讀性很好，極大地降低了軟件開(kāi)發(fā)的復(fù)雜度，提高了開(kāi)發(fā)效率與軟件質(zhì)量。人工智能軟件比傳統(tǒng)的計(jì)算機(jī)軟件更加復(fù)雜，但更具智能性。人工智能的智能化主要依靠算法來(lái)實(shí)現(xiàn)。由于人工智能算法具有復(fù)雜性，因此在構(gòu)建開(kāi)發(fā)框架之前，只有具有專(zhuān)業(yè)知識(shí)的人才具備開(kāi)發(fā)人工智能軟件的能力，一般的軟件開(kāi)發(fā)人員進(jìn)行人工智能軟件開(kāi)發(fā)是一件望塵莫及的事。開(kāi)發(fā)框架的出現(xiàn)，為人工智能開(kāi)發(fā)提供了智能單元，實(shí)現(xiàn)了對(duì)人工智能算法的封裝、數(shù)據(jù)的調(diào)用以及計(jì)算資源的調(diào)度，提升了開(kāi)發(fā)效率，極大地降低了人工智能系統(tǒng)開(kāi)發(fā)的復(fù)雜性。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.2開(kāi)發(fā)框架的核心特征人工智能開(kāi)發(fā)框架的核心特征有如下幾點(diǎn)。（1）規(guī)范化。一個(gè)良好的開(kāi)發(fā)框架應(yīng)嚴(yán)格執(zhí)行代碼開(kāi)發(fā)規(guī)范要求，便于使用者理解與掌握。（2）代碼模塊化。開(kāi)發(fā)框架一般都有統(tǒng)一的代碼風(fēng)格，同一分層的不同類(lèi)代碼，具有相似的模板化結(jié)構(gòu)，可以使用模板工具統(tǒng)一生成，從而可以減少大量重復(fù)代碼的編寫(xiě)。（3）可重用性。無(wú)須對(duì)開(kāi)發(fā)框架進(jìn)行修改或改動(dòng)，就可以在不同環(huán)境下重復(fù)使用。（4）封裝性（高內(nèi)聚）。開(kāi)發(fā)人員將各種需要的功能代碼進(jìn)行集成，調(diào)用時(shí)不需要考慮功能的實(shí)現(xiàn)細(xì)節(jié)，只需要關(guān)注功能的實(shí)現(xiàn)結(jié)果。（5）可維護(hù)性。對(duì)一個(gè)成熟的開(kāi)發(fā)框架進(jìn)行二次開(kāi)發(fā)或維護(hù)時(shí)，添加、修改或刪除某個(gè)功能不會(huì)對(duì)整體框架產(chǎn)生不利影響。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架使用人工智能開(kāi)發(fā)框架能夠降低人工智能系統(tǒng)開(kāi)發(fā)的復(fù)雜性。人工智能開(kāi)發(fā)人員對(duì)人工智能開(kāi)發(fā)框架的依賴(lài)程度非常高，人工智能開(kāi)發(fā)框架在人工智能行業(yè)處于核心地位。幾乎所有人工智能項(xiàng)目，包括商業(yè)和學(xué)術(shù)項(xiàng)目，都是建立在一個(gè)或多個(gè)開(kāi)源框架之上的，例如TensorFlow、PyTorch、MXNet、MindSpore、PaddlePaddle等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架1.TensorFlowTensorFlow是由GoogleBrain團(tuán)隊(duì)開(kāi)發(fā)的一款開(kāi)源的機(jī)器學(xué)習(xí)開(kāi)發(fā)框架，是目前廣泛應(yīng)用于各種深度學(xué)習(xí)領(lǐng)域的重要工具之一。此開(kāi)發(fā)框架可以在任何CPU、GPU、TPU，以及任何桌面或邊緣設(shè)備上進(jìn)行計(jì)算。TensorFlow由Tensor（張量）和Flow（流）組成：Tensor代表N維數(shù)組，F(xiàn)low代表基于數(shù)據(jù)流圖的計(jì)算，TensorFlow指的是張量從數(shù)量流圖的一端流動(dòng)到另一端的計(jì)算過(guò)程。TensorFlow可以處理各種不同類(lèi)型的數(shù)據(jù)，如圖像、語(yǔ)音、文本等，具有很高的靈活性和可擴(kuò)展性。TensorFlow使用基于數(shù)據(jù)流圖的計(jì)算模型來(lái)構(gòu)建機(jī)器學(xué)習(xí)模型，用戶(hù)可以通過(guò)在數(shù)據(jù)流圖上定義操作和變量來(lái)搭建自己的神經(jīng)網(wǎng)絡(luò)模型，同時(shí)，TensorFlow提供了大量的優(yōu)化器、損失函數(shù)、數(shù)據(jù)處理工具等，使得用戶(hù)可以方便地進(jìn)行模型訓(xùn)練和優(yōu)化。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架1.TensorFlow優(yōu)點(diǎn)：（1）TensorFlow具有廣泛的應(yīng)用領(lǐng)域，可以應(yīng)用于自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別等多個(gè)領(lǐng)域。（2）TensorFlow擁有豐富的文檔和大量的教程，使得開(kāi)發(fā)者易于上手。（3）TensorFlow可以靈活地運(yùn)行在多種硬件平臺(tái)上，包括CPU、GPU和TPU等。（4）TensorFlow提供了高層次的API，使得開(kāi)發(fā)者可以快速地構(gòu)建、訓(xùn)練和部署深度學(xué)習(xí)模型。缺點(diǎn)：（1）TensorFlow的學(xué)習(xí)曲線較為陡峭，需要花費(fèi)較長(zhǎng)時(shí)間學(xué)習(xí)。（2）TensorFlow的部分功能需要使用較為復(fù)雜的API實(shí)現(xiàn)，需要較高的技能水平。（3）在某些任務(wù)上，TensorFlow的性能不如其他一些深度學(xué)習(xí)框架，如PyTorch。（4）TensorFlow有時(shí)候會(huì)因?yàn)榘姹靖碌仍驅(qū)е麓a不兼容。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架2.PyTorchPyTorch是一個(gè)由臉書(shū)公司（Facebook）開(kāi)發(fā)的一款開(kāi)源深度學(xué)習(xí)框架，它提供了一種靈活的用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法。PyTorch支持多種編程語(yǔ)言，如Python、C++和Java，可以在多種硬件平臺(tái)上運(yùn)行，如CPU、GPU和TPU。可以支持大規(guī)模的數(shù)據(jù)集、自動(dòng)微調(diào)、多種深度學(xué)習(xí)模型，可以提供高效的計(jì)算性能等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架2.PyTorch優(yōu)點(diǎn)：（1）靈活性高。PyTorch的動(dòng)態(tài)圖機(jī)制使得模型構(gòu)建非常靈活。（2）易于使用。PyTorch的API設(shè)計(jì)非常直觀，易于上手和使用。（3）優(yōu)秀的性能。PyTorch的計(jì)算圖構(gòu)建方式使得它可以高效地在GPU上運(yùn)行。（4）強(qiáng)大的社區(qū)支持。由于PyTorch被廣泛使用，因此有一個(gè)龐大而活躍的社區(qū)，該社區(qū)內(nèi)提供了大量的文檔、教程和示例代碼。缺點(diǎn)：（1）不夠穩(wěn)定。由于使用動(dòng)態(tài)圖機(jī)制，PyTorch在訓(xùn)練大型模型時(shí)可能會(huì)因?yàn)閮?nèi)存不足而崩潰，導(dǎo)致需要進(jìn)行更多的手動(dòng)內(nèi)存管理。（2）部署相對(duì)困難。相對(duì)于TensorFlow，PyTorch的部署相對(duì)困難，這主要是因?yàn)镻yTorch缺乏與TensorFlow相似的生產(chǎn)級(jí)別工具鏈和部署方式。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架3.MXNetMXNet是一款基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)框架，由亞馬遜公司創(chuàng)建并開(kāi)源。MXNet支持多種深度學(xué)習(xí)模型的訓(xùn)練，包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和生成對(duì)抗網(wǎng)絡(luò)（GAN）等。

MXNet擁有多種高級(jí)特性，如自動(dòng)混合精度、模型并行等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架3.MXNet優(yōu)點(diǎn)：（1）自動(dòng)混合精度訓(xùn)練。MXNet可以自動(dòng)選擇使用FP32或者混合精度FP16進(jìn)行訓(xùn)練，以提高訓(xùn)練速度并減少內(nèi)存使用。（2）動(dòng)態(tài)計(jì)算圖。MXNet的計(jì)算圖是動(dòng)態(tài)的，這使得MXNet能夠處理變長(zhǎng)序列的輸入。（3）高效的計(jì)算性能。MXNet通過(guò)MXNet庫(kù)的多語(yǔ)言支持，使用CUDA、OpenMP和MKL等高效的計(jì)算庫(kù)進(jìn)行計(jì)算。缺點(diǎn)：（1）前沿功能不夠發(fā)達(dá)。MXNet的前沿功能可能不如TensorFlow和PyTorch發(fā)達(dá)，因此一些最新的技術(shù)和模型可能無(wú)法在MXNet上使用。（2）模型性能較弱。在某些特定的任務(wù)上，MXNet的性能可能比TensorFlow和PyTorch差一些，但是這種情況很少出現(xiàn)。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架4.MindSporeMindSpore(昇思)是華為公司推出的一款開(kāi)源AI計(jì)算框架，在國(guó)產(chǎn)框架中認(rèn)知度名列第一。MindSpore具備全方位能力，既能提供特定的能力（如開(kāi)發(fā)大模型，進(jìn)行科學(xué)計(jì)算），又能實(shí)現(xiàn)全生命周期的開(kāi)發(fā)（端到端開(kāi)發(fā)，從訓(xùn)練到部署）。MindSpore是一個(gè)全場(chǎng)景深度學(xué)習(xí)框架，旨在實(shí)現(xiàn)易開(kāi)發(fā)、高效執(zhí)行、全場(chǎng)景統(tǒng)一部署三大目標(biāo)。其中，易開(kāi)發(fā)表現(xiàn)為API友好、調(diào)試難度低；高效執(zhí)行包括計(jì)算效率、數(shù)據(jù)預(yù)處理效率和分布式訓(xùn)練效率（運(yùn)行態(tài)）；全場(chǎng)景是指框架同時(shí)支持云、邊緣及端側(cè)場(chǎng)景。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)MindSpore總體架構(gòu)3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架4.MindSpore(1)ModelZoo（模型庫(kù)）：提供可用的深度學(xué)習(xí)算法網(wǎng)絡(luò)。(2)MindSporeExtend（擴(kuò)展庫(kù)）：MindSpore的領(lǐng)域擴(kuò)展庫(kù)，支持拓展新領(lǐng)域場(chǎng)景，如強(qiáng)化學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)（GNN）、深度概率編程等。(3)MindSporeScience（科學(xué)計(jì)算）：基于MindSpore架構(gòu)打造的科學(xué)計(jì)算行業(yè)套件，如電磁仿真、分子模擬、量子計(jì)算等，加以加速科學(xué)行業(yè)應(yīng)用開(kāi)發(fā)。(4)MindExpression（全場(chǎng)景統(tǒng)一API）：基于Python的前端表達(dá)與編程接口，支持兩個(gè)融合（函數(shù)/OOP編程范式融合、AI＋數(shù)值計(jì)算表達(dá)融合）以及兩個(gè)統(tǒng)一（動(dòng)靜表達(dá)統(tǒng)一、單機(jī)分布式表達(dá)統(tǒng)一）。(5)第三方前端：支持第三方多語(yǔ)言前端表達(dá)，未來(lái)計(jì)劃陸續(xù)提供C/C++、Java等第三方前端的對(duì)接工作，MindSpore也在考慮自研編程語(yǔ)言前端——倉(cāng)頡。同時(shí)，內(nèi)部也在做與Julia（面向科學(xué)計(jì)算的高性能動(dòng)態(tài)編程語(yǔ)言）等第三方前端的對(duì)接工作，引入更多的第三方生態(tài)。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架4.MindSpore(6)MindSporeData（數(shù)據(jù)處理層）：提供高效的數(shù)據(jù)處理、常用數(shù)據(jù)集加載等功能和編程接口。(7)MindCompiler（AI編譯器）：圖層的核心編譯器，主要基于端云統(tǒng)一的MindIR（中間表達(dá)層）實(shí)現(xiàn)三大功能，包括硬件無(wú)關(guān)的優(yōu)化（類(lèi)型推導(dǎo)、自動(dòng)微分等）、硬件相關(guān)優(yōu)化（自動(dòng)并行、二階優(yōu)化、內(nèi)存優(yōu)化、圖算融合、流水線執(zhí)行等）、部署推理相關(guān)的優(yōu)化（量化、剪枝、蒸餾等）。(8)MindRT（全場(chǎng)景運(yùn)行時(shí)系統(tǒng)）：MindSpore的運(yùn)行時(shí)系統(tǒng)，包含云側(cè)運(yùn)行時(shí)系統(tǒng)、端側(cè)以及更小IoT（物聯(lián)網(wǎng)）的輕量化運(yùn)行時(shí)系統(tǒng)。(9)MindSporeInsight（可視化調(diào)試調(diào)優(yōu)工具）：MindSpore的可視化調(diào)試調(diào)優(yōu)工具，能夠可視化地查看網(wǎng)絡(luò)調(diào)試、性能調(diào)優(yōu)、精度調(diào)優(yōu)等。(10)MindSporeArmour（安全增強(qiáng)庫(kù)）：面向企業(yè)級(jí)運(yùn)用時(shí)，提供安全與隱私保護(hù)相關(guān)增強(qiáng)功能，如對(duì)抗魯棒性、模型安全測(cè)試、差分隱私訓(xùn)練、隱私泄露風(fēng)險(xiǎn)評(píng)估等。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架4.MindSpore優(yōu)點(diǎn)：（1）易于使用。MindSpore提供了豐富的API和內(nèi)置算法，用戶(hù)可以快速上手并進(jìn)行模型訓(xùn)練和推理。（2）支持多種硬件。MindSpore支持多種硬件加速器，包括華為自研的昇騰AI加速器，可以在不同的硬件平臺(tái)上運(yùn)行模型，從而提高模型的效率和性能。（3）強(qiáng)大的分布式訓(xùn)練支持。MindSpore可以實(shí)現(xiàn)分布式模型訓(xùn)練，支持多種分布式訓(xùn)練策略和參數(shù)服務(wù)器，從而提高了訓(xùn)練速度和效率。缺點(diǎn)：（1）生態(tài)相對(duì)較小。與TensorFlow和PyTorch相比，MindSpore的生態(tài)相對(duì)較小，社區(qū)支持和第三方庫(kù)相對(duì)較少。（2）文檔相對(duì)不足。MindSpore的文檔相對(duì)不足，對(duì)于初學(xué)者來(lái)說(shuō)，在使用時(shí)會(huì)有一些困難。3.3

人工智能開(kāi)發(fā)框架第3章人工智能軟硬件平臺(tái)3.3.3典型的人工智能開(kāi)發(fā)框架5.PaddlePaddlePaddlePaddle（飛槳）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國(guó)首款自主研發(fā)、功能完備、開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件和豐富的工具組件于一體。3.3

人