人工智能芯片技術(shù)的發(fā)展與應(yīng)用課件

1、人工智能芯片技術(shù)的發(fā)展與應(yīng)用我們從這里來在56億年前的寒武紀(jì)，大量較高等物種出現(xiàn)，物種多樣性大幅提升。 這個(gè)現(xiàn)象被稱為寒武紀(jì)物種大爆發(fā)。先進(jìn)的智能技術(shù)已呈大爆發(fā)之勢(shì)，我們希望為智能技術(shù)的大爆發(fā)提供核 心物質(zhì)載體。Cambricon = Cambrian + Silicon從1950年至今，人工智能歷經(jīng)三次發(fā)展熱潮，從誕生到機(jī)器學(xué)習(xí)再到深度學(xué)習(xí)智能第三次熱潮深度學(xué)習(xí)基本理論框 架得到驗(yàn)證19701990感知機(jī)模型 被提出神經(jīng)網(wǎng)絡(luò)：離散Hopfield網(wǎng)絡(luò)2013深度學(xué)習(xí)算法在語 音和視覺識(shí)別上取 得突破達(dá)特茅斯 會(huì)議195619822006寒武紀(jì)萌芽創(chuàng)始團(tuán)隊(duì)成員開始從 事處理器架構(gòu)和人工能的交叉

2、研究2008深度學(xué)習(xí)的崛起與AI的第三次熱潮1956 AI誕生1982第一次熱潮神經(jīng)網(wǎng)絡(luò)相關(guān)基礎(chǔ) 理論被提出1957 第一次熱潮第二次熱潮 算法應(yīng)用升級(jí)1986 第二次熱潮2006 第三次熱潮第一次熱潮第一次低谷ARTIFICIAL INTELLIGENCE 萌芽期第二次熱潮第二次低谷MACHINE LEARNING 突破期第三次熱潮DEEP LEARNING 發(fā)展期“深度學(xué)習(xí)“神 經(jīng)網(wǎng)絡(luò)使得AI性 能大幅提升BP算法出現(xiàn)核心要素核心產(chǎn)品技術(shù)人工智能發(fā)展三大要素資源突破：大數(shù)據(jù)不斷被收集的 大量數(shù)據(jù)數(shù)據(jù)集結(jié)構(gòu)化標(biāo)定數(shù)據(jù)量算法突破：深度學(xué)習(xí)不斷優(yōu)化的 人工智能算法FPGAASIC算力突破：智能芯

3、片高性能芯片組成的 計(jì)算能力CPUGPU人工智能的三大要素智能芯片算法大數(shù)據(jù)各類終端應(yīng)用結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)文本為主網(wǎng)絡(luò)日志、音頻、視 頻、圖像、地理位置 等等上游中游下游深度學(xué)習(xí)機(jī)器學(xué)習(xí)。人工智能為什么需要專門的處理器？CPU-通用計(jì)算GPU-圖形計(jì)算MLU-智能計(jì)算智能終端處理器IPVS智能云服務(wù)器芯片感知智能 增強(qiáng)學(xué)習(xí)認(rèn)知智能 決策判斷虛擬場(chǎng)景理解 人機(jī)交互智能終端，VR、AR設(shè)備機(jī)器人、無人駕駛互聯(lián)網(wǎng)、數(shù)據(jù)中心是的先行者智能創(chuàng)新的物質(zhì)載體：智能芯片DianNaoDaDianNaoShiDianNaoPuDianNaoCambricon-XCambriconTPUCnvlutinRed

4、EyeStripesEIESCNNScaleDeepPRIMEFused CNNEyerissFlexFlowPipelayerBit-Pragmatic前期學(xué)術(shù)工作DianNao, 2014201420152016*數(shù)據(jù)from ISCA，HPCA，ASPLOS，MICRO，20102017DianNao系列學(xué)術(shù)研究由來自法國(guó)Inria等機(jī)構(gòu)的國(guó)際學(xué)術(shù)合作者共同完成2017寒武紀(jì)：智能芯片的先行者人工智能發(fā)展態(tài)勢(shì)端云聯(lián)系親密化云端承載訓(xùn)練任務(wù)和高吞吐量的 復(fù)雜計(jì)算推理任務(wù)終端承載需快速判斷實(shí)時(shí)響應(yīng)的 推理任務(wù)終端設(shè)備智能化5G及物聯(lián)網(wǎng)技術(shù)推動(dòng)嵌入式AI技 術(shù)發(fā)展智能終端獨(dú)立實(shí)時(shí)完成環(huán)境感知、

5、 人機(jī)交互、決策控制等功能AIIoTCPUGPUFPGAASIC5G云+邊緣計(jì)算新的計(jì)算架構(gòu)+新的部署模式承擔(dān)新的工作負(fù)載需求未來的趨勢(shì)云 . 端變化更大量的 數(shù)據(jù)高速的信 息傳輸AI算力的 大幅提升大數(shù)據(jù)分析處理需求增長(zhǎng)終端設(shè)備更加輕便和智能 關(guān)鍵業(yè)務(wù)型應(yīng)用飛速發(fā)展未來的趨勢(shì)：智能云數(shù)據(jù)中心1X100XAI芯片賦能云端訓(xùn)練和推理，數(shù)據(jù)中心智能化升級(jí)Speed Up20X500025050Servers(pcs)CPU onlyHPCAI智能手機(jī)、智能音箱、智能可穿 戴設(shè)備等終端實(shí)現(xiàn)多樣化的智能應(yīng)用，增 強(qiáng)客戶體驗(yàn)惠及民生智能移動(dòng)終端關(guān)鍵業(yè)務(wù)應(yīng)用無人駕駛，無人機(jī)等終端實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)處理與零誤差

6、響應(yīng)，保障生命安全智能物聯(lián)網(wǎng)智能家居、智慧城市等終端實(shí)現(xiàn)數(shù)據(jù)本地化處理，保護(hù)隱 私數(shù)據(jù)的安全性在智能化同時(shí) 保證數(shù)據(jù)的安全性實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)處理 與零誤差響應(yīng)讓智能便利在生活中 更加觸手可及未來的趨勢(shì)：萬物互聯(lián)的智慧化終端5G+物聯(lián)網(wǎng)推動(dòng)了智能終端的迅速發(fā)展普及自動(dòng)駕駛移動(dòng)消費(fèi)電子移動(dòng)電話AR/VR及娛樂設(shè)備智能可穿戴設(shè)備智慧城市智能視覺設(shè)備其他生物識(shí)別設(shè)備數(shù)據(jù)中心及云智能物聯(lián)網(wǎng)智能家居智慧農(nóng)牧工業(yè)物聯(lián)網(wǎng)5G+物聯(lián)網(wǎng)+海量數(shù)據(jù)零差錯(cuò)型關(guān)鍵應(yīng)用云/關(guān)鍵/高性能計(jì)算1 TOPS1-8 TOPS4-20 TOPS車載嵌入式設(shè)備邊緣計(jì)算設(shè)備20-200 TOPS智能芯片適用千廣泛應(yīng)用場(chǎng)景云端超大規(guī)模數(shù)據(jù)中

7、心邊緣端小型數(shù)據(jù)中心POPS-EOPS分析和抽取應(yīng) 用負(fù)載特征設(shè)計(jì)靈活 的指令集設(shè)計(jì)可擴(kuò)展性 強(qiáng)、高效的架構(gòu)提供靈活的 運(yùn)算器方案支持主流 編程框架在大規(guī)模商用中 得到反饋和修正智能芯片如何做到通用和好用？智能處理器設(shè)計(jì)的三大矛盾有限規(guī)模的硬件 vs 任意規(guī)模的算法 結(jié)構(gòu)固定的硬件 vs 千變?nèi)f化的算法 能耗受限的硬件 vs 計(jì)算量大的算法傳統(tǒng)ASIC(將一個(gè)特定算法硬件化)的思路 無法解決深度學(xué)習(xí)處理的需求傳統(tǒng)思路片外內(nèi)存算法硬件運(yùn)算單元和 算法神經(jīng)元一一對(duì)應(yīng)把數(shù)據(jù)從內(nèi)存搬運(yùn)到 硬件運(yùn)算單元，甚至 比運(yùn)算本身更耗能量硬件運(yùn)算單元數(shù)量稍微一多， 訪存帶寬就供應(yīng)不上數(shù)據(jù)對(duì)硬件運(yùn)算單元分時(shí)復(fù)用片外

8、內(nèi)存片上存儲(chǔ)片上存儲(chǔ)算法小尺度但支持大規(guī)模神經(jīng)網(wǎng)絡(luò)速度：把訪存帶寬用起來，盡可能提高性能能耗：通過優(yōu)化片上存儲(chǔ)層次盡量減少訪存次數(shù)寒武紀(jì)思路有限規(guī)模的硬件 vs 任意規(guī)模的算法單芯片只能集成 數(shù)千硬件神經(jīng)元通過對(duì)硬件神經(jīng)元時(shí)分復(fù)用，可虛 擬化出千億級(jí)別超大規(guī)模神經(jīng)網(wǎng)絡(luò)Tianshi Chen, Zidong Du, Ninghui Sun, Jia Wang, Chengyong Wu, Yunji Chen, and Olivier Temam, DianNao: A Small- Footprint High-Throughput Accelerator for Ubiquitous Ma

9、chine-Learning, In Proceedings of 19th International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS14), 2014. (Best Paper Award)神經(jīng)元虛擬化結(jié)構(gòu)固定的硬件 vs 千變?nèi)f化的算法設(shè)計(jì)通用智能指令集來高效處理千變?nèi)f化的智能算法抽取和提煉各種智能算法共性基本運(yùn)算FetchScalar Register FileScalarFunc.UnitoemMryL1 CacheVector Fu

10、nc. Unit (Vector DMAs)Matrix Func. Unit (Matrix DMAs)Reorder Buffer Vector Scratchpad MemoryMatrix Scratchpad MemoryIssue QueueDecodeIO InterfaceIO DMAAGUShaoli Liu, Zidong Du, Jinhua Tao, Dong Han, Tao Luo, Yuan Xie, Yunji Chen, and Tianshi Chen, Cambricon: An Instruction Set Architecture u, for Ne

11、ural Networks, In Proceedings of the 43rd ACM/IEEE International Symposium on Computer Architecture (ISCA16), 2016. (Highest Score in Peer Review)通用智能指令集Daofu Liu, Tianshi Chen, Shaoli Liu, Jinhong Zhou, Shengyuan Zhou, Olivier Temam, Xiaobing Feng, Xuehai Zhou, and Yunji Chen, PuDianNao: A Polyvale

12、nt Machine Learning Accelerator, In Proceedings of 20th International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS15), 2015.硬件架構(gòu)舉例能耗受限的硬件 vs 計(jì)算量大的算法Shijin Zhang, Zidong Du, Lei Zhang, Huiying Lan, Shaoli Liu, Ling Li, Qi Guo, Tianshi Chen, and Yunji Che

13、n, Cambricon-X: An Accelerator for Sparse Neural Networks, In Proceedings of 49th IEEE/ACM International Symposium on Microarchitecture (MICRO16), 2016.權(quán)值只存儲(chǔ)非0元素及其index信息， 可以節(jié)省存儲(chǔ)容量和訪存帶寬，index 還可用作判斷是否跳過計(jì)算的輔助信息。稀疏化包括權(quán)值稀疏化和神經(jīng)元稀疏 化，只要二者之一為0，相應(yīng)乘加運(yùn)算即可被跳過以達(dá)到加速計(jì)算的目的。稀疏化模型處理端云結(jié)合，端云一體/ 人工智能 /&/ 大數(shù)據(jù) /&/ 云計(jì)算 /

14、智能終端處理器IP以IP授權(quán)形式集成千智能手機(jī)、智能視覺設(shè)備等 終端的SoC芯片中具備超強(qiáng)的片上推理能力，完美兼顧面積、性能 與功耗智能云服務(wù)器芯片以板卡形式面向云數(shù)據(jù)中心服務(wù)器集群，提供計(jì)算加 速功能是面向深度學(xué)習(xí)/機(jī)器學(xué)習(xí)的專用處理器，適用千云端 推理+訓(xùn)練等應(yīng)用寒武紀(jì)1A世界首款終端智能專用處理器應(yīng)用千數(shù)千萬智能手機(jī)中寒武紀(jì)1H16處理器更高性能、更完備的深度學(xué)習(xí)處理器IP寒武紀(jì)1H8處理器面向計(jì)算機(jī)視覺領(lǐng)域的專用處理器IP寒武紀(jì)1M處理器面向智能駕駛的處理器IP智能終端處理器IP寒武紀(jì)MLU100智能處理卡寒武紀(jì)推出的第一款通用智能處理 卡，側(cè)重推理寒武紀(jì)MLU200智能處理卡支持訓(xùn)練和推理，側(cè)重訓(xùn)練(預(yù)計(jì)2019年上市)寒武紀(jì)智能處理卡MLU1002018年5月3日在中國(guó)上海正式發(fā)布，標(biāo)志著寒武紀(jì)已 成為中國(guó)第一家(也是世界上少數(shù)幾家)同時(shí)擁有