人工智能芯片設(shè)計第4章-人工智能與深度學(xué)習(xí)

第四章：人工智能與深度學(xué)習(xí)人工智能芯片設(shè)計ArtificialIntelligenceChipDesign2人工智能2ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning人工智能人工智能（ArtificialIntelligence，簡稱AI）是一門研究如何使機器能夠模擬和擴展人類思維方式與智能行為的科學(xué)。涵蓋了機器學(xué)習(xí)、深度學(xué)習(xí)、知識表示與推理、自然語言處理、計算機視覺、專家系統(tǒng)等眾多領(lǐng)域的研究。33ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning發(fā)展歷程44ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning到了20世紀(jì)90年代，研究者提出了一系列機器學(xué)習(xí)算法。21世紀(jì)初，GeoffreyHinto等人正式提出了深度學(xué)習(xí)這一概念。55ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning人工智能演化的其他方向強化學(xué)習(xí)聯(lián)邦學(xué)習(xí)可解釋人工智能多模態(tài)人工智能可持續(xù)和倫理人工智能6深度學(xué)習(xí)6ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning深度學(xué)習(xí)深度學(xué)習(xí)是機器學(xué)習(xí)中的一個重要分支。深度學(xué)習(xí)主要使用神經(jīng)網(wǎng)絡(luò)解決問題，由于其表現(xiàn)相比于傳統(tǒng)算法有很大的提升，深度學(xué)習(xí)逐漸成為主流。77ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning深度學(xué)習(xí)的發(fā)展歷程深度學(xué)習(xí)起源于1943年。在1949年，赫布在他的論文中提出了赫布學(xué)習(xí)規(guī)則。1958年，在前面的算法基礎(chǔ)之上，美國一名科學(xué)家提出了感知器學(xué)習(xí)。20世界90年代，其發(fā)展進(jìn)入了瓶頸期。2006年，Hinton提出了解決方案。2012年，在AlexNet使用ReLU作為激活函數(shù)，解決了神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中梯度消失的問題。8卷積神經(jīng)網(wǎng)絡(luò)8ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

MP神經(jīng)元結(jié)構(gòu)模型 99ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning算法特征局部特征連接相比于全連接網(wǎng)絡(luò)，局部連接網(wǎng)絡(luò)權(quán)重數(shù)量和計算量也獲得了成倍的降低全連接局部連接1010ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning二維圖像中的卷積神經(jīng)網(wǎng)絡(luò)局部連接1111ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning權(quán)值共享下圖為3×3的卷積核在5×5的輸入特征圖上滑動進(jìn)行卷積運算。當(dāng)卷積核滑動到輸入特征圖的其他位置時，連接權(quán)重保持不變，這種特性被稱為權(quán)值共享。二維卷積運算過程1212ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning降采樣（池化）降采樣（池化）極大值池化（Maxpooling）平均值池化（Averagepooling）等等1313ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning降采樣（池化）圖中池化窗尺寸為2×2，步長為2，通過池化操作，將左圖轉(zhuǎn)化為右圖表示。極大值池化（Maxpooling）過程1414ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)卷積層激活函數(shù)層池化層dropout層分類器1515ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)1616ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)的加速運算卷積神經(jīng)網(wǎng)絡(luò)的加速算法（1）網(wǎng)絡(luò)稀疏化網(wǎng)絡(luò)稀疏化處理可以顯著降低參數(shù)規(guī)模，下圖為一種典型的深度壓縮方法。1717ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning1818ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

1919ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

2020ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning

2121ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning（3）輕量級神經(jīng)網(wǎng)絡(luò)模型典型代表：MobileNet，ShuffleNet，ShuffleNetV2等2222ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)硬件加速器Google公司針對神經(jīng)網(wǎng)絡(luò)設(shè)計的高性能加速運算處理器TPU的體系結(jié)構(gòu)如圖所示：TPU體系結(jié)構(gòu)2323ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)硬件加速器TPU的運算核心是矩陣乘法單元?？刂凭€路部分…………＋＋＋＋結(jié)束數(shù)據(jù)部分和矩陣乘法單元工作原理2424ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning卷積神經(jīng)網(wǎng)絡(luò)硬件加速器核心問題是如何匹配計算吞吐量和FPGA平臺提供的內(nèi)存帶寬。加速器主要包括處理單元（Processingelement，PE）、片上緩存、片外存儲以及片上/片外交互單元組成。計算資源……處理單元處理單元-1處理單元處理單元-2處理單元處理單元-n互聯(lián)片上緩存緩沖區(qū)1緩沖區(qū)2片外存儲片上/片外交互單元2525ArtificialIntelligenceChipDesign,

Lecture

04:ArtificialIntelligenceAndDeepLearning運算引擎卷積神經(jīng)網(wǎng)絡(luò)硬件加速器基于數(shù)據(jù)間的關(guān)系可以確定出PE與緩存區(qū)的組織關(guān)系，如圖所示：2626ArtificialIntelligenceChipDesign,

Lecture

04:A