EdgeBoard嵌入式AI解決方案中NHWC數(shù)據(jù)格式的性能分析-設(shè)計(jì)應(yīng)用

精品文檔-下載后可編輯EdgeBoard嵌入式AI解決方案中NHWC數(shù)據(jù)格式的性能分析-設(shè)計(jì)應(yīng)用EdgeBoard簡(jiǎn)介

EdgeBoard是百度基于FPGA芯片研發(fā)的嵌入式AI解決方案，高性能的加速引擎可提供3.6Tops的強(qiáng)大算力，完整的嵌入式參考設(shè)計(jì)使硬件集成輕松便捷。目前EdgeBoard提供了FPGA軟核和計(jì)算卡模塊兩種形態(tài)供硬件集成，面向項(xiàng)目部署也提供了抓拍機(jī)和計(jì)算盒兩種基礎(chǔ)硬件產(chǎn)品。EdgeBoard深度兼容百度大腦模型資源與工具平臺(tái)（EasyDL/AIStudio），極大降低了開(kāi)發(fā)驗(yàn)證、產(chǎn)品集成、科研教學(xué)、項(xiàng)目部署門(mén)檻，適用于安防監(jiān)控、工業(yè)質(zhì)檢、醫(yī)療診斷、農(nóng)作物生長(zhǎng)監(jiān)控、無(wú)人駕駛、無(wú)人零售等場(chǎng)景

數(shù)據(jù)格式的邏輯表示與物理表示

深度學(xué)習(xí)中經(jīng)常會(huì)使用NCHW、NHWC和CHWN數(shù)據(jù)格式來(lái)表示數(shù)據(jù)，其中N、H、W、C定義如下：

N：一個(gè)batch內(nèi)圖片的數(shù)量，處理的圖片數(shù)量

H：垂直高度方向的像素個(gè)數(shù)，圖片的高

W：水平寬度方向的像素個(gè)數(shù)，圖片的寬

C：通道數(shù)。例如灰度圖像為1，彩色RGB圖像為3

下圖表示N=2，C=16，H=5，W=4的數(shù)據(jù)排列，其中左圖是邏輯表示，右圖是物理表示。

EdgeBoard嵌入式AI解決方案中NHWC數(shù)據(jù)格式的性能分析

以NCHW為例，其邏輯表示如左上圖，n=0時(shí)，三個(gè)坐標(biāo)分別標(biāo)識(shí)了C、H、W的方向。個(gè)元素是000，第二個(gè)元素沿著w方向，即001，隨后是002，003;然后沿H方向，即004，005，006，007.。.如此反復(fù)到019后;再沿C方向，020，021，022。..。.一直到319;再沿N方向，也就是n=1，然后重復(fù)W方向，H方向和C方向。

根據(jù)以上NCHW的劃分，物理地址表示定義如下（如右上圖）：

［a:0］表示W(wǎng)方向，在一行內(nèi)從左到右

［a:1］表示從H方向，一行一行的從上到下

［a:2］表示在C方向，從一個(gè)通道到另外一個(gè)通道

［a:3］表示從N方向，從n=0到n=1

終NCHW數(shù)據(jù)格式的物理分布（在內(nèi)存中的一維表示）表示為000001002003004。..018019020。..318319320。..。..637638639?？梢岳斫獬砂岩粋€(gè)通道的所有像素一行一行地排列起來(lái)，然后排下一個(gè)通道，即n=0排列完后再排n=1。

同理NHWC表示是先沿C方向，再沿W方向，再沿H方向，沿N方向。所以在內(nèi)存的存放順序是，個(gè)元素是000，第二個(gè)沿C方向，即020，040，060。..一直到300，之后切換到W方向，001021041061.。.301.。到了303后再切換到H方向，即004，024。..304，到了319，再切換到N方向，320，340。..一直到639。

［b:0］表示C方向，個(gè)像素從一個(gè)通道到另外一個(gè)通道

［b:1］表示從W方向，一個(gè)通道個(gè)像素回到個(gè)通道的第二個(gè)像素

［b:2］表示在H方向，一個(gè)通道行一個(gè)像素回到個(gè)通道的第二行的個(gè)像素

［b:3］表示從N方向，從n=0到n=1

NHWC其物理表示為000020。..300001021。..283303004。..319320340。..。..339359。..639?？梢岳斫獬砂岩粋€(gè)batch的一個(gè)像素的所有通道先排列起來(lái)，然后排下一個(gè)像素。n=0排列完成后，再排n=1。

同理CHWN其邏輯表示，先沿N方向，再沿W方向，再沿H方向，是沿C方向。

［c:0］表示從N方向，從n=0的個(gè)像素到n=1的個(gè)像素

［c:1］表示從N方向，從n=1的個(gè)像素回到n=0的第二個(gè)像素

［c:2］表示在H方向，從n=1的行一個(gè)像素回到n=0的第二行個(gè)像素

［c:3］表示從N方向，從n=1的個(gè)通道一個(gè)像素回到n=0的第二個(gè)通道個(gè)像素

CHWN其物理表示為000032001321。..003323004324。..。..019339020。..?？梢岳斫獬上劝岩粋€(gè)batch中N幅圖像的個(gè)通道個(gè)像素排列起來(lái)，然后排第二個(gè)像素;再排第二個(gè)通道，第三個(gè)通道。..

數(shù)據(jù)在內(nèi)存中的偏移地址

深度學(xué)習(xí)中涉及大量的數(shù)據(jù)計(jì)算，計(jì)算需要從內(nèi)存中取出數(shù)據(jù)，因此需要計(jì)算出數(shù)據(jù)的偏移地址以便進(jìn)行取數(shù)。有了上面的邏輯表示和物理表示，可以推導(dǎo)出4維邏輯表示（n，c，h，w）映射到一維內(nèi)存中偏移地址的公式。

定義位置（n，c，h，w）表示第n個(gè)batch的第c通道的第h行的第w列，那么該位置在不同數(shù)據(jù)格式下，在內(nèi)存中的偏移地址計(jì)算公式如下：NCHW：offset_nchw（n，c，h，w）=n*CHW+c*HW+h*W+wNHWC：offset_nhwc（n，c，h，w）=n*HWC+h*WC+w*C+cCHWN：offset_chwn（n，c，h，w）=c*HWN+h*WN+w*N+n其中N、C、H、W為常量，n、c、h、w為變量

在NCHW中，CHW=C*H*W，表示一個(gè)Batch，可以理解成一個(gè)BGR3通道的圖片，表達(dá)的是一個(gè)立方體。HW=H*W，表示一個(gè)平面，可以理解成是BGR3通道圖片的一個(gè)通道（灰度圖就是一個(gè)通道圖片）。W是一行，可以理解成一個(gè)通道上的一行。

以上圖為例，如果想計(jì)算出綠色圈，即341的位置（n=1，c=1，h=0，w=1）。我們需要先跳過(guò)n=0的數(shù)據(jù)（CHW），圖中箭頭1指向的藍(lán)色框區(qū)域;再跳過(guò)n=1的個(gè)通道（HW），圖中箭頭2指向藍(lán)色框區(qū)域;這時(shí)進(jìn)入到了n=1的第二個(gè)通道，跳過(guò)h=0行（0*W）;跳過(guò)w個(gè)數(shù)到達(dá)偏移位置。

EdgeBoard為何使用NHWC

下面來(lái)分析EdgeBoard選擇NHWC數(shù)據(jù)格式的原因。

上圖表示卷積的計(jì)算過(guò)程。根據(jù)卷積的運(yùn)算特點(diǎn)，相同位置窗口所有通道數(shù)與卷積的參數(shù)相乘后累加，可以有下面兩種計(jì)算方式：

先像素后通道：先把一個(gè)通道滑動(dòng)窗口與卷積參數(shù)相乘后累加，再進(jìn)行下一個(gè)通道，直到所有通道乘累加完成。比如次滑窗計(jì)算公式：