深度學(xué)習(xí)在移動(dòng)端的應(yīng)用

深度學(xué)習(xí)在移動(dòng)端的應(yīng)用目錄深度學(xué)習(xí)簡(jiǎn)介移動(dòng)端落地方案移動(dòng)端局限及解決技巧f

你好f

貓f

嗨！

你好深度學(xué)習(xí)

-

目標(biāo)：尋找最佳函數(shù)卷積池化歸一化深度學(xué)習(xí)

-

結(jié)構(gòu)：基于層與層的連接以GoogLeNet

v1丼例1-2-11104-20.980.12 -2-1-12 0.86 3-1-140.110.620.8300-221-1深度學(xué)習(xí)

-

層（丼例）：全連接層1-10.620.83貓…………Inputx

1x

2x

25616x16=

256Ink→

1Noink→

0……Is

9The

imageis

“2”is

20.620.83...0.050.80.1輸出is

0Output向量

概率f

深度學(xué)習(xí)

-

預(yù)測(cè)過(guò)程Y

0Y

2Y

9NNNNNN…………y1y2yR12??1…………NNy3323??f

深度學(xué)習(xí)

-

訓(xùn)練過(guò)程目錄深度學(xué)習(xí)簡(jiǎn)介移動(dòng)端落地方案移動(dòng)端局限及解決技巧服務(wù)端訓(xùn)練

+

服務(wù)端識(shí)別移勱端訓(xùn)練

+

移勱端識(shí)別服務(wù)端訓(xùn)練

+

移勱端識(shí)別落地方案

-

可能的服務(wù)端及移勱端分工PC

Server

訓(xùn)練模型文件Model

File移動(dòng)端加載模型進(jìn)行識(shí)別落地方案

-

移勱端只適合識(shí)別過(guò)程? GPU門檻2：Mali

T820

4核以上CPU

：高通

&

(三星、聯(lián)發(fā)科、華為)GPU：Mali

GPUCPU門檻1：驍龍600以上CPU

98.1%

是ARMv7GPUARM:

51.3%Qualcomm:

39.2%落地方案

-

Android硬件現(xiàn)狀Device

DriverOS

Kernelkernel

space高通GPUMali

GPUOther

cpuhardware高通cpuapplication

ui主體識(shí)別分類風(fēng)格化...computelibOpenCLRender

ScriptVulkanARMComputeLibrary落地方案

-

Android深度學(xué)習(xí)軟件現(xiàn)狀兩個(gè)卷積核Only9x2=

18parameters最大池化100001010010001100100010010010001010-11-1-11-1-11-11-1-1-11-1-1-11原圖落地方案

-

模型選擇

CNN卷積和池化cator

dogxyw

hConvolutionMax

PoolingConvolutionMax

PoolingFlattenRepeatmany

timesFullyConnectedFeedforward

network落地方案

-

模型選擇

CNN常見(jiàn)拓?fù)湟訥oogLeNet

v1丼例落地方案

-

框架選擇基于Caffe二次開(kāi)發(fā)可讀性通用性圖像領(lǐng)域應(yīng)用已麗移植成功案例針對(duì)CPU做主要優(yōu)化GPU的內(nèi)存拷貝成本與運(yùn)算效率的綜合考量目錄深度學(xué)習(xí)簡(jiǎn)介移動(dòng)端落地方案移動(dòng)端局限及解決技巧移勱端局限

-

安卓落地難點(diǎn)服務(wù)端移動(dòng)端SO體積無(wú)限制特定App下嚴(yán)格限制模型體積500M+<10M加密無(wú)需考量特定App下嚴(yán)禁泄露預(yù)測(cè)速度類庫(kù)極其成熟有待填補(bǔ)內(nèi)存限制無(wú)嚴(yán)格限制內(nèi)存極其有限耗電量無(wú)限制嚴(yán)格限制Tricks

-

SO體積：代碼剪枝37MB->

100kBeforeAfterOpenBlas手工實(shí)現(xiàn)Glog、Gflag摘除Protobuf手工實(shí)現(xiàn)Json解析后向傳播摘除層縮減數(shù)量CatTricks

-

模型體積：權(quán)值共享Tricks

-

模型體積：量化24.2->

4.5MBmin-10^8max-10^8桶1號(hào)桶256號(hào)……Tricks

-

模型體積：糾正量化的誤差min-10^8max-10^8桶1號(hào)桶256號(hào)……桶X號(hào)桶

(1號(hào))：min桶

(256號(hào))：max桶

(X號(hào))：剩余N-2個(gè)元素誤差來(lái)源Tricks

-

模型體積：糾正量化的偏好min-10^8max-10^8桶1號(hào)桶256號(hào)……桶X號(hào)桶

(X號(hào))： 11.2估值偏小桶

(X+1號(hào))： 2桶

(X號(hào))： 11.2(0.8)桶

(X+1號(hào))： 21.2(0.2)Tricks

-

模型體積：加密min-10^8max-10^8桶1號(hào)桶256號(hào)……Meta頭部：min???max???Tricks

-

速度：常規(guī)優(yōu)化

調(diào)整overheadLoadReshapeForward(malloc

blob)Final

DataTricks

-

速度：常規(guī)優(yōu)化

數(shù)值計(jì)算記錄Taylor展開(kāi)的系數(shù)，用以實(shí)現(xiàn)快速的近似計(jì)算Tricks

-

速度：CPU

Affinity設(shè)置親密度：減少線程切換。強(qiáng)制使用Big核心。卷積池化LocalRespNormTricks

-

速度：NEON

intrinsicsTricks

-

速度：內(nèi)聯(lián)匯編assembly文件純匯編文件，后綴為”.S”或”.s”。注意對(duì)寄存器數(shù)據(jù)的保存。inline

assembly內(nèi)聯(lián)匯編在C/C++代碼中嵌入?yún)R編，調(diào)用簡(jiǎn)單，容易調(diào)試。Tricks-

速度：Loop

UnrollingTricks

-

速度：利用拓?fù)浣Y(jié)構(gòu)執(zhí)行多線程利用SplitLayer和ConcatLayer，自動(dòng)進(jìn)行多線程分配Tricks

-

速度：改用MobileNet模型Depthwise

SeparableConvolution由兩部分組成：depthwise

convoluti