基于da技術(shù)的h實(shí)現(xiàn)與研究

1、 075490 張偉華 論文的主要工作論文圍繞H.264算法及DM6446嵌入式平臺展開，主要分為算法研究與平臺實(shí)現(xiàn)兩部分，主要工作如下：算法研究：算法研究： 首先簡要介紹視頻壓縮編碼的原理，評價(jià)標(biāo)準(zhǔn)及以往的視頻壓縮編碼標(biāo)準(zhǔn)； 然后詳細(xì)介紹了H.264標(biāo)準(zhǔn)的特點(diǎn)、碼流結(jié)構(gòu)及關(guān)鍵技術(shù)，并分析了H.264的學(xué)術(shù)模型JM13.2； 重點(diǎn)基于JM13.2模型，分析了現(xiàn)有的幀內(nèi)預(yù)測算法，結(jié)合高分辨率視頻的編碼特點(diǎn)，提出了一種新的快速幀內(nèi)預(yù)測算法。通過實(shí)驗(yàn)驗(yàn)證，該算法在碼率與SNR值基本不變的情況下，編碼速度提高了27.8%。 論文的主要工作平臺實(shí)現(xiàn)：平臺實(shí)現(xiàn)： 首先介紹了常見的DSP芯片和嵌入式系統(tǒng)的基

2、礎(chǔ)知識，分析了DM6446處理器的硬件平臺，軟件開發(fā)架構(gòu)； 然后概述了H.264在DM6446平臺上移植的系統(tǒng)搭建，算法移植步驟； 最后對X264模型的算法進(jìn)行簡要分析及預(yù)處理，重點(diǎn)研究了X264算法在DSP端的平臺移植，簡單優(yōu)化及ARM端應(yīng)用程序的構(gòu)建，DM6446平臺的配置等，完成整個(gè)系統(tǒng)的移植。介紹內(nèi)容算法研究：算法研究：一. H.264/AVC標(biāo)準(zhǔn)及JM13.2模型實(shí)現(xiàn) 二. 基于H.264的高分辨率序列幀內(nèi)預(yù)測算法的改進(jìn) 平臺實(shí)現(xiàn)：平臺實(shí)現(xiàn)：三. DM6446嵌入式開發(fā)平臺四. H.264在DM6446平臺上的移植與實(shí)現(xiàn) 一. H.264/AVC標(biāo)準(zhǔn)及JM13.2模型實(shí)現(xiàn)1.H.26

3、4編碼器框架圖1-1 H.264編碼器 2.H.264的核心技術(shù)1）幀內(nèi)預(yù)測 - 空間冗余2）幀間預(yù)測 - 時(shí)間冗余a）塊尺寸選擇的多樣性 （7種）b) 1/4或1/8像素精度的運(yùn)動(dòng)估計(jì) c) 多參考幀3）整數(shù)變換與量化 4）熵編碼（CABAC及CAVLC）5）去塊效應(yīng)濾波器3.H.264的碼流結(jié)構(gòu)視頻序列 - 圖像 - 片 - 宏塊 - 子塊4.JM13.2模型分析與流程設(shè)計(jì)二. 基于H.264的高分辨率序列幀內(nèi)預(yù)測算法的改進(jìn)1.現(xiàn)有的幀內(nèi)預(yù)測算法亮度預(yù)測有三種：1）4x4模式，9種預(yù)測方向2）8x8模式，9種預(yù)測方向3）16x16模式，有水平，垂直，DC，及平面4種色度預(yù)測：8x8模式，有

4、4種預(yù)測選項(xiàng)，類似于16x16亮度預(yù)測模式(a) 4x4塊及預(yù)測參考像素（A-M）(b) 幀內(nèi)預(yù)測模式方向JM13.2模型中幀內(nèi)預(yù)測的步驟：1）先進(jìn)行色度預(yù)測，通過計(jì)算所有可能模式的SATD值選擇最優(yōu)模式2）進(jìn)行亮度預(yù)測第一步：通過計(jì)算率失真值選擇最優(yōu)的Intra4x4模式第二步：選擇最優(yōu)Intra16x16模式（SATD）第三步：選擇最優(yōu)Intra8x8模式 （RDO方式）第四步：計(jì)算上述三種最優(yōu)模式的率失真值，選擇最優(yōu)弊端：1）候選模式種類多 2）計(jì)算量大優(yōu)點(diǎn)：選擇的模式準(zhǔn)確，編碼后碼流小 可供改進(jìn)之處：1）縮減候選模式 2）簡化率失真代價(jià)函數(shù)modmod( , ,mod /,)( , ,

5、mod /)( , ,mod /)eeJ s ce QPSSD s ce QPR s ce QP2. HD Sequences幀內(nèi)預(yù)測的編碼特點(diǎn) 1）不同分辨率序列的塊劃分方式的不同 結(jié)論：隨著視頻分辨率的增大，4x4的劃分采用的概率減小，亮度分量的預(yù)測更傾向于使用8x8和16x16的宏塊劃分。 表 2-1 不同分辨率序列的塊選擇比率序列格式Intra4x4（%）Intra8x8（%）Intra16x16（%）Y -SNR (dB)sward.yuv（60幀）qcif43.4548.727.8338.33cif23.3856.7319.8940.964cif3.8457.2138.9544.0

6、9bigbear.yuv（360幀）qcif59.5028.5711.9242.70cif42.9635.6321.4143.774cif20.8050.3328.8844.682）1080p HD sequences的幀內(nèi)預(yù)測 表2-2 a) Intra4x4,Intra8x8及Intra16x16均使用序列4x4（%）8x8（%）16x16（%）Y -SNR (dB)編碼速度（fps）碼率(bits/frame)sward.yuv2.0828.2169.7148.250.039164909.60king.yuv3.2533.7163.0446.450.037228886.25vr.yuv1

7、.5944.4353.9746.060.037295581.25big.yuv13.5545.9340.5140.740.0311176762.98表2-2 b) 禁用Intra4x4預(yù)測序列4x4（%）8x8（%）16x16（%）Y -SNR 提高/dB編碼速度提高/%碼率增大/%sward.yuv041.1758.82074.53.8king.yuv045.2754.73-0.0171.73.8vr.yuv051.3148.69077.41.6big.yuv059.8240.18-0.0178.71.1結(jié)論：禁用4x4的候選模式，編碼速度有很大提高，碼率增大并不顯著，同時(shí)PSNR值并不下降

8、。故在編碼1080p及更高分辨率的視頻時(shí)，可以去除4x4的幀內(nèi)預(yù)測模式。3.幀內(nèi)預(yù)測快速算法原理：幀內(nèi)預(yù)測所選擇的編碼劃分大小與宏塊內(nèi)部的平滑度密切相關(guān)。 方法：1）基于上述結(jié)論，高清視頻序列的幀內(nèi)預(yù)測可以去除Intra4x4候選模式。 2）提出一種新的快速預(yù)測算法，通過計(jì)算邊界像素的絕對誤差和，提前判定宏塊是選用Intra8x8還是Intra16x16模式進(jìn)行預(yù)測。圖 2-2 16x16宏塊的平坦度Boundary Differences=Diff1+Diff2 166iiiiiiiiiiiii=1i=1=B -A + D -C+F-E + H -G + J -I + L -K（ 式2-1）

9、圖2-3 快速幀內(nèi)預(yù)測算法通過大量的實(shí)驗(yàn)測試可知，當(dāng)T取值為23時(shí)編碼性能最優(yōu)。4. 系統(tǒng)測試結(jié)果表2-3 快速幀內(nèi)預(yù)測算法的測試結(jié)果序列Intra16x16和Intra8x8預(yù)測改進(jìn)的快速預(yù)測算法Y -SNR (dB)速度（fps）碼率(bits/frame)Y -SNR 提高/dB速度提高/%碼率增大/%night.yuv48.250.066171249.79-0.0127.71.3davinci.yuv40.610.066367532.52-0.0131.61.3king.yuv41.190.067374627.48-0.0424.41.5vr.yuv46.060.064300238.0

10、0-0.0230.13.4big.yuv40.730.0561189500.67025.20.4平均值43.370.064480629.69-0.0227.81.6 實(shí)驗(yàn)結(jié)果表明：該算法在碼率只有少許增加的情況下，編碼速度提高了27.8%，SNR值基本不變。三. DM6446嵌入式開發(fā)平臺1.DM6446硬件結(jié)構(gòu)ARM926JE主處理器標(biāo)準(zhǔn)的操作系統(tǒng)：WinCE、Linux，應(yīng)用更加靈活C64x+ DSP子處理器可編程：視頻編解碼算法更靈活VICP視頻/圖像協(xié)處理器硬件實(shí)現(xiàn)運(yùn)算密集處理：減輕DSP處理的負(fù)擔(dān)VPSS視頻處理子系統(tǒng)：包括視頻處理前端（VPFE）和視頻處理后端（VPBE），分別用于

11、外部圖像輸入設(shè)備和視頻輸出設(shè)備。片上外設(shè)組：存儲類外設(shè)：本地存儲 互聯(lián)類外設(shè)：網(wǎng)絡(luò)連接 通用類外設(shè)：接口片外外設(shè)圖3-1 DM6446功能結(jié)構(gòu)圖2.視頻采集編碼輸出系統(tǒng)的總體搭建 圖3-2 H.264編解碼軟件設(shè)計(jì)框圖 視頻采集編碼輸出系統(tǒng)總體如圖所示，主要包括視頻采集模塊，DDR2存儲模塊，視頻信號輸出模塊。3.DaVinci軟件開發(fā)系統(tǒng)ARM SubsystemDSP SubsystemTransportARM主處理器： 1）運(yùn)行MontaVista Linux、WinCE 2）用戶用下列3個(gè)APIs來構(gòu)建自己的應(yīng)用程序：EPSI、VISA、xDMDSP從處理器： 實(shí)現(xiàn)視頻、圖像處理算法二

12、者通信：用DSP/BIOS LINK來實(shí)現(xiàn) 圖3-3 DaVinci軟件架構(gòu) 四. H.264在DM6446平臺上的移植與實(shí)現(xiàn)1.算法移植步驟圖4-1 基于DM6446的H.264算法移植步驟第一步，基于CCS環(huán)境修改X264算法使之符合DSP C64x+平臺的特性，編譯生成一個(gè)編碼算法的庫文件*.lib（等同于Linux環(huán)境下的*.a64P,直接在Linux環(huán)境下修改文件后綴名也可）。第二步，生成一個(gè)在DSP上運(yùn)行的可執(zhí)行程序*.x64P(即.out文件)，也就是DSP Server。第三步，根據(jù)DSP Server的名字及其中包含的X264編碼算法創(chuàng)建Codec Engine的配置文件*.

13、cfg。這個(gè)文件定義Engine的不同配置，包括Engine的名字、每個(gè)Engine里包括的codecs及每個(gè)codec運(yùn)行在ARM還是DSP側(cè)等等。最后，應(yīng)用工程師收到不同的codec包、DSP Server和Engine配置文件*.cfg，把自己的應(yīng)用程序通過編譯、鏈接，最終生成ARM側(cè)可執(zhí)行文件。其中重點(diǎn)在于第一步DSP端X264算法的移植，與最后一步ARM端應(yīng)用程序的構(gòu)建，下面將做重點(diǎn)介紹。2.X264算法分析1）移植算法選擇JM、X264、T2642）X264算法分析數(shù)據(jù)的讀入與存儲、數(shù)據(jù)的壓縮處理（參數(shù)初始化、以宏塊為單位進(jìn)行編碼、編碼后數(shù)據(jù)保存）、碼流的輸出3）預(yù)處理去除匯編優(yōu)化

14、、界面顯示、解碼模塊及工程的整合圖4-2 X264編碼流程圖3. DSP端的平臺移植與優(yōu)化 開發(fā)環(huán)境：CCS3.3 移植需要修改的算法：1）頭文件未定義2）數(shù)據(jù)類型的不同3）對非標(biāo)準(zhǔn)C的代碼進(jìn)行修改4）數(shù)據(jù)對齊的問題5）部分?jǐn)?shù)據(jù)結(jié)構(gòu)的初始化6）部分函數(shù)的未定義問題7）字節(jié)對齊的問題8）配置X264算法的參數(shù)讀取方式 字節(jié)對齊問題舉例說明：在C64x+ DSP中，寄存器都是32位大小，一次同時(shí)處理32bit數(shù)據(jù)。如果程序中的存儲地址不是合法的32位字地址，在程序裝入數(shù)據(jù)時(shí)，ldw指令會對這個(gè)地址自動(dòng)進(jìn)行調(diào)整使之成為一個(gè)合法的字地址。例如下面程序：#includeunsigned int a;un

15、signed char test8 = 0 x11,0 x22,0 x00,0 x00,0 x00,0 x00,0 x77,0 x77,0 x88;void main()a = *( unsigned int*)(test+2);printf(“%x”,b);在CCS下運(yùn)行結(jié)果為00002211，而VC下為00000000，因?yàn)閠est+2在CCS中并非合法的地址，所以地址test+1，test+2，test+3，test+4都會在程序裝入時(shí)校準(zhǔn)到test。CCS3.3開發(fā)平臺的設(shè)置：1）變量的存取方式調(diào)整2）“序”的差別3）存儲空間的分配 DSP端平臺優(yōu)化方面的簡單措施：1）項(xiàng)目級優(yōu)化 2）

16、C程序級優(yōu)化 a）使用內(nèi)聯(lián)函數(shù)b）循環(huán)展開c）使用邏輯運(yùn)算代替乘除運(yùn)算 d）使用盡量小的數(shù)據(jù)類型 e）減小存儲器相關(guān)性.3）匯編級優(yōu)化（本論文并未涉及） 仿真測試X264算法DSP端移植完成后，對標(biāo)準(zhǔn)的foreman QCIF（176x144）序列進(jìn)行測試，編碼采用Main Profile，熵編碼同時(shí)采用CABAC和CAVLC方式，PSNR隨編碼幀數(shù)和碼流變化的效果分別如圖所示。圖4-3 PSNR隨編碼幀數(shù)變化測試結(jié)果圖表4-1 運(yùn)動(dòng)強(qiáng)度不同的序列測試結(jié)果序列運(yùn)動(dòng)強(qiáng)度PSNR(dB)bitrate(kb/s)CPU.Total.Incl.Total（Encode_frame函數(shù)）contain

17、erLow39.447583.151424171891foremanmedium39.820610.771601938580mobilemedium35.885595.231734151182stefanhigh36.334934.2317962407644.ARM端應(yīng)用程序的創(chuàng)建圖4-4 ARM端應(yīng)用程序的線程1）主線程圖4-5 主線程的流程主線程的工作：1）執(zhí)行必須的初始化工作2）解析命令行參數(shù)，據(jù)此創(chuàng)建視頻線程3）執(zhí)行Codec Engine及TraceUtil模塊的初始化，以便跟蹤4）打開用來同步線程初始化的Rendezvous的目標(biāo)5）建立視頻線程。6）調(diào)用控制線程的主函數(shù)ctrlThrFxn()，主線程變成控制線程。2）視頻線程圖5-8 視頻線程的初始化流程 視頻線程從視頻采集驅(qū)動(dòng)器開辟一個(gè)幀緩存器，并用X264算法對其編碼；用一個(gè)顯示線程來“預(yù)覽”要編碼的數(shù)據(jù)，并用另一個(gè)寫線程將已經(jīng)編碼的幀寫入Linux文件系統(tǒng)。使用專門的I/O線程，最大化ARM和DSP核的使用 。總結(jié)與展望 研究工作總結(jié)本論文對H.264的編碼技術(shù)進(jìn)行研究，對高分辨率視頻序列的幀內(nèi)預(yù)測算法進(jìn)行了優(yōu)化；最終把X264編碼器移植到DM6446平臺上，通過DSP端算法的修改，ARM端應(yīng)用程序的構(gòu)建，DSP端和ARM端通信