基于fpga的b656數(shù)字視頻解析方法

基于fpga的b656數(shù)字視頻解析方法

如今，污染是人類面臨的一個(gè)重要問(wèn)題。同時(shí)，世界形勢(shì)復(fù)雜，軍事領(lǐng)域也是人們關(guān)注的焦點(diǎn)。星載干擾成像光譜的研究和應(yīng)用變得越來(lái)越緊迫。星載干涉式成像光譜儀是通過(guò)干涉儀獲取物質(zhì)的干涉圖,基于干涉圖與光譜圖之間的傅里葉對(duì)應(yīng)關(guān)系,對(duì)干涉圖按行進(jìn)行FFT來(lái)復(fù)原物質(zhì)的特定光譜一直以來(lái),各種數(shù)字視頻格式的相互轉(zhuǎn)換已成為視頻研究的重要部分,需要將亮度信號(hào)Y與色度信號(hào)U、V分別提取,并通過(guò)信號(hào)間的相互關(guān)系進(jìn)行轉(zhuǎn)化。但目前需要一種將BT.656數(shù)字視頻信號(hào)的亮度信號(hào)Y與色度信號(hào)U、V通過(guò)FPGA分離并分別傳輸?shù)挠行Х椒?才能更好地進(jìn)行后續(xù)研究。BT.656格式的標(biāo)準(zhǔn)數(shù)字視頻是將視頻信號(hào)的行、場(chǎng)同步以及有效數(shù)據(jù)復(fù)合在一路信號(hào)中的串行信號(hào),因此需要將有效視頻數(shù)據(jù)、行同步信號(hào)、場(chǎng)同步信號(hào)、奇偶場(chǎng)標(biāo)志信號(hào)、數(shù)據(jù)有效標(biāo)志信號(hào)等清晰地解析出來(lái),之后才能對(duì)視頻數(shù)據(jù)進(jìn)行RGB變換、灰度變換、FFT等處理,因此對(duì)BT.656標(biāo)準(zhǔn)格式的數(shù)字視頻信號(hào)進(jìn)行有效解析是后續(xù)各種圖像處理的前提。鑒于FPGA對(duì)大容量數(shù)據(jù)處理的快速高效性1sav、eav信號(hào)的前引BT.656是4∶2∶2格式的視頻數(shù)據(jù),并行接口為8bit,時(shí)鐘頻率為27MHz。BT.656信號(hào)同時(shí)傳輸4∶2∶2的YCbCr視頻數(shù)據(jù)和含有行、列同步信號(hào)的水平控制信號(hào)。一幀視頻圖像數(shù)據(jù)共625行,23~311行是偶數(shù)場(chǎng)數(shù)據(jù),336~624行是奇數(shù)場(chǎng)數(shù)據(jù),控制信號(hào)分布在其余行中每行包含1728個(gè)字節(jié)的數(shù)據(jù),數(shù)據(jù)由水平控制信號(hào)和YCbCr視頻數(shù)據(jù)信號(hào)組成,并以Cb-Y-Cr-Y的順序排列,一行的前288字節(jié)是行控制信號(hào),其以4字節(jié)的有效視頻結(jié)束信號(hào)開始,以“EAV”表示,其后是140個(gè)“80、10”固定數(shù)據(jù),共280字節(jié),最后是4字節(jié)的有效視頻起始信號(hào),用“SAV”表示。水平控制信號(hào)后是有效視頻數(shù)據(jù),共1440字節(jié)。偶數(shù)場(chǎng)與奇數(shù)場(chǎng)均為288行×720像素點(diǎn)的圖像,BT.656圖像整場(chǎng)為576行×720像素點(diǎn)的圖像。“FF、00、00”是SAV和EAV信號(hào)3字節(jié)的前引,最后一字節(jié)“XY”用于辨別該行位于整個(gè)數(shù)據(jù)幀的位置,還能準(zhǔn)確區(qū)分SAV、EAV信號(hào)。“XY”字節(jié)各比特位含義如圖2所示。其中:F=0表示偶數(shù)場(chǎng),F=1表示奇數(shù)場(chǎng);V=0表示該行含有效視頻數(shù)據(jù),V=1表示該行無(wú)有效視頻數(shù)據(jù);H=0表示為SAV信號(hào),H=1表示為EAV信號(hào);P3~P0是保護(hù)信號(hào),通過(guò)F、V、H三個(gè)信號(hào)異或生成,P3=VXORH,P2=FXORH,P1=FXORV,P0=FXORVXORH2bt.656視頻信號(hào)分析對(duì)BT.656信號(hào)進(jìn)行解析可以分為如下幾個(gè)主要部分。2.1視頻數(shù)據(jù)的編碼BT.656信號(hào)對(duì)應(yīng)的像素時(shí)鐘信號(hào)為27MHz,設(shè)其為clk27M。由于BT.656信號(hào)每行的有效視頻數(shù)據(jù)為1440字節(jié),而像素亮度信號(hào)只有720字節(jié),且每2個(gè)相鄰亮度信號(hào)共用一組色差信號(hào),因而每行的Cb或Cr信號(hào)只有360字節(jié)。為此,需對(duì)27MHz的時(shí)鐘信號(hào)clk27M進(jìn)行2分頻、4分頻,分別得到13.5MHz的時(shí)鐘信號(hào)clk2及6.75MHz的時(shí)鐘信號(hào)clk4。2.2像素計(jì)數(shù)信號(hào)分析在clk27M時(shí)鐘驅(qū)動(dòng)下,設(shè)輸入FPGA的視頻信號(hào)為bt_d0,而bt_d1、bt_d2、bt_d3分別為bt_d0的1~3個(gè)時(shí)鐘周期的延遲,則其時(shí)序關(guān)系如圖3所示。trs=(bt_d1==8′h00)&&(bt_d2==8′h00)&&(bt_d3==8′hff)。當(dāng)trs為真時(shí),bt_d0對(duì)應(yīng)的位置為SAV或EAV信號(hào);而當(dāng)(trs&&~H&&~V)為真時(shí),表示有效視頻數(shù)據(jù)開始,這時(shí)令數(shù)據(jù)有效信號(hào)de_p為高電平,再設(shè)一像素計(jì)數(shù)信號(hào)pixel_cnt,若de_p為高電平,則pixel_cnt從零開始計(jì)數(shù),計(jì)到1439時(shí),令de_p為低電平,而de_p為低電平時(shí),使pixel_cnt清零。這樣,de_p為高電平時(shí),表示bt_d0的有效視頻數(shù)據(jù),而pixel_cnt則對(duì)其有效視頻數(shù)據(jù)進(jìn)行計(jì)數(shù)。相應(yīng)的VerilogHDL主要進(jìn)程如下:2.3有效視頻數(shù)據(jù)cb-y-cr-y的分解在clk27M時(shí)鐘驅(qū)動(dòng)下,當(dāng)de_p為高電平,像素計(jì)數(shù)器低4位pixel_cnt[1∶0]=0、1、2、3時(shí),可分別將bt_d0的有效視頻數(shù)據(jù)Cb-Y-Cr-Y分解為Cb0、Y0、Cr0、Y1四路數(shù)據(jù),對(duì)應(yīng)VerilogHDL進(jìn)程如下:2.4信號(hào)解析和處理設(shè)計(jì)一個(gè)2選1的數(shù)據(jù)選擇器,在clk2驅(qū)動(dòng)下,clk4作為選擇信號(hào),Y0、Y1作為輸入信號(hào),可將Y0、Y1合并成一路信號(hào)Y,Y就是從BT.656信號(hào)中解析出的圖像亮度信號(hào)。同理,將Cb0、Cb0作為輸入,可解析出色差信號(hào)Cb;將Cr0、Cr0作為輸入,可解析出色差信號(hào)Cr。2.5視頻控制信號(hào)輸出在時(shí)鐘clk27M驅(qū)動(dòng)下,根據(jù)trs、de_p、pixel_cnt、F、V、H各信號(hào)的值,可以確定奇偶場(chǎng)標(biāo)志field、行同步hs、場(chǎng)同步vs、數(shù)據(jù)有效de等視頻控制信號(hào),并分別輸出。3模擬干涉圖的解析由于進(jìn)入光譜復(fù)原系統(tǒng)的為一路8bit數(shù)據(jù),且最終的顯示是以VGA的方式來(lái)實(shí)現(xiàn),而經(jīng)解析后的BT.656信號(hào)為三路8bit信號(hào),故需將解析后的Y、Cb、Cr三路8bit信號(hào)轉(zhuǎn)為一路8bit灰度信號(hào)來(lái)模擬干涉圖數(shù)據(jù)。3.1浮點(diǎn)系數(shù)的轉(zhuǎn)換將YUV信號(hào)轉(zhuǎn)換為顯示器能夠識(shí)別的RGB信號(hào),轉(zhuǎn)化矩陣為:對(duì)于式(1)中的小數(shù),因?yàn)檎瓦\(yùn)算較浮點(diǎn)運(yùn)算快速方便,更適用于FPGA,所以可采用移位的方法將浮點(diǎn)系數(shù)轉(zhuǎn)化為整型數(shù)據(jù)進(jìn)行計(jì)算。在計(jì)算機(jī)中,乘以2的冪次可以用移位操作實(shí)現(xiàn),即乘以2最終運(yùn)算結(jié)果需右移8bit,可去掉數(shù)據(jù)低8位,實(shí)現(xiàn)對(duì)浮點(diǎn)的運(yùn)算,由于RGB的取值范圍為0~255,故用高位檢測(cè)法將溢出的數(shù)據(jù)賦值FF,即結(jié)果中大于255的取值為255,結(jié)果小于0的則取值為0。3.2轉(zhuǎn)換為灰份的轉(zhuǎn)換信號(hào)人眼對(duì)于3種基色的識(shí)別度不同,但每種基色又都包含不同信息,丟失會(huì)產(chǎn)生較大誤差,所以將3路彩色信號(hào)轉(zhuǎn)換為一路灰度信號(hào)且保證色度信號(hào)包含信息不丟失的方法是將RGB值取和后取平均值并取整,取平均值后的信號(hào)I即為8bit的灰度圖像信號(hào)。4彩條生成模塊的實(shí)現(xiàn)Modelsim的仿真需要產(chǎn)生測(cè)試激勵(lì),為了滿足仿真需求,依據(jù)BT.656數(shù)字視頻信號(hào)的格式,設(shè)計(jì)了一個(gè)生成標(biāo)準(zhǔn)BT.656視頻格式的八色彩條模塊來(lái)模擬視頻數(shù)據(jù)。模塊設(shè)計(jì)原理是將一幀圖像的數(shù)據(jù)有效部分的每行的有效視頻部分均分為8份,每份由一種顏色數(shù)據(jù)重復(fù)出現(xiàn),根據(jù)BT.656圖像有效部分為576×720,即每種顏色在每行中占90個(gè)像素點(diǎn),576行重復(fù)執(zhí)行,同時(shí)hs、vs、de等同步信號(hào)已包含在數(shù)字視頻結(jié)構(gòu)中。由于外部時(shí)鐘源為50MHz的晶振,而BT.656視頻格式的時(shí)鐘為27MHz,故需調(diào)用FPGA內(nèi)部資源中的鎖相環(huán)IP核生成27MHz的時(shí)鐘信號(hào)。彩條模塊的VGA顯示效果如圖4所示。該模塊中的有效視頻部分所選用顏色由白、黃、藍(lán)綠、綠、紫、紅、藍(lán)、黑八色組成,通過(guò)VGA顯示能夠看出彩條生成模塊的功能已成功實(shí)現(xiàn)。將該彩條生成模塊輸出作為BT.656解析模塊的輸入信號(hào),供Modelsim進(jìn)行仿真。5btd0的信號(hào)解析通過(guò)讀取彩條模塊的數(shù)字視頻格式進(jìn)行仿真,圖5為利用Modelsim仿真軟件的仿真結(jié)果。其中:bt_d0為利用彩條生成模塊產(chǎn)生的BT.656格式的標(biāo)準(zhǔn)視頻信號(hào);FF000080為奇數(shù)場(chǎng)有效視頻信號(hào)開始標(biāo)志;bt_d1、bt_d2、bt_d3為其延遲信號(hào);trs為SAV、EAV同步頭檢測(cè)信號(hào);de_p高電平表示bt_d0的有效視頻數(shù)據(jù),而pixel_cnt對(duì)bt_d0的有效視頻數(shù)據(jù)進(jìn)行計(jì)數(shù)。Cb、Y1、Cr、Y2為從bt_d0分離出的4路有效視頻數(shù)據(jù)。由于bt_d0是利用八色彩條圖像產(chǎn)生的,其有效數(shù)據(jù)重復(fù)率較高,為便于觀察,將pixel_cnt數(shù)據(jù)代替bt_d0數(shù)據(jù)分離到4路信號(hào)Cb、Y1、Cr、Y2中。利用二選一數(shù)據(jù)選擇器將Y1、Y2組合為一路Y_out信號(hào),Cb_out、Cr_out、Y_out是最后解析出的BT.656信號(hào)的色度及亮度信號(hào)。從仿真結(jié)果可看出,解析結(jié)果完全正確。圖6為YUV轉(zhuǎn)換為RGB并生成灰度圖像的一行數(shù)據(jù)的仿真結(jié)果,采用的數(shù)據(jù)為八色彩條視頻數(shù)據(jù)。其中Cb、Cr、Y為從八色彩條視頻中解析出的色差信號(hào)與亮度信號(hào)的真實(shí)值,rgb_r、rgb_g、rgb_b為根據(jù)轉(zhuǎn)換矩陣生成的RGB信號(hào),Gray_out即為最終的灰度圖像信號(hào)。6fpga視頻壓縮模塊根據(jù)水平控制信號(hào)特點(diǎn),利用信號(hào)延遲方法檢測(cè)水平控制信號(hào),并根據(jù)視頻信號(hào)中亮度信號(hào)Y和色差信號(hào)Cb、Cr的4∶2∶2比例關(guān)系,通過(guò)不同時(shí)鐘頻率將BT.656數(shù)字視頻信號(hào)在FPGA芯片中解析出亮度信號(hào)Y與色差信號(hào)Cb、Cr。利用分離后的Y、Cb、Cr將YUV顏色空間轉(zhuǎn)換為RGB顏色空間并生成灰度圖像來(lái)模擬干涉圖數(shù)據(jù)。后續(xù)研究需將生成的模擬干涉圖數(shù)據(jù)送入光譜復(fù)原系統(tǒng)中生成光譜圖,并根據(jù)物質(zhì)的特定光譜識(shí)別目標(biāo)。FPGA芯片較其他芯片具有并行處理功能,且時(shí)延極低,能滿足視頻圖