基于arm的多通道視頻數(shù)據(jù)采集與傳輸技術(shù)研究

基于arm的多通道視頻數(shù)據(jù)采集與傳輸技術(shù)研究

基于dm6465的網(wǎng)絡(luò)視頻傳輸系統(tǒng)隨著物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等技術(shù)的快速發(fā)展，傳統(tǒng)的工業(yè)控制領(lǐng)域復(fù)雜而昂貴的現(xiàn)場(chǎng)總線和設(shè)備逐漸被取代。同時(shí),嵌入式技術(shù)與網(wǎng)絡(luò)技術(shù)結(jié)合而成的嵌入式網(wǎng)絡(luò)技術(shù)在近幾年來(lái)也得到飛速的發(fā)展。在此基礎(chǔ)上,只需將硬件技術(shù)和軟件技術(shù)有效的融合,這項(xiàng)技術(shù)將突破系統(tǒng)、地域等諸多因素的限制。這給視頻監(jiān)控系統(tǒng)帶來(lái)了巨大的便利,用戶只需要將設(shè)備連接上因特網(wǎng),便可隨時(shí)隨地獲取各種信息本文根據(jù)事實(shí)監(jiān)控系統(tǒng)的要求,設(shè)計(jì)了一套基于DM6467的多通道視頻傳輸系統(tǒng)。采用基于嵌入式Linux系統(tǒng)的DM6467處理器和TVP5158結(jié)合,使得系統(tǒng)擴(kuò)容較傳統(tǒng)監(jiān)控系統(tǒng)更加簡(jiǎn)單,并節(jié)省成本。通過(guò)H.264圖像壓縮編碼,解決了多通道視頻數(shù)據(jù)量大,無(wú)法進(jìn)行網(wǎng)絡(luò)傳輸?shù)膯?wèn)題。采用靈活的多線程編程,使單芯片多通道實(shí)時(shí)視頻采集與壓縮處理難以及多通道實(shí)時(shí)H.264圖像解碼與顯示效率低等問(wèn)題得到解決1視頻采集和顯示模塊本系統(tǒng)的目的是設(shè)計(jì)一個(gè)多通道視頻傳輸系統(tǒng),在該系統(tǒng)中實(shí)現(xiàn)視頻數(shù)據(jù)的實(shí)時(shí)采集、壓縮、傳輸和實(shí)時(shí)顯示等。系統(tǒng)功能結(jié)構(gòu)框圖如圖1所示,多通道視頻傳輸系統(tǒng)分為發(fā)送設(shè)備和接收設(shè)備,在發(fā)送設(shè)備中,視頻采集模塊采用4個(gè)模擬攝像頭,模擬信號(hào)送入到TVP5158芯片,通過(guò)數(shù)模轉(zhuǎn)換得到數(shù)字信號(hào),DM6467采集模塊接收TVP5158送來(lái)的數(shù)據(jù),經(jīng)過(guò)壓縮處理后送給網(wǎng)絡(luò)發(fā)送模塊進(jìn)行發(fā)送。在接收設(shè)備中,接收模塊接收數(shù)據(jù),且對(duì)四路數(shù)據(jù)進(jìn)行分離,分離后的數(shù)據(jù)經(jīng)過(guò)解碼后恢復(fù)原始視頻數(shù)據(jù),并將四路視頻在電腦上實(shí)時(shí)顯示。其中發(fā)送設(shè)備與接收設(shè)備的數(shù)據(jù)傳輸采用TCP/IP網(wǎng)絡(luò)傳輸協(xié)議。由于本系統(tǒng)是4通道視頻數(shù)據(jù)同時(shí)實(shí)時(shí)顯示。在不影響視覺(jué)觀看下的指標(biāo)設(shè)計(jì)如下:(1)實(shí)現(xiàn)1-4通道圖像實(shí)時(shí)采集和壓縮(基于H.264協(xié)議),圖像分辨率不大于720x480;2發(fā)送端硬件結(jié)構(gòu)根據(jù)如上方案可知,基于DM6467的多通道視頻傳輸系統(tǒng)可分為兩部分。發(fā)送端是基于TI達(dá)芬奇處理器DM6467,主要完成多通道視頻采集、圖像壓縮和網(wǎng)絡(luò)發(fā)送等功能。接收端是基于Windows平臺(tái),完成網(wǎng)絡(luò)數(shù)據(jù)接收、圖像解碼和顯示等功能?；贒M6467的嵌入式多通道視頻傳輸系統(tǒng)的發(fā)送端硬件結(jié)構(gòu)如圖2所示。主要包括4路模擬攝像頭、視頻信號(hào)采集芯片TVP5158、嵌入式處理器DM6467、256MBDDR2、128MBNANDFlash,以及其他外設(shè)接口。采用TIARM9+DSP架構(gòu)的專用數(shù)字視頻處理器DM6467作為核心處理器;256MBDDR2作為系統(tǒng)內(nèi)存;128MBNANDFlash作為存儲(chǔ)器;TVP5158實(shí)現(xiàn)多路視頻信號(hào)的實(shí)時(shí)采集;外設(shè)接口包括RS232串口、1000M以太網(wǎng)接口、VPIF接口、I2C接口等3軟件設(shè)計(jì)基于DM6467的多通道視頻傳輸系統(tǒng)應(yīng)用程序設(shè)計(jì)包括四大模塊:視頻采集模塊、視頻壓縮模塊、網(wǎng)絡(luò)傳輸模塊、實(shí)時(shí)顯示模塊。3.1mcvip接口設(shè)計(jì)考慮到嵌入式操作系統(tǒng)Linux2.6.10內(nèi)核中已帶有V4L2(Video4Linux2)攝像頭信號(hào)采集驅(qū)動(dòng),加上采集芯片TVP5158需用I2C接口進(jìn)行配置,對(duì)V4L2驅(qū)動(dòng)、I2C接口驅(qū)動(dòng)和EDMA接口驅(qū)動(dòng)進(jìn)行二次封裝,構(gòu)建更為方便的MCVIP(Multi-ChannelVideoInputPort)接口通過(guò)如下流程和函數(shù),借助MCVIP接口,可實(shí)現(xiàn)對(duì)多通道視頻信號(hào)的采集:初始化圖像分辨率、圖像格式、MCVIP緩沖區(qū)等。CAPTURE_tskCreate(CAPTURE_CreatePrm*prm)創(chuàng)建MCVIP數(shù)據(jù)接收線程。MCVIP_create(&gCAPTURE_.createPrm)從MCVIP隊(duì)列中獲取一幀數(shù)據(jù),由于對(duì)V4L2進(jìn)行了二次封裝,MCVIP可直接通過(guò)V4L2的緩沖隊(duì)列獲取數(shù)據(jù)。MCVIP_demuxRun(hndl,&v4l2Buf)釋放本次讀取數(shù)據(jù)所用的緩沖區(qū),以便V4L2驅(qū)動(dòng)循環(huán)利用。MCVIP_v4l2PutBuf(hndl,&v4l2Buf)。3.2mcvip數(shù)據(jù)壓縮系統(tǒng)采用的圖像分辨率為720x480,每通道按15幀/s的速率進(jìn)行計(jì)算,原始數(shù)據(jù)量可達(dá)39MB/s,若不通過(guò)數(shù)據(jù)壓縮,很難通過(guò)局域網(wǎng)對(duì)數(shù)據(jù)進(jìn)行發(fā)送。DM6467自帶有高性能1GHzDSP,可實(shí)時(shí)對(duì)多通道視頻進(jìn)行處理。由于TI提供的數(shù)字視頻開發(fā)包(DVSDK)所包含的H.264算法標(biāo)準(zhǔn)所要求的原始圖像格式為YUV420P,而TVP5158采集后得到的圖像格式為YUV422,因此,在壓縮之前,需要調(diào)用DM6467自帶的Chrominancesignalformatconversion(CCV)引擎,Ccv_execute(hCcv,hSrcBuf,hDstBuf),將hSrcBuf內(nèi)存區(qū)存儲(chǔ)的數(shù)據(jù)轉(zhuǎn)換為YUV420P格式。在進(jìn)行壓縮之前,需要?jiǎng)?chuàng)建一個(gè)CodecEngine(CE)。ARM通過(guò)CE機(jī)制調(diào)用DSP側(cè)的Codec,并協(xié)助ARM與DSP進(jìn)行通信。hEngine=Engine_open(ENGINE_NAME,NULL,NULL)其次,需要對(duì)VIDENC1_Params和VIDENC1_DynamicParams兩個(gè)數(shù)據(jù)結(jié)構(gòu)進(jìn)行設(shè)置,并利用該參數(shù)創(chuàng)建一個(gè)圖像壓縮任務(wù)。兩數(shù)據(jù)結(jié)構(gòu)參數(shù)表1所示。hVe1=Venc1_create(hEngine,H264ENC_NAME,¶ms,&dynParams)通過(guò)Venc1_create()函數(shù),告知DSPServer需要運(yùn)行哪一段可執(zhí)行代碼。在壓縮任務(wù)創(chuàng)建完成后,便可從MCVIP緩沖隊(duì)列中獲取對(duì)應(yīng)通道的圖像數(shù)據(jù)幀,進(jìn)行圖像壓縮。獲取隊(duì)列中的數(shù)據(jù)MCVIP_getBuf(gCAPTURE_.mcvipHndl,&bufId,OSA_TIMEOUT_FOREVER);解析數(shù)據(jù)pBufInfo=MCVIP_getBufInfo(gCAPTURE_.mcvipHndl,bufId);將數(shù)據(jù)發(fā)送到壓縮線程進(jìn)行圖像壓縮CAPTURE_tskSendFrame(chId,pBufInfo->virtAddr,bufsize,bufsize[chId]);完成數(shù)據(jù)壓縮Venc1_process(hVe1,hDstBuf,hOutBuf),并將壓縮后的數(shù)據(jù)發(fā)送到FIFO,供網(wǎng)絡(luò)模塊調(diào)用及數(shù)據(jù)發(fā)送PutTransqueue(outFilenameThr,len,Chid)。各通道建立自己的壓縮線程,其線程運(yùn)行流程圖如圖4所示。3.3基于fpga-icp-udp的視頻數(shù)據(jù)傳輸TransmissionControlProtocol(TCP,傳輸控制協(xié)議)與UserDatagramProtocol(UDP,用戶數(shù)據(jù)報(bào)協(xié)議)是TCP/IP協(xié)議簇中傳輸層的兩種協(xié)議。TCP提供了面向連接的服務(wù),保證了數(shù)據(jù)傳輸?shù)目煽啃?但吞吐量小,對(duì)于視頻數(shù)據(jù)的傳輸而言效率低。UDP提供了面向無(wú)連接的服務(wù),雖無(wú)法保證數(shù)據(jù)傳輸?shù)目煽啃?但系統(tǒng)效率高。因此,本系統(tǒng)采用UDP協(xié)議進(jìn)行傳輸。網(wǎng)絡(luò)傳輸模塊流程圖如圖5所示。發(fā)送端首先創(chuàng)建socket套接字服務(wù),并綁定已經(jīng)協(xié)商好的端口號(hào)。緊接著從FIFO中讀取壓縮線程已經(jīng)壓縮好的圖像數(shù)據(jù),若FIFO不為空,則將該通道的數(shù)據(jù)加上幀頭信息后通過(guò)sendto()函數(shù)發(fā)送到接收端;若FIFO為空,則繼續(xù)等待。接收端需要?jiǎng)?chuàng)建一個(gè)socket服務(wù)3.4視頻數(shù)據(jù)接收端視頻解碼實(shí)時(shí)顯示模塊負(fù)責(zé)接收發(fā)送端通過(guò)網(wǎng)絡(luò)發(fā)送的4通道數(shù)據(jù),并對(duì)其進(jìn)行實(shí)時(shí)解析和圖像解碼并顯示。本系統(tǒng)的實(shí)時(shí)顯示模塊軟件框架設(shè)計(jì)與實(shí)現(xiàn)采用的是MicrosoftVisualC++6.0集成開發(fā)環(huán)境進(jìn)行開發(fā),實(shí)現(xiàn)四路視頻數(shù)據(jù)接收端軟件開發(fā)工作。圖像解碼采用動(dòng)態(tài)的XXX.dll庫(kù)文件進(jìn)行H264算法解碼。ShowStream()函數(shù)從FIFO中讀取一幀圖像數(shù)據(jù),調(diào)用H264Decoder()函數(shù)進(jìn)行圖像解碼,解碼后的數(shù)據(jù)格式為YV12格式。利用相應(yīng)的算法將YV12格式的視頻數(shù)據(jù)轉(zhuǎn)換為RGB格式,最后利用位圖的形式將視頻顯示出來(lái)。實(shí)時(shí)顯示模塊流程如圖6所示。4視頻顯示中心測(cè)試系統(tǒng)測(cè)試環(huán)境包含4個(gè)模擬攝像頭、DM6467開發(fā)板、PC機(jī)2臺(tái)(其中一臺(tái)作為對(duì)DM6467的控制,一臺(tái)作為視頻顯示中心)。測(cè)試環(huán)境如圖7所示。圖8是監(jiān)控中心實(shí)時(shí)解碼顯示效果圖。圖像分辨率為720x480。發(fā)送端與接收端同在一個(gè)局域網(wǎng)。經(jīng)過(guò)10小時(shí)連續(xù)測(cè)試,圖像時(shí)延低于0.8秒,監(jiān)控中心可實(shí)時(shí)播放1-4路視頻信號(hào)。圖像傳輸幀率如表2所示。測(cè)試表明,在多通道同時(shí)工作時(shí),傳輸幀率均滿足預(yù)期設(shè)計(jì)指標(biāo)。5系統(tǒng)穩(wěn)定性和可擴(kuò)展性本文設(shè)計(jì)了一種基于DM6467的多通道視頻傳輸系統(tǒng),實(shí)現(xiàn)了1-4通道實(shí)時(shí)圖像采集、H.264圖像壓縮編碼和網(wǎng)絡(luò)傳輸。接收端實(shí)時(shí)顯