嵌入式系統(tǒng)調(diào)研報(bào)告

北京聯(lián)合大學(xué)嵌入式系統(tǒng)設(shè)計(jì)與應(yīng)用調(diào)研報(bào)告學(xué)院：專(zhuān)業(yè)：課程：班級(jí)：姓名：學(xué)號(hào)：年月日基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng)北京聯(lián)合大學(xué)XXX原作者：陳耀武,伍鵬,汪樂(lè)宇(浙江大學(xué)儀器科學(xué)與工程學(xué)系,浙江杭州310027)摘要:視頻監(jiān)控系統(tǒng)是日常生產(chǎn)生活中的重要輔助設(shè)備,提出并研究設(shè)計(jì)了基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng).以高性能嵌入式處理器、DSP處理器和嵌入式Linux操作系統(tǒng)為核心進(jìn)行系統(tǒng)設(shè)計(jì).系統(tǒng)通過(guò)DSP處理器進(jìn)行視頻信號(hào)的MPEG4數(shù)據(jù)壓縮,在嵌入式處理器上采用流媒體技術(shù)通過(guò)網(wǎng)絡(luò)傳播實(shí)時(shí)視頻流.詳細(xì)論述了系統(tǒng)設(shè)計(jì)、硬件設(shè)計(jì)和軟件設(shè)計(jì),并給出了實(shí)際運(yùn)行結(jié)果.關(guān)鍵詞:視頻監(jiān)控系統(tǒng);流媒體;MPEG4;嵌入式系統(tǒng)StreammediatechnologybasednetworkembeddedvideomonitoringsystemCHENYao-wu,WUPeng,WANGLe-yuAbstract:Thevideomonitoringsystemisanimportantassistantdeviceinourlife.Anetworkembeddedvideomonitoringsystembasedonthestreammediatechnologyispresentedanddeveloped.Thesystemisdesignedoftheembeddedprocessor,theDSPprocessorandembeddedLinuxoperatingsystem.ThevideocompressionpartofthesystemisbasedontheMPEG4嵌入式Linux操作系統(tǒng)越來(lái)越多地成為嵌入式系統(tǒng)設(shè)計(jì)的主流.其具有任務(wù)調(diào)度、存儲(chǔ)管理、消息隊(duì)列、中斷處理等現(xiàn)代操作系統(tǒng)特征;并且針對(duì)嵌入式系統(tǒng)進(jìn)行了優(yōu)化,具有體積小、固化容易、現(xiàn)場(chǎng)實(shí)時(shí)反應(yīng)能力強(qiáng)、可靠性好等特點(diǎn);而且操作系統(tǒng)本身包含TCP/IP協(xié)議棧,以及大量跟硬件相關(guān)的驅(qū)動(dòng)程序.另外Linux操作系統(tǒng)上的開(kāi)發(fā)資源十分豐富,為嵌入式軟件開(kāi)發(fā)人員提供了良好的開(kāi)發(fā)平臺(tái).硬件驅(qū)動(dòng)程序位于嵌入式Linux操作系統(tǒng)之中,是上層應(yīng)用軟件和下層嵌入式硬件之間的唯一橋梁.對(duì)于特定的嵌入式硬件就需要編寫(xiě)特定的驅(qū)動(dòng)程序.在該系統(tǒng)中主要開(kāi)發(fā)了高速SPI接口驅(qū)動(dòng)程序模塊,這樣上層嵌入式流媒體服務(wù)器就可以通過(guò)SPI接口驅(qū)動(dòng)來(lái)接受DSP壓縮好的MPEG4視頻數(shù)據(jù).嵌入式流媒體服務(wù)器是系統(tǒng)嵌入式軟件設(shè)計(jì)的核心部分.首先通過(guò)串口驅(qū)動(dòng)程序來(lái)設(shè)置DSP的壓縮過(guò)程并啟動(dòng)壓縮,接著通過(guò)高速SPI驅(qū)動(dòng)程序獲得DSP壓縮好的MPEG4數(shù)據(jù),轉(zhuǎn)換其為適于流式傳輸?shù)臄?shù)據(jù)后通過(guò)基于IP多播技術(shù)的實(shí)時(shí)傳輸協(xié)議RTP(realtimetransferprotocol)、實(shí)時(shí)傳輸控制協(xié)議RTCP(RTPcontrolprotocol)、會(huì)話描述協(xié)議SDP(sessiondescriptionprotocol)[4]等一系列標(biāo)準(zhǔn)的IP實(shí)時(shí)多媒體數(shù)據(jù)傳輸協(xié)議傳送到網(wǎng)絡(luò)上.1.4嵌入式流媒體服務(wù)器軟件詳細(xì)設(shè)計(jì)嵌入式流媒體服務(wù)器整個(gè)軟件采用C++語(yǔ)言編寫(xiě),圖4是該軟件的靜態(tài)UML類(lèi)圖設(shè)計(jì).如圖4所示,整個(gè)系統(tǒng)其實(shí)就是由CMediaFlow類(lèi)所代表的視頻媒體數(shù)據(jù)流.數(shù)據(jù)流由一系列節(jié)點(diǎn)串連而成.抽象類(lèi)CMediaNode類(lèi)抽象代表這些一系列的節(jié)點(diǎn),每一個(gè)節(jié)點(diǎn)其實(shí)就是一個(gè)線程,而每個(gè)線程都有一個(gè)消息隊(duì)列(CMsgQueue類(lèi)),用來(lái)接受相應(yīng)的消息(CMsg類(lèi))作出處理動(dòng)作.具體來(lái)講,CMediaSource類(lèi)派生至CMediaNode類(lèi)代表所有數(shù)據(jù)流源頭的節(jié)點(diǎn),也就是數(shù)據(jù)流的入口點(diǎn).同樣的,CMediaSink類(lèi)也派生至CMediaNode類(lèi)代表所有數(shù)據(jù)流的接受節(jié)點(diǎn),可以用來(lái)表示數(shù)據(jù)流的出口點(diǎn).CMediaFrame類(lèi)代表這個(gè)數(shù)據(jù)流中真正的數(shù)據(jù),它從數(shù)據(jù)源流向數(shù)據(jù)流的出口.CVideoSource類(lèi)是派生至CMediaSource類(lèi),代表視頻數(shù)據(jù)的入口點(diǎn),它調(diào)用嵌入式Linux操作系統(tǒng)的SPI驅(qū)動(dòng)來(lái)獲得實(shí)時(shí)的視頻數(shù)據(jù).CRtpTransmitter類(lèi)派生至CMediaSink類(lèi),代表視頻數(shù)據(jù)的出口點(diǎn),它封裝了基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng)對(duì)網(wǎng)絡(luò)RTP/RTCP協(xié)議的操作,把視頻數(shù)據(jù)流直接發(fā)送到網(wǎng)絡(luò)上.CHttpServer類(lèi)實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的HTTP服務(wù)器的功能,主要是可以通過(guò)HTTP協(xié)議傳送SDP文件給客戶端,客戶端獲得SDP文件后就可以根據(jù)SDP文件的描述信息來(lái)獲得視頻流的IP多播包.CSdpFile類(lèi)實(shí)現(xiàn)了對(duì)SDP會(huì)話描述協(xié)議文件的操作,根據(jù)當(dāng)前的視頻流配置信息產(chǎn)生SDP文件.圖5為嵌入式流媒體服務(wù)器軟件UML動(dòng)態(tài)序列圖.具體的動(dòng)態(tài)流程描述如下:系統(tǒng)初始化過(guò)程程序入口main函數(shù)首先創(chuàng)建CMediaConfig類(lèi)對(duì)象pConfig,并從配置文件里獲得配置信息而初始化該對(duì)象.pConfig對(duì)象里面包含了整個(gè)系統(tǒng)的配置信息,比如視頻源類(lèi)型、視頻壓縮編碼器類(lèi)型、網(wǎng)絡(luò)傳輸?shù)脑O(shè)置等等.根據(jù)pConfig對(duì)象的配置來(lái)創(chuàng)建類(lèi)CMediaFlow的對(duì)象pFlow,并且Start這個(gè)數(shù)據(jù)流.pFlow對(duì)象會(huì)去創(chuàng)建視頻數(shù)據(jù)源對(duì)象CVideoSource和數(shù)據(jù)流的出口對(duì)象CRtpTransmitter.用CVideoSource的AddSink操作告訴CRtpTransmiter類(lèi)的對(duì)象是數(shù)據(jù)源的接收者.啟動(dòng)CRtpTransmitter的對(duì)象,同時(shí)創(chuàng)建CSdpFile類(lèi)對(duì)象,并通過(guò)GenerateSdpFile操作來(lái)產(chǎn)生SDP描述文件.創(chuàng)建CHttpServer類(lèi)對(duì)象,并啟動(dòng)HTTPserver服務(wù),提供SDP文件下載.視頻流處理發(fā)送過(guò)程.pFlow對(duì)象調(diào)用CVideoSource類(lèi)對(duì)象的StartVideo操作來(lái)啟動(dòng)視頻流.從SPI驅(qū)動(dòng)獲得MPEG4的數(shù)據(jù)幀,接著創(chuàng)建CMediaFrame類(lèi)的對(duì)象pFrame,用ForwardFrame操作把MPEG4數(shù)據(jù)幀送入接受者CRtpTrans-mitter類(lèi)的對(duì)象.CRtpTransmitter類(lèi)的對(duì)象調(diào)用DoSendFrame函數(shù)通過(guò)網(wǎng)絡(luò)發(fā)送該MPEG4數(shù)據(jù)幀.CVideoSource類(lèi)對(duì)象通過(guò)RealseFrame操作釋放該MPEG4數(shù)據(jù)幀,并銷(xiāo)毀pFrame對(duì)象.重復(fù)以上過(guò)程就可以得到連續(xù)的視頻流數(shù)據(jù).中止該視頻流的過(guò)程.Main函數(shù)調(diào)用pFlow對(duì)象的Stop操作來(lái)中止該視頻流.pFlow對(duì)象會(huì)依次去停止和銷(xiāo)毀CVideoSource類(lèi)對(duì)象和CRtpTransmitter類(lèi)對(duì)象,刪除SDP文件,銷(xiāo)毀CS-dpFile類(lèi)對(duì)象,停止和銷(xiāo)毀CHttpServer類(lèi)對(duì)象.Main函數(shù)銷(xiāo)毀pFlow對(duì)象,銷(xiāo)毀pConfig對(duì)象并結(jié)束程序.1.4客戶端視頻監(jiān)控軟件的設(shè)計(jì)由于服務(wù)器端采用標(biāo)準(zhǔn)的RTP協(xié)議,客戶端播放軟件只要遵循該協(xié)議,就可以獲得視頻流.服務(wù)器端采用IP多播技術(shù),只需發(fā)送一份數(shù)據(jù)包就可以支持多客戶端同時(shí)監(jiān)控,而不會(huì)增加服務(wù)器的負(fù)擔(dān).一般來(lái)說(shuō),客戶端只要安裝有與DSP的MPEG4壓縮算法相應(yīng)的解碼器,然后使用Re-alOne等標(biāo)準(zhǔn)播放軟件都可以作視頻流的播放了.也可以根據(jù)RTP協(xié)議,自己編寫(xiě)客戶端播放軟件來(lái)進(jìn)行視頻監(jiān)控.2系統(tǒng)實(shí)踐該系統(tǒng)已經(jīng)在實(shí)驗(yàn)室和一些現(xiàn)場(chǎng)進(jìn)行過(guò)系統(tǒng)實(shí)踐,如圖6和圖7的屏幕截圖所示.3結(jié)論根據(jù)當(dāng)前計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和視頻數(shù)據(jù)壓縮技術(shù)的發(fā)展現(xiàn)狀,提出并研究設(shè)計(jì)了一個(gè)基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式視頻監(jiān)控系統(tǒng).該系統(tǒng)以高速發(fā)展的嵌入式網(wǎng)絡(luò)技術(shù)為核心進(jìn)行設(shè)計(jì),具有很好的可靠性和性能價(jià)格比.該系統(tǒng)在一定應(yīng)用場(chǎng)所已得到了試驗(yàn)應(yīng)用.參考文獻(xiàn):[1]GREIFFENHAGENM,COMANICIUD,NIEMANNH,etal.Design,analysisandengineeringofvideomonitoringsystems:anapproachandacasestudy[J].ProceedingsoftheIEEE,2001,90(10):1498-1517.[2]ZingirianBagliettoMaresca,Migliardi.MPEGCodingofHighwayMonitoringVideoSequences[M].Univer-sityofGenoa,Italy:InternalReportDIST,1996.[3]SCHULZRINNEH,CASNERS,FREDERICKR,etal.RTP:atransportprotocolforreal-timeapplica-tions[J].RFC3550,2003.[4]HANDLEYM,JACOBSONV.SDP:sessiondescrip-tionprotocol[J].RFC2327,1998.[5]ADSP-BF531/ADSP-BF532/ADSP-BF533.BLACKfinEmbeddedProcessorPreliminaryDataSheet[M].Ana-logDevices,Inc,2003.[6]IntelCorporation.IntelPXA26xProcessorFamilyDeveloper'sManual[M],2003.論文認(rèn)識(shí)體會(huì) 這篇論文寫(xiě)的是關(guān)于基于流媒體技術(shù)的網(wǎng)絡(luò)化嵌入式系統(tǒng)在視頻監(jiān)控中的應(yīng)用。通過(guò)閱讀這篇論文，我認(rèn)識(shí)到現(xiàn)如今隨著網(wǎng)絡(luò)、通信和數(shù)字信息技術(shù)的不斷進(jìn)步，監(jiān)控系統(tǒng)的組成模式也在快化和發(fā)展中。視頻監(jiān)控系統(tǒng)是安全防范系統(tǒng)的組成部分，它是一種防范能力較強(qiáng)的綜合系統(tǒng)。視頻監(jiān)控以其直觀、方便、信息內(nèi)容豐富而廣泛應(yīng)用于許多場(chǎng)合。近年來(lái)，隨著計(jì)算機(jī)、網(wǎng)絡(luò)以及圖像處理、傳輸技術(shù)的飛速發(fā)展，涌現(xiàn)出大量的嵌入式視頻監(jiān)控系統(tǒng)。視頻監(jiān)控技術(shù)的發(fā)展大致可分為四個(gè)階段：閉路電視系統(tǒng)構(gòu)建的模擬系統(tǒng)、數(shù)字信號(hào)控制的模擬視頻監(jiān)控系統(tǒng)、數(shù)字硬盤(pán)錄像設(shè)備為核心的視頻監(jiān)控系統(tǒng)和現(xiàn)在的數(shù)字網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。我認(rèn)為論文中設(shè)計(jì)的視頻監(jiān)控之所以采用嵌入式Linux系統(tǒng)是因?yàn)榍度胧絃inux操作系統(tǒng)越來(lái)越多地成為嵌入式系統(tǒng)設(shè)計(jì)的主流.其具有任務(wù)調(diào)度、存儲(chǔ)管理、消息隊(duì)列、中斷處理等現(xiàn)代操作系統(tǒng)特征;并且針對(duì)嵌入式系統(tǒng)進(jìn)行了優(yōu)化,具有體積小、固化容易、現(xiàn)場(chǎng)實(shí)時(shí)反應(yīng)能力強(qiáng)、可靠性好等特點(diǎn);而且操作系統(tǒng)本身包含TCP/IP協(xié)議棧,以及大量跟硬件相關(guān)的驅(qū)動(dòng)程序.另外Linux操作系統(tǒng)上的開(kāi)發(fā)資源十分豐富,為嵌入式軟件開(kāi)發(fā)人員提供了良好的開(kāi)發(fā)平臺(tái).硬件驅(qū)動(dòng)程序位于嵌入式Linux操作系統(tǒng)之中,是上層應(yīng)用軟件和下層嵌入式硬件之間的唯一橋梁.對(duì)于特定的嵌入式硬件就需要編寫(xiě)特定的驅(qū)動(dòng)程序.在該系統(tǒng)中主要開(kāi)發(fā)了高速SPI接口驅(qū)動(dòng)程序模塊,這樣上層嵌入式流媒體服務(wù)器就可以通過(guò)SPI接口驅(qū)動(dòng)來(lái)接受DSP壓縮好的MPEG4視頻數(shù)據(jù).嵌入式流媒體服務(wù)器是系統(tǒng)嵌入式軟件設(shè)計(jì)的核心部分。通過(guò)這篇論文我體會(huì)到嵌入式系統(tǒng)已經(jīng)涉及到生活中各項(xiàng)領(lǐng)域，不僅是視頻監(jiān)控領(lǐng)域，還有手機(jī)，PDA，機(jī)頂盒，高清電視，路由器，汽車(chē)電子，智能家電，醫(yī)療儀器，航天設(shè)備等等這些都是嵌入式系統(tǒng)的典型應(yīng)用。嵌入式系統(tǒng)將會(huì)有更加廣闊的發(fā)展空間。課程總結(jié)通過(guò)8周的嵌入式系統(tǒng)課程學(xué)習(xí)，我對(duì)嵌入式系統(tǒng)以及ARM微處理器有了更加深刻的認(rèn)識(shí)。以往我對(duì)嵌入式系統(tǒng)是極其陌生的，并且認(rèn)為這是非常難理解和學(xué)習(xí)的。但經(jīng)過(guò)了上學(xué)期微機(jī)原理和本學(xué)期的嵌入式系統(tǒng)課程，我對(duì)這個(gè)系統(tǒng)有了全新的認(rèn)識(shí)。課本對(duì)該系統(tǒng)的描述：嵌入式系統(tǒng)是“控制、監(jiān)視或者輔助裝置、機(jī)器和設(shè)備運(yùn)行的裝置”。這主要是從應(yīng)用上定義的，從中可看出嵌入式系統(tǒng)是軟件和硬件的綜合體。但上述定義并不能充分體現(xiàn)出嵌入式系統(tǒng)的精髓，目前國(guó)內(nèi)一個(gè)普遍被認(rèn)同的定義是：以應(yīng)用為中心、以計(jì)算機(jī)技術(shù)為基礎(chǔ)、軟件硬件可裁剪、適應(yīng)應(yīng)用系統(tǒng)對(duì)功能、可靠性、成本、體積、功耗嚴(yán)格要求的專(zhuān)用計(jì)算機(jī)系統(tǒng)。我對(duì)這個(gè)系統(tǒng)的理解是這樣的：嵌入式系統(tǒng)是集系統(tǒng)的應(yīng)用軟件與硬件于一體，類(lèi)似于PC機(jī)中BIOS的工作方式，具有軟件代碼小、高度自動(dòng)化、響應(yīng)速度快等特點(diǎn)，特別適合于要求實(shí)時(shí)和多任務(wù)的體系。不僅如此，我認(rèn)為嵌入式系統(tǒng)是面向用戶、面向產(chǎn)品、面向應(yīng)用的，嵌入式系統(tǒng)是與應(yīng)用緊密結(jié)合的，它具有很強(qiáng)的專(zhuān)用性，必須結(jié)合實(shí)際系統(tǒng)需求進(jìn)行合理的裁減利用。嵌入式系統(tǒng)和具體應(yīng)用有機(jī)地結(jié)合在一起，它的升級(jí)換代也是和具體產(chǎn)品同步進(jìn)行，因此嵌入式系統(tǒng)產(chǎn)品一旦進(jìn)入市場(chǎng)，具有較長(zhǎng)的生命周期；嵌入式系統(tǒng)是將先進(jìn)的計(jì)算機(jī)技術(shù)、半導(dǎo)體技術(shù)和電子技術(shù)和各個(gè)行業(yè)的具體應(yīng)用相結(jié)合后的產(chǎn)物。這一點(diǎn)就決定了它必然是一個(gè)技術(shù)密集、資金密集、高度分散、不斷創(chuàng)新的知識(shí)集成系統(tǒng)；除了嵌入式系統(tǒng)，我對(duì)ARM