IP視頻流處理系統(tǒng)技術(shù)方案

IP視頻流處理系統(tǒng)技術(shù)方案2010年10月21日目錄TOC一、項目需求 3二、系統(tǒng)主要技術(shù)及功能介紹 32.1、視頻流壓縮編碼技術(shù)： 32.2、服務(wù)器處理技術(shù)： 42.3、網(wǎng)絡(luò)傳輸協(xié)議： 52.4、對端流媒體播放技術(shù)（解碼） 5三、系統(tǒng)組成 63.1編碼硬件（服務(wù)器）介紹； 63.1.1編碼硬件（服務(wù)器）構(gòu)架 63.1.2編碼硬件（服務(wù)器）組成 63.1.3編碼硬件（服務(wù)器）編碼技術(shù)介紹及轉(zhuǎn)換格式說明 73.1.4編碼硬件（服務(wù)器）編碼流程介紹及GPU并行處理技術(shù)介紹 73.1.5編碼硬件（服務(wù)器）編碼指標(biāo)說明（壓縮比、分辨率、帶寬、信號類型、流媒體格式、碼流、幀數(shù)等指標(biāo)） 83.1.6編碼硬件（服務(wù)器）處理性能 93.1.7編碼硬件（服務(wù)器）擴展能力 103.2解碼器介紹； 103.2.1解碼器介紹 103.2.2解碼技術(shù)介紹 103.2.3解碼后最終顯示性能 113.2.4解碼器與編碼器協(xié)同工作原理 113.2.5窗口顯示性能 12四、IP視頻流處理系統(tǒng)技術(shù)點實現(xiàn)方式 12五、IP視頻流處理系統(tǒng)優(yōu)勢所在及對比 12六、系統(tǒng)圖 14七、新版本介紹 157.1、版本介紹 157.2、BlendOneV2窗口管理介紹： 17八、系統(tǒng)測試 18一、項目需求支持多路IP流媒體信號源并行輸入；可以將外部視頻信號轉(zhuǎn)換為IP流媒體以窗口的形式在大屏幕上顯示；所有操作均兼容集中控制主機、操作電腦等控制設(shè)備；完美實現(xiàn)多窗口顯示，并且可以進行窗口放大、縮小、漫游、疊加、拉伸等功能；支持顯示模式預(yù)存、調(diào)用、修改等功能；二、系統(tǒng)主要技術(shù)及功能介紹2.1、視頻流壓縮編碼技術(shù)：視頻流壓縮編碼技術(shù)。由于存在視頻信息數(shù)據(jù)量大而網(wǎng)絡(luò)帶寬有限的矛盾，壓縮技術(shù)一直是網(wǎng)絡(luò)視頻通信的關(guān)鍵技術(shù)。網(wǎng)絡(luò)流媒體技術(shù)面臨著網(wǎng)絡(luò)帶寬的波動和多種應(yīng)用的挑戰(zhàn)，高壓縮率的分級編碼技術(shù)是很好的解決途徑。它能提供根據(jù)帶寬而自適應(yīng)變化的視頻碼流，以滿足不同質(zhì)量的服務(wù)。功能：此技術(shù)主要用于編碼器進行視頻流的轉(zhuǎn)碼工作，將具有分辨率和行場頻率的VGA、RGB、DVI信號轉(zhuǎn)換為可以通過網(wǎng)絡(luò)進行傳輸?shù)牧髅襟w格式；編碼體系結(jié)構(gòu)圖：2.2、服務(wù)器處理技術(shù)：服務(wù)器處理技術(shù)。編碼服務(wù)器是流媒體系統(tǒng)的核心設(shè)備，它通過對視頻流的發(fā)送和控制，保證了通信的服務(wù)質(zhì)量。為了解決時延和帶寬的限制，服務(wù)器必須根據(jù)實際的可用帶寬把壓縮的數(shù)據(jù)打包成合適的碼并響應(yīng)網(wǎng)絡(luò)的反饋控制信息；同時為了實現(xiàn)客戶與服務(wù)器的交互功能（VOD），服務(wù)器還要有對用戶發(fā)來的服務(wù)請求（VCR）進行有效處理的功能。典型流媒體服務(wù)器技術(shù)包括數(shù)據(jù)放置策略、磁盤調(diào)度算法、內(nèi)存緩沖區(qū)管理算法等功能：編碼服務(wù)器不但負(fù)責(zé)各類信號的轉(zhuǎn)換工作，并且負(fù)責(zé)轉(zhuǎn)換后的流媒體網(wǎng)絡(luò)推送工作，并且根據(jù)不同的情況提供不同的策略、算法及緩沖；2.3、網(wǎng)絡(luò)傳輸協(xié)議：網(wǎng)絡(luò)傳輸協(xié)議。由于我們的設(shè)備應(yīng)用于局域網(wǎng)，并且要求有1000M的帶寬流量，但是由于流媒體的傳輸應(yīng)避免網(wǎng)絡(luò)丟包情況，因此我們選擇比較適合實時視頻傳輸?shù)膮f(xié)議主要有：網(wǎng)絡(luò)層的IP協(xié)議，傳輸層的用戶數(shù)據(jù)報協(xié)議(UDP)、實時傳輸協(xié)議（RTP）、會話層的RTSP（實時流協(xié)議）。在傳輸層的下層，為了減小時延，視頻數(shù)據(jù)傳輸使用盡力轉(zhuǎn)發(fā)的UDP。RTP是在UDP的上層為數(shù)據(jù)傳輸提供丟包檢測和同步的實時傳輸協(xié)議，RTCP是配合RTP的控制協(xié)議；功能：此技術(shù)對應(yīng)的功能主要負(fù)責(zé)流媒體在網(wǎng)絡(luò)上廣播推送服務(wù)，通過相應(yīng)的協(xié)議及我們針對網(wǎng)絡(luò)廣播的軟體限制，避免丟包，延遲的現(xiàn)象出現(xiàn)；2.4、對端流媒體播放技術(shù)（解碼）接收端的流播放技術(shù)。由于流媒體采用的是IP\UDP等非可靠傳輸協(xié)議，數(shù)據(jù)可能不會按原來的順序到達(dá)接收端而且可能存在丟包，所以在解碼前開辟一個緩沖區(qū)進行重排和錯誤掩蓋。為了實現(xiàn)實時連續(xù)播放并且拒絕丟包情況，我們開辟一個適當(dāng)大小的播放緩沖區(qū)，以避免網(wǎng)絡(luò)帶寬的波動帶來的緩沖區(qū)下溢；而我們采用的編碼技術(shù)是MPEG-4標(biāo)準(zhǔn)，因此在解碼方面同時采用MPEG-4的解碼標(biāo)準(zhǔn)；通過我們自主研發(fā)的播放軟體，配合相應(yīng)的解碼算法，最終實現(xiàn)對端接受設(shè)備的連續(xù)播放；三、系統(tǒng)組成3.1編碼硬件（服務(wù)器）介紹；3.1.1編碼硬件（服務(wù)器）構(gòu)架編碼服務(wù)器的構(gòu)架為服務(wù)器軟硬結(jié)合方式的構(gòu)架，通過我們自主研發(fā)的集成了編碼、網(wǎng)絡(luò)、并行處理的機制的軟體，結(jié)合定制的高性能圖形卡共同實現(xiàn)實時各類信號的并行轉(zhuǎn)碼及網(wǎng)絡(luò)并行推送功能；數(shù)據(jù)采集數(shù)據(jù)采集編碼器傳輸控制3.1.2編碼硬件（服務(wù)器）組成（1）采集模塊，進行RGB/DVI信號采集，為編碼模塊提供數(shù)據(jù)（2）編碼模塊，以MPEG4標(biāo)準(zhǔn)對圖像數(shù)據(jù)進行壓縮編碼（3）控制模塊，對外提供控制接口，對采集模塊和編解碼模塊進行參數(shù)設(shè)置（4）傳輸模塊，接受通訊連接，對外傳輸壓縮數(shù)據(jù)3.1.3編碼硬件（服務(wù)器）編碼技術(shù)介紹及轉(zhuǎn)換格式說明采集信號保存為YUV信號后傳送給編碼器，編碼器按照MPEG4標(biāo)準(zhǔn)對采集信號進行編碼。編碼格式為4:2:0格式，幀格式采用I幀，P幀和B幀。3.1.4編碼硬件（服務(wù)器）編碼流程介紹及GPU并行處理技術(shù)介紹（1）編碼流程介紹 編碼器采用的是變換和預(yù)測的混合編碼法。編碼原理由圖一所示，輸入的幀或場Fn以宏塊為單位被編碼器處理。首先，按幀內(nèi)或幀間預(yù)測編碼的方法進行處理。如果采用幀內(nèi)預(yù)測編碼，其預(yù)測值PRED（圖中用P表示）是由當(dāng)前片中前面已編碼的參考圖像經(jīng)運動補償（MC）后得出，其中參考圖像用F’n-1表示。為了提高預(yù)測精度，從而提高壓縮比，實際的參考圖像可在過去或未來（指顯示次序上）已編碼解碼重建和濾波的幀中進行選擇。預(yù)測值PRED和當(dāng)前塊相減后，產(chǎn)生一個殘差塊Dn，經(jīng)塊變換、量化后產(chǎn)生一組量化后的變換系數(shù)X，再經(jīng)熵編碼，與解碼所需的一些邊信息（如預(yù)測模式量化參數(shù)、運動矢量等）一起組成一個壓縮后的碼流，在將該碼流傳輸?shù)骄W(wǎng)絡(luò)。如上所述，為了提供進一步預(yù)測用的參考圖像，編碼器必須有重建圖像的功能。因此必須使殘差圖像經(jīng)反量化、反變換后得到的Dn’與預(yù)測值P相加，得到uFn’（未經(jīng)濾波的幀）。為了去除編碼解碼環(huán)路中產(chǎn)生的噪聲，提高參考幀的圖像質(zhì)量，從而提高壓縮圖像性能，編碼器還設(shè)置了一個環(huán)路濾波器，濾波后的輸出Fn’即重建圖像可用作參考圖像。圖一編碼器流程框圖（2）編碼并行處理在各宏塊進行變化和量化的過程中，存在大量的計算，因此利用計算機強大的數(shù)據(jù)處理功能，將各個宏塊數(shù)據(jù)進行并行處理，從而提高編碼速度。3.1.5編碼硬件（服務(wù)器）編碼指標(biāo)說明（壓縮比、分辨率、帶寬、信號類型、流媒體格式、碼流、幀數(shù)等指標(biāo)）（1）編碼器輸入信號：RGB信號流（2）編碼格式：MPEG44:2:0格式（3）編碼幀結(jié)構(gòu)：支持三種類型I/IPP/IBBP（4）工作方式：VBR(可變碼率編碼)/CBR（固定碼率編碼）（5）支持分辨率：1024x768、1280x960、1280x1024、1400x1050、1600x900、1680x1050、1920x1080、1920x1200、1920x1440等（6）編碼幀率：（25～30）fps（7）壓縮比：根據(jù)圖像內(nèi)容因素的不同，如圖像細(xì)節(jié)，運動和靜止，編碼圖像質(zhì)量等方面因素，壓縮比和碼率會不同，理論上MPEG4壓縮比最大可達(dá)到4000:1。實際中測試的壓縮比約為：（8）碼率：（1～50）Mbps（9）帶寬：200Mbps編碼器輸入信號分辨率 幀結(jié)構(gòu)編碼格式幀數(shù)(fps)編碼圖像質(zhì)量平均碼率（Mbps）帶寬要求壓縮率RGB241024x768GOP=100IBBP4：2：030QP=00.7Mbps1Mbps808.901440x10504：2：030QP=01Mbps3Mbps1099.631920x10804：2：030QP=02.5Mbps3Mbp597.191920x12004：2：030QP=02.5Mbps3Mbp663.553.1.6編碼硬件（服務(wù)器）處理性能（1）編碼器可支持1～4路信號同時采集（2）最多支持4路信號（3）支持最高分辨率為2048x1536（4）最大碼流達(dá)到40Mbps（5）壓縮比：在質(zhì)量最好的情況下，壓縮比約為100~8003.1.7編碼硬件（服務(wù)器）擴展能力分辨率最大支持路數(shù)1024x76881400x105041920x108041920x120043.2解碼器介紹；3.2.1解碼器介紹解碼器采用MPEG4解碼標(biāo)準(zhǔn)進行解碼。解碼器從網(wǎng)絡(luò)接收到編碼后的數(shù)據(jù)后，按照標(biāo)準(zhǔn)對編碼數(shù)據(jù)進行解碼。3.2.2解碼技術(shù)介紹解碼流程介紹：由圖二可知，解碼器得到由編碼器輸出的數(shù)據(jù)后，經(jīng)熵解碼得到量化后的一組變換系數(shù)X，再經(jīng)反量化、反變換，得到殘差Dn’。利用從該比特流中解碼出的頭信息，解碼器就產(chǎn)生一個預(yù)測塊PRED，它和編碼器中的原始PRED是相同的。當(dāng)該解碼器產(chǎn)生的PRED與殘差Dn’相加后，就產(chǎn)生uFn’，再經(jīng)濾波后，最后就得到濾波后的Fn’，這個Fn’就是最后的解碼輸出圖像。圖二解碼框圖3.2.3解碼后最終顯示性能解碼幀率：最高可達(dá)60fps支持分辨率：4x4~8192x8192，寬度或高度必須為2的倍數(shù)流量：24bit/像素3.2.4解碼器與編碼器協(xié)同工作原理（1）編碼器收到原始采集數(shù)據(jù)后進行壓縮編碼，服務(wù)器將編碼后的數(shù)據(jù)傳輸?shù)娇蛻舳耍?）客戶端接收到編碼數(shù)據(jù)后，解碼器盡最大能力進行解碼，以最快的速度顯示（3）編碼器與解碼器都在“推模式”下工作（4）由于MPEG本身的特點，解碼器只有在收到關(guān)鍵幀才能正式啟動解碼，而關(guān)鍵幀的間隔與編碼設(shè)定有關(guān)，所以開始解碼時可能出現(xiàn)短暫的等待，當(dāng)關(guān)鍵幀到達(dá)才進入解碼，顯示圖像3.2.5窗口顯示性能（1）采用DirectX獨占顯示技術(shù)，直接進行顯卡顯示操作，充分發(fā)揮顯卡性能；（2）支持多核CPU并行處理技術(shù)，通過DMA模式進行數(shù)據(jù)傳輸，發(fā)揮PCI-E的帶寬優(yōu)勢，傳輸速度可達(dá)16GB/s，窗口顯示具有刷新速度快，占有資源小的特點。四、IP視頻流處理系統(tǒng)技術(shù)點實現(xiàn)方式（1）編解碼：支持并行處理，支持多核CPU，SIMD技術(shù)優(yōu)化（2）圖像顯示：DMA傳輸，采用DirectX顯示技術(shù)（3）圖像傳輸：基于TCP/IP的可靠傳輸方式五、IP視頻流處理系統(tǒng)優(yōu)勢所在及對比隨著視頻應(yīng)用的不斷深入和網(wǎng)絡(luò)技術(shù)、圖像技術(shù)的不斷成熟，視頻系統(tǒng)正在邁入數(shù)字化、網(wǎng)絡(luò)化、大型化時代，視頻信號數(shù)量多，距離遠(yuǎn)。傳統(tǒng)方式下，為了在遠(yuǎn)程觀看視頻，就需要部署專用傳輸線路，線路的數(shù)量隨著視頻數(shù)量的增長而增長，考慮到信號的線路損耗，需要根據(jù)實際條件添加中繼設(shè)備。傳統(tǒng)方式下的系統(tǒng)無法復(fù)用建設(shè)好的線路，重復(fù)建設(shè)多，成本高。（1）多網(wǎng)融合。IP視頻處理系統(tǒng)能夠使用網(wǎng)絡(luò)線路，無需進行線路鋪設(shè)，系統(tǒng)建設(shè)快，成本低，具有多網(wǎng)融合的特點，現(xiàn)有網(wǎng)絡(luò)不但能夠進行局域網(wǎng)通訊，還能實現(xiàn)視頻網(wǎng)的搭建。（2）利于擴容。視頻通過壓縮，使用網(wǎng)絡(luò)接入，在保證質(zhì)量的同時，降低帶寬占用，大大提高并行傳輸視頻的數(shù)量。當(dāng)網(wǎng)絡(luò)線路的帶寬能夠滿足同時觀看視頻數(shù)量的需要時，添加視頻點只需添加一臺采集設(shè)備即可，擴容簡單、迅速。（3）節(jié)約成本。IP視頻處理系統(tǒng)充分利用現(xiàn)有資源，擴容便捷，使得整個系統(tǒng)建設(shè)成本大大降低，建設(shè)時間快，同時以其優(yōu)良的升級能力，也為未來的建設(shè)節(jié)約成本。六、系統(tǒng)圖七、新版本介紹7.1、版本介紹由于IP流媒體技術(shù)得研發(fā)成功，因此在設(shè)備應(yīng)用中我們對對端解碼器也做了軟體的升級，由第一代融合解碼器升級為第二代融合處理器（BLENDONEV2）BlendOneV2其中包括：服務(wù)器端BlendOneV2SEVER控制客戶端：BlendOneV2Manage上一代融合解碼器并不具備IP流媒體的解碼、采集功能并且針對Ip流媒體的窗口管理機制也沒有被集成；而為了配合對端編碼器的應(yīng)用，我們在第二代融合解碼服務(wù)器中不但集成了最新的IP流媒體的解碼、采