IP視頻流處理系統技術方案

1、IP視頻流處理系統技術方案 2010年10月21日 目錄 一、項目需求4 二、系統主要技術及功能介紹4 2. 1、視頻流壓縮編碼技術： 4 2.2、服務器處理技術： 5 2. 3、網絡傳輸協議： 6 2.4、對端流媒體播放技術（解碼） 7 三、系統組成 7 3. 1編碼硬件（服務器）介紹； 7 3.1.1編碼硬件（服務器）構架 7 3. 1.2編碼硬件（服務器）組成8 3. 1.3編碼硬件（服務器）編碼技術介紹及轉換格式說明 8 3. 1.4編碼硬件（服務器）編碼流程介紹及GPU并行處理技術介紹 8 媒體格式、碼流、幀數等指標）10 3. 1. 6編碼硬件（服務器）處理性能 11 3.1.7編

2、碼硬件（服務器）擴展能力 11 3.2解碼器介紹；12 3. 2. 1解碼器介紹12 3.2.2解碼技術介紹 12 3. 2. 3解碼后最終顯不性能 13 3. 2. 4解碼器與編碼器協同工作原理 13 3.2.5窗口顯示性能 14 四、IP視頻流處理系統技術點實現方式14 五、IP視頻流處理系統優(yōu)勢所在及對比14 六、 系統圖 16 3.1.5編碼硬件（服務器）編碼指標說明（壓縮比、分辨率、帶寬、信號類型、流 七、新版本介紹17 7. 1、版本介紹17 7.2、Blend0neV2 窗口管理介紹： 19 八、系統測試20 一、項目需求 支持多路IP流媒體信號源并行輸入；可以將外部視頻信號轉

3、換為IP流媒體以窗口的形式在 大屏幕上顯示； 所有操作均兼容集中控制主機、操作電腦等控制設備；完美 實現多窗口顯示，并且可以進行窗口放大、縮小、漫游、疊 力口、拉伸等功能；支持顯示模式預存、調用、修改等功能； 二、系統主要技術及功能介紹 2. 1、視頻流壓縮編碼技術： 視頻流壓縮編碼技術。由于存在視頻信息數據量大而網 絡帶寬有限的矛盾，壓縮技術一直是網絡視頻通信的關鍵技 術。網絡 流媒體技術面臨著網絡帶寬的波動和多種應用的挑 戰(zhàn)，高壓縮率的分 級編碼技術是很好的解決途徑。它能提供 根據帶寬而自適應變化的視 頻碼流，以滿足不同質量的服務。 功能：此技術主要用于編碼器進行視頻流的轉碼工作，將具有分

4、辨率 和行場頻率的VGA、RGB、DVI信號轉換為可以通 過網絡進行傳輸的流媒體格式； 編碼體系結構圖： 第I增強層 第2増強層 第3增強層 第4增強層 幀1禎2幀3禎4禎3 2.2、服務器處理技術: 服務器處理技術。編碼服務器是流媒體系統的核心設 備，它通過 對視頻流的發(fā)送和控制，保證了通信的服務質量 為了解決時延和帶寬的限制，服務器必須根據實際的可用帶寬把壓縮 的數據打包成合適的碼并響應網絡的反饋控制信息；同時為了實現客 戶與服務器的交互功能（VOD ）,服務器還要有對用戶發(fā)來的服務 請求（VCR ）進行有效處理的功能。典型流媒體服務器技術包括數 據放置策略、磁盤調度算法、內存緩沖區(qū)管理算

5、法等 功能：編碼服務器不但負責各類信號的轉換工作，并且負責轉換后的 流媒體網絡推送工作，并且根據不同的情況提供不同的策略、算法及 緩沖； 2.3、網絡傳輸協議： 網絡傳輸協議。由于我們的設備應用于局域網，并且要求有 1000M的帶寬流量，但是由于流媒體的傳輸應避免網絡丟包情況，因 此我們選擇比較適合實時視頻傳輸的協議主要有：網絡層的IP協 議，傳輸層的用戶數據報協議（UDP）、實時傳輸協議（RTP ）、 會話層的RTSP （實時流協議）。在傳輸層的下層，為了減小時 延，視頻數據傳輸使用盡力轉發(fā)的UDP。RTP是在UDP的上層為 數據傳輸提供丟包檢測和同步的實時傳輸協議，RTCP是配合RTP 的

6、控制協議；功能：此技術對應的功能主要負責流媒體在網絡上廣播 推送服務，通過相應的協議及我們針對網絡廣播的軟體限制，避免丟 包，延遲的現象出現； 2.4、對端流媒體播放技術（解碼） 接收端的流播放技術。由于流媒體采用的是IPUDP等非可靠 傳輸協議，數據可能不會按原來的順序到達接收端而且可能存在丟 包，所以在解碼前開辟一個緩沖區(qū)進行重排和錯 誤掩蓋。為了實現實 時連續(xù)播放并且拒絕丟包情況，我們開辟一個適當大小的播放緩沖 j! 區(qū)，以避免網絡帶寬的波動帶來的緩沖區(qū)下溢；而我們采用的編碼技 術是MPEG-4標準，因 此在解碼方面同時采用MPEG-4的解碼標 準；通過我們自主研發(fā)的播放軟體，配合相應的

7、解碼算法，最終實現 對端接受設備的連續(xù)播放； 三、系統組成 3. 1編碼硬件（服務器）介紹； 3. 1. 1編碼硬件（服務器）構架 編碼服務器的構架為服務器軟硬結合方式的構架，通過 我們自主 研發(fā)的集成了編碼、網絡、并行處理的機制的軟體，結合定制的高性 能圖形卡共同實現實時各類信號的并行轉碼及網絡并行推送功能； 3. 1.2編碼硬件（服務器）組成 （1 ）采集模塊，進行RGB/DVI信號采集，為編碼模塊提供數據 （2 ）編碼模塊，以MPEG4標準對圖像數據進行壓縮編碼 （3 ）控制模塊，對外提供控制接口，對采集模塊和編解碼模塊進 行參數設置 （4 ）傳輸模塊，接受通訊連接，對外傳輸壓縮數據 3

8、. 1. 3編碼硬件（服務器）編碼技術介紹及轉換格式說明 采集信號保存為YUV信號后傳送給編碼器，編碼器按照 MPEG4標準對采集信號進行編碼。編碼格式為4:2:0格式, 幀格式采用I幀，P幀和B幀。 3. 1.4編碼硬件（服務器）編碼流程介紹及GPU并行處理技 術介紹 （1）編碼流程介紹 iff! 編碼器采用的是變換和預測的混合編碼法。編碼原理 由圖一所 示，輸入的幀或場Fn以宏塊為單位被編碼器處理。首先，按幀內 或幀間預測編碼的方法進行處理。如果采用幀內預測編碼，其預測值 PRED （圖中用P表示）是由當前片中前面已編碼的參考圖像經運動 補償（MC ）后得出，其中參考圖像用Fn-l表示。為

9、了提高預測 精度，從而提高壓縮比，實際的參考圖像可在過去或未來（指顯示次 序上）已編碼解碼重建和濾波的幀中進行選擇。預測值PRED和當前 塊相減后，產生一個殘差塊Dn ,經塊變換、量化后產生一組量化后 的變換系數X ,再經炳編碼，與解碼所需的一些邊信息（如預測模 式量化參數、運動矢量等）一起組成一個壓 縮后的碼流，在將該碼流 傳輸到網絡。如上所述，為了提供 進一步預測用的參考圖像，編碼器 必須有重建圖像的功能。 因此必須使殘差圖像經反量化、反變換后得到的Dn 與預測 值P相加，得到uFn （未經濾波的幀）。為了去除編碼解碼 環(huán) 路中產生的噪聲，提高參考幀的圖像質量，從而提高壓縮圖像性能， 編碼

10、器還設置了一個環(huán)路濾波器，濾波后的輸出Fn 即重建圖像可用 作參考圖像。 圖一編碼器流程框圖 （2）編碼并行處理 在各宏塊進行變化和量化的過程中，存在大量的計算，因此利用計算機強 大的數據處理功能，將各個宏塊數據進行 并行處理，從而提高編碼速度。 3. 1.5編碼硬件（服務器）編碼指標說明（壓縮比、分辨率、 4+b 帀見、 信號類型、流媒體格式、碼流、幀數等指標） (1) 編碼器輸入信號：RGB信號流 (2) 編碼格式：MPEG4 4:2:0格式 編碼幀結構：支持三種類型I/IPP/IBBP (4) 工作方式：VBR （可變碼率編碼）/CBR （固定碼率編碼） （5）支持分辨率: 1024x7

11、68、 1280 x960. 1280 x1024、 1400 x1050 1600 x900 、1680 x1050 、1920 x1080、 1920 x1200 、1920 x1440 等 （6）編碼幀率：（2530） fps (7) 壓縮比：根據圖像內容因素的不同，如圖像細節(jié)，運 動和靜止，編碼圖像質量等方面因素，壓縮比和碼率會不同， 理論上MPEG4壓縮比最大可達到4000:1。實際屮測試的壓 縮比約為: (8) 碼率：(1 50) Mbps (9) 帶寬:200Mbps 編碼器輸入 信號 分辨率 幀 結構 編碼格 式 幀數 (fps) 編碼圖像質量 平均碼率 (Mbps) 帶寬要求

12、 壓縮率 1024x 768 G0P二10 4: 2： 0 30 QP=0 0. 7Mbps 1Mbps 808. 90 RGB24 1440 x 1050 0 4: 2： 0 30 QP=0 1Mbps 3Mbps 1099.63 1920 x1080 IBBP 4: 2： 0 30 QP=0 2.5Mbps 3Mbp 597. 19 1920 x1200 4: 2： 0 30 QP=0 2.5Mbps 3Mbp 663. 55 3. 1. 6編碼硬件(服務器)處理性能 (1)編碼器可支持14路信號同時米集 (2 )最多支持4路信號 (3)支持最高分辨率為2048x1536 100800 最

13、大碼流達到40Mbps (5 )壓縮比：在質量最好的情況下，壓縮比約為 3. 1. 7編碼硬件(服務器)擴展能力 分辨率 最大支持路數 1024x768 8 1400 x1050 4 1920 x1080 4 1920 x1200 4 3. 2解碼器介紹； 321解碼器介紹 解碼器采用MPEG4解碼標準進行解碼。解碼器從網絡 接收到編碼后的數據后，按照標準對編碼數據進行解碼。 3. 2. 2解碼技術介紹 解碼流程介紹：由圖二可知，解碼器得到由編碼器輸出 的數據后，經爛解碼得到量化后的一組變換系數X,再經反 量化、反變換，得到殘差Dn 利用從該比特流中解碼出的 頭信息，解碼器就產生一個預測塊PR

14、ED,它和編碼器中的 原始PRED是相同的。當該解碼器產生的PRED與殘差Dn 相加后，就產生 uFn,再經濾波后，最后就得到濾波后的Fn；這個Fn 就是最后的解碼輸出 圖像。 圖二解碼框圖 323解碼后最終顯示性能 解碼幀率：最高可達60fps 支持分辨率：4x48192x8192 ,寬度或高度必須為2的倍數 流量：24bit/像素 3. 2. 4解碼器與編碼器協同工作原理 （1）編碼器收到原始采集數據后進行壓縮編碼，服務器將 編碼后的數據傳輸到客戶端 （2）客戶端接收到編碼數據后，解碼器盡最大能力進行解 碼，以最快的速度顯示 （3）編碼器與解碼器都在“推模式”下工作 （4）由于MPEG本身

15、的特點，解碼器只有在收到關鍵幀才 能正式啟動解碼，而關鍵幀的間隔與編碼設定有關，所以開 始解碼時可能岀現 短暫的等待，當關鍵幀到達才進入解碼，顯示圖像 3. 2. 5窗口顯2K性能 (1 )采用DirectX獨占顯示技術，直接進行顯卡顯示操作，充分發(fā)揮顯卡 性能； (2 )支持多核CPU并行處理技術，通過DMA模式進行數據傳輸，發(fā)揮 PCI-E的帶寬優(yōu)勢，傳輸速度可達16GB/S ,窗口顯示具有刷新速度快，占 有資源小的特點。 四、IP視頻流處理系統技術點實現方式 (1)編解碼：支持并行處理，支持多核 CPU , SIMD 技術 優(yōu)化 (2 )圖像顯示：DMA傳輸，采用DirectX顯示技術

16、(3 )圖像傳輸：基于TCP/IP的可靠傳輸方式五、IP視頻流處理系統優(yōu) 勢所在及對比 隨著視頻應用的不斷深入和網絡技術、圖像技術的不斷成熟，視頻系統 正在邁入數字化、網絡化、大型化時代，視頻信號數量多，距離遠。傳統方 式下，為了在遠程觀看視頻，就需要部署專用傳輸線路，線路的數量隨著視 頻數量的增長而增長，考慮到信號的線路損耗，需要根據實際條件添加中繼 設備。傳統方式下的系統無法復用建設好的線路，重復建設多，成本高。 (1 )多網融合。IP視頻處理系統能夠使用網絡線路，無需進行線路鋪設， 系統建設快，成本低，具有多網融合的特點，現有網絡不但能夠進行局域網 通訊，還能實現視頻網的搭建。 (2)利

17、于擴容。視頻通過壓縮，使用網絡接入，在保證質 量的同時，降低帶 寬占用，大大提高并行傳輸視頻的數量。當網絡線路的帶寬能夠滿足同時觀看 視頻數量的需要時，添加視頻點只需添加一臺采集設備即可，擴容簡單、迅 速。 (3 )節(jié)約成本。IP視頻處理系統充分利用現有資源，擴容便捷，使得整個 系統建設成本大大降低，建設時間快，同時以其優(yōu)良的升級能力，也為未來的 建設節(jié)約成本。 六、系統圖 IP亂舍牡理辭 RGB* VGA/D V輸入 融合服務器 遠程采集服務器 控制端 七、新版本介紹 7. 1、版本介紹 由于IP流媒體技術得研發(fā)成功，因此在設備應用中我們對 對端解碼器也做了軟體的升級，由第一代融合解碼器升級

18、為第二代 融合處理器(BLENDONE V2 ) BlendOneV2其中包括： 服務器端 BlendOneV2 SEVER 控制客戶端：BlendOneV2 Manage 上一代融合解碼器并不具備IP流媒體的解碼、采集功能并 且針對 邛 流媒體的窗口管理機制也沒有被集成；而為了配合對端 編碼器的應用，我們在第二代融合解碼服務器中不但集成了最新的 IP流媒體的解碼、采集技術，并且也集成了針 對IP流媒體的 窗口管理機制； 界面對比: lannrn 第一代界面 E 無 im 2J. SHH57., HV昭 5* f】!曉 晴 雖朋祁 第二代界面 從最新的界面中可以看出，在第二代融合解碼服務器中 內置了 IP流媒體的解碼及采集功能，并且也具備其窗口管理 機制