(完整版)培訓(xùn)-GB28181中的視頻流

1、1 / 20等級：四級淺論GB28181平臺視頻流武漢烽火眾智數(shù)字技術(shù)有限責(zé)任公司2 / 20等級：四級目錄一、概述 . 4二、國標(biāo)媒體流簡介 . 42.1視頻流的數(shù)據(jù)要求 . 42.2視頻流編解碼要求 . 52.2.1基于 H.264 的視頻編、解碼技術(shù)要求 . 52.2.2基于 MPEG-4 的視頻編 /、解碼技術(shù)要求 . 72.2.3 SIP 信令中的 SDP 內(nèi)容規(guī)范 . 92. 3 國標(biāo)視頻流示例 . 11三、實際問題淺析 . 133.1客戶端解碼花屏 . 133.2解碼器無法解碼 . 153.3畫面出現(xiàn)卡頓 . 183 / 20等級：四級四、小論總結(jié) . 194.1 碼流的不確定性

2、 . 194.2以國標(biāo)為本 . 204 / 20等級：四級概述GB/T 28181-2011是2011年由中華人民共和國公安部提出，中國國家標(biāo)準(zhǔn)化管理委員會發(fā)布的國家標(biāo)準(zhǔn)。GB/T 28181-2011的正式實施規(guī)定了安全防范影像視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)中信息傳輸、交換、控制的互聯(lián)結(jié)構(gòu)、通信協(xié)議結(jié)構(gòu)，傳輸、交換、控制的基本要求和安全性要求，以及控制、 傳輸流程和協(xié)議接口等技術(shù)要求。適用于安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)及城市監(jiān)控報警聯(lián)網(wǎng)系 統(tǒng)的方案設(shè)計、系統(tǒng)檢測、驗收以及與之相關(guān)的設(shè)備研發(fā)、生產(chǎn)。雖然該標(biāo)準(zhǔn)不可能一次性解決視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)中的所有技術(shù)規(guī)定，但是比較清晰地定義了建議的通訊模型，重要的數(shù)據(jù)格式，和

3、既有系統(tǒng)的兼容性方案，以及子系統(tǒng)和外部系統(tǒng)之間的通訊模式。對大型系統(tǒng)建設(shè)，尤其是聯(lián)網(wǎng)的社會共享性系統(tǒng)建設(shè)給出了明確的、可實施的技術(shù)標(biāo)準(zhǔn)。本文主要結(jié)合貴州省國標(biāo)平臺項目的實施經(jīng)驗介紹并討論GB/T 28181-2011中媒體流相關(guān)知識。二、國標(biāo)媒體流簡介下面通過GB28181-2011中的媒體傳輸和編解碼協(xié)議兩方面，簡單介紹下國標(biāo)對媒體流的技術(shù)要求I：2.1視頻流的數(shù)據(jù)要求GB/T 28181-2011中規(guī)定媒體流在聯(lián)網(wǎng)系統(tǒng)IP網(wǎng)絡(luò)上傳輸時應(yīng)采用 RFC 3550規(guī)定的RTP協(xié)議，提供實時數(shù)據(jù)傳輸中的時間戳信息及各數(shù)據(jù)流的同步；應(yīng)采用RFC 3550規(guī)定的RTCP協(xié)議，為按序傳輸數(shù)據(jù)包提供可靠保

4、證，提供流量控制和擁塞控制。RTP的負(fù)載應(yīng)采用如下兩種格式之一：1基于PS封裝的視音頻數(shù)據(jù)基于RTP的PS封裝首先按照ISO/IEC 13818-1:2000將視音頻流封裝成 PS包，再將 PS 包以負(fù)載的方式封裝成RTP包。PS包的主要參數(shù)設(shè)置針對本文檔規(guī)定的幾種視音頻格式，PS包中的流類型(stream_type )的取值如下：a)MPEG-視頻流：0 x10 ；b)H.264 視頻流：0 x1B;c)SVA覦頻流：0 x80 ；d)G.711 音頻流：0 x90 ；e)G.722.1 音頻流：0 x92；f)G.723.1 音頻流：0 x93；g)G.729音頻流：0 x99 ；h)SV

5、ACT 頻流：0 x9B。PS包的RTP封裝格式參照 RFC225Q RTP的主要參數(shù)設(shè)置如下：I本節(jié)內(nèi)容部分引用 GB/T28181-2011中4.3.6小節(jié)、附錄 C、附錄E、附錄F5 / 20等級：四級a)負(fù)載類型( payload type ):96；b)編碼名稱( encoding name )： PS；c)時鐘頻率( clock rate )： 90kHz；d)SDP描述中m” 字段的media”項：video。2基于RTP的視音頻基本流封裝該方式直接將視音頻數(shù)據(jù)以負(fù)載的方式封裝成RTP包。A)MPEG-視頻流的RTP封裝MPEG-視頻流的RTP寸裝格式應(yīng)符合RFC301眇議中的相

6、關(guān)規(guī)定。MPEG-視頻流RT電的負(fù)載類型(Payload Type )標(biāo)識號選定：從 RFC355協(xié)議的表5中 的動態(tài)范圍( 96-127 )中選擇 , 建議定為 97。B)H.264視頻流的RTF封裝H.264的RTF載荷格式應(yīng)符合 RFC398仲的相關(guān)規(guī)定。H.264視頻流RTP包的負(fù)載類型(Payload Type)標(biāo)識號選定：從 RFC3551協(xié)議的表5中的 動態(tài)范圍( 96-127)中選擇 ,建議定為 98。C)SVA(視頻流的RTF封裝SVA(視頻流的RTf載荷格式可參照RFC398仲的相關(guān)規(guī)定。SVA視頻流RTP包的負(fù)載類型(Payload Type )標(biāo)識號選定：從 RFC35

7、5協(xié)議的表5中的 動態(tài)范圍( 96-127)中選擇 ,建議定為 99。2.2 視頻流編解碼要求聯(lián)網(wǎng)系統(tǒng)中， 對視音頻編 /解碼的技術(shù)要求包括編 /解碼的檔次和級別、 工具選項、 碼流 語法的規(guī)定以及比特流和解碼器的一致性測試等。具體要求如下：視頻編碼應(yīng)支持 H.264、SVA(或MPEG-4視頻編碼標(biāo)準(zhǔn)，視頻解碼應(yīng)同時支持 H.264、SVAC 和MPEG-4視頻解碼標(biāo)準(zhǔn)。2.2.1基于H.264的視頻編、解碼技術(shù)要求 H.264 的檔次和級別采用 H.264 標(biāo)準(zhǔn)的視頻編碼應(yīng)至少支持 ITU-T Rec. H.264-2005 視頻標(biāo)準(zhǔn)的基本檔次 (Baseline Profi

8、le )，級別( Level )應(yīng)至少支持到 Level 1.3 ，標(biāo)清應(yīng)用宜擴展支持到 Level 3，高清應(yīng)用宜擴展支持到Level 4 ；視頻解碼所支持的檔次和級別應(yīng)不低于編碼支持的最高檔次和級別，至少應(yīng)支持到 H.264 視頻標(biāo)準(zhǔn)基本檔次的 Level 3 ；視頻解碼宜擴展支持H. 264主檔次(Main Profile )中的隔行掃描和 B幀工具，且相鄰兩 P幀間的B幀個數(shù)不大 于 2。I、H.264 基本檔次的選項和工具H.264 基本檔次支持的選項和工具主要有：a)I 片和 P 片(Slice )；b)基于內(nèi)容自適應(yīng)的變長編碼CAVLC；c)容錯工具： FMO， ASO， RS；

9、d)去塊效應(yīng)濾波器( Deblocking Filter )；6 / 20等級：四級e）多參考幀編碼。采用H.264編碼標(biāo)準(zhǔn)的視頻流應(yīng)為H.264 Baseline視頻流，編碼應(yīng)支持上述Baseline選項和工具中的部分或全部，可不支持容錯工具；H.264的解碼至少應(yīng)支持上述除容錯工具外的全部選項和工具。多參考幀編碼時，P片的參考幀數(shù)一般不大于兩幀。為了保證碼流解析的效率，比特流中應(yīng)當(dāng)在每個 I幀之前都出現(xiàn)相應(yīng)的 SPS和PPS;2、H.264級別的限制H.264級別（Level 14）的限制如表1所示， 表中“-”表示未做相應(yīng)的限制。表1 H.264級別（Level 14）的限制級別最大宏塊

10、 處理速率MaxMBPS（宏塊數(shù)/秒）最大幀尺寸MaxFS（宏塊數(shù)）最大解碼圖像緩沖區(qū)MaxDPB（4:2:0 視頻以1024字節(jié)為單位）最大視頻比特 率MaxBR(1000bits/s或 1200bits/s)最大編碼圖 像緩沖區(qū)MaxCPB(1000 bits 或 1200bits)垂直運動矢量構(gòu) 成范圍MaxVmvR（亮度幀采樣）最小壓縮 比率MinCR兩個連續(xù)宏塊 的最大運動矢 量數(shù)MaxMvsPer2Mb11 48599148.564175卜64,+63.752-1.13 000396337.5192500卜128,+127.752-1.26 000396891.03841 000-

11、128,+127.752-1.311 880396891.07682 000-128,+127.752-211 880396891.02 0002 000-128,+127.752-2.119 8007921 782.04 0004 000-256,+255.752-2.220 2501 6203 037.54 0004 000-256,+255.752-340 5001 6203 037.510 00010 000-256,+255.752323.1108 0003 6006 750.014 00014 000-512,+511.754163.2216 0005 1207 680.020 0

12、0020 000-512,+511.754164245 7608 19212 288.020 00025 000-512,+511.75416注：“-”表示未做相應(yīng)的限制。3、H.264基本檔次各級別的參數(shù)限制 H.264基本檔次各級別的參數(shù)限制如表2所示。表2 H.264基本檔次各級別的參數(shù)限制級別最大子宏塊尺寸（采樣點數(shù)）15761.15761.25761.357625762.15762.257635763.1-3.2-7 / 20等級：四級4-4、H.264各級別的最大幀率限制H.264中CIF、4CIF、720p HD 1080p HD各級別（Level ）的最大幀率限制如表 3所示,

13、表中的“-”表示未做相應(yīng)的限制。其他分辨率各級別的最大幀率限制見ITU-T Rec.H.264-2005中的規(guī)定。表3 H.264各級別的最大幀率限制級別最大幀尺寸（宏塊）最大宏塊速率（宏塊數(shù)/秒）最大幀 尺寸（采樣點數(shù)）最大采樣 率（樣點/ 秒）格式CIF4CIF720pHD1080pHD亮度寬 度3527047201088亮度高度28857612801920總宏塊 數(shù)396158436008160亮度采 樣點數(shù)101 376405 5049216002088960199148525 344380 160-1b99148525 344380 160-1376768

14、000-7.6-1.23966000101 3761 536 000-15.2-1.339611880101 3763 041 280-30.0-239611880101 3763 041 280-30.0-2.179219800202 7525 068 800-50.0-2.2162020250414 7205 184 00051.112.83162040500414 72010368000-102.325.63.1360010800092160027648000172.068.230.03.25120216000131072055296000172.0136.460.04819224576

15、0209715262914560172.0155.268.330.1注：“-”表示未做相應(yīng)的限制。2.2.2基于MPEG-4的視頻編/、解碼技術(shù)要求MPEG-4的檔次和級別采用MPEG-4標(biāo)準(zhǔn)的視頻編碼應(yīng)至少支持ISO/IEC 14496-2:2004中簡單檔次（SimpleProfile ）的級別 L5（ ISO/IEC 14496-2:2004/Amd.2:2005），即 MPEG-4SPL5 采用 MPEG-4標(biāo)準(zhǔn)的視頻解碼所支持的檔次和級別不應(yīng)低于編碼支持的最高檔次和級別，宜擴展支持MPEG-4先進(jìn)簡單檔次（Advaneed Simple Profile）中的隔行掃描和

16、B幀工具。1、MPEG-4簡單檔次的工具8 / 20等級：四級MPEG-4簡單檔次的工具包括：a） Basic :基本工具，又包括以下幾種工具：1） I-VOP :幀內(nèi)編碼的矩形視頻對象平面，逐行掃描的視頻格式；2） P-VOP幀間編碼的矩形視頻對象平面，逐行掃描的視頻格式；3） AC/DC Prediction : AC/D（預(yù)測；4） 4-MV：每個宏塊可以有4個運動矢量；5） Un restricted MV :不受限制的運動矢量。b） Error Resilie nee:容錯工具，又包括以下3種工具：1） Slice Resynchroni zati on:片重同步；2） Data P

17、artitio ning :數(shù)據(jù)劃分；3） Reversible VLC :可逆的變長編碼。c） Short Header :短頭工具。MPEG-4視頻編碼應(yīng)支持上述簡單檔次的部分或全部工具，可不支持容錯和短頭工具； 視頻解碼至少應(yīng)支持除容錯工具外的簡單檔次的全部工具。2、MPEG-4簡單檔次各級別的參數(shù)限制MPEG-4視頻編/、解碼應(yīng)至少支持簡單檔次的L5級別，參數(shù)限制如表 4所示。簡單檔次其他各級別的參數(shù)限制見ISO/IEC 14496-2:2004 及 ISO/IEC 14496-2:2004/Amd.2:2005中的相關(guān)規(guī)定。表4MPEG-4簡單檔次L2、L3、L5級別的參數(shù)限制級別L

18、2L3L5典型分辨率CIF (352 288)CIF (352 88)720X576最大對象數(shù)444每種類型的最大對象數(shù)4個簡單對象4個簡單對象4個簡單對象最大唯一量化表111最大視頻內(nèi)容驗證（VMV ）緩沖區(qū)（宏塊組）7927923240最大視頻復(fù)雜度驗證（VCV ）緩沖區(qū)（宏塊）3963961620視頻復(fù)雜度驗證（VCV ）解碼速率（宏塊/秒）59401188040500視頻復(fù)雜度驗證（VCV ）邊界宏塊解碼速率（宏塊/秒）不適用不適用不適用最大視頻緩沖驗證（VBV ）緩沖區(qū)總和（16 384 bits）4040112最大視頻對象層（VOL ）視頻緩沖驗證（VBV ）緩沖區(qū)總和（16 38

19、4 bits）4040112最大視頻包長度（bits）4096819216384最大目標(biāo)呈現(xiàn)尺寸（宏塊數(shù)）不適用不適用不適用小波限制不適用不適用不適用最大比特率 （kbit/s）1283848000單對象最大增強層數(shù)不適用不適用不適用3、MPEG-4的碼流語法為實現(xiàn)聯(lián)網(wǎng)系統(tǒng)中視頻流的互通，采用MPEG-標(biāo)準(zhǔn)的視頻碼流語法應(yīng)符合ISO/IEC14496-2:2004 中的規(guī)定。MPEG-中簡單檔次不同級別的相應(yīng)標(biāo)識碼見表5 （見ISO/IEC14496-2:2004中的表G-1和ISO/IEC 14496-2:2004/Amd.2:2005 中的規(guī)定）。9 / 20等級：四級表5 MPEG-4簡

20、單檔次各級別的標(biāo)識碼檔次/級別標(biāo)識碼保留00000000簡單檔次/級別100000001簡單檔次/級別200000010簡單檔次/級別300000011簡單檔次/級別4a00000100簡單檔次/級別500000101保留00000110 - 000 00111簡單檔次/級別0000010002222 MPEG-4 的一致性測試包括比特流一致性測試和解碼器的一致性測試。比特流一致性測試MPEG-4 的一致性比特流(complia nt bitstream )是指實現(xiàn)了 ISO/IEC 14496-2:2004 在通用語法中定義的所有限制的比特流，包括ISO/IEC 14496-2:2004 中

21、第9章關(guān)于檔次和級別的限制。MPEG-4的一致性比特流應(yīng)滿足如下測試：當(dāng)使用解碼軟件對 MPEG-4視頻比特流進(jìn)行解碼時，不應(yīng)出現(xiàn)任何由比特流引起的錯誤或不一致。注：測試中不考慮由于傳輸而產(chǎn)生的錯誤。MPEG-4的比特流一致性測試的附加測試見ISO/IEC 14496-4:2004 中的描述。上述驗證比特流一致性用到的解碼軟件可參考ISO/IEC 14496-5:2001中指定的軟件。解碼器的一致性測試MPEG-4勺視頻解碼器通常指某一特定檔次和級別的解碼器。MPEG-視頻解碼器的一致性測試見ISO/IEC 14496-4 : 2004中的規(guī)定，其中簡單檔次 L5級別的視頻解碼器一致性測試見I

22、SO/IEC 14496-4:2004/Amd.10:2005 的規(guī)定。驗證解碼器一致性用到的軟件可參考ISO/IEC14496-5:2001中指定的軟件。滿足特定檔次和級別的 MPEG-視頻解碼器應(yīng)能正確解碼相應(yīng)檔次和級別的MPEG-一致性比特流。2.2.3 SIP信令中的SDP內(nèi)容規(guī)范SDP定義聯(lián)網(wǎng)系統(tǒng)中 SIP消息體中攜帶的 SDP內(nèi)容應(yīng)符合 RFC 2327 - SDP Session DescriptionProtocol的相關(guān)要求。應(yīng)有如下字段 ：Session description：v= (protocol versi on)o= (ow ner/creator and ses

23、si on ide ntifier).s= (sessi on n ame)u=* (URI of descriptio n)c=* (connection information - not required if included in all media)Time description :10 / 20等級：四級t= (time the sessi on is active)Media descripti onm= (media n ame and tra nsport address)c=* (conn ecti on in formati on - opti onal if in

24、eluded at sessi on-level)b=* (ba ndwidth in formati on)a=* (zero or more media attribute lin es)y=* (SSRC)f=* (媒體描述)說明：a 字段：啟用 RFC4566 中對 a 字段 的定義【a=rtpmap:/ /中的 ，利用該屬性攜帶編碼器廠 商名稱(如:大華或?？稻幋a名稱DAHUA或HIKVISION )。該屬性表明該流為某廠商編碼器編碼且是不符合本標(biāo)準(zhǔn)規(guī)定的媒體流，符合本標(biāo)準(zhǔn)規(guī)定的媒體流無需該屬性。例如：a=rtpmap:96DAHUA/90000 ；a=rtpmap:96HIKVIS

25、ION/9OOOO。s字段：使用s字段標(biāo)識請求媒體流的操作類型?！?Play”代表實時點播；“ Playback”代表歷史回放；“ Download ”代表文件下載。u字段：u行應(yīng)填寫視音頻文件的URI。該URI取值有兩種方式：簡捷方式和普通方式。簡捷方式直接采用產(chǎn)生該歷史媒體的媒體源(如某個攝像頭)的設(shè)備ID (應(yīng)符合6.1.2的規(guī)定)以及相關(guān)參數(shù)，參數(shù)用“：”分隔；普通方式采用http:/存儲設(shè)備ID/ 文件夾* /文件名，/文件夾*為0 N級文件夾。t字段：當(dāng)回放或下載時，t行值為開始時間和結(jié)束時間，用“”分隔，時間格式見RFC4566的5.9,開始時間和結(jié)束時間均為要回放或下載的音視頻

26、文件錄制時間段中的 某個時刻。y字段：為十進(jìn)制整數(shù)字符串，表示 SSRC值。格式如下：Dddddddddd (第一位為歷史或 實時媒體流的標(biāo)識位，1為歷史，0為實時)。f字段：f = v/編碼格式/分辨率/幀率/碼率類型/碼率大小a/編碼格式/碼率大小/采樣率以實際我司平臺與其他平臺對接過程中的SIP信令為例，下圖中為我司與某廠家平臺交互時請求實時視頻的信令:IITE sip： 230100001311663&4 0172,16, k 221:5061 SIP 2.0 via; SIP/Z.0/UDP+rporti branch=i3hG4bKLC3B534B0Frcr:p：521000000

27、021537313223172,16.2.201rtaq=1434 5B4218To : : 5user-Aqerrt: mediasi p/2, 0Expires: 120Stbjtct 1 52230100001311fi6S&40:l,52100000002153731322:1Al 1 C-vi ： IN ITEt ACK, UPDATE t IrO t CANCEL t DYE1 OPTIONS , REFER, 5UD5CRIDE , NOTIFY, MFSSAGFCent err-Te： application sdpcontert-Length；245v-CO-521C0C0C

28、0021537n322 1234 56 0 IN IP4 172.16.2-201 s=PlayZP4 172,16.2.201t=0 0m=video 27034 RTPAVP 盹他 Q7a-rtprrar :96 PS/90000a-rTprrap ;5E H264/90000m=rTprrap ；97 MPEG4 9QOOO狂 _r ecor1 y11 / 20等級：四級f=v/2/5/25/l/2a；/；其中可以看出下方的 SDP中m字段和a字段攜帶了 3種編碼方式，即國標(biāo)中要求的PS流、H.264流和MEPG4流，這兩個字段表明我司可以解碼的 3中形式，需要一提的是國標(biāo) 中也要求的S

29、VAC（ PT=99 ）視頻流格式，主要用在部分 ONVIF設(shè)備中，而大多數(shù)主流設(shè) 備都沒有按該方式編碼，故我司沒有做對該類碼流的兼容。S字段的值是“ Play表明該信令是請求實時點播。2.3國標(biāo)視頻流示例F面我們針對實際工程中遇見的碼流來了解下在抓包時我們需要了解的只是，一般情況下我們在vtdu所在服務(wù)器或者 CU客戶端抓包，在Wireshark軟件中打開，可以得到如下圖所示的數(shù)據(jù)包:酣5.171h 16. J-JOOUJrlC.3, 17UPF1J54 souxc pXl :20120恥沉伽伽 porir dr|j&4b.172,16. 3. 2DO172.16-3.17UDP1223so

30、urcepori:20120Dsr1 iarlan par T t drp4. 5*00171.1*-3.17財187畫口 uh por t :2O12DGsiit indt T aii por t * dirp64 $2 巧4000172.16. ).?0Qi j筑監(jiān)訂UDP1014 Sairjrc*1par t:2OT.J0irfttigm port; drp氐曰抽BBCDQQ1T2.16, l.ZIQD17Z.1S, 3rl7UDP1X7-Soi-rctpot:2Q1JQon port; drp匕.172.1B. J.20D172.14 . K17UDFbotr口 ort ：sunDss

31、TiraLtioii ports： drp阿6 6977MDOO17UCF1354sou CtIMKl；2C-12Ocesiii ac Lon purl： dru706. 6G5Dr4DOD172.16.1.SOD172.16-3.17UDF1354sourcepori:.2 DI 2DDsr InaLlan porx t drp?1 6./O&SDaD172.16. JuDU6F1血par k :2CH.2DOrAt inaiC T ail par t i dirf此時對該數(shù)據(jù)按 RTP協(xié)議方式查看，右鍵點擊該包，按如下步驟操作:Mark Packet (toggle)Ignore 匚Ice

32、t (toggle) 込)St Iim Rfrftrance toggle Time Shift,t.Edit cr Add PacIcet 匚orrimerrt.Manually Resolve AddressApply aw FilterPrepare a Filter匚onversation FilterColorize ConversationSCTPFollow TCP StreamFollow UDP StreamFollow SSL StreamCopy星 Decode As.工 Print“5IIQW Packet in New V/indow12 / 20等級：四級Real-

33、Time Transport Protioizo操作完成后，數(shù)據(jù)包如下圖所示:71乩M時初RQL71.1A. i.smlrz-lfl- J.17RTFM PTfiywi1 CtTP-Ijrf列*CNh awnrr.耳4、九Tit-WQ72 17?. 16 . J.3MI?7H；TP:巧g P-cTnicfl-P-rr； T-b衣朗：-o打mm沖細(xì)=.iTTiw-59iO1.18.1-Mfl172x11. R17IIKJL hfl F -右 *G-isiK.-a-itwut紐尸口皿 fl.-ggjJ5PW173.1Qi9.QXT甌山J+17HTF13H FT-praniitftT

34、P-Tjqp4：-5H&a屏滬H Tr咻75P新17Z.lQi.i.3Mi72ai&.KrBtFUSJl FT=CTil1 CflHP黃1.t1t=W9FC I TUMI 1狂何Whm.n. i.i?Rl?ilM PT-C牌刊”-X.總吟斗fir陷77 D. HUJTIZWH17Z.1&.J.2WJ1 了為3rlT13Jdi FTKflniCTP-Type-5Sja( (jT3B9-JuZ9*i=1|5di.Tte-JD7K- bLlJt$lW)L7E.16. l.WR.TFIJH *Cpnjra1i：RTP 內(nèi)*袴.9BKYWB 九wart； 7S 6.711E=BOOT172.1&.3.Z

35、OD172.IE. 3-17A1TP13E4 PT-Cyrarncn-P-rypi E-nFnITW-5MDBO E TUaWMIi?2.ie, J.I?mr*UM申制耐恤i弼.勾艸訂息牧榊tetjk-jMefit缶理離加兩好# 越$期1-17HTF1154 PT-ih1 CHTF-iilie-6!匸羽-S-34DHl _ 1R7TP516 PT-DVirt1 CH.TP-Typ*-,6,I15F-Z輒凝 F filj-M：-3iD, M-ar k. i_nin.i a. KirITf1U7CftTP-Type-M.S*g_TPiw-llO現(xiàn)在我們可以看到從該包中已經(jīng)可以顯示傳輸方式，視頻源，

36、邏輯序號，和包的時間等參數(shù)了：PT（ payload type，負(fù)載類型）=96即表示該視頻流為 2.1中的基于PS封裝的音視頻數(shù) 據(jù)；SSRC（ Synchronization Source Identifier，同步源標(biāo)示符）一般為 32 位，表示 RTP 包的 起源，一般為源端隨機分配的號碼；Seq （sequenee number）每發(fā)送一個 RTP數(shù)據(jù)包，序列號增加 1，表示該包在 PS流中 的邏輯序號；Time （timestamp）反映了 RTP數(shù)據(jù)包中的第一個比特組的采樣時間，表示該包所在幀 的時間，同一幀的時間應(yīng)該一致。值得注意的是，Seq=68的包末尾有一個 Mark標(biāo)示，

37、該標(biāo)示表示此幀為一個重要幀，下 面我們打開該包來看看該標(biāo)示的位置:14- frM: 5JO byt殆 w 曠電(428 bits), 516 byte!. Cdptwred (4288 bits) cm Intei FMC U便 Eth?rni?T ii( srer icro-5r_ji9：a7:) ( DST : 0B.：60：6#：4f :dd：sh (ST6D：#：4f :dd：sb)internet Protcrwl Versior 4S srC; 00 (172,16,3,200). St; 7 (172.3,17)I U5T EMldjran

38、 PTQiCO 匸(fl.古C_： MHO fBOlW. PSt fwt： drip (ZOOOOO. * verslonirRFC 1439 version.6 Pactolrig? Flse.0 =Fxtf-nsierii： FaJ 宜*.Ri. OGM Cpnt r i but i in g source identifiers ccnjnt; 0 尸-barker ： TrueFa/lOAd typ : OyniSLiii CRT：? -Typ e - St (曲 ntmiOar: EETirwsxanp: 彌0j-u 一一U-一 二一一亠二i Li 二-n k 二 二一 - Xh.

39、fell. ih ifH-C JZ*h我們可以看見序號為 68的包中RTP協(xié)議第5行為：1. = Marker : True。該值為True的時候即為重要幀，此 mark表示一般表示一個完整幀的數(shù)據(jù)邊界。如下圖:13 / 20等級：四級1H自慎in idirj.jo. . ?ao1*?caT- TW *B.立XM ：1“： MW mwi1HS 0.1孔 in. i.zdDPT-Dyn*i1 cRTIP-T|pe-90,與沁-a*朋日削？芳丄,-eq-ftZgZT, Tlne-lzaHMCW, PurkZ3Z O.WITiDOlzz.ig. i. xa1192 FT-Dy-sni :ATP-Tj

40、iV*-Wi 百沁-0涼BTN聲Scq-C2S0,211MEmLML*. 172.1*. BuJtiOfta- OP dm iLM 尸-yp-fi1 - W.17 P麗也駛1?2 16.3 IflO17Z. 16, J,l?f twUM FIsDnawl TW-1VUe-Mi 35=. P -D-, rani dfnrp- - /p-e - MBSiC-OK.ZiEAiLSFF, Seq-3,liae-lDLrya.Hark頂U? L-i- MOrmIII?irrF彌.Ti55J r 5i52CMB172.1fi.3.20D17. 1C. 1.17RTF1154 FTwnafll55ac=Jx

41、 i 牙牙 4- W -q=5i35n.mowcig7. W WlTLLl. I.14Di1141 PTCyiUiiiMWH 9W.Hdr k5E17 -g4332CKK177.1.G-1.24H3173- 1G. 1, 17GTPH 3= P_-Dp nam cflTP -Typ-s - K-.SiUf-ClxDuwZQff iTHd-iaBCiDQ?. b!ITiMi31.100U2- lfi. 1.17HTP1IM ”注DytisHkRA/e-iyp-嘰5ACClxiKKU4Fte E,sqM丄.THD-iaocdRTF13 R P J齢 nfluni ETP-T*哄-亦TiBBUKCT

42、55(7.號沏50W1?2.16,3,200172 It. 1.171JM -p rsrwi cfi-ype-Wa.C-OKJi&LCStP.員q昭 ATrrwe-lOWW55?1? lfr-3- IW172-. 17注皆 卩-=葉加伽磚.“葉時勺勺K=o町服弄畀 髀護(hù)岀4.T1 mW 1 Q 閃00與沁 7. -JULJSJ1?2_16-3.20D172-16_ J.廣HTPA3 i-4 FT-a-rnaaiS. 311彰彰 5 -T-Gffid-in&ODG序號為536的包是時間標(biāo)志為 101970的完整幀的結(jié)尾，而序號為537至539的三個數(shù)據(jù)包即可組成一個完整的數(shù)據(jù)包，在視頻中即可組成

43、一幅完整的畫面。另外，在國標(biāo)中并沒有對 mark字段有詳細(xì)的要求，但是目前我司CU或解碼器解碼的時候還是對會采用字段作參考。國標(biāo)中實際對一個完整幀的數(shù)據(jù)邊界的定義在負(fù)載中，也就是除去前面這些包頭后，真正組成一個畫面的實際數(shù)據(jù)，如下圖：該包是該時間標(biāo)示的所有包中的第一個，可看到該包中的payload負(fù)載部分的前6個字節(jié)是00 00 01,有這個前綴的包即表示一個完整幀的開始。如果符合國標(biāo)標(biāo)準(zhǔn)，所有表示一個完整幀的第一個包負(fù)載部分的首6個字節(jié)都應(yīng)該是00 00 01。三、實際冋題淺析在上述兩節(jié)中說明了國標(biāo)對一些協(xié)議和字段的要求。在貴州省平臺項目中可以接觸許多廠商的攝像機，雖然國標(biāo)已經(jīng)針對視頻流定義

44、了許多要求與協(xié)議，但是在實際對接中還是可以發(fā)現(xiàn)這些并不完善。下面我們針對實際工程中遇到的一些問題作簡單的分析：3.1客戶端解碼花屏在對接過程中，因為我司已經(jīng)兼容了大部分主流廠商，但是在實際工程中還是遇見實時視頻解碼出現(xiàn)問題的地方， 比如在畢節(jié)七星關(guān)發(fā)現(xiàn)客戶端解碼華為的攝像機時出現(xiàn)了花屏的coco 1414 d d0 0 0 0 0 0 9 9 0 014 / 20等級：四級現(xiàn)象。在VTDU上抓包分析后可以看出該包數(shù)據(jù)如下:ffTP1110 ：P-Cvrjni rfTF 口戶 M sSeqilWi2014- 12.5320-37S3LJ嗥 5-1433RTFLLLG 4Tra

45、n CfiTP -Type-Seq=4L9Sfii lBe=456B61SsGWLS 12. SlZDltS2.1CA. U1,101.4.121RTWULD PT-DyranicfrTlP-Type-,塞RCNI加g*暉匚8,Ml幣】右拜?0丹需訕討和RTFIUD PT血3 12.&19999S.iOfi. 5-143RTFLlin FI-DyraiiCETP-Type-9S,=SK-OI1E99FF ,S4-q-4194,廠bHEH師乂卻I zm晤MU已RTPU10眇MkRTP rypi!-也 舌yc-Ox豪純期H.5?,W.UTPHid PM和kffrp巧眄st. SWMClF升SlqH

46、IZI% HHMUfiiMfiC27 12.f20-i25口詫.5.14352.1JDB-4.223RTF1110 Fr-DIKoiCRTP-irypfe-ae； SSHC-OsilEaACSFFjj- itfe-4 565150押址12.倔佝V.1W, 5,1-iiRTP1 -CvnKm-Type-., 5Sfi-fld(99rrb如皿耳幻.Trre*44MM,帕MM祖:畑52.109. 5.1* J抽1劃：IW山2QS0 12.6fiW12前也1, 14 3魚血UHETFUU.0 FTDyfUn1CITP-irpfr-9g. 涎旳IZ沁:嚼FF.SO-42ai4. TlifP6時宜和2CB

47、1 12 MMli5Z.10B. 5.U3SZ.liOB.l.ZllRTPHID M=Dynkinni-1495. 5SK=XiB9K：W=Fa運=1刃5昇 TiT.e=Jr5102M1 12.I!O145M0&. 5.141221RTF1110 RirwAlCKl P -Type-仏 各N-J0K3IE=UU： FF.朋* HFITlliQ FTrnwClll-TVpr-Mii S9K*H9SMCFFI磯rd Titp-4Rml諜.5143J2.L0B -I.IZ3RTF1L10 FT=ftir icrrp-irt-9ff 55WC=Ox3E5W；3FFbeiF4ZD5-3 TTre=4Hi

48、f B54602M2a6B05?,1, 5.UJ1110 -Cynicm-irpe-g 交啦離Z罰訴TWE7隔村彈妁235412.2252. LU. 5.1Gy.mi.rnRTP1110 frTsDyMfflcHTP-Typt-9 $胡1 旳5(恥堿外F.站=*2D&0. TM-JM-. biUfl可以從第二幅圖中看出 Seq=42052的重要幀后的第一個幀的時間標(biāo)識和該mark幀一樣,而第一幅圖中的 mark幀后的第一幀與該 mark幀的時間標(biāo)識則不同。以上兩幅圖中的數(shù)據(jù)是在同一數(shù)據(jù)包中，顯然該mark標(biāo)識的打法沒有規(guī)律，但是我司解碼的使用一般還是會參考該值，故由于在視頻流中mark標(biāo)識亂打

49、的原因，平臺在解碼時還是會誤認(rèn)為 mark前后為兩個完整幀，即使兩個幀有相同的時間標(biāo)識，解碼的時候還是會 讓著兩個畫面在同一時間顯示出來，導(dǎo)致了花屏。雖然此處對方的 mark打法并沒有不符合國標(biāo)，但是我們依然要求了華為修改，未修改 前播放視頻時如下圖：15 / 20等級：四級在華為修改后如下圖所示:日期日期: :2013-05-6X40:19:45:在拱村三茁踣匚在拱村三茁踣匚3.2解碼器無法解碼在貴州省畢節(jié)七星關(guān)有一個特別的現(xiàn)象，有一款攝像機，在平臺客戶端上的圖像一切正常，但是卻不能通過我司平臺上墻。在我司平臺 VTDU上抓包分析，并沒有發(fā)現(xiàn)視頻流有明顯的問題，于是轉(zhuǎn)而在信令上 找答案，請求

50、視頻的流程同時在CMS上抓包。在解釋包之前，先說明下國標(biāo)中第三方點播的流程：a)1： SIP服務(wù)器向媒體服務(wù)器發(fā)送Invite消息，此消息不攜帶 SDP消息體；b)2：媒體服務(wù)器收到 SIP服務(wù)器的Invite請求后，回復(fù)200 OK響應(yīng)，攜帶SDP消息體，消息體中描述了媒體服務(wù)器接收媒體流的IP、端口、媒體格式等內(nèi)容；c)3： SIP服務(wù)器收到媒體服務(wù)器返回的200 OK響應(yīng)后，向媒體流發(fā)送者發(fā)送Invite請求，請求中攜帶消息 2中媒體服務(wù)器回復(fù)的 200 OK響應(yīng)消息體，并且修改s字 段為“ Play ”代表實時點播，增加 y字段描述SSRC值，f字段描述媒體參數(shù)；d)4：媒體流發(fā)送者收

51、到 SIP服務(wù)器的Invite請求后，回復(fù)200 OK響應(yīng)，攜帶SDP消息體，消息體中描述了媒體流發(fā)送者發(fā)送媒體流的IP、端口、媒體格式、SSRC字段等內(nèi)容；e)5: SIP服務(wù)器收到媒體流發(fā)送者返回的200 OK響應(yīng)后，向媒體服務(wù)器發(fā)送ACK請求，請求中攜帶消息 4中媒體流發(fā)送者回復(fù)的200 OK響應(yīng)消息體，完成與媒體服務(wù)器的Invite會話建立過程；f)6: SIP服務(wù)器收到媒體流發(fā)送者返回的200 OK響應(yīng)后，向媒體流發(fā)送者發(fā)送 ACK請求，請求中不攜帶消息體，完成與媒體流發(fā)送者的Invite會話建立過程；g)7： SIP服務(wù)器向媒體流接收者發(fā)送Invite消息，此消息不攜帶 SDP消息

52、體；h)8:媒體流接收者收到 SIP服務(wù)器的Invite請求后，回復(fù)200 OK響應(yīng)，攜帶SDP消息體，消息體中描述了媒體流接收者接收媒體流的IP、端口、媒體格式等內(nèi)容；i)9： SIP服務(wù)器收到媒體流接收者返回的200 OK響應(yīng)后，向媒體服務(wù)器發(fā)送Invite請求，請求中攜帶消息 8中媒體流接收者回復(fù)的200 OK響應(yīng)消息體，并且并且修改s字段為“ Play”代表實時點播，增加y字段描述SSRC值；j)10：媒體服務(wù)器收到 SIP服務(wù)器的Invite請求后，回復(fù)200 OK響應(yīng)，攜帶SDP消16 / 20等級：四級息體，消息體中描述了媒體服務(wù)器發(fā)送媒體流的IP、端口、媒體格式、SSRC字段等

53、內(nèi)容；17 / 20等級：四級媒體流接收者7 In vite13 BYE14 200 OK111 In vitei1I11112 200 OK (with SDP)IIAjh13 In vite (with SDP)114 200 OK (SDP)r15 ACK (with SDP)i11-M1_w110 200 OK (SDP)4if.4r1lgl12 ACKi實時媒體流k)11: SIP服務(wù)器收到媒體服務(wù)器返回的200 OK響應(yīng)后，向媒體流接收者發(fā)送ACK請求，請求中攜帶消息10中媒體服務(wù)器回復(fù)的 200 OK響應(yīng)消息體，完成與媒體流接收者的Invite會話建立過程；l)12： SIP服務(wù)

54、器收到媒體服務(wù)器返回的200 OK響應(yīng)后，向媒體服務(wù)器發(fā)送 ACK請求，請求中不攜帶消息體，完成與媒體服務(wù)器的Invite會話建立過程；m)13： SIP服務(wù)器向媒體流接收者發(fā)送 BYE消息，斷開消息7、8、11建立的同媒體 流接收者的Invite會話；n)14：媒體流接收者收到BYE消息后回復(fù)200 OK響應(yīng)，會話斷開；0) 15： SIP服務(wù)器向媒體服務(wù)器發(fā)送BYE消息，斷開消息9、10、12建立的同媒體服務(wù)器的Invite會話；p)16：媒體服務(wù)器收到 BYE消息后回復(fù)200 OK響應(yīng)，會話斷開；q)17： SIP服務(wù)器向媒體服務(wù)器發(fā)送BYE消息，斷開消息1、2、5建立的同媒體服務(wù)器的I

55、nvite會話；r)18：媒體服務(wù)器收到 BYE消息后回復(fù)200 OK響應(yīng)，會話斷開；s)19： SIP服務(wù)器向媒體流發(fā)送者發(fā)送BYE消息，斷開消息3、4、6建立的同媒體流發(fā)送者的Invite會話；t)20：媒體流發(fā)送者收到BYE消息后回復(fù)200 OK響應(yīng)，會話斷開。在本問題中最重要的是流程 3、4、6。由在CMS中所抓的包分析可得:媒體服務(wù)器SIP服務(wù)器200 OK (with SDP)15 BYEI16 200 OK17 BYE18 200 OK19 BYE |20 200 OK11 ACK (with SDP)媒體流發(fā)送者實時媒體流9 In vite (with SDP)18 / 20等

56、級：四級流程3：INVITE Sip：522431010013257392IOS.0.143:5060 SIP/2.0Vii： SIP/2. 0/UDP 52. IOS. 5,13S : 5060; rport: branch-zghG4bK121701 斗石J18From: ;tag-i1S0676111TO： call-ID； 03867952,1Q&, 5.lSCSeq: 20 INVITECorracr: ip:522010100200706932252.LOS. 5.128:S060Max-Forwards: 5usi -Aeni: nedloExpires; 120subject:

57、 522401010013257BJ264 :1,5224010100114338745G；1Al 1 OW T ZINVITE ftCKj UPDATE * JNFO CANCEL , EYE f OPTIOMS * REFER. SUBSCRIBE t NOTIFY, MESSAGECuiittjrit-Type ; dppl icdt. ioii/idpcontent-Lenqth:224v=C0=52240101004005413426 123456 0 IN JP4 52,100.5,1S7s=P1 ayC=1M IP4 52.10&. 5.IS?t-0 0m-video ?97fi

58、4 RTP/AVP 9S 97 a=rTpmap:96 P5/90C00 a-rXprnap ; 98 H2 64 /SOODO a=rtpmap;97 MPEG4 ODOC a=recvonly y=099993999流程4:SLP/2.0 200 OKVi a:a: STP/Z. 0/UDP 52.52.108. 5.138:5060：rport：branch=z9hG4bK12170 3468S From: ;tag=4e0676111TO! ：tag-145524CS Call-ID： 36038679a38Geq： 20 INVITEcorn act !5lp：

59、52240101001327607327&52.108. 80-143 ! 5060user-Agent: SIP . NET 1.0 evolution versioncantent-Type: application/sdpcont ent-Length:220v-00-52240101001327507327 0 0 IN IP4 52.108.SO-H3s-PlAyC=IN IP4 43t-0 0m-vi dGO 29761 RTP/AVP 9& 96a-rtpniap: 96 PS/90000 a=sendonlya=sendonly a-iisername;

60、52240101001327607327a=password:1234Sy=Q99999999y=Q99999999流程6ACK sip:5224010100132760732752.108_108_ 80-143:5060 SIP/2SIP/2 0vi a: SIP/2. 0/UDP 52.108. 5-138： 5060; rporr; branch=:z9his4bK124：L65：L22卻 From: ;taq=4fi0676111 To: ;tag=145524066 Cal 1-ID： 16O3867QS(&52.108. 5. 138C5eq: ZQ ACK contact； M