視頻處理技術(shù)和視頻文件

1、視頻處理技術(shù)和視頻文件2目錄目錄概述概述視頻編碼原理視頻編碼原理碼率控制碼率控制X264碼率控制碼率控制H264幀解析幀解析H264碼流傳輸碼流傳輸H264與媒體文件與媒體文件3概述概述文件：一種容器，是既包括視頻又包括音頻、 甚至還帶有腳本的一個集合編碼： 文件當(dāng)中的視頻和音頻的壓縮算法AVI文件： H.264+AAC，MPEG4+G.711Alaw.4概述概述視頻編碼：視頻壓縮，是計算機(jī)處理視頻的前提。視頻信號數(shù)字化后數(shù)據(jù)帶寬很高，原始的720P約533Mbps。經(jīng)過H.264壓縮，帶寬可以降至5Mbps以下，甚至數(shù)百Kbps視頻編碼方案(標(biāo)準(zhǔn))有很多，主要的有MPEG系列(由ISO下屬的

2、MPEG運(yùn)動圖象專家組開發(fā))和H.26X系列(由ITU主導(dǎo)，側(cè)重網(wǎng)絡(luò)傳輸)。5概述概述H.261: 為ISDN設(shè)計，主要針對實時編碼和解碼設(shè)計，壓縮和解壓縮的信號延時不超過150ms，碼率px64kbps(p=130）。主要采用運(yùn)動補(bǔ)償?shù)膸g預(yù)測、DCT變換、自適應(yīng)量化、熵編碼等壓縮技術(shù)。只有I幀和P幀，沒有B幀，運(yùn)動估計精度只精確到像素級。支持QCIF和CIFH.263: 甚低碼率的圖像編碼國際標(biāo)準(zhǔn)，它一方面以H.261為基礎(chǔ)，以混合編碼為核心，其基本原理框圖和H.261十分相似，原始數(shù)據(jù)和碼流組織也相似；另一方面，H.263也吸收了MPEG等其它一些國際標(biāo)準(zhǔn)中有效、合理的部分，如：半像素精

3、度的運(yùn)動估計、PB幀預(yù)測等，使它性能優(yōu)于H.261。碼率可小于64Kb/s，支持多種分辨率：SQCIF、 QCIF、CIF、4CIF、16CIF。6概述概述MPEG-1：主要針對SIF標(biāo)準(zhǔn)分辨率的圖像進(jìn)行壓縮，目標(biāo)碼率為1.5Mb/s。特點(diǎn)：1.隨機(jī)存取；2. 快速正向/逆向搜索；3 .逆向重播；4. 容錯性。 MPEG-2：“21世紀(jì)的電視標(biāo)準(zhǔn)”，它在MPEG-1的基礎(chǔ)上作了許多重要的擴(kuò)展和改進(jìn)，但基本算法和MPEG-1相同。和MPEG-1向下兼容，主要針對存儲媒體、數(shù)字電視、高清晰等應(yīng)用領(lǐng)域，分辨率為：低（352x288），中（720 x480），次高（1440 x1080），高（1920

4、 x1080）。MPEG-4：相對于MPEG-1/2在低比特率壓縮上有著顯著提高，在CIF（352*288）或者更高清晰度（768*576）情況下的視頻壓縮，無論從清晰度還是從存儲量上都比MPEG1具有更大的優(yōu)勢，也更適合網(wǎng)絡(luò)傳輸。另外MPEG-4可以方便地動態(tài)調(diào)整幀率、比特率，以降低存儲量。設(shè)計過于復(fù)雜，難以完全實現(xiàn)并且兼容，另外還有高昂的專利費(fèi)的問題。7概述概述H.264/AVC：由ITU-T與MPEG聯(lián)合制定。它集中了以往標(biāo)準(zhǔn)的優(yōu)點(diǎn)，在壓縮編碼效率、視頻內(nèi)容自適應(yīng)處理能力方面及網(wǎng)絡(luò)層面，特別是對IP網(wǎng)絡(luò)及移動網(wǎng)絡(luò)的自適應(yīng)處理能力、抗干擾能力與頑健性等方面，相比H.263/MPEG-4均有

5、大幅度提高。一般來說H.264的數(shù)據(jù)壓縮率在MPEG2的2倍以上、MPEG4的1.5倍以上。專利費(fèi)：H.264廣播時基本不收費(fèi)；產(chǎn)品中嵌入H.264編/解碼器時，年產(chǎn)量10萬臺以下不收取費(fèi)，超過10萬臺每臺收取0.2美元，超過500萬臺每臺收取0.1美元。8目錄目錄概述概述視頻編碼原理視頻編碼原理碼率控制碼率控制X264碼率控制碼率控制H264幀解析幀解析H264碼流傳輸碼流傳輸H264與媒體文件與媒體文件9視頻編碼原理視頻編碼原理壓縮原理：模擬視頻信號在數(shù)字化過程中的過采樣導(dǎo)致大量數(shù)據(jù)冗余。主要有時間冗余，空間冗余，視覺冗余，信息熵冗余空間冗余：基于塊的變換編碼信息熵冗余：熵編碼-無損編碼，

6、編碼后的平均碼長接近信源的熵時間冗余：基于運(yùn)動補(bǔ)償?shù)臅r域預(yù)測視覺冗余：YUV42010視頻編碼原理視頻編碼原理視頻編碼框架：H263、MPEG4、H264等編碼標(biāo)準(zhǔn)都基于這個標(biāo)準(zhǔn)框架 在目前的視頻編碼標(biāo)準(zhǔn)框架結(jié)構(gòu)中，通常采用基于運(yùn)動補(bǔ)償?shù)臅r域預(yù)測去除時間冗余，采用基于塊的變換編碼去除空間冗余，使用熵編碼去除前面兩步生成數(shù)據(jù)中的信息熵冗余。這三種主要技術(shù)的組合，再輔以若干增強(qiáng)編碼算法，就形成了基于塊的混合編碼框架。11視頻編碼原理視頻編碼原理量化參數(shù)QP和量化步長Qstep的關(guān)系：量化步長Qstep共有52個值(對于亮度編碼而言)。量化參數(shù)QP是量化步長Qstep的序號，取值0-51。Qstep

7、隨著QP的增加而增加，QP每增加6，Qstep增加一倍。QPQPQstepQstepQPQPQstepQstepQPQPQstepQstepQPQPQstepQstepQPQPQstepQstep0 00.6250.62511112.252.2522228 83333282844441041041 10.68750.687512122.52.523239 93434323245451121122 20.81250.812513132.752.75242410103535363646461281283 30.8750.87514143.253.25252511113636404047471441

8、444 41 115153.53.5262613133737444448481601605 51.1251.12516164 4272714143838525249491761766 61.251.2517174.54.5282816163939565650502082087 71.3751.37518185 5292918184040646451512242248 81.6251.62519195.55.530302020414172729 91.751.7520206.56.5313122224242808010102 221217 7323226264343888812視頻編碼原理視頻編

9、碼原理視頻合成：多個視頻源在YUV空間或RGB空間進(jìn)行像素的重新排列13目錄目錄概述概述視頻編碼原理視頻編碼原理碼率控制碼率控制X264碼率控制碼率控制H264幀解析幀解析H264碼流傳輸碼流傳輸H264與媒體文件與媒體文件14碼率控制碼率控制最關(guān)鍵2點(diǎn)：運(yùn)動估計(搜索算法)和碼率控制H.264的2個提案 JVT-F086：TM5改進(jìn)版本，線性模型 JVT-G012：用流量往返模型來分配每個基本單元目標(biāo)比特 數(shù)，并在宏塊層編碼采用二次率失真函數(shù)計算量化參數(shù)，二次率失真(Rate-Distortion, R-D)模型JVT-G012比較了這兩種算法，認(rèn)為其算法優(yōu)于F086算法15碼率控制碼率控制

10、蛋蛋-雞悖論雞悖論 碼率控制-量化參數(shù)QP-率失真優(yōu)化RDO-絕對平均差值MAD-編碼為了對宏塊進(jìn)行RDO，必須先用宏塊的MAD值來確定宏塊的QP值。然而當(dāng)前宏塊的MAD值只有在RDO之后才可以獲取。漏桶模型漏桶模型(Leaky Bucket Model)和線性跟蹤理論線性跟蹤理論(Linear Tracking Theory)根據(jù)已經(jīng)確定的幀率、當(dāng)前的緩沖占用率、目標(biāo)緩沖級別和可用的帶寬確定當(dāng)前幀的目標(biāo)碼率。剩余比特數(shù)平均分配給當(dāng)前幀中沒有編碼的基本單元基本單元。通過線性模型，用前一幀相同位置處的基本單元的實際MAD值來預(yù)測出當(dāng)前基本單元的MAD值。再用二次率失真模型來計算相應(yīng)的QP值，從而

11、用來對當(dāng)前基本單元的每一宏塊進(jìn)行率失真優(yōu)化基本單元：一個宏塊、一片、一場或一幀基本單元：一個宏塊、一片、一場或一幀基本單元個數(shù)：基本單元個數(shù)：基本單元更大能獲得更大的基本單元更大能獲得更大的PSNR值，但碼率波動更大。更小的基本單元碼率更平滑，但值，但碼率波動更大。更小的基本單元碼率更平滑，但PSNR會有輕微損失會有輕微損失16碼率控制碼率控制基本單元碼率控制二次R-D計算QP更新二次R-D模型系數(shù)17目錄目錄概述概述視頻編碼原理視頻編碼原理碼率控制碼率控制X264碼率控制碼率控制H264幀解析幀解析H264碼流傳輸碼流傳輸H264與媒體文件與媒體文件18X264X264碼率控制碼率控制每幀一

12、個QP，未實現(xiàn)H.264規(guī)范允許的每個宏塊使用不同的QP。2pass：指定目標(biāo)碼率，：指定目標(biāo)碼率，2趟編碼趟編碼在第1趟編碼（比如ABR）時為每一幀生成一些統(tǒng)計信息，以助在第2趟編碼中時為每一幀找到最好的QP。第2趟編碼包含以下三部分：1. 第2趟編碼開始之前，拿出一些bit用于在幀間靈活分配。這個bit數(shù)與目標(biāo)碼率無關(guān)，只是一個使用恒定QP(根據(jù)第一趟編碼估計)編碼的碼率的比值，一般是0.6；2. 用(1)得出來的值和目標(biāo)碼率計算每一幀要使用的QP。使用VBV是方法之一，VBV是一個迭代的過程，因為使用VBV和QP會互相影響3. 現(xiàn)在開始編碼。每編完一幀，按照還剩下的空間重新計算后面將要使

13、用的QP，如果編碼過程中第2趟編碼的實際碼率偏離了目標(biāo)碼率（因為第二趟編碼用了更慢的參數(shù)），會在隨后的幀里做出變化以糾正錯誤趨勢。VBV：Video Buffer Verifier19X264X264碼率控制碼率控制ABR：1趟編碼，平均碼率趟編碼，平均碼率目標(biāo)是達(dá)到和2趟編碼同樣的效果，但沒有第1趟編碼的幫助，所以只能一邊編碼一邊控制碼率：1、和2趟編碼的(1)過程一樣，但因為沒有第1趟編碼的幀信息，所以把幀縮小為一半分辨率后用一個快速預(yù)測算法和SATD（sum of absolute transform differences絕對變換差值和）做一個預(yù)測來代替。而且也不知道后面的GOP的大小

14、和復(fù)雜度，所以I幀的決策基于之前的幀；2、因為不知道后面幀的復(fù)雜度，所以只根據(jù)前面的幀來測算QP。測算的因數(shù)將定為如果應(yīng)用于目前所有幀則可以滿足目標(biāo)比特率的數(shù)；3、和2趟編碼一樣有溢出補(bǔ)償，調(diào)節(jié)補(bǔ)償力度可以得到很接近2趟編碼的質(zhì)量（但大小將在接近正負(fù)10%的范圍內(nèi)浮動），通過這種方式可以在一定程度上控制住文件大小而又不太犧牲視頻質(zhì)量。20X264X264碼率控制碼率控制CBR：1趟編碼，恒定碼率（用趟編碼，恒定碼率（用VBV限制）限制）1、同ABR；2、測算因子基于一個范圍內(nèi)（由VBV buffer大小決定）的均值，而不是之前所有幀；3、溢出補(bǔ)償更加嚴(yán)格，而且在VBV接近0時將會強(qiáng)制限制QP。

15、但在VBV沒用完時并不會強(qiáng)制限制QP，所以CBR的結(jié)果多少會比目標(biāo)碼率低一點(diǎn)。還要注意的是，如果在所有機(jī)制過后，一個幀還是超出了VBV的限制，那它是不會被重新編碼的。CRF：1趟編碼，恒定碼率因子趟編碼，恒定碼率因子constant rate factor1、同ABR；2、換算因子恒定為 crf參數(shù)的值；3、沒有溢出補(bǔ)償。CQP：恒定量化參數(shù)：恒定量化參數(shù)QP21X264X264碼率控制碼率控制X264沒有采用拉格朗日代價函數(shù)來控制編碼，而是使用一種更簡單的方法，即利用半精度幀的SATD(sum of absolute transformed difference)作為模式選擇的依據(jù)。SATD

16、即將殘差經(jīng)哈德曼(hadamard)變換的44塊的預(yù)測殘差絕對值總和，可以將其看作簡單的時頻變換，其值在一定程度上可以反映生成碼流的大小。22H264H264幀解析幀解析H264碼流H.264編碼時，在每個NAL前添加起始碼0 x000001 0 x000000 - 0 x00000300 0 x000001 - 0 x00000301 0 x000002 - 0 x00000302 0 x000003 - 0 x0000030323目錄目錄概述概述視頻編碼原理視頻編碼原理碼率控制碼率控制X264碼率控制碼率控制H264幀解析幀解析H264碼流傳輸碼流傳輸H264與媒體文件與媒體文件24H264H264碼流傳輸碼流傳輸H264的傳輸：RFC3984RFC3984規(guī)定了H.264在網(wǎng)絡(luò)上如何通過RTP協(xié)議進(jìn)行傳輸三個不同的基本荷載結(jié)構(gòu)：單個NAL單元包、聚合包、分片單元25H264H264碼流傳輸碼流傳輸三種打包方式 交錯方式 ：交錯模式目標(biāo)是不要求非常低的端到端延遲的系統(tǒng)。 允許NAL單元不按照解碼順序傳送。單NAL單元方式 ：目標(biāo)是常規(guī)的系統(tǒng)，該系統(tǒng)兼容ITU-T H.241 非交錯方式：目標(biāo)是常規(guī)系統(tǒng)，可以不符合ITU-T H.241。 NAL單元按照解碼順序傳送。26H264H264碼流傳輸碼流傳輸單個NAL單元包：