視音頻編碼技術(shù)

1、視頻編碼技術(shù)視頻編碼技術(shù) men aidong, multimedia telecommunication centre, bupt 運(yùn)動(dòng)圖象的三要素運(yùn)動(dòng)圖象的三要素 幀分辨率（幀分辨率（dvd圖象：圖象： 704x576704x576像素像素/幀）幀） 像素（顏色的位深，真彩像素（顏色的位深，真彩24位）位） 三原色（紅綠籃三原色（紅綠籃rgb) 亮度亮度y、色度、色度cb,cr 幀率幀率(pal:25幀幀/秒秒;ntsc:30幀幀/秒秒) men aidong, multimedia telecommunication centre, bupt 像素的數(shù)字化：像素的數(shù)字化：色彩模型色彩模型

2、 rgb模型（紅綠蘭）模型（紅綠蘭） 紅：紅：8bit 綠：綠：8bit 蘭：蘭：8bit rgb模型計(jì)算機(jī)上常用模型計(jì)算機(jī)上常用 ycrcb 模型（亮度加色差）模型（亮度加色差） 亮度：亮度： 8bit 紅色差：紅色差： 2bit（色差壓縮）（色差壓縮） 蘭色差：蘭色差： 2bit（色差壓縮）（色差壓縮） ycrcb 模型更適合圖形壓縮模型更適合圖形壓縮 men aidong, multimedia telecommunication centre, bupt 數(shù)字圖象格式：數(shù)字圖象格式：幀分辨率幀分辨率 視頻會(huì)議圖像格式圖像大?。ㄏ袼?sub-qcif12896 qcif176 144 c

3、if352 288 4cif704 576 10cif(hdtv)1280 720 像素、幀率兩要像素、幀率兩要 素在數(shù)字視頻圖像格式中素在數(shù)字視頻圖像格式中 為隱含要素。為隱含要素。 men aidong, multimedia telecommunication centre, bupt 運(yùn)動(dòng)數(shù)字圖象采集數(shù)碼量運(yùn)動(dòng)數(shù)字圖象采集數(shù)碼量 1幀4cif(dvd)圖象像素：704x57640萬(wàn)/幀 1像素（紅綠藍(lán)）： 3x8位編碼=24bit碼率 pal制dvd圖象幀率： 25幀/秒 每秒圖象采集數(shù)碼量： 40萬(wàn)/幀x 24bit x 25幀/秒=240000000bit/秒 dvd圖象原始數(shù)碼量

4、：240mbit/秒（ rgb模型） vcd圖象原始數(shù)碼量：60mbit/秒 即使是即使是vcdvcd圖象如不壓縮編碼也無(wú)法在圖象如不壓縮編碼也無(wú)法在2m2m專線（專線（e1e1專線）上傳輸專線）上傳輸 men aidong, multimedia telecommunication centre, bupt 關(guān)鍵技術(shù)關(guān)鍵技術(shù) 視頻壓縮（視頻編碼）視頻壓縮（視頻編碼） 音頻壓縮（音頻編碼）音頻壓縮（音頻編碼） 交換方式與控制方式交換方式與控制方式 men aidong, multimedia telecommunication centre, bupt 視頻壓縮（視頻編碼）視頻壓縮（視頻編碼）

5、 圖象固有的統(tǒng)計(jì)規(guī)律圖象固有的統(tǒng)計(jì)規(guī)律 空間的相關(guān)性（空間冗余）空間的相關(guān)性（空間冗余） 時(shí)間的相關(guān)性（時(shí)間冗余）時(shí)間的相關(guān)性（時(shí)間冗余） 視覺(jué)、心理視覺(jué)、心理 錄入和顯示設(shè)備錄入和顯示設(shè)備 men aidong, multimedia telecommunication centre, bupt8 n 國(guó)際標(biāo)準(zhǔn)組織國(guó)際標(biāo)準(zhǔn)組織 itu （vceg） 更悠久、更專注于傳統(tǒng)的視頻編碼目標(biāo)（例如，更悠久、更專注于傳統(tǒng)的視頻編碼目標(biāo)（例如， 更好的壓縮和包丟失更好的壓縮和包丟失/誤碼恢復(fù)）誤碼恢復(fù)） iso/iec（mpeg） 更大、更具有雄心勃勃的目標(biāo)（例如，更大、更具有雄心勃勃的目標(biāo)（例如，“面

6、面 向?qū)ο笠曨l編碼向?qū)ο笠曨l編碼”、“自然分析合成混合編碼自然分析合成混合編碼”和數(shù)字電影）和數(shù)字電影） 兩者有時(shí)合作制定標(biāo)準(zhǔn)（例如，兩者有時(shí)合作制定標(biāo)準(zhǔn)（例如，iso、iec and itu 協(xié)作制定了協(xié)作制定了 mpeg-2/h.261 和和 mpeg avc/h.264) n 活躍的產(chǎn)業(yè)聯(lián)盟和協(xié)會(huì)活躍的產(chǎn)業(yè)聯(lián)盟和協(xié)會(huì) dvd、3gpp、3gpp2、 smpte、ietf, etc. 中國(guó)的中國(guó)的 avs n 游離于正式標(biāo)準(zhǔn)之外的廠商，事實(shí)上的工業(yè)標(biāo)準(zhǔn)：游離于正式標(biāo)準(zhǔn)之外的廠商，事實(shí)上的工業(yè)標(biāo)準(zhǔn)： microsoft real networks quicktime 視頻編碼標(biāo)準(zhǔn)：視頻編碼標(biāo)

7、準(zhǔn)：視頻編碼標(biāo)準(zhǔn)組織視頻編碼標(biāo)準(zhǔn)組織 men aidong, multimedia telecommunication centre, bupt9 h.264 / mpeg4 avc h.261 h.262 / mpeg2 h.263 h.263+ h.263 + itu-t standards joint itu-t ; 去塊效去塊效 應(yīng)濾波應(yīng)濾波 幀內(nèi)幀內(nèi) 預(yù)測(cè)預(yù)測(cè) 4x4 整數(shù)整數(shù) “idct” 當(dāng)前幀當(dāng)前幀 原始圖像 1. 變換變換&量化去除空間冗余量化去除空間冗余 2. 預(yù)測(cè)（運(yùn)動(dòng)補(bǔ)償）去除時(shí)間冗余預(yù)測(cè)（運(yùn)動(dòng)補(bǔ)償）去除時(shí)間冗余 3. 熵編碼去除變換系數(shù)的冗余熵編碼去除變換系數(shù)的冗余

8、men aidong, multimedia telecommunication centre, bupt11 n 運(yùn)動(dòng)補(bǔ)償：去除時(shí)間冗余運(yùn)動(dòng)補(bǔ)償：去除時(shí)間冗余 例例: 序列圖象序列圖象 視頻編碼技術(shù)：視頻編碼技術(shù)：運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)補(bǔ)償 n動(dòng)機(jī)：運(yùn)動(dòng)動(dòng)機(jī)：運(yùn)動(dòng)/固定目標(biāo)的大小是可變的固定目標(biāo)的大小是可變的 許多小塊也可能需要花費(fèi)許多比特來(lái)編碼許多小塊也可能需要花費(fèi)許多比特來(lái)編碼 不同塊大小和形狀的運(yùn)動(dòng)補(bǔ)償不同塊大小和形狀的運(yùn)動(dòng)補(bǔ)償 1616 88 44 men aidong, multimedia telecommunication centre, bupt12 大小和形狀可變塊（大小和形狀可變塊

9、（7種）種） 8x8 0 4x8 01 01 23 4x48x4 1 0 8x8 types 0 16x16 01 8x16 mb types 8x8 01 23 16x8 1 0 n運(yùn)動(dòng)估計(jì)匹配塊的尺寸不斷縮小運(yùn)動(dòng)估計(jì)匹配塊的尺寸不斷縮小 h.261：1616 h.263：88 h.264：7 種可變塊大小，最小種可變塊大小，最小 44 avs：4 種可變塊大小，最小種可變塊大小，最小 88 節(jié)省了節(jié)省了15%以上的比特率以上的比特率 forema n 30fps qcif 運(yùn)動(dòng)補(bǔ)償：運(yùn)動(dòng)補(bǔ)償：發(fā)展趨勢(shì)發(fā)展趨勢(shì) men aidong, multimedia telecommunication

10、 centre, bupt13 n運(yùn)動(dòng)估計(jì)參考幀的數(shù)量不斷增加運(yùn)動(dòng)估計(jì)參考幀的數(shù)量不斷增加 i 幀（幀內(nèi)編碼）、幀（幀內(nèi)編碼）、p 幀、幀、b 幀幀 多參考幀預(yù)測(cè)：假設(shè)為多參考幀預(yù)測(cè)：假設(shè)為5個(gè)參考幀預(yù)測(cè)，相對(duì)于一個(gè)參考幀來(lái)說(shuō)，個(gè)參考幀預(yù)測(cè)，相對(duì)于一個(gè)參考幀來(lái)說(shuō)， 可節(jié)省可節(jié)省 5% 到到 10% 比特率比特率。 h.264 p 幀、幀、b 幀前后最多幀前后最多 16 幀幀 avs p 幀前后幀前后 2 幀、幀、b 前后前后 1 幀幀 運(yùn)動(dòng)補(bǔ)償：運(yùn)動(dòng)補(bǔ)償：發(fā)展趨勢(shì)發(fā)展趨勢(shì) men aidong, multimedia telecommunication centre, bupt14 n 變換編

11、碼：去除空間冗余。變換編碼：去除空間冗余。變換后，在變換域中，低頻系數(shù)的變換后，在變換域中，低頻系數(shù)的 能量遠(yuǎn)大于高頻系數(shù)的能量，變換系數(shù)的相關(guān)性將大大去除。能量遠(yuǎn)大于高頻系數(shù)的能量，變換系數(shù)的相關(guān)性將大大去除。 視頻編碼技術(shù)：視頻編碼技術(shù)：變換編碼變換編碼 men aidong, multimedia telecommunication centre, bupt15 變換變換編碼：編碼：dct(離散余弦變換離散余弦變換) n dct 快速算法是中國(guó)人陳文雄快速算法是中國(guó)人陳文雄 (1977) 提出提出 n llm 快速快速 dct 算法算法 (loeffler, ligtenberg and

12、 moschytz，1989) 此算法需要此算法需要 11 次乘法和次乘法和 29 次加法次加法 men aidong, multimedia telecommunication centre, bupt16 變換變換編碼：編碼： dct 變換的尺寸變換的尺寸 2*2 4*4 8*8 16*16 32*32 64*64 子塊子塊 尺寸尺寸 位位/象素象素 2.52.5 2.02.0 1.51.5 1.01.0 n dct 編碼效率和尺寸之間的關(guān)系是單調(diào)曲線，其拐點(diǎn)在編碼效率和尺寸之間的關(guān)系是單調(diào)曲線，其拐點(diǎn)在 44、88、1616 區(qū)段區(qū)段 n 需要根據(jù)圖像分辨率（需要根據(jù)圖像分辨率（qcif

13、、cif、sdtv、hdtv或數(shù)或數(shù) 字電影）選擇字電影）選擇 dct 變換塊的大小。變換塊的大小。 44 更適宜于小尺寸圖像，相應(yīng)的塊效應(yīng)主觀感覺(jué)也會(huì)減弱更適宜于小尺寸圖像，相應(yīng)的塊效應(yīng)主觀感覺(jué)也會(huì)減弱 4 44 4 更好的運(yùn)動(dòng)補(bǔ)償，意味著更小的空間相關(guān)性更好的運(yùn)動(dòng)補(bǔ)償，意味著更小的空間相關(guān)性 n h.264 有有 44、88 變換塊變換塊 n avs avs 有有 8 88 8 變換塊變換塊 men aidong, multimedia telecommunication centre, bupt17 變換變換編碼：編碼： dct 變換的復(fù)雜度變換的復(fù)雜度 n 傳統(tǒng)的傳統(tǒng)的 dct 變換變

14、換 dct 需要實(shí)數(shù)運(yùn)算，反變換中引起了精度的損失。需要實(shí)數(shù)運(yùn)算，反變換中引起了精度的損失。 n h.264、avs 等使用了非常簡(jiǎn)單的等使用了非常簡(jiǎn)單的44或或88 整數(shù)變換整數(shù)變換： 對(duì)傳統(tǒng)對(duì)傳統(tǒng) dct 非常精巧的逼近非常精巧的逼近 變換矩陣只包含變換矩陣只包含 +/-1 和和 +/-2 計(jì)算只需要加法、減法和移位計(jì)算只需要加法、減法和移位 n 結(jié)果顯示僅有可以忽略不計(jì)的質(zhì)量損失結(jié)果顯示僅有可以忽略不計(jì)的質(zhì)量損失 (0.02db) 差值圖像基于 4x4 整數(shù)變換： 主類：自適應(yīng)塊大小變換(8x4, 4x8, 8x8) 對(duì)于 8x8 色度和 16x16 幀內(nèi)亮度塊dc 系數(shù)再次變 換（re

15、peated transform） 1111 2112 1111 1221 h men aidong, multimedia telecommunication centre, bupt18 上下文上下文 模型模型 二進(jìn)制化二進(jìn)制化 概率概率 估計(jì)估計(jì) 編碼編碼 引擎引擎 更新概率估計(jì)更新概率估計(jì) 自適應(yīng)二進(jìn)制算術(shù)編碼器自適應(yīng)二進(jìn)制算術(shù)編碼器 基于過(guò)去獲得的條基于過(guò)去獲得的條 件選擇一個(gè)模型件選擇一個(gè)模型 非二進(jìn)制符號(hào)映射非二進(jìn)制符號(hào)映射 為二進(jìn)制序列為二進(jìn)制序列 使用提供的模型進(jìn)行編碼并更新模型使用提供的模型進(jìn)行編碼并更新模型 n 獲得好的性能，源于：獲得好的性能，源于： 通過(guò)上下文通過(guò)上下

16、文選擇模型選擇模型 基于本地統(tǒng)計(jì)的基于本地統(tǒng)計(jì)的自適應(yīng)估計(jì)自適應(yīng)估計(jì) 算術(shù)編碼算術(shù)編碼減少計(jì)算復(fù)雜度減少計(jì)算復(fù)雜度 視頻編碼技術(shù)：視頻編碼技術(shù)：熵編碼熵編碼 n h.264 cabac 熵編碼熵編碼 men aidong, multimedia telecommunication centre, bupt19 視頻編碼技術(shù)：視頻編碼技術(shù)：幀內(nèi)預(yù)測(cè)幀內(nèi)預(yù)測(cè) n 動(dòng)機(jī)：動(dòng)機(jī)：i 幀是自然圖像，具有很強(qiáng)的空間相關(guān)幀是自然圖像，具有很強(qiáng)的空間相關(guān) h.261、mpeg2 沒(méi)有幀內(nèi)預(yù)測(cè)，只有幀間預(yù)測(cè)沒(méi)有幀內(nèi)預(yù)測(cè)，只有幀間預(yù)測(cè) h.263+ 和和 mpeg4 中，中，在變換域中在變換域中根據(jù)相鄰塊對(duì)當(dāng)前塊

17、的某些根據(jù)相鄰塊對(duì)當(dāng)前塊的某些 系數(shù)做預(yù)測(cè)系數(shù)做預(yù)測(cè) h.264 在空域內(nèi)，依據(jù)在空域內(nèi)，依據(jù)與當(dāng)前塊相鄰的象素，對(duì)當(dāng)前塊進(jìn)行預(yù)測(cè)。與當(dāng)前塊相鄰的象素，對(duì)當(dāng)前塊進(jìn)行預(yù)測(cè)。 宏塊或塊基于先前編碼的塊進(jìn)行預(yù)測(cè)：宏塊或塊基于先前編碼的塊進(jìn)行預(yù)測(cè)： 先前編碼的塊位于當(dāng)前塊的上面和先前編碼的塊位于當(dāng)前塊的上面和/或左面的塊或左面的塊 亮度塊有兩類幀內(nèi)預(yù)測(cè)方式：亮度塊有兩類幀內(nèi)預(yù)測(cè)方式： 9 種種 44 幀內(nèi)預(yù)測(cè)模式幀內(nèi)預(yù)測(cè)模式，用于紋理區(qū)域，用于紋理區(qū)域 4 種種 1616 幀內(nèi)預(yù)測(cè)模式幀內(nèi)預(yù)測(cè)模式，用于平滑區(qū)域，用于平滑區(qū)域 色度樣值只有色度樣值只有 4 種種 88 幀內(nèi)預(yù)測(cè)模式幀內(nèi)預(yù)測(cè)模式，類似于亮

18、度樣值的，類似于亮度樣值的 1616 幀內(nèi)預(yù)測(cè)模式幀內(nèi)預(yù)測(cè)模式 avs 同樣思想：同樣思想： 5 種種 88 幀內(nèi)預(yù)測(cè)模式幀內(nèi)預(yù)測(cè)模式，用于紋理區(qū)域，用于紋理區(qū)域 4 種種 88 幀內(nèi)預(yù)測(cè)模式幀內(nèi)預(yù)測(cè)模式，用于平滑區(qū)域，用于平滑區(qū)域 men aidong, multimedia telecommunication centre, bupt20 n h.264 去塊效應(yīng)環(huán)路濾波器去塊效應(yīng)環(huán)路濾波器 高壓縮解碼的幀間圖像高壓縮解碼的幀間圖像 顯著地減小預(yù)測(cè)殘留圖像顯著地減小預(yù)測(cè)殘留圖像 沒(méi)有濾波沒(méi)有濾波h.264/avc 去塊效應(yīng)濾波去塊效應(yīng)濾波 視頻編碼技術(shù)：視頻編碼技術(shù)：去塊效應(yīng)環(huán)路濾波器去塊

19、效應(yīng)環(huán)路濾波器 men aidong, multimedia telecommunication centre, bupt21 視頻編碼技術(shù)：視頻編碼技術(shù)：主要視頻編碼標(biāo)準(zhǔn)的技術(shù)比較主要視頻編碼標(biāo)準(zhǔn)的技術(shù)比較 mpeg-2mpeg-4h.263h.264vc-1avs 變換變換8x8 dct變換8x8 dct變換8x8 dct變換4x4、8x8 整數(shù)變換整數(shù)變換 4x4、2x2 哈達(dá)碼變換哈達(dá)碼變換 4x4、8x4、4x8、 8x8 整數(shù)變換 8x8 整數(shù)變換整數(shù)變換 量化量化傳統(tǒng)方式傳統(tǒng)方式傳統(tǒng)方式乘法與移位實(shí)現(xiàn)乘法與移位實(shí)現(xiàn)傳統(tǒng)方式乘法與移位實(shí)現(xiàn)乘法與移位實(shí)現(xiàn) 幀內(nèi)預(yù)測(cè)幀內(nèi)預(yù)測(cè)變換后 dc

20、系數(shù)變換域幀內(nèi)預(yù)測(cè)變換域幀內(nèi)預(yù)測(cè)4x4、8x8亮度塊：亮度塊：9 種種 16x16亮度快：亮度快：4 種種 色度塊：色度塊：4 種種 變換域幀內(nèi)預(yù)測(cè)8x8 亮度塊：亮度塊：5 種種 色度塊：色度塊：4 種種 運(yùn)動(dòng)補(bǔ)償塊大小運(yùn)動(dòng)補(bǔ)償塊大小16x16、16x816x16、16x8、8x816x16、8x816x16、16x8、8x16、 8x8、8x4、4x8、4x4 16x16、8x816x16、16x8、 8x16、8x8 運(yùn)動(dòng)矢量精度運(yùn)動(dòng)矢量精度 象素 象素 象素 象素象素 象素 象素象素 內(nèi)插濾波器內(nèi)插濾波器1/2象素：2-tap1/2象素：8-tap 1/4象素：2-tap 1/2象素：

21、2-tap1/2象素：象素：6-tap 1/4象素：象素：2-tap 1/2象素：4/2-tap 1/4象素：4-tap 1/2象素：象素：4-tap 1/4象素：象素：4-tap 參考幀參考幀1個(gè)參考幀1個(gè)參考幀1個(gè)參考幀16 個(gè)參考幀個(gè)參考幀1 個(gè)參考幀2 個(gè)參考幀個(gè)參考幀 b 幀特征幀特征前向/后向 前向/前向 后向/后向 2 個(gè)運(yùn)動(dòng)矢量 前向/后向 前向/前向 后向/后向 2 個(gè)運(yùn)動(dòng)矢量 前向/后向 前向/前向 后向/后向 2 個(gè)運(yùn)動(dòng)矢量 前向前向/后向后向 前向前向/前向前向 后向后向/后向后向 2 個(gè)運(yùn)動(dòng)矢量個(gè)運(yùn)動(dòng)矢量 前向/后向 2個(gè)運(yùn)動(dòng)矢量 前向前向/后向后向 對(duì)稱的對(duì)稱的 1

22、 個(gè)運(yùn)動(dòng)矢?jìng)€(gè)運(yùn)動(dòng)矢 量量 去塊效應(yīng)濾波去塊效應(yīng)濾波無(wú)有有有有有有有 熵編碼熵編碼vlcvlc vlc、算術(shù)編碼vlc, cavlc, cabac多 vlc 碼表自適應(yīng)自適應(yīng) vlc 碼表碼表 幀編碼類型幀編碼類型幀、場(chǎng)、paff幀、場(chǎng)、paff幀幀、場(chǎng)、幀、場(chǎng)、paff、 mbaff 幀、場(chǎng)、paff幀、場(chǎng)、幀、場(chǎng)、paff 類（類（profile）simple、main、high 等 19 個(gè)類baseline、main、 externed、high (frext) simple、main、 advanced 一個(gè)類一個(gè)類 幀類型幀類型i、p、bi、p、bi、p、b、si、spi、p、b、s

23、i、spi、p、b、bii、p、b 取樣格式取樣格式4:2:0、4:2:24:2:04:2:04:2:0、4:2:2、4:4:4、 灰度、灰度、rgb 4:2:04:2:0 men aidong, multimedia telecommunication centre, bupt22 n h.264 編解碼器的實(shí)現(xiàn)意味著放寬通常的復(fù)雜度編解碼器的實(shí)現(xiàn)意味著放寬通常的復(fù)雜度(存儲(chǔ)和存儲(chǔ)和 計(jì)算計(jì)算)限制，相對(duì)于限制，相對(duì)于 mpeg2編解碼器，粗略估計(jì)：編解碼器，粗略估計(jì)： 解碼能力需要增加解碼能力需要增加 4-5x 編碼能力需要增加編碼能力需要增加 10 x 折中：折中：最好的質(zhì)量和最小的帶寬

24、消耗，高度復(fù)雜計(jì)算使得最好的質(zhì)量和最小的帶寬消耗，高度復(fù)雜計(jì)算使得 asic 昂貴，實(shí)現(xiàn)復(fù)雜。昂貴，實(shí)現(xiàn)復(fù)雜。 視頻編碼實(shí)現(xiàn)：視頻編碼實(shí)現(xiàn)：h.264 md：模式判決 tq：變換和量化 mc：運(yùn)動(dòng)補(bǔ)償 me：運(yùn)動(dòng)估計(jì) vlc：變字長(zhǎng)碼 men aidong, multimedia telecommunication centre, bupt23 copy ip 存儲(chǔ)存儲(chǔ) dvr ip 視頻電話、會(huì)議視頻電話、會(huì)議 dtv h.264 istb vod h.264 視頻應(yīng)用環(huán)境視頻應(yīng)用環(huán)境 ip 視頻流視頻流 dtvmpeg2 over ip stb 3gpp vod sip / h.264 o

25、ver ip 轉(zhuǎn)碼轉(zhuǎn)碼 視頻監(jiān)控視頻監(jiān)控 h.264 over lan / ip hfc 轉(zhuǎn)碼轉(zhuǎn)碼 轉(zhuǎn)碼轉(zhuǎn)碼 視頻編碼應(yīng)用：視頻編碼應(yīng)用：領(lǐng)域領(lǐng)域 men aidong, multimedia telecommunication centre, bupt24 小結(jié)小結(jié) n 現(xiàn)代視頻編碼體系結(jié)構(gòu)沒(méi)有革命性的改變，現(xiàn)代視頻編碼體系結(jié)構(gòu)沒(méi)有革命性的改變，基于混合視頻編碼方案基于混合視頻編碼方案， 但不斷改進(jìn)，但不斷改進(jìn)，越來(lái)越精巧和完善，使得壓縮率和圖像質(zhì)量不斷提高，越來(lái)越精巧和完善，使得壓縮率和圖像質(zhì)量不斷提高， 復(fù)雜度也大大增加：復(fù)雜度也大大增加： 新的關(guān)鍵技術(shù)特征新的關(guān)鍵技術(shù)特征： 增強(qiáng)的運(yùn)動(dòng)

26、補(bǔ)償增強(qiáng)的運(yùn)動(dòng)補(bǔ)償 小尺寸的整數(shù)變換小尺寸的整數(shù)變換 增強(qiáng)的熵編碼增強(qiáng)的熵編碼 cavlc 和和 cabac 其它：增強(qiáng)的去塊效應(yīng)濾波器等其它：增強(qiáng)的去塊效應(yīng)濾波器等 在相同質(zhì)量下，在相同質(zhì)量下，節(jié)省比特率節(jié)省比特率 50 以上，主觀質(zhì)量感覺(jué)比客觀以上，主觀質(zhì)量感覺(jué)比客觀 psnr 指指 標(biāo)更好。標(biāo)更好。 復(fù)雜度增加，編碼器復(fù)雜度增加，編碼器 3-10 x，解碼器，解碼器 2-5x n 最新發(fā)展的標(biāo)準(zhǔn)有最新發(fā)展的標(biāo)準(zhǔn)有 h.264/mpeg avc、smpte vc1/ms wmv9和和 我國(guó)的我國(guó)的 avs。 n 研究方向是可伸縮的視頻編碼研究方向是可伸縮的視頻編碼（scalable vid

27、eo code，svc），不同的應(yīng)用，不同的應(yīng)用 可以由一個(gè)共同的碼流來(lái)實(shí)現(xiàn)，目前已經(jīng)公布的視頻編碼標(biāo)準(zhǔn)都沒(méi)可以由一個(gè)共同的碼流來(lái)實(shí)現(xiàn)，目前已經(jīng)公布的視頻編碼標(biāo)準(zhǔn)都沒(méi) 有這個(gè)功能。有這個(gè)功能。 數(shù)字音頻壓縮技術(shù)數(shù)字音頻壓縮技術(shù) digital audio compression men aidong, multimedia telecommunication centre, bupt26 引言數(shù)字音頻的數(shù)據(jù)量引言數(shù)字音頻的數(shù)據(jù)量 n 數(shù)字化是趨勢(shì)數(shù)字化是趨勢(shì) 信息量非常大，高傳輸帶寬或存儲(chǔ)容量信息量非常大，高傳輸帶寬或存儲(chǔ)容量 5.1 聲道環(huán)繞立體聲：聲道環(huán)繞立體聲： 648khz18bits

28、.184mbit/s n 減少代表原始聲音信號(hào)的信息量減少代表原始聲音信號(hào)的信息量 更好利用現(xiàn)有頻率資源更好利用現(xiàn)有頻率資源 便于計(jì)算機(jī)處理和存儲(chǔ)便于計(jì)算機(jī)處理和存儲(chǔ) 寬帶網(wǎng)中高質(zhì)量傳輸寬帶網(wǎng)中高質(zhì)量傳輸 men aidong, multimedia telecommunication centre, bupt27 n 波形編碼波形編碼 將波形直接變換成數(shù)字碼流。特點(diǎn)：比特率較高、解碼后質(zhì)量較高、延將波形直接變換成數(shù)字碼流。特點(diǎn)：比特率較高、解碼后質(zhì)量較高、延 時(shí)較小?？梢苑譃椋簳r(shí)較小。可以分為：時(shí)域波形編碼，如時(shí)域波形編碼，如pcm、adpcm、 m等；等；頻域波形頻域波形 編碼，如：子帶編

29、碼（編碼，如：子帶編碼（sbc）、自適應(yīng)變換編碼（）、自適應(yīng)變換編碼（atc）等。等。 pcmpcm原理（原理（19371937年，法年，法alec reeresalec reeres） 電子管電子管 pcmpcm（4646年，年，bellbell實(shí)驗(yàn)室）實(shí)驗(yàn)室） 晶體管晶體管 pcmpcm（6262年，市話擴(kuò)容，年，市話擴(kuò)容，64kb/s64kb/s） 單片單片ic pcmic pcm（7070年代，微波、衛(wèi)星、光纖）年代，微波、衛(wèi)星、光纖） 增量編碼原理（增量編碼原理（19461946年，法年，法 de lorainede loraine） 自適應(yīng)增量自適應(yīng)增量 cvsdcvsd（6060

30、年代末，軍用，年代末，軍用，3232、16kb/s16kb/s） cvsdcvsd（continuously variable slope delta modulatorcontinuously variable slope delta modulator） （連續(xù)變化斜率增量調(diào)制器）（連續(xù)變化斜率增量調(diào)制器） 其他編碼（其他編碼（7070年代，年代，adpcmadpcm、subbandsubband、atcatc、apcapc等）等） 在在16kb/s16kb/s以上得到較好的話音質(zhì)量。以上得到較好的話音質(zhì)量。 特點(diǎn)：話音質(zhì)量好，但編碼速率高。特點(diǎn)：話音質(zhì)量好，但編碼速率高。 音頻編碼歷史：

31、數(shù)字語(yǔ)音（音頻編碼歷史：數(shù)字語(yǔ)音（1 1） men aidong, multimedia telecommunication centre, bupt28 n參數(shù)編碼參數(shù)編碼 從信源信號(hào)的某個(gè)域中提取特征參數(shù)從信源信號(hào)的某個(gè)域中提取特征參數(shù)，并變換成數(shù)字碼流。如：各種，并變換成數(shù)字碼流。如：各種 聲碼器。聲碼器。 波形編碼通道聲碼器（波形編碼通道聲碼器（3939年，年，dudlydudly，二次大戰(zhàn)保密電話），二次大戰(zhàn)保密電話） lpclpc聲碼器（聲碼器（6767年，年，atalatal、schroederschroeder） 同態(tài)聲碼器（同態(tài)聲碼器（6969年，年，oppenheimopp

32、enheim） 共振峰聲碼器（共振峰聲碼器（7171年，年，rabinerrabiner、schaferschafer、elanaganelanagan） mbembe聲碼器（聲碼器（8888年，年，griffingriffin、limlim） 波形插值（波形插值（9191年，年，w.b. kleijnw.b. kleijn） 2.4kb/s2.4kb/s、1.2kb/s1.2kb/s、較好；、較好；600-800b/s600-800b/s可懂?？啥?。 特點(diǎn)：編碼速率低，自然度差特點(diǎn)：編碼速率低，自然度差、解碼后質(zhì)量較低、延時(shí)解碼后質(zhì)量較低、延時(shí) 較大較大。 音頻編碼歷史：數(shù)字語(yǔ)音（音頻編碼歷

33、史：數(shù)字語(yǔ)音（2 2） men aidong, multimedia telecommunication centre, bupt29 n 混合編碼器混合編碼器 將以上二種方法混合，將以上二種方法混合，利用線性預(yù)測(cè)、利用線性預(yù)測(cè)、vqvq、a-b-sa-b-s、感覺(jué)加權(quán)、后、感覺(jué)加權(quán)、后 濾波等技術(shù)。濾波等技術(shù)。如：如：g723.1，g728，g729，gsm的語(yǔ)音編碼，的語(yǔ)音編碼，is-95的的 語(yǔ)音編碼等。語(yǔ)音編碼等。 多脈沖激勵(lì)線性預(yù)測(cè)（多脈沖激勵(lì)線性預(yù)測(cè)（mpelp 1982 atalmpelp 1982 atal、remderemde） 規(guī)則脈沖激勵(lì)線性預(yù)測(cè)（規(guī)則脈沖激勵(lì)線性預(yù)測(cè)（r

34、pelp 1985 deprettererpelp 1985 deprettere、kroonkroon） 碼本激勵(lì)線性預(yù)測(cè)（碼本激勵(lì)線性預(yù)測(cè)（celp 1985 manfredcelp 1985 manfred、schroederschroeder、atalatal） 8-16kb/s8-16kb/s，高質(zhì)量。特點(diǎn)：話音質(zhì)量高、編碼速率低，高質(zhì)量。特點(diǎn)：話音質(zhì)量高、編碼速率低， 但算法復(fù)雜。但算法復(fù)雜。 音頻編碼歷史：數(shù)字語(yǔ)音（音頻編碼歷史：數(shù)字語(yǔ)音（3 3） men aidong, multimedia telecommunication centre, bupt30 n 主要應(yīng)用于娛樂(lè)與

35、鑒賞，對(duì)于重建信號(hào)的音質(zhì)有很高的要主要應(yīng)用于娛樂(lè)與鑒賞，對(duì)于重建信號(hào)的音質(zhì)有很高的要 求，目前采用比特率較高的波形編碼技術(shù)進(jìn)行壓縮。求，目前采用比特率較高的波形編碼技術(shù)進(jìn)行壓縮。可以可以 直接在時(shí)域進(jìn)行，也可以轉(zhuǎn)到頻域或其他變換域進(jìn)行。直接在時(shí)域進(jìn)行，也可以轉(zhuǎn)到頻域或其他變換域進(jìn)行。 n 1982年激光唱盤年激光唱盤 (cd: compact disk)上市。上市。md：mini- disk，日本索尼公司采用，日本索尼公司采用atracadaptive transform acoustic coder壓縮技術(shù)。壓縮技術(shù)。 n 1987數(shù)字音頻磁帶錄音數(shù)字音頻磁帶錄音 (dat: digital

36、 audio tape) 問(wèn)世。問(wèn)世。 n dab (digital audio broadcasting) 源于歐洲。源于歐洲。 n ac3 來(lái)自來(lái)自 dolby 公司公司 n . 音頻編碼歷史：寬帶音頻音頻編碼歷史：寬帶音頻 men aidong, multimedia telecommunication centre, bupt31 音頻編碼性能評(píng)價(jià)（音頻編碼性能評(píng)價(jià)（1 1） n 編碼速率編碼速率（kbps、kb/s） 信號(hào)帶寬信號(hào)帶寬：可懂度、自然度、透明度。：可懂度、自然度、透明度。 2003400hz、507000hz、2015000hz、1020000hz。 采樣速率采樣速率：

37、8khz、16khz、32khz、44.1/48khz。 樣值比特?cái)?shù)樣值比特?cái)?shù)（b/樣點(diǎn)），樣點(diǎn)），總速率總速率 r（kb/s）。）。 固定碼率及可變碼率固定碼率及可變碼率。 n 重建語(yǔ)音質(zhì)量重建語(yǔ)音質(zhì)量 客觀評(píng)價(jià)客觀評(píng)價(jià)： 信噪比信噪比 分段信噪比分段信噪比 （一般（一般15db以上較好，以上較好，20db以上相當(dāng)好）以上相當(dāng)好） men aidong, multimedia telecommunication centre, bupt32 音頻編碼性能評(píng)價(jià)（音頻編碼性能評(píng)價(jià)（2 2） 編解碼延時(shí)（編解碼延時(shí)（ms） 公眾網(wǎng)（公眾網(wǎng)（25ms）、點(diǎn)對(duì)點(diǎn)、廣播、存儲(chǔ)）、點(diǎn)對(duì)點(diǎn)、廣播、存儲(chǔ) 回聲

38、控制或回聲抵消回聲控制或回聲抵消 正常通話秩序正常通話秩序 與重建質(zhì)量關(guān)系與重建質(zhì)量關(guān)系 算法復(fù)雜度算法復(fù)雜度 硬件、成本硬件、成本 浮點(diǎn)、定點(diǎn)浮點(diǎn)、定點(diǎn) mips、ram、rom 其他其他 抗隨機(jī)誤碼和突發(fā)誤碼能力抗隨機(jī)誤碼和突發(fā)誤碼能力 抗丟包和丟幀能力抗丟包和丟幀能力 對(duì)不同信號(hào)編碼能力對(duì)不同信號(hào)編碼能力 級(jí)聯(lián)或轉(zhuǎn)接能力級(jí)聯(lián)或轉(zhuǎn)接能力 men aidong, multimedia telecommunication centre, bupt 語(yǔ)音壓縮（音頻編碼）語(yǔ)音壓縮（音頻編碼） itu-t g.711(1988)g.711(1988) 語(yǔ)音語(yǔ)音pcmpcm編碼標(biāo)準(zhǔn)，編碼標(biāo)準(zhǔn)，64kb

39、it/s64kbit/s g.722(1988)g.722(1988) 7 k h z7 k h z 音 頻 編 碼 標(biāo) 準(zhǔn) ，音 頻 編 碼 標(biāo) 準(zhǔn) ， 64kbit/s64kbit/s g.728(1992)g.728(1992) ld-celpld-celp語(yǔ)音編碼標(biāo)準(zhǔn)，語(yǔ)音編碼標(biāo)準(zhǔn)， 16kbit/s16kbit/s g.723.1g.723.1 低速率語(yǔ)音編碼建議，具有低速率語(yǔ)音編碼建議，具有 兩 種 速 率兩 種 速 率 6 . 3 k b i t / s6 . 3 k b i t / s 和和 5.3kbit/s5.3kbit/s。 mpegmpeg mp3mp3：mpeg1 a

40、udio layer-3mpeg1 audio layer-3的的 簡(jiǎn)稱從簡(jiǎn)稱從mpeg-1mpeg-1標(biāo)準(zhǔn)衍生的、開(kāi)標(biāo)準(zhǔn)衍生的、開(kāi) 放的編碼方案放的編碼方案50k-100kbit/s50k-100kbit/s accacc mpeg2mpeg2音頻壓縮音頻壓縮 mp4mp4 men aidong, multimedia telecommunication centre, bupt34 聲音壓縮編碼理論基礎(chǔ)聲音壓縮編碼理論基礎(chǔ) n 冗余（冗余（redundance) 信號(hào)一部分可由另一部分重建或另外表達(dá)形式簡(jiǎn)單說(shuō)明，稱為信號(hào)有冗信號(hào)一部分可由另一部分重建或另外表達(dá)形式簡(jiǎn)單說(shuō)明，稱為信號(hào)有冗 余

41、余 去除冗余實(shí)現(xiàn)壓縮編碼去除冗余實(shí)現(xiàn)壓縮編碼 信號(hào)冗余是變化的，故不能產(chǎn)生恒定碼流輸出信號(hào)冗余是變化的，故不能產(chǎn)生恒定碼流輸出 n 不相關(guān)不相關(guān) （irrelevance) 聽(tīng)覺(jué)不能感覺(jué)的那部分信號(hào)，它對(duì)聲音信號(hào)的確定或音色和發(fā)音位置沒(méi)聽(tīng)覺(jué)不能感覺(jué)的那部分信號(hào)，它對(duì)聲音信號(hào)的確定或音色和發(fā)音位置沒(méi) 有貢獻(xiàn)有貢獻(xiàn) 不相關(guān)信號(hào)部分不傳輸不相關(guān)信號(hào)部分不傳輸 利用掩蔽效應(yīng)來(lái)掩蓋量化失真利用掩蔽效應(yīng)來(lái)掩蓋量化失真 n 人耳聽(tīng)覺(jué)特性人耳聽(tīng)覺(jué)特性 人耳分辨能力人耳分辨能力 人耳對(duì)不同頻段聲音的敏感程度不同，通常對(duì)低頻比對(duì)高頻更敏感人耳對(duì)不同頻段聲音的敏感程度不同，通常對(duì)低頻比對(duì)高頻更敏感 人耳對(duì)語(yǔ)音信號(hào)的相位不敏感人耳對(duì)語(yǔ)音信號(hào)的相位不敏感 人耳掩蔽效應(yīng)人耳掩蔽效應(yīng) masking effect masking effect men aidong, multimedia telecommunication centre, bupt35 現(xiàn)有標(biāo)準(zhǔn)：語(yǔ)音編碼標(biāo)準(zhǔn)現(xiàn)有標(biāo)準(zhǔn)：語(yǔ)音編碼標(biāo)準(zhǔn) (1)(1) men aidong, multimed