多媒體編碼通信 01-導(dǎo)論

1、第一章第一章 導(dǎo)論導(dǎo)論趙海武趙海武上海大學(xué)通信學(xué)院上海大學(xué)通信學(xué)院提綱提綱l數(shù)字圖像顏色空間量化和伽馬校正采樣原始數(shù)據(jù)格式l數(shù)字視頻幀速率 逐行和隔行BT.601 電影原始數(shù)據(jù)格式 l壓縮的必要性原始數(shù)據(jù)量存儲(chǔ)器容量傳輸速率l壓縮的可行性冗余的概念統(tǒng)計(jì)冗余空間冗余時(shí)間冗余知識(shí)冗余 數(shù)字圖像：成像原理數(shù)字圖像：成像原理n焦點(diǎn)、焦距、凸透鏡成像公式n影像放大率：像高與物高的比，等于v/un視角：膠片對(duì)角線兩端點(diǎn)與鏡頭中心點(diǎn)所連線的夾角稱為視角。焦距愈長(zhǎng)視角愈??；焦距愈短視角愈大 數(shù)字圖像：成像原理數(shù)字圖像：成像原理數(shù)字圖像：成像原理數(shù)字圖像：成像原理n對(duì)焦點(diǎn)前后能夠清晰成像的范圍叫做景深范圍n光圈

2、是鏡頭后面的一個(gè)遮擋光線的器件，光線只能從光圈的開口處通過。n光圈愈大，進(jìn)光量愈多，反之進(jìn)光量愈少n光圈越大，彌散斑越大，景深越小數(shù)字圖像：成像原理數(shù)字圖像：成像原理數(shù)字圖像：成像原理數(shù)字圖像：成像原理n快門是照相機(jī)中控制曝光時(shí)間長(zhǎng)短的裝置n小型相機(jī)一般使用鏡間快門，而單反相機(jī)常用焦平面快門。 數(shù)字圖像：成像原理數(shù)字圖像：成像原理數(shù)字圖像：成像原理數(shù)字圖像：成像原理n開大光圈, 選用小景深, 就能從距離不同的諸多物體中突出某一物體, 使它能夠得到強(qiáng)調(diào)數(shù)字圖像：成像原理數(shù)字圖像：成像原理n收小光圈, 選用大景深, 這時(shí)照片中的前后景物都將控制在清晰的焦點(diǎn)之下, 相片包含了豐富的信息和細(xì)節(jié)數(shù)字圖像

3、：成像原理數(shù)字圖像：成像原理n快門速度越快, 曝光時(shí)間越短, 能夠把瞬間的動(dòng)作記錄下來。數(shù)字圖像：成像原理數(shù)字圖像：成像原理快門速度越慢, 曝光時(shí)間越長(zhǎng), 運(yùn)動(dòng)的物體就會(huì)留下流動(dòng)的影像, 這也是攝影中表現(xiàn)動(dòng)感的一種獨(dú)特方法之一 數(shù)字圖像：成像原理數(shù)字圖像：成像原理快門速度越慢, 曝光時(shí)間越長(zhǎng), 運(yùn)動(dòng)的物體就會(huì)留下流動(dòng)的影像, 這也是攝影中表現(xiàn)動(dòng)感的一種獨(dú)特方法之一 數(shù)字圖像：顏色空間數(shù)字圖像：顏色空間標(biāo)準(zhǔn)單色圖標(biāo)準(zhǔn)灰度圖按照顏色數(shù)，圖像分為單色圖、灰度圖、彩色（16/24位）圖5-2 光譜色 數(shù)字圖像：顏色空間數(shù)字圖像：顏色空間數(shù)字圖像：顏色空間數(shù)字圖像：顏色空間人的視網(wǎng)膜上有很多神經(jīng)元，神經(jīng)

4、元有錐狀和桿狀兩種 錐狀：分三種，分別對(duì)紅、綠、藍(lán)光敏感桿狀：只在光功率極低的條件下才起作用n顏色特性通常進(jìn)入我們眼睛的光是由許多不同波長(zhǎng)的光組合成的，人類視覺系統(tǒng)對(duì)可見光的不同組合有一定的一定的區(qū)分能力能夠區(qū)分：使我們能夠看到光譜色以外的許多顏色不能區(qū)分：不同的組合光可以呈現(xiàn)出相同的顏色，可以利用這點(diǎn)生成顏色數(shù)字圖像：顏色空間數(shù)字圖像：顏色空間國(guó)際照明委員會(huì)把三種單色光的波長(zhǎng)分別定為 紅光(R)：700 nm 綠光(G)：546.1 nm 藍(lán)光(B)：435.8 nm 為匹配在438.1 nm和546.1 nm之間的光譜色， 出現(xiàn)負(fù)值，表示需要使用補(bǔ)色顏色匹配曲線是采集和再現(xiàn)顏色的基礎(chǔ)193

5、1 CIE RGB顏色匹配曲線數(shù)字圖像：顏色空間數(shù)字圖像：顏色空間n像素(pixel)成像平面上的感光材料或感光器件由很多單元組成，模擬時(shí)代常用鹵化銀顆粒，數(shù)字時(shí)代根據(jù)光電效應(yīng)制造感光器件，把光轉(zhuǎn)化成電壓或電流，然后再量化為數(shù)值每個(gè)感光單元采集一組數(shù)據(jù)，構(gòu)成一個(gè)像素像素的形狀通常認(rèn)為是正方形，這是為了理解起來比較方便，事實(shí)上可能稍有變化像素的排列通常是光柵型，這是為了制造圖像采集設(shè)備的方便數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集一幅圖像由許多像素組成 數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集n像素分量和像素值如果每個(gè)采集單元可以采集RGB三個(gè)分量的值，就得到彩色圖像；如果每個(gè)采集單元只采集亮度的值，就

6、得到灰度圖像；每個(gè)像素的所有分量的值構(gòu)成的組合稱為像素值數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集n各種設(shè)備的非線性人的主觀感覺和光子的數(shù)量或能量之間不是線性的關(guān)系攝影機(jī)、照相機(jī)等圖像采集設(shè)備的光電轉(zhuǎn)換是非線性的CRT、液晶等顯示設(shè)備的電光轉(zhuǎn)換是非線性的在用計(jì)算機(jī)處理圖像的時(shí)候，我們希望像素值對(duì)應(yīng)的人的感覺是線性的，這對(duì)控制失真非常重要 例如灰度值30和31之間的亮度差和灰度值32與31之間的亮度差應(yīng)該相等數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集n校正各種非線性基本上都可以用冪函數(shù)來近似，即輸出=(輸入) 了解了非線性的特性，就可以在圖像采集的最后進(jìn)行校正，使輸出的像素值對(duì)人的主觀感覺是線性的，即最終輸

7、出 =(輸出) -在顯示圖像的時(shí)候，也可以進(jìn)行校正，使像素值的顯示對(duì)于人的主觀感覺是線性的，有時(shí)又叫預(yù)失真數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集n像素深度表示每個(gè)像素值所用的位數(shù) 例如，用R，G，B三個(gè)分量表示的彩色圖像，若每個(gè)分量用8位表示，那么一個(gè)像素共用24位表示，就說像素深度為24位像素深度決定彩色圖像的每個(gè)像素可能有的顏色數(shù)，或者確定灰度圖像的每個(gè)像素可能有的灰度級(jí)數(shù) 例如，像素深度為24位時(shí)，可以表示224=16777 216種顏色數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集n像素深度（續(xù)）像素深度大，表達(dá)的顏色數(shù)目就越多，圖像看上去越逼真，效果越好像素深

8、度大，所占用的存儲(chǔ)空間越大由于受到設(shè)備能力的限制，像素深度不會(huì)太大，一般是24位，少數(shù)設(shè)備可以做到30位或36位（每個(gè)分量10位或12位）根據(jù)人眼的分辨能力，不一定要追求特別深的像素深度數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集n圖像分辨率(resolution)圖像中像素的數(shù)量和分布情況數(shù)量和分布情況叫做圖像分辨率，也稱空間分辨率(spatial resolution)或像素分辨率(pixel resolution)，640 x480圖像分辨率表示圖像的精細(xì)程度 對(duì)同樣內(nèi)容的圖像，如果像素?cái)?shù)目越多，則說明圖像的分辨率越高，看起來就越逼真。相反，圖像顯得越粗糙 分辨率越高，像素就越多，要求存儲(chǔ)容量就

9、越大 計(jì)算數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集在圖像顯示應(yīng)用中的圖像分辨率表示法 像素像素/ /行行行：行：640640像素像素/ /行行480480行行 或或 640 x480640 x480圖像分辨率與設(shè)備分辨率是不同的概念 打印機(jī)：用多少點(diǎn)每英寸(dots per inch，DPI)表示，如300 DPI 數(shù)碼相機(jī)：用像素總數(shù)表示，如500萬像素 掃描儀：用像素每英寸(pixels per inch，PPI)表示，如300PPI 模擬電視機(jī)：用掃描線數(shù)表示，例如525線、625線、1080線 電腦顯示器、數(shù)字電視機(jī)：用像素像素/ /行行行表示，如行表示，如640640像像素素/ /行行4

10、80480行行數(shù)字圖像：圖像采集數(shù)字圖像：圖像采集nrawdatargbrgb.rgbrgb.rrrrr.g.b.rrrrr.g.b.nbmp文件文件頭位圖頭調(diào)色板：可選像素值：從下到上從下到上，從左到右，每行數(shù)據(jù)四字節(jié)對(duì)齊，數(shù)字圖像：數(shù)據(jù)格式數(shù)字圖像：數(shù)據(jù)格式n視頻是（連續(xù)的活動(dòng)的）圖像序列分辨率、顏色空間、像素深度等參數(shù)完全相同時(shí)間上間隔相等，每秒鐘內(nèi)圖像的個(gè)數(shù)叫做幀速率或幀率，相鄰兩幅圖像的時(shí)間間隔叫做幀間隔或幀周期數(shù)字視頻：幀速率數(shù)字視頻：幀速率n人眼的視覺暫留特性要求幀速率=12動(dòng)畫片的幀率為12電視的幀率為25或30電影的幀率為24n刷新率（顯示時(shí)）電視為50或60電影為72數(shù)字視

11、頻：幀速率數(shù)字視頻：幀速率n從采集到重現(xiàn)使用了兩類顏色空間采集和重現(xiàn)使用了RGB顏色空間中間處理使用YUV型顏色空間數(shù)字視頻：顏色空間數(shù)字視頻：顏色空間彩色電視攝像機(jī)RGB轉(zhuǎn)換為YC1C2YC1C2轉(zhuǎn)換為RGBYRGBRGBC1C2彩色顯示器被攝對(duì)象n應(yīng)用顏色空間nNTSCYIQnPAL和SECAMYUVnSDTVBT.601 YCbCr ，nHDTVBT.709 YCbCr ，nHDTVYPbPr數(shù)字視頻：顏色空間數(shù)字視頻：顏色空間nBT.601 YCbCr CCIR于20世紀(jì)80年代初制定，用于SDTV Y16,235，Cb，Cr16,240,都用8位表示 0.299 0.587 0.11

12、4是在1953年確定的601219219219 0.2990 0.5870 0.1140160.1726 0.3388 0.5114128 0.5114 0.4282 0.0832128YRCbGCrB 數(shù)字視頻：顏色空間數(shù)字視頻：顏色空間n逐行掃描(progressive scanning)逐行掃描數(shù)字視頻：電視掃描方式數(shù)字視頻：電視掃描方式n隔行掃描：一幀由兩場(chǎng)構(gòu)成，奇場(chǎng)、偶場(chǎng)數(shù)字視頻：電視掃描方式數(shù)字視頻：電視掃描方式數(shù)字視頻：電視掃描方式數(shù)字視頻：電視掃描方式例1：horseriding(720 x576i)例2：fireworks(720 x576p)數(shù)字視頻：曝光時(shí)間數(shù)字視頻：曝光

13、時(shí)間n電視的曝光時(shí)間有兩個(gè)特點(diǎn)同一幀的各像素按掃描順序依次曝光曝光時(shí)間等于幀間隔n電影的曝光時(shí)間與電視完全不同，更像照相機(jī)同一幀的各像素同時(shí)曝光曝光時(shí)間不一定等于幀間隔數(shù)字視頻：曝光時(shí)間數(shù)字視頻：曝光時(shí)間例3：tabletennis(720 x576i)例4：opening(1920 x1080p), f355n對(duì)色差信號(hào)使用較低的采樣頻率的方法n是一種簡(jiǎn)單的圖像壓縮技術(shù)n依據(jù)人眼對(duì)色度信號(hào)的敏感程度比對(duì)亮度信號(hào)的敏感程度低人眼對(duì)圖像細(xì)節(jié)的分辨能力有一定的限度 數(shù)字視頻：色差下采樣數(shù)字視頻：色差下采樣YCbCr樣本空間位置數(shù)字視頻：色差下采樣數(shù)字視頻：色差下采樣數(shù)字視頻：原始數(shù)據(jù)格式數(shù)字視頻：

14、原始數(shù)據(jù)格式設(shè)空間分辨率為WH.yuv無頭文件 = frame0, frame1, .frame = data_y, data_cb, data_crdata_y = line_y0, line_y1, .共H行，從上到下line_y = y0, y1, .，共W個(gè)亮度值data_c = line_c0, line_c1, .行數(shù)和色差下采樣有關(guān)line_c = c0, c1, .，每行色差值數(shù)和色差下采樣有關(guān)壓縮的必要性壓縮的必要性n圖像的原始數(shù)據(jù)量size = widthheightbpp (bit)bpp(bits per pixel)表示每個(gè)像素的比特?cái)?shù)單位是比特n視頻的原始數(shù)據(jù)量和數(shù)

15、據(jù)速率size = widthheightbppframenum (bit)framenum表示幀數(shù)bitrate = widthheightbppfps (bps)fps(frames per second)表示幀速率壓縮的可行性壓縮的可行性n冗余的概念n統(tǒng)計(jì)冗余n空間冗余n時(shí)間冗余n結(jié)構(gòu)冗余n視覺冗余n知識(shí)冗余壓縮的可行性壓縮的可行性n廣義的冗余就是不必要的、重復(fù)的部分n在數(shù)據(jù)處理領(lǐng)域，冗余就是相對(duì)于最精簡(jiǎn)的表示而多出來的比特比其中1就是冗余再比如奇偶校驗(yàn)10011010 0，最后一個(gè)比特是冗余壓縮的可行性壓縮的可行性n由于數(shù)據(jù)中每個(gè)值出現(xiàn)的概率不相等，如果為出現(xiàn)

16、概率大的值設(shè)計(jì)較短的碼字，為出現(xiàn)概率小的值設(shè)計(jì)較長(zhǎng)的碼字，那么相對(duì)于固定長(zhǎng)度的碼字就可以節(jié)省總比特?cái)?shù)。n圖像和視頻的原始數(shù)據(jù)都采用固定長(zhǎng)度碼字，沒有考慮數(shù)據(jù)的統(tǒng)計(jì)特性，存在冗余，這種冗余稱為信息熵冗余或統(tǒng)計(jì)冗余壓縮的可行性壓縮的可行性n空間冗余：圖像中相鄰像素的顏色之間往往存在著空間連貫性。但是原始數(shù)據(jù)沒有利用這種連貫性，而是忠實(shí)的記錄了每一個(gè)像素的值，這就產(chǎn)生了空間冗余。壓縮的可行性壓縮的可行性n時(shí)間冗余：視頻中相鄰的兩幀圖像之間存在著很強(qiáng)的相關(guān)性，但是視頻的原始數(shù)據(jù)沒有利用這種相關(guān)性，這樣就產(chǎn)生了時(shí)間冗余。壓縮的可行性壓縮的可行性n結(jié)構(gòu)冗余：在某些場(chǎng)景中，存在著明顯的圖像分布模式，這種分布模式稱作結(jié)構(gòu)。例如：方格狀的地板，蜂窩，磚墻，草席等圖案。原始數(shù)據(jù)沒有利用這種結(jié)構(gòu)就產(chǎn)生了結(jié)構(gòu)冗余壓縮的可行性壓縮的可行性n視覺冗余：有些信息是人的眼睛無法察覺到的，這些信息被記錄在原始數(shù)據(jù)里，就產(chǎn)生視覺冗余。比如人的眼睛對(duì)色差信號(hào)的分辨力低于對(duì)亮度信號(hào)的分辨力，如果采用同樣的分辨率記錄亮度和色差信號(hào)，就產(chǎn)生視覺冗余壓縮的可行性壓縮的可行性n知識(shí)冗余：圖像中的