第4章視頻信息的獲取與處理

1、 4.1 視頻概述視頻概述 4.2 電視技術(shù)基礎(chǔ)電視技術(shù)基礎(chǔ) 4.3 數(shù)字化視頻數(shù)字化視頻 4.1.1 視頻定義視頻定義 4.1.2 視頻分類視頻分類 影像視頻影像視頻 動(dòng)畫動(dòng)畫 4.1.3 視頻信息源視頻信息源 數(shù)字視頻信息源數(shù)字視頻信息源 模擬視頻信息源模擬視頻信息源 4.1.4 視頻輸出設(shè)備視頻輸出設(shè)備 數(shù)字視頻輸出設(shè)備數(shù)字視頻輸出設(shè)備 數(shù)字視頻輸出設(shè)備數(shù)字視頻輸出設(shè)備 4.4 視頻轉(zhuǎn)換視頻轉(zhuǎn)換 4.5 動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn)動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn) mpeg 4.2.1 電視信號(hào)電視信號(hào) 隔行掃描隔行掃描 逐行掃描逐行掃描 常用術(shù)語(yǔ)常用術(shù)語(yǔ) 4.2.2 電視制式電視制式 兼容制彩色電視制式兼容制彩色

2、電視制式 ntsc 制制 pal 制制 secam 制制 4.1 視頻概述視頻概述 4.2 電視技術(shù)基礎(chǔ)電視技術(shù)基礎(chǔ) 4.3 數(shù)字化視頻數(shù)字化視頻 4.4 視頻轉(zhuǎn)換視頻轉(zhuǎn)換 4.5 動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn)動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn) mpeg 4.3.1 數(shù)字視頻概念數(shù)字視頻概念 4.3.2 數(shù)字視頻獲取數(shù)字視頻獲取 方法方法/標(biāo)準(zhǔn)標(biāo)準(zhǔn)/采樣采樣/傳送傳送 4.3.3 數(shù)字視頻質(zhì)量與數(shù)據(jù)量數(shù)字視頻質(zhì)量與數(shù)據(jù)量 4.3.4 數(shù)字視頻文件格式數(shù)字視頻文件格式 avi/asf/wmv/mpeg 4.3.5 數(shù)字視頻處理數(shù)字視頻處理 視頻采集視頻采集 編碼壓縮編碼壓縮 各種特技各種特技 視頻回放視頻回放 4.1 視頻概

3、述視頻概述 4.2 電視技術(shù)基礎(chǔ)電視技術(shù)基礎(chǔ) 4.3 數(shù)字化視頻數(shù)字化視頻 4.4 視頻轉(zhuǎn)換視頻轉(zhuǎn)換 4.5 動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn)動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn) mpeg 4.1 視頻概述視頻概述 4.2 電視技術(shù)基礎(chǔ)電視技術(shù)基礎(chǔ) 4.3 數(shù)字化視頻數(shù)字化視頻 4.4 視頻轉(zhuǎn)換視頻轉(zhuǎn)換 4.5 動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn)動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn) mpeg 4.4.1 視頻轉(zhuǎn)換基本任務(wù)視頻轉(zhuǎn)換基本任務(wù) 顏色空間轉(zhuǎn)換顏色空間轉(zhuǎn)換 幀格式轉(zhuǎn)換幀格式轉(zhuǎn)換 數(shù)據(jù)格式轉(zhuǎn)換數(shù)據(jù)格式轉(zhuǎn)換 4.4.2 視頻轉(zhuǎn)換卡視頻轉(zhuǎn)換卡 視頻捕獲卡視頻捕獲卡 視頻播放卡視頻播放卡 電視轉(zhuǎn)換卡電視轉(zhuǎn)換卡 4.5.1 mpeg 壓縮標(biāo)準(zhǔn)概述壓縮標(biāo)準(zhǔn)概述 syste

4、ms/video/audio conformance testing software simulation 4.5.2 mpeg 視頻壓縮原理視頻壓縮原理 動(dòng)態(tài)圖像視頻的特點(diǎn)動(dòng)態(tài)圖像視頻的特點(diǎn) mpeg 視頻壓縮問(wèn)題視頻壓縮問(wèn)題 mpeg 視頻壓縮思想視頻壓縮思想 4.5.3 其他其他 mpeg 標(biāo)準(zhǔn)標(biāo)準(zhǔn) mpeg-2/-4/-7/-21 4.1 視頻概述視頻概述 4.2 電視技術(shù)基礎(chǔ)電視技術(shù)基礎(chǔ) 4.3 數(shù)字化視頻數(shù)字化視頻 4.4 視頻轉(zhuǎn)換視頻轉(zhuǎn)換 4.5 動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn)動(dòng)態(tài)圖像壓縮標(biāo)準(zhǔn) mpeg 視頻幀速視頻幀速 視頻幀速。視頻幀速。 數(shù)據(jù)容量數(shù)據(jù)容量 視頻質(zhì)量視頻質(zhì)量 時(shí)間上的連續(xù)

5、性時(shí)間上的連續(xù)性 時(shí)間上的延續(xù)性時(shí)間上的延續(xù)性 幀之間的相關(guān)性幀之間的相關(guān)性 強(qiáng) 烈 的 實(shí) 時(shí) 性強(qiáng) 烈 的 實(shí) 時(shí) 性 。 ，但，但 光盤存儲(chǔ)設(shè)備光盤存儲(chǔ)設(shè)備 數(shù) 字 磁 帶 機(jī)數(shù) 字 磁 帶 機(jī) 磁 盤 存 儲(chǔ) 器磁 盤 存 儲(chǔ) 器 彩 色 掃 描 儀彩 色 掃 描 儀 數(shù) 碼 照 相 機(jī)數(shù) 碼 照 相 機(jī) 攝像機(jī)攝像 機(jī) 錄像機(jī)錄像 機(jī) 傳真機(jī)傳真 機(jī) 數(shù)字監(jiān)視器數(shù)字監(jiān)視器 數(shù)字監(jiān)視器數(shù)字監(jiān)視器 打印機(jī)打印 機(jī) 繪圖機(jī)繪圖 機(jī) 。 掃描行數(shù)掃描行數(shù) 同同 步步 消消 隱隱 光光 柵柵 幀幀 頻頻 場(chǎng)場(chǎng) 頻頻 白白 平平 衡衡 分量信號(hào)分量信號(hào) 白白 平平 衡衡 分量信號(hào)分量信號(hào) 復(fù)合視

6、頻信號(hào)復(fù)合視頻信號(hào) 復(fù)合視頻信號(hào)復(fù)合視頻信號(hào) 分離電視信號(hào)分離電視信號(hào) 分離電視信號(hào)分離電視信號(hào) 全電視信號(hào)全電視信號(hào) 制式的區(qū)分主要在于其幀頻制式的區(qū)分主要在于其幀頻 (場(chǎng)頻場(chǎng)頻)、分解率、信、分解率、信 號(hào)帶寬及載頻、色彩空間轉(zhuǎn)換關(guān)系不同等。號(hào)帶寬及載頻、色彩空間轉(zhuǎn)換關(guān)系不同等。 兼容含義兼容含義 兼容措施兼容措施 ntsc 制制 pal 制制 secam 制制 采樣頻率采樣頻率 有效顯示分辨率有效顯示分辨率 有效顯示分辨率有效顯示分辨率 有效顯示分辨率有效顯示分辨率 “y : u : v = 4 : 2 : 2”采樣方式：每采樣方式：每 4 個(gè)連續(xù)采樣點(diǎn)上，取個(gè)連續(xù)采樣點(diǎn)上，取 4 個(gè)亮

7、度個(gè)亮度 y 的樣的樣 本值，而色差本值，而色差 u 和和 v 分別取其第一和第三點(diǎn)的樣本值，一共分別取其第一和第三點(diǎn)的樣本值，一共 8 個(gè)樣本。此個(gè)樣本。此 方式能給信號(hào)轉(zhuǎn)換留有一定余量，效果更好一些，是通常使用的方式。方式能給信號(hào)轉(zhuǎn)換留有一定余量，效果更好一些，是通常使用的方式。 “y : u : v = 4 : 4 : 4”采樣方式：每個(gè)采樣點(diǎn)，亮度采樣方式：每個(gè)采樣點(diǎn)，亮度 y、色差、色差 u 和和 v 各取一各取一 個(gè)樣本值。這種格式對(duì)于原本就具有較高質(zhì)量的信號(hào)源，可以保證其色彩質(zhì)個(gè)樣本值。這種格式對(duì)于原本就具有較高質(zhì)量的信號(hào)源，可以保證其色彩質(zhì) 量，但是信息量大。這種格式也用在量，

8、但是信息量大。這種格式也用在 r、g、b 分量的采樣上。分量的采樣上。 彩色電視信號(hào)編碼彩色電視信號(hào)編碼/解碼框圖解碼框圖 彩色電視信號(hào)編碼彩色電視信號(hào)編碼/解碼框圖解碼框圖 yuv 顏色空間顏色空間 yuv 顏色空間顏色空間 yiq 顏色空間顏色空間 yiq 顏色空間顏色空間 視頻捕獲卡也稱視頻采集卡，用來(lái)從電視、錄像機(jī)、攝像機(jī)等多種視頻源視頻捕獲卡也稱視頻采集卡，用來(lái)從電視、錄像機(jī)、攝像機(jī)等多種視頻源 捕捉視頻信息，以一定文件格式存盤保存，并可疊加在顯示器上開窗顯示捕捉視頻信息，以一定文件格式存盤保存，并可疊加在顯示器上開窗顯示 輸入的視頻信號(hào)經(jīng)輸入的視頻信號(hào)經(jīng) a/d 轉(zhuǎn)換形成了數(shù)字視頻

9、信號(hào)轉(zhuǎn)換形成了數(shù)字視頻信號(hào) 被解碼為被解碼為 y、u、v 信號(hào)信號(hào) 之后，經(jīng)過(guò)窗口控制器縮之后，經(jīng)過(guò)窗口控制器縮 放和裁剪，再存入幀緩存放和裁剪，再存入幀緩存 幀緩存中的信號(hào)經(jīng)過(guò)彩色空幀緩存中的信號(hào)經(jīng)過(guò)彩色空 間轉(zhuǎn)換形成了間轉(zhuǎn)換形成了 r、g、b 信號(hào)信號(hào) 計(jì)算機(jī)中計(jì)算機(jī)中 vga 信號(hào)經(jīng)信號(hào)經(jīng) vga 適配卡通適配卡通 過(guò)顏色查找表找出對(duì)應(yīng)過(guò)顏色查找表找出對(duì)應(yīng) r、g、b 信號(hào)信號(hào) 兩路信號(hào)相互疊加并經(jīng)兩路信號(hào)相互疊加并經(jīng) d/a 變換后送到顯示器顯示變換后送到顯示器顯示 靜態(tài)影像捕獲卡靜態(tài)影像捕獲卡動(dòng)態(tài)影像捕獲卡動(dòng)態(tài)影像捕獲卡 視頻播放卡或稱電影卡，將壓縮在計(jì)算機(jī)中視頻信號(hào)解壓后在顯示器上

10、播視頻播放卡或稱電影卡，將壓縮在計(jì)算機(jī)中視頻信號(hào)解壓后在顯示器上播 放。集動(dòng)態(tài)視頻捕獲與視頻播放功能于一體的卡稱動(dòng)態(tài)視頻捕獲放。集動(dòng)態(tài)視頻捕獲與視頻播放功能于一體的卡稱動(dòng)態(tài)視頻捕獲 (播放卡播放卡) 電視轉(zhuǎn)換卡可分為電視卡電視轉(zhuǎn)換卡可分為電視卡 (tv-vga) 和電視編碼卡和電視編碼卡 (vga-ta 或或 pc-tv) 電視卡完成從電視信號(hào)到電視卡完成從電視信號(hào)到 vga 信號(hào)轉(zhuǎn)換，電視編碼卡則完成相反的過(guò)程信號(hào)轉(zhuǎn)換，電視編碼卡則完成相反的過(guò)程 電視卡電視卡電視編碼卡電視編碼卡 視頻信號(hào)直接輸入或電視視頻信號(hào)直接輸入或電視 信號(hào)由高頻頭接收后經(jīng)視信號(hào)由高頻頭接收后經(jīng)視 頻解碼后變成頻解碼后

11、變成 yuv 信號(hào)信號(hào) 經(jīng)行緩沖器將隔行掃描經(jīng)行緩沖器將隔行掃描 的信號(hào)變成逐行掃描的信號(hào)變成逐行掃描 vga 信號(hào)與解碼后的信號(hào)與解碼后的 yuv 信號(hào)經(jīng)視窗控制器疊加之后信號(hào)經(jīng)視窗控制器疊加之后 變成數(shù)字的變成數(shù)字的 rgb 信號(hào)信號(hào) ( 視窗控制器具有視頻壓縮功能視窗控制器具有視頻壓縮功能 ) 疊加后變成數(shù)字的疊加后變成數(shù)字的 rgb 信號(hào)信號(hào) 經(jīng)過(guò)經(jīng)過(guò) d/a 轉(zhuǎn)換在屏幕上顯示轉(zhuǎn)換在屏幕上顯示 從功能上看電視卡需完成兩大任務(wù)：一個(gè)是在計(jì)算機(jī)上選擇電視頻道，另一個(gè)從功能上看電視卡需完成兩大任務(wù)：一個(gè)是在計(jì)算機(jī)上選擇電視頻道，另一個(gè) 是將選中頻道的信號(hào)轉(zhuǎn)換為是將選中頻道的信號(hào)轉(zhuǎn)換為 vga

12、 信號(hào)。也有單獨(dú)完成電視選臺(tái)任務(wù)的卡，稱為電信號(hào)。也有單獨(dú)完成電視選臺(tái)任務(wù)的卡，稱為電 視調(diào)諧卡。實(shí)際上，電視卡也就是電視調(diào)諧卡與動(dòng)態(tài)視頻采集視調(diào)諧卡。實(shí)際上，電視卡也就是電視調(diào)諧卡與動(dòng)態(tài)視頻采集/播放卡的二合一卡。播放卡的二合一卡。 規(guī)定音頻、視頻等有關(guān)數(shù)據(jù)流的復(fù)合與同步。標(biāo)準(zhǔn)名是規(guī)定音頻、視頻等有關(guān)數(shù)據(jù)流的復(fù)合與同步。標(biāo)準(zhǔn)名是 iso/iec 11172-l 規(guī)定視頻編規(guī)定視頻編/解碼，標(biāo)準(zhǔn)核心，圖像壓縮關(guān)鍵。標(biāo)準(zhǔn)名是解碼，標(biāo)準(zhǔn)核心，圖像壓縮關(guān)鍵。標(biāo)準(zhǔn)名是 iso/iec 11172-2 規(guī)定音頻數(shù)據(jù)編碼和解碼，是第一個(gè)高保真立體聲音頻壓縮國(guó)際標(biāo)準(zhǔn)，屬規(guī)定音頻數(shù)據(jù)編碼和解碼，是第一個(gè)高保真

13、立體聲音頻壓縮國(guó)際標(biāo)準(zhǔn)，屬 于于 mpeg 標(biāo)準(zhǔn)一部分，但也可完全獨(dú)立應(yīng)用。標(biāo)準(zhǔn)名是標(biāo)準(zhǔn)一部分，但也可完全獨(dú)立應(yīng)用。標(biāo)準(zhǔn)名是 iso/iec 11172-3 層次層次 原理原理 說(shuō)明如何測(cè)試比特?cái)?shù)據(jù)流和解碼器是否滿足前三個(gè)部分說(shuō)明如何測(cè)試比特?cái)?shù)據(jù)流和解碼器是否滿足前三個(gè)部分 ( mpeg-1 systems, mpeg-1audio，mpeg-1video) 中規(guī)定的要求。中規(guī)定的要求。 給出了使用任何軟件執(zhí)行給出了使用任何軟件執(zhí)行 mpeg-1 標(biāo)準(zhǔn)的前三個(gè)部分（標(biāo)準(zhǔn)的前三個(gè)部分（mpeg-1 systems, mpeg-1audio，mpeg-1video）的結(jié)果。標(biāo)準(zhǔn)名是）的結(jié)果。標(biāo)準(zhǔn)名是 iso/iec tr 11172-5 在空間方向上在空間方向上 在時(shí)間方向上在時(shí)間方向上 基于基于 mpeg 對(duì)視頻信號(hào)作隨機(jī)存取的要求以及通過(guò)幀間運(yùn)動(dòng)補(bǔ)償有效壓對(duì)視頻信號(hào)作隨機(jī)存取的要求以及通過(guò)幀間運(yùn)動(dòng)補(bǔ)償有效壓 縮數(shù)據(jù)比特?cái)?shù)，縮數(shù)據(jù)比特?cái)?shù)，mpeg采用了三種類型的圖像：采用了三種類型的圖像：i 圖像、圖像、p 圖像和圖像和 b 圖像圖像 i 圖像圖像 i 圖像圖像 p 圖像圖像 i 圖像圖像 p 圖像圖像 幀間插補(bǔ)可以減少時(shí)域的冗余信息幀間插補(bǔ)可以減少時(shí)域的冗余信息 b 圖像圖像 幀間預(yù)測(cè)編碼時(shí)，要用到幀間預(yù)測(cè)編碼時(shí)，要用到 先前的圖先前的圖(幀內(nèi)圖或預(yù)測(cè)圖幀內(nèi)圖或