多媒體技術(shù)數(shù)字視頻50張課件

1、多媒體技術(shù)1計算機科學(xué)與技術(shù)學(xué)院第七章 數(shù)字視頻視頻信息的數(shù)字化視頻卡MPEG標準2計算機科學(xué)與技術(shù)學(xué)院7.1模擬視頻和數(shù)字視頻數(shù)字視頻是指以數(shù)字化方式記錄的連續(xù)變化的圖像信息。例如VCD電影、DVD電影 模擬視頻模擬視頻是指在時間和幅度上(空間)都是連續(xù)的信號。比如：電視機、錄像機等均采用模擬視頻。 數(shù)字視頻3計算機科學(xué)與技術(shù)學(xué)院7.2視頻數(shù)字化模擬視頻采樣方式的復(fù)雜性是空間的函數(shù)也是時間的函數(shù)隔行掃描方式4計算機科學(xué)與技術(shù)學(xué)院模擬視頻數(shù)字化過程一般采用分量數(shù)字化方式1)先把復(fù)合視頻信號中的亮度和色度分離，得到Y(jié)UV或YIQ分量2)然后用三個模/數(shù)轉(zhuǎn)換器對三個分量分別進行數(shù)字化3)最后再轉(zhuǎn)換

2、成RGB空間。5計算機科學(xué)與技術(shù)學(xué)院采樣格式根據(jù)電視信號的特征，亮度信號的帶寬是色度信號帶寬的兩倍數(shù)字化時可采用幅色采樣法，即對信號的色差分量的采樣率低于對亮度分量的采樣率用Y：U：V來表示YUV三分量的采樣比例，則數(shù)字視頻的采樣格式分別有4：1：1、4：2：2和4：4：4三種。分量采樣時采到的是隔行樣本點，要把隔行樣本組合成逐行樣本，然后進行樣本點的量化，YUV到RGB色彩空間的轉(zhuǎn)換等等，最后才能得到數(shù)字視頻數(shù)據(jù)。6計算機科學(xué)與技術(shù)學(xué)院數(shù)字視頻標準CCIR 601標準廣播級質(zhì)量的數(shù)字電視編碼標準目的：在PAL、NTSC和 SECAM電視制式之間確定共同的數(shù)字化參數(shù)該標準對采樣頻率、采樣結(jié)構(gòu)、

3、色彩空間轉(zhuǎn)換等都作了嚴格的規(guī)定。7計算機科學(xué)與技術(shù)學(xué)院2、分辨率與幀率1、采樣頻率為f s13.5MHz3、不同的采樣格式下的數(shù)字視頻數(shù)據(jù)量：8計算機科學(xué)與技術(shù)學(xué)院在視頻信息的處理及應(yīng)用過程中壓縮和解壓縮技術(shù)十分必要。視頻壓縮包括對視頻信息本身的壓縮以及伴隨在視頻信息中的音頻信息的壓縮。 目前的標準：MPEG I、 MPEG II、MPEG 47.3 視頻文件的壓縮9計算機科學(xué)與技術(shù)學(xué)院7.4 視頻卡及其分類基于PC機的一種多媒體視頻信號處理平臺可以匯集的信息源有：視頻源音頻源激光視盤機錄像機攝像機10計算機科學(xué)與技術(shù)學(xué)院視頻卡工作過程：信 源數(shù)字化硬件壓 縮存 儲傳 輸解壓縮11計算機科學(xué)與

4、技術(shù)學(xué)院作用將視頻信號連續(xù)轉(zhuǎn)換成計算機存儲的數(shù)字視頻信號，保存在計算機中或顯示在屏幕上。視頻采集卡12計算機科學(xué)與技術(shù)學(xué)院視頻信號采集模塊音頻信號采集模塊總線接口模塊將模擬視頻信號轉(zhuǎn)換成數(shù)字視頻信號，并送到計算機中音頻信息采集過程中完成對聲音的預(yù)處理和模數(shù)轉(zhuǎn)換。實現(xiàn)對視頻、音頻信息采集的控制，并將采樣、量化后的數(shù)字信息存儲到計算機內(nèi)部視 頻 采 集 卡13計算機科學(xué)與技術(shù)學(xué)院圖形加速卡對二維或三維圖形數(shù)據(jù)進行硬件加速處理14計算機科學(xué)與技術(shù)學(xué)院視頻解壓卡用于視頻重放，可以十分快速地將壓縮保存的數(shù)字視頻信號解壓縮并在顯示器上播放出來。15計算機科學(xué)與技術(shù)學(xué)院電視卡電視轉(zhuǎn)換卡將標準的電視信號(NT

5、SC、PAL等)轉(zhuǎn)換成VGA信號在計算機顯示。 16計算機科學(xué)與技術(shù)學(xué)院將計算機VGA信號轉(zhuǎn)換成標準電視信號在電視上播放或進行錄像。TV編碼器17計算機科學(xué)與技術(shù)學(xué)院即使是運動的部分，也多為簡單的平移。7.5 視頻的壓縮MPEG標準幀與幀之間的時間相關(guān)性：動態(tài)圖像以每秒24或25幀播放，在如此短的時間內(nèi)，畫面常不會有大的變化。在畫面中變化的只是運動的部分，靜止的部分往往占有較大的面積。18計算機科學(xué)與技術(shù)學(xué)院動態(tài)圖像壓縮的基本思路用差異幀代替原來的幀，以揭示幀間的相關(guān)性，這是動態(tài)圖像壓縮的基本出發(fā)點。幀與幀之間存在相關(guān)性，因此可以將相鄰的畫面相減。例如將第1幀記作A，第2幀記作B，定義B=B-

6、A。兩幀相減是將后一幀畫面B中的每一個點的像素值減去前一幀畫面A中相應(yīng)點的像素值，其結(jié)果稱為差異幀。19計算機科學(xué)與技術(shù)學(xué)院由于差異幀的壓縮是有損的。上述方式在壓縮和解壓縮時將發(fā)生誤差的積累，積累到一定程度，會造成很大的失真。差異幀也帶來了新的問題如果只保留第1幀，其他幀采用差異幀。那么后面的每一幀都需要從前一幀計算出來，恢復(fù)時也必須一幀幀順序進行。這樣就無法從想跳到的某一點進行播放，很不方便。一旦某一幀數(shù)據(jù)出了問題，后面的幀更無法恢復(fù)。20計算機科學(xué)與技術(shù)學(xué)院關(guān)于后兩點，可以采取運動補償?shù)姆椒右越鉀Q。通過計算兩個畫面中運動對象的運動矢量，跟蹤畫面中的運動部分進行預(yù)測，并通過畫面移動去“迎合

7、”后續(xù)幀的方式來產(chǎn)生差異幀的方法，叫做“運動補償”。圖像整體運動也是動態(tài)圖像經(jīng)常采用的表現(xiàn)手法，若干次簡單的相減，差異幀就不能很好地揭示相鄰幀之間的相關(guān)性，也不可能得到高的壓縮比。差異幀只能揭示活動圖像中靜止部分的相關(guān)性。對差異幀比對原來的幀更難壓縮。21計算機科學(xué)與技術(shù)學(xué)院MPEG標準Motion Picture Experts GroupMPEG-IMPEG-IIMPEG-IVMPEG-VIIMPEG-2122計算機科學(xué)與技術(shù)學(xué)院MPEG -標準（ISO/IEC11172-）的目標傳輸速率1.5Mbps視頻信號電視質(zhì)量亮度信號的分辨率360240色度信號的分辨率180120每秒30幀23計

8、算機科學(xué)與技術(shù)學(xué)院MPEG-標準的內(nèi)容MPEG系統(tǒng)（ISO/IEC11172-1）MPEG視頻（ISO/IEC11172-2）MPEG音頻（ISO/IEC11172-3）測試驗證（ISO/IEC11172-4）MPEG涉及的問題是視頻壓縮、音頻壓縮及多種壓縮數(shù)據(jù)流的復(fù)合和同步問題。24計算機科學(xué)與技術(shù)學(xué)院 MPEG對視頻和音頻壓縮的方法、壓縮后數(shù)據(jù)的儲存和傳輸?shù)母袷降确矫婢髁嗽敿毜囊?guī)定。例如：在視頻壓縮方面，采用運動補償來減少幀序列間的時間冗余信息；用離散余弦變換(DCT)技術(shù)來減少幀序列間的空間冗余信息；為解決高壓縮比和隨機播放的要求，還采用了預(yù)測和插補等幀間技術(shù)。 25計算機科學(xué)與技術(shù)學(xué)

9、院時間冗余量的減少為了減少時間冗余量，MPEG將1/30秒時間間隔的幀序列電視圖像，以三種類型的圖像格式表示：內(nèi)碼幀（I）預(yù)測幀（P）插補幀（B）另有第四種類型幀是D幀，它是一種專用幀格式，僅僅用于實現(xiàn)快速查詢中。26計算機科學(xué)與技術(shù)學(xué)院I幀，又稱內(nèi)碼幀，是完整的獨立編碼的圖像，是不能由其他幀構(gòu)造的幀，必須存儲或傳輸。 P幀，也稱為預(yù)測幀，通過對它之前的I幀進行預(yù)測，對預(yù)測誤差作有條件的存儲和傳輸。B幀，又稱為雙向幀或插補幀，是根據(jù)其前后的I幀或者P幀的信息進行插值編碼而獲得。該過程有時也稱為雙向插值。27計算機科學(xué)與技術(shù)學(xué)院運動補償運動補償預(yù)測法運動補償插補法畫面上的運動部分在幀與幀之間必然

10、有連續(xù)性，預(yù)測法根據(jù)這一特性，將當前的圖像畫面看作是前面某時刻圖像的位移，位移的幅度和方向在圖像畫面的各處可有不同。用插補的方法進行運動的補償，可以大幅度地壓縮運動圖像的信息。28計算機科學(xué)與技術(shù)學(xué)院MPEG的位流分層結(jié)構(gòu)有效性是MPEG壓縮算法需要對附加信息，如位移域、量化器步長、預(yù)測器或插值類型等，提供有效的管理。 MPEG視頻圖像數(shù)據(jù)流是一個分層結(jié)構(gòu)。目的是把位流中邏輯上獨立的實體分開，防止語意模糊，并減輕解碼過程的負擔。對分層的要求是支持通用性、靈活性和有效性。通用性的含義是使MPEG標準的語法規(guī)定可滿足不同的應(yīng)用要求；靈活性可通過視頻序列頭上所定義的許多參數(shù)來說明；29計算機科學(xué)與技

11、術(shù)學(xué)院MPEG視頻位流分層結(jié)構(gòu)共包括6層：圖像序列層圖像組層圖像層宏塊片層宏塊層塊層隨機存取單元：上下文隨機存取單元：視頻編碼基本編碼單元重同步單元運動補償單元DCT單元30計算機科學(xué)與技術(shù)學(xué)院每一個層的開始有一個頭，作為說明參數(shù)。在圖像序列層的頭中，裝有視頻序列參數(shù)，如圖像寬度、圖像高度、像素長寬比、楨率、位率、緩沖區(qū)尺寸等。 每一層支持一個確定的函數(shù)，或是一個信號處理函數(shù)（DCT，運動補償），或是一個邏輯函數(shù)（同步，隨機存取點）等。31計算機科學(xué)與技術(shù)學(xué)院32計算機科學(xué)與技術(shù)學(xué)院MPEG-II系統(tǒng)支持的基本功能：解碼時多壓縮流的同步；將多個壓縮流交織成單個的數(shù)據(jù)流；解碼時緩沖器初始化；緩沖

12、區(qū)管理和時間識別。 MPEG-II標準包括MPEG系統(tǒng)、MPEG視頻、MPEG音頻和一致性四大部分內(nèi)容。MPEG-II標準的系統(tǒng)功能是將一個或更多的音頻、視頻或其他的基本數(shù)據(jù)流合成單個或多個數(shù)據(jù)流，以適應(yīng)于存儲和傳送。33計算機科學(xué)與技術(shù)學(xué)院MPEG-視頻視頻分量的位速率范圍大約為2到15Mbps與MPEG-視頻體系向下兼容力求滿足數(shù)字存儲媒體、可視電話、數(shù)字電視、高清晰度電視（HDTV）、通信網(wǎng)絡(luò)等領(lǐng)域的應(yīng)用。分辨率低 （352288）中 （720480）次高（14401080）高 （19201080）34計算機科學(xué)與技術(shù)學(xué)院高速壓縮基于內(nèi)容交互基于內(nèi)容分級擴展具有基于內(nèi)容方式表示的視頻數(shù)據(jù)

13、MPEG-IV標準MPEG-是以內(nèi)容為中心的描述方法，對信息元的描述更加符合人的心理，不僅可以獲得比現(xiàn)有標準更為優(yōu)越的性能，還提供了各種新的功能。特點35計算機科學(xué)與技術(shù)學(xué)院復(fù)合。將各個VO的碼流復(fù)合成一個符合MPEG-4標準的位流?；趦?nèi)容的視頻編碼過程VO的形成。先從原始視頻流中分割出VO。編碼。對各VO分別獨立編碼，即對不同VO的運動信息、形狀信息和紋理信息這三類信息分別編碼，分配不同的碼字。在編碼和復(fù)合階段可以加入用戶的交互控制或由智能化算法進行控制。36計算機科學(xué)與技術(shù)學(xué)院7.6視頻文件格式一種MPEG多媒體格式用于壓縮和儲存音頻和視頻分辨率為 352 x 240 象素幀速率為每秒

14、25 幀(PAL)可提供與錄像帶同等質(zhì)量的視頻。MPEG137計算機科學(xué)與技術(shù)學(xué)院MPEG2一種MPEG多媒體格式用于壓縮、儲存音頻及視頻供廣播質(zhì)量的應(yīng)用程序使用定義了支持添加封閉式字幕和各種語言通道功能的協(xié)議。38計算機科學(xué)與技術(shù)學(xué)院AVIAudio/Video Interleave（音頻/視頻交錯）,在AVI文件中，運動圖像和伴音數(shù)據(jù)是以交織的方式存儲，并獨立于硬件設(shè)備。讀取視頻數(shù)據(jù)流時能更有效地從存儲媒介得到連續(xù)的信息。一種用于 Windows 系統(tǒng)的 Microsoft 多媒體視頻格式。39計算機科學(xué)與技術(shù)學(xué)院AVI格式主要參數(shù)視頻參數(shù)視窗尺寸(Video size)幀率(Frames

15、 per second)音頻參數(shù)WAV文件參數(shù)視頻與伴音的交織參數(shù)同步控制（Synchronization）壓縮參數(shù)40計算機科學(xué)與技術(shù)學(xué)院AVI格式的特點提供無硬件視頻回放功能實現(xiàn)同步控制和實時播放可以高效地播放存儲在硬盤和光盤上的AVI文件提供了開放的AVI數(shù)字視頻文件結(jié)構(gòu)：AVI文件可以再編輯41計算機科學(xué)與技術(shù)學(xué)院AVI的壓縮算法沒有統(tǒng)一標準Microsoft公司推出AVI文件格式時，同時推出了一種壓縮算法由于AVI的開放性，其它公司的壓縮算法也可加入其中。實現(xiàn)方法 把該算法的驅(qū)動加入到Windows系統(tǒng)中42計算機科學(xué)與技術(shù)學(xué)院43計算機科學(xué)與技術(shù)學(xué)院DIVXMPEG4使用 MPEG

16、4 壓縮算法可以實現(xiàn)高壓縮比。文件擴展名AVIDVDCD-ROMCD-ROM44計算機科學(xué)與技術(shù)學(xué)院對計算機配置的要求CPU 主頻300MHz 以上64 兆的內(nèi)存8兆顯存的顯卡播放軟件Windows Media PlayerMPEG4 編碼器DIVX 5.0.5IDVX字幕支持軟件VobSub45計算機科學(xué)與技術(shù)學(xué)院MOVMovie digital video technologyApple公司推出的一種視頻格式相應(yīng)的視頻應(yīng)用軟件為QuickTime?？梢圆捎貌粔嚎s或壓縮的方式壓縮算法包括Cinepak、Intel Indeo Video R3.2 和Video編碼。46計算機科學(xué)與技術(shù)學(xué)院Real VideoReal Networks公司流媒體(Streaming Video)文件格式文件擴展名RA、RAM、RMVBReal Networks 編碼RealProducerRealProducer Plus/Pro增強功能，需付費購買基本功能，可免費下載在用 56K MODEM 撥號上網(wǎng)的條件下實現(xiàn)不間斷的視頻播放47計算機科學(xué)與技術(shù)學(xué)院ASFAdvanced Streaming Format采用 MPEG4 的壓縮算法一種流媒體格式網(wǎng)絡(luò)應(yīng)用的ASF圖象