數(shù)字視頻復(fù)習(xí)題

數(shù)字媒體處理復(fù)習(xí)題數(shù)字媒體信號包括哪些信號？各有什么特征？答：視頻、語音、圖像。特征：直觀性、確定性、高效性、廣泛性、高帶寬性。舉例說明人類視覺的特點，為什么在視頻技術(shù)中要研究人類視覺特性？答：人類視覺特性：亮度適應(yīng)性、人眼覺察亮度變化的能力、色調(diào)對比效應(yīng)、飽和度對比效應(yīng)、面積對比效應(yīng)、馬赫效應(yīng)、視覺惰性、閃爍感覺、視野與視覺、人眼的分辨力、人眼的彩色分辨力。圖像和視頻信息的最終接受者是人，而現(xiàn)今的圖像和視頻壓縮大都是基于像素間的統(tǒng)計冗余的，忽視了知覺上的冗余信息。如果能在壓縮系統(tǒng)中采用某種視覺技術(shù)來達(dá)到獲取較低碼率和較高視覺質(zhì)量的目的，是很有意義的。為此在視頻技術(shù)中要研究人類視覺特性（網(wǎng)上找的）或者：人眼的視覺特性是電視技術(shù)發(fā)展的重要依據(jù)（看別人的）什么是信息檢索,什么是基于內(nèi)容的圖像檢索？基于內(nèi)容的圖像檢索系統(tǒng)包括哪些技術(shù)環(huán)節(jié)？答：信息檢索是指信息按一定的方式組織起來，并根據(jù)信息用戶的需要找有關(guān)的信息的過程和技術(shù)。什么是視頻編碼，為什么要進(jìn)行視頻編碼視頻編碼是指通過特定的壓縮技術(shù)，將某個視頻格式的文件轉(zhuǎn)換成另一種視頻格式文件的方式目的：一方面，確保視頻質(zhì)量的前提下，盡可能地減少視頻序列的數(shù)據(jù)量，以便更經(jīng)濟(jì)地在給定的信道上實時傳輸實時視頻信息或在給定的存儲容量中存放更多的視頻圖像；另一方面原始視頻數(shù)據(jù)表示存在大量的冗余，這樣就可以通過特定的編碼方法去除冗余信息達(dá)到壓縮視頻數(shù)據(jù)量的目的為什么？（1）數(shù)字視頻的數(shù)據(jù)量很大，如果不進(jìn)行壓縮，要進(jìn)行傳輸和存儲基本是不可能的（2）原始視頻數(shù)據(jù)存在大量冗余，這樣就可以通過特定的編碼方法去除冗余信息達(dá)到壓縮視頻數(shù)據(jù)量的目的。人類怎樣感知深度信息？3D視頻如何獲?。?D視頻的特征有什么？人們用兩只眼睛觀察物體，左眼在左視網(wǎng)膜上成像，右眼在右視網(wǎng)膜上成像考慮到注視點策成像于視網(wǎng)膜中心，在左右視網(wǎng)膜上分別建立以視網(wǎng)膜中心為原點的坐標(biāo)，稱為左右坐標(biāo)系Cl和Cr，坐標(biāo)分別為Pl（Xl，Yl）和Pr（Xr，Yr）則P的視差矢量定義為d=（Xl-Xr，Yl-Yr）。在眼睛聚焦不變的情況下，距離眼睛越近的點視差絕對值越大，距離越遠(yuǎn)的點視差絕對值越小。眼睛聚焦發(fā)生變化時，各點視差絕對值隨之變化，但是彼此相對大小不變，人類視覺系統(tǒng)利用這種相對大小感覺現(xiàn)實世界的深度信息。獲?。喝S視頻圖像采集和顯示系統(tǒng)是模擬人眼設(shè)計的。采集時，用兩臺位置稍微不同的攝像機(jī)同時攝取同一個視頻場景；顯示時，把兩臺攝像機(jī)攝取的場景分別呈現(xiàn)給兩只眼睛。1）當(dāng)人們觀察某一景物時，由于兩眼相距一定的距離，使得同一物體在左右眼視網(wǎng)膜上的成像存在著一定的差異這種差異形成了人眼對高寬深的立體視覺。2）三維視頻圖像采集和顯示系統(tǒng)是模擬人眼設(shè)計的。采集時，用兩臺位置稍微不同的攝像機(jī)同時攝取同一個視頻場景；顯示時，把兩臺攝像機(jī)攝取的場景分別呈現(xiàn)給兩只眼睛。什么是信息隱藏技術(shù)？簡述信息隱藏技術(shù)的分類，簡述信息隱藏系統(tǒng)的系統(tǒng)特性？定義：指在一些載體信息中將需要保密傳遞的信息隱藏進(jìn)去，而載體本身并沒有太大的變化，不會引起懷疑，由此達(dá)到信息隱藏的目的。分類：1無密鑰信息隱藏：不需要預(yù)約密鑰，其系統(tǒng)的安全性完全依賴隱藏和提取算法的保密性2私鑰信息隱藏：偽裝密鑰由發(fā)送者和接受者共同擁有。接受者利用偽裝密鑰來提取私密信息，而不知曉密鑰的任何人都不能得到私密信息3公鑰信息隱藏：需要使用兩個密鑰，一個公開密鑰和一個秘密密鑰。公開密鑰用于私密信息的嵌入過程，秘密密鑰用于秘密信息的提取過程系統(tǒng)特性：透明性或不可感知性，穩(wěn)健性，安全性，不可檢測性，自恢復(fù)性，嵌入強(qiáng)度（隱藏容量）試述在視頻信號的數(shù)字化過程中，采樣點數(shù)和量化級數(shù)對圖像質(zhì)量的影響。采樣點數(shù)越多、量化級數(shù)越高，圖像質(zhì)量越好8.視頻的二維運動估計的實現(xiàn)方法有哪些？舉一列說明運動估計的實現(xiàn)方法？答：基于光流的運動估計、基于像素的運動估計、基于貝葉斯準(zhǔn)則的方法、基于網(wǎng)格的運動估計、基于區(qū)域的運動估計、全局運動估計、多分辨率運動估計2例如，估計每一個像素的運動矢量。主要有基于光流，基于像素，基于隨機(jī)場的方法。簡述視頻編碼的基本過程，畫出基本原理框圖視頻編碼器可以看作是一個通過對視頻信源模型參數(shù)編碼來描述視頻信源的系統(tǒng)，編碼過程可分為：1、把原始視頻數(shù)據(jù)變成視頻信源模型的參數(shù)2、把碼字分配給這些參數(shù)預(yù)測編碼如何實現(xiàn)？預(yù)測編碼能降低碼率的原因是什么？視頻預(yù)測殘差圖像是指什么？預(yù)測殘差圖像有何特性？答：1不直接對當(dāng)前符號進(jìn)行編碼，而是利用相鄰符號預(yù)測當(dāng)前符號，然后對預(yù)測誤差進(jìn)行編碼2霍夫曼編碼和算術(shù)編碼只是消除了信源概率分布不均所帶來的冗余，并沒有消除符號序列前后相關(guān)性所帶來的冗余，預(yù)測編碼可用來消除符號間的相關(guān)性，因此預(yù)測編碼能降低碼率。11.圖像的一維幀內(nèi)預(yù)測如何實現(xiàn)？二維預(yù)測如何實現(xiàn)？12.將一副真彩色圖像取樣M×N個，采用256級量化，則量化后的數(shù)據(jù)量有多少比特？解：Nb=log2^256=8bit數(shù)據(jù)量為M*N*8bit13.4K超高清視頻的分辨率為4096*2160，對其進(jìn)行16*16的分塊運動估計，采用全搜索法，運動估計水平、垂直方向的搜索范圍都是d=[-5，+5]，計算其對一幀圖像進(jìn)行運動估計的計算復(fù)雜度，其中匹配策略采用公式，假設(shè)其中減法、加法以及絕對值的計算量都為1.答：解：(4096/16)*(2160/16)*(2*5+1)*(2*5+1)*3*16*16=3*4096*2160*11*11，分析：公式為3MN(2s+1)^21）每次匹配中，對應(yīng)像素做1次減法、1次加法，1次絕對值求和，每塊16*16個像素，因此，每塊計算量為3*16*16;2）每塊搜索次數(shù)：（2*5+1）（2*5+1）次；3）共有(4096/16)*(2160/16)塊14.下圖為菱形搜索法示意圖，用其進(jìn)行塊運動估計時，描述其運動估計的過程，并計算每塊的搜索次數(shù)（10）2415.兩個二維數(shù)字圖像信號矩陣為：和，求這兩個信號的DCT，并從變換結(jié)果分析DCT變換的特點及應(yīng)用領(lǐng)域。其中DCT變換陣為：（20）16.視頻處理中為何要進(jìn)行運動估計，舉例說明運動矢量在不同視頻處理中的應(yīng)用。因為運動分析與估計廣泛應(yīng)用于計算機(jī)視覺，目標(biāo)跟蹤，工業(yè)監(jiān)視和視頻壓縮等場所，且視覺運動涵蓋對視頻圖像序列的分析和處理，運動分析與估計是數(shù)字視頻處理的基本內(nèi)容，也是視頻處理研究的難點和重點。17.分級視頻編碼具有什么應(yīng)用意義？畫圖說明一種可分級視頻編碼的實現(xiàn)原理。應(yīng)用意義：在因特網(wǎng)上如果一個視頻流是采用分級編碼得到的，則帶寬足夠的用戶可以下載所有的數(shù)據(jù)以獲得高質(zhì)量的視頻，帶寬較窄的用戶則可以下載視頻流的一個子集而獲得一個編碼視頻的低級質(zhì)量版本。還能對數(shù)據(jù)采用不同的誤碼保護(hù)措施，是碼流更加有效的適應(yīng)信道特征。視頻編碼標(biāo)準(zhǔn)H.264中為什么要使用分?jǐn)?shù)級像素運動搜索?如何實現(xiàn)？為什么要使用多幀運動估計？如何實現(xiàn)多幀運動估計？原因：為了適應(yīng)視頻的高壓縮比、高圖片質(zhì)量以及良好的網(wǎng)絡(luò)適應(yīng)性等采用分?jǐn)?shù)級像素運動搜索技術(shù)。實現(xiàn)方法：在H.264的運動搜索中，首先采用整像素運動搜索，得到最佳整像素運動矢量，然后以點為中心，搜索周圍的8個1/2像素點，得到最佳1/2像素運動矢量，在搜索最佳1/2像素點周圍的8個1/4像素點，得到最佳分?jǐn)?shù)像素運動矢量使用原因：引用多參考幀運動補(bǔ)償來提高視頻運動編碼性能實現(xiàn)方法：使用多個以前編碼的幀作為參考幀，即幀存器中存儲了多個參考幀來對當(dāng)前的幀進(jìn)行預(yù)測。多參考幀估計在周期運動序列中特別有效。3因為相比于其他標(biāo)準(zhǔn)中，P幀只采用前一幀進(jìn)行預(yù)測，B幀只采用相鄰的兩幀進(jìn)行預(yù)測。而多幀運動估計，使用多個以前編碼的幀作為編碼的幀作為參考幀，用來對當(dāng)前幀進(jìn)行預(yù)測，更加有效，因此~~4用幀存器儲存多個參考幀（最多5幀）來對當(dāng)前幀進(jìn)行預(yù)測。19.霍夫曼編碼的原理是什么？如何進(jìn)行霍夫曼編碼？其應(yīng)用有哪些？1）原理：對那些出現(xiàn)概率較大的信源符號編以較短的碼字，而對那些出現(xiàn)概率較小的符號則編以較長的碼字。2）①將信源符號概率按遞減順序排列;②將兩個最小的概率進(jìn)行相加，并繼續(xù)這一步驟，直到概率達(dá)到1.0為止;③在每對組合中的上部指定為1(或0),下部指定為0(或1);④畫出每個信源符號概率到1.0處的路徑,記下沿路徑的1和0;⑤對于每個信源符號都寫出1、0序列，則從右到左就得到霍夫曼編碼。3）霍夫曼編碼1適用于文本文件壓縮2經(jīng)過符號合并用于二進(jìn)制文件壓縮20.算術(shù)編碼的原理是什么？為什么能起到數(shù)據(jù)壓縮的作用？原理：將整個信源輸出的符號序列對應(yīng)于實數(shù)軸上[0,1）中的一個小區(qū)間，該小區(qū)間的長度等于序列出現(xiàn)的概率。2算術(shù)編碼是一種無失真的編碼方法，能有效地壓縮信源冗余度，使編成的碼率趨于信源的熵，它是無損壓縮的一種。21.下圖為三步搜索法的示意圖，描述其運動估計的過程，并計算用其進(jìn)行塊運動估計時，每塊的搜索次數(shù)。22.兩個二維數(shù)字圖像信號矩陣為：和，求這兩個信號的DCT，并從變換結(jié)果分析DCT變換的特點及應(yīng)用領(lǐng)域。其中DCT變換和矩陣為：23.立體成像中，平行配置攝像機(jī)時，視差和深度關(guān)系如何表示？視差矢量為：在世界坐標(biāo)系內(nèi)坐標(biāo)為：24.3D視頻中，為何要進(jìn)行視差估計？如何要進(jìn)行視差估計？視差有何應(yīng)用？2、視差估計主要有基于塊和基于網(wǎng)格的方法，二者既可以用于基于變換的三維視頻編碼，加以處理也可用于基于對象的三維視頻編碼3、應(yīng)用：視差估計的快速算法，視差估計殘差圖像的編碼25.目前的立體顯示技術(shù)有哪些？借助輔助工具的立體顯示技術(shù)（分色式，偏光式，快門式），自由立體顯示技術(shù)（視差柵格技術(shù)，