用于裸眼立體顯示的平面視頻立體轉(zhuǎn)換方法

1、用于裸眼立體顯示的平面視頻立體轉(zhuǎn)換方法作者：楊鈾，戴瓊海單位：清華大學(xué)自動(dòng)化系技術(shù)摘要摘要附圖圖1圖2圖3權(quán)利要求書(shū)1、用于裸眼立體顯示的視頻立體轉(zhuǎn)換方法，其特征在于，所述方法包括：A1：對(duì)所輸入的視頻類型進(jìn)行分類，所述類別包括單視點(diǎn)平面視頻、雙目立體視頻，并根據(jù)所分類型分別輸入至對(duì)應(yīng)的A2或A3；A2：輸入視頻類別為單視點(diǎn)平面視頻，設(shè)裸眼立體顯示設(shè)備所需視點(diǎn)數(shù)為N（N>2），對(duì)單視點(diǎn)平面視頻進(jìn)行適用于裸眼立體顯示設(shè)備所需視點(diǎn)數(shù)的N視點(diǎn)立體轉(zhuǎn)換；A3：輸入視頻類別為雙目立體視頻，對(duì)雙目立體視頻進(jìn)行適用于裸眼立體顯示設(shè)備所需視點(diǎn)數(shù)的N視點(diǎn)立體轉(zhuǎn)換；A4：對(duì)于A2或A3所轉(zhuǎn)換得到的多視點(diǎn)立體

2、視頻，進(jìn)行適用于裸眼立體顯示設(shè)備所需的像素排列。2、如權(quán)利要求1所述的方法，其特征在于，所述步驟A1中對(duì)輸入的視頻進(jìn)行類型判斷，具體方法包括：如果所輸入視頻的視點(diǎn)數(shù)為1，則為單視點(diǎn)平面視頻；如果所輸入視頻的視點(diǎn)數(shù)為2，則為雙目立體視頻。3、如權(quán)利要求1所述的方法，其特征在于，所述步驟A2中對(duì)輸入的單視點(diǎn)平面視頻進(jìn)行適用于裸眼立體顯示設(shè)備所需視點(diǎn)數(shù)的N視點(diǎn)立體轉(zhuǎn)換，具體方法包括：B1：對(duì)單視點(diǎn)平面視頻計(jì)算場(chǎng)景深度；B2：利用視頻幀序列在時(shí)域上的相關(guān)性，將B1所計(jì)算得到的場(chǎng)景深度進(jìn)行時(shí)域傳播；B3：利用基于深度的圖像繪制方法，對(duì)視頻的每一幀進(jìn)行其余N-1視點(diǎn)的圖像繪制，與該視點(diǎn)一起總共為N個(gè)視點(diǎn)。

3、4、如權(quán)利要求1所述的方法，其特征在于，所述步驟A3中對(duì)輸入的雙目立體視頻進(jìn)行適用于裸眼立體顯示設(shè)備所需視點(diǎn)數(shù)的N視點(diǎn)立體轉(zhuǎn)換，具體方法包括：C1：計(jì)算雙目立體視頻間的視差，并利用視差與深度間的轉(zhuǎn)換關(guān)系，得到視頻的場(chǎng)景深度也可不求深度，直接利用視差計(jì)算，這一塊可分兩部分寫(xiě)；C2：利用視頻幀序列在時(shí)域上的相關(guān)性，將C1所計(jì)算得到的場(chǎng)景深度進(jìn)行時(shí)域傳播；C3：利用基于深度的圖像繪制方法，對(duì)視頻的每一幀進(jìn)行其余N-2視點(diǎn)的圖像繪制，與雙目視點(diǎn)一起總共為N個(gè)視點(diǎn)。5、如權(quán)利要求1所述的方法，其特征在于，所述步驟A4中對(duì)A2或A3所得的N視點(diǎn)視頻幀其像素按照裸眼立體顯示設(shè)備所需的像素排列進(jìn)行重排列。說(shuō)明

4、書(shū)技術(shù)領(lǐng)域本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，特別涉及一種用于裸眼立體顯示的平面視頻立體轉(zhuǎn)換方法。技術(shù)背景隨著3D立體顯示技術(shù)的不斷發(fā)展，立體電影、電視、移動(dòng)設(shè)備等立體產(chǎn)品迅速普及，大眾對(duì)立體視頻的需求程度越來(lái)越高。此時(shí)，除了提供新的立體拍攝片源以外，還有大量平面視頻資料需要通過(guò)立體化的方法才能實(shí)現(xiàn)立體觀賞。立體視頻目前大多是通過(guò)雙目的方式進(jìn)行顯示，觀看過(guò)程中需要通過(guò)主動(dòng)快門(mén)式、偏振式、紅藍(lán)式眼鏡等將雙目圖像分別發(fā)送至人的左右兩眼，從而形成立體視覺(jué)感知。這種方式需要用戶佩戴眼鏡，觀看不便。裸眼立體顯示設(shè)備能夠讓用戶無(wú)需佩戴輔助設(shè)備即觀看到視頻所具有的立體效果，是未來(lái)家庭娛樂(lè)、廣告宣傳、公共展示等場(chǎng)合

5、中用于進(jìn)行立體觀看觀賞較為理想的方式。如何向該設(shè)備提供立體片源內(nèi)容，成為一個(gè)需要解決的問(wèn)題。在裸眼立體顯示設(shè)備進(jìn)行立體內(nèi)容的顯示，需要根據(jù)該顯示設(shè)備所提供的觀看視點(diǎn)數(shù)量N，向該設(shè)備同時(shí)輸入等量視點(diǎn)N的視頻信號(hào)源。比較直觀的做法是，開(kāi)發(fā)具有N個(gè)視點(diǎn)的視頻采集設(shè)備進(jìn)行同步采集，為裸眼立體顯示設(shè)備提供節(jié)目源。但是這樣的方式下，節(jié)目制作的成本高、周期長(zhǎng)、技術(shù)難度大，同時(shí)對(duì)采集設(shè)備及輔助控制設(shè)備的要求較高，而且不利于將已有的大量單視點(diǎn)平面節(jié)目源、雙目立體節(jié)目源無(wú)法在裸眼立體顯示設(shè)備上得以展示。本專利針對(duì)單視點(diǎn)平面節(jié)目源、雙目立體節(jié)目源在裸眼立體顯示設(shè)備上的播放而涉及的節(jié)目源裸眼N視點(diǎn)立體轉(zhuǎn)換方法。針對(duì)。

6、的方法？本發(fā)明中所涉及的已有算法單目鏡頭檢測(cè)（3篇）顏色直方圖方法1篇聚類方法變換域方法（DCT、小波變換）1篇鏡頭漸變檢測(cè)方法（雙閾值法、模糊聚類、B樣條擬合方法）1篇圖像特征提?。ň垲?、色彩量化等方法、運(yùn)動(dòng)信息）直接灰度化聚類最小生成樹(shù)01篇色彩量化運(yùn)動(dòng)信息提取01篇分水嶺深度圖求?。ㄉ疃荣x值方法、深度傳播方法）基于立體線索的直接計(jì)算（遮擋、透視、紋理、聚焦等）1篇基于運(yùn)動(dòng)的深度賦值輪廓匹配進(jìn)行深度圖求取的方法1篇關(guān)鍵幀的空域深度擴(kuò)散方法1篇非關(guān)鍵幀的深度傳播方法（運(yùn)動(dòng)信息、各種跟蹤算法）2篇深度圖后處理（濾波、時(shí)域平滑、邊緣增強(qiáng)等）非對(duì)稱濾波、雙邊濾波時(shí)域平滑1篇邊緣增強(qiáng)1篇立體圖像繪制

7、方法像素偏移（方法選擇，均勻or匯聚）空洞填充方法（最近鄰、鄰域插值、鄰域?yàn)V波、Inpainting）12篇參考渲染方法（每次參考相鄰視點(diǎn)進(jìn)行渲染）1篇雙目雙目圖像鏡頭檢測(cè)（已校準(zhǔn)）同上雙目圖像視差/深度估計(jì)局部匹配方法（區(qū)域匹配、特征匹配等）至少2篇全局方法（動(dòng)態(tài)規(guī)劃、圖割、BP）3篇有文獻(xiàn)非關(guān)鍵幀深度傳播（同上，可考慮利用雙目視頻得到更精細(xì)的深度圖）視差圖/深度圖后處理各種濾波（雙邊濾波）時(shí)、空域聯(lián)合優(yōu)化（plane fitting）1篇（1） 雙目立體圖像繪制像素偏移錯(cuò)誤去除1篇空洞填充（最近鄰、鄰域插值、鄰域?yàn)V波、Inpainting）雙目原視點(diǎn)參考渲染方法1篇近鄰視點(diǎn)參考渲染方法（一

8、側(cè)渲染）1篇硬件（還可細(xì)分）轉(zhuǎn)換芯片12篇含一篇框架立體視頻芯片（信號(hào)轉(zhuǎn)換，頻率轉(zhuǎn)換）12篇板卡電路（芯片、FPGA）12篇多視點(diǎn)數(shù)量切換方法及裝置（1輸入m路輸出n路，m可以大于、等于、小于n）1篇多視點(diǎn)間自由切換（類似于自由視點(diǎn)）1篇立體視頻信號(hào)視點(diǎn)數(shù)目識(shí)別方式與裝置（匹配）1篇立體視頻芯片配置參數(shù)在線調(diào)整設(shè)備（外接到板卡上，與芯片通信或遙控器）1篇（1）鏡頭檢測(cè)算法中的雙閾值法雙閾值法是一種比較經(jīng)典的鏡頭檢測(cè)算法。用該方法進(jìn)行鏡頭邊界檢測(cè)的主要依據(jù)是鏡頭內(nèi)部的相鄰幀之間具有較大的相似性，當(dāng)出現(xiàn)鏡頭突變和鏡頭漸變時(shí)，該相似性會(huì)遭到不同程度的破壞。該方法的主要思想是設(shè)置一高一低兩個(gè)閾值 和，

9、當(dāng)幀差大于時(shí)存在鏡頭突變；當(dāng)幀差小于而大于時(shí)可能存在鏡頭漸變，此時(shí)將后一幀作為鏡頭漸變的潛在起始幀，并從該幀開(kāi)始同時(shí)計(jì)算兩種幀差：相鄰兩幀的幀差以及和潛在起始幀相隔幀的累積幀差。若累積幀差大于而相鄰幀的幀差小于時(shí)，當(dāng)前幀便為鏡頭漸變的結(jié)束幀。若相鄰幀的幀差小于而累積幀差仍不超過(guò)時(shí)，則廢除潛在起始幀，重新尋找新的起始幀。（2）K均值算法聚類算法是不是好一些？K均值法是一種應(yīng)用非常廣泛的動(dòng)態(tài)聚類方法，其目標(biāo)是將個(gè)數(shù)據(jù)對(duì)象劃分為個(gè)聚類，使最終的聚類具有最大的類內(nèi)相似度和最小的類間相似度。該方法通常分為以下步驟：從個(gè)數(shù)據(jù)對(duì)象中隨機(jī)選擇個(gè)對(duì)象作為初始聚類中心；將剩余對(duì)象分別分配給與其距離最近的的聚類中心

10、所代表的聚類中；重新計(jì)算每個(gè)新聚類的聚類中心，及該聚類中所有對(duì)象的均值；重復(fù)2、3兩步直到均方誤差準(zhǔn)則函數(shù)達(dá)到收斂條件為止。（3）光流法基于運(yùn)動(dòng)信息光流是空間運(yùn)動(dòng)物體在觀測(cè)成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度。光流的研究是利用圖像序列中的像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來(lái)確定各自像素位置的“運(yùn)動(dòng)”，即研究圖像灰度在時(shí)間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動(dòng)的關(guān)系。一般情況下，光流由相機(jī)運(yùn)動(dòng)、場(chǎng)景中目標(biāo)運(yùn)動(dòng)或兩者的共同運(yùn)動(dòng)產(chǎn)生。光流計(jì)算方法大致可分為三類：基于匹配的、頻域的和梯度的方法。（4）基于深度的圖像繪制方法（5）圖割法基于標(biāo)號(hào)的圖像匹配算法把圖像的視差看成標(biāo)號(hào)，建立標(biāo)號(hào)的能量函數(shù)，把匹配問(wèn)題轉(zhuǎn)化為能量函數(shù)最小化問(wèn)題。圖割算法通過(guò)構(gòu)造網(wǎng)格圖使能量函數(shù)與網(wǎng)格圖的割的容量相對(duì)應(yīng)，利用最大流/最小割理論求出對(duì)應(yīng)最小割。圖割法一般包含3個(gè)步驟：建立匹配能量函數(shù)、構(gòu)造網(wǎng)格圖、利用最大流求解能量函數(shù)的最小值。匹配能量