立體視覺與視差

ITU-RBT.2088號報(bào)告立體電視（2006年）引言立體圖像系統(tǒng)可以通過平面顯示器給人一種深度幻覺。這些系統(tǒng)是為電影、電視和醫(yī)學(xué)造影等其它用途開發(fā)的。不應(yīng)把立體圖像系統(tǒng)與全息攝影混為一談，因?yàn)楹笳咝枰褂眉す?，而且總體上與現(xiàn)有的電影或電視技術(shù)不相兼容。固定立體成像技術(shù)大致可以追溯到發(fā)明照相技術(shù)的19世紀(jì)中葉，而動態(tài)圖像則是在20世紀(jì)50年代投入商用的。ITU-R有關(guān)目前立體電視的文件包括一個正在研究的課題、一份提交申請程序的課題、兩份報(bào)告和兩份建議書：ITU-R第88/6號課題-對立體電視圖像的主觀評估。ITU-RBT.312號報(bào)告-立體電視的系統(tǒng)構(gòu)成（1990年最后一次更新）。此報(bào)告簡要介紹了再現(xiàn)立體圖像，列舉了開發(fā)實(shí)用立體電視系統(tǒng)的要求，列出了此前有關(guān)這一議題的CCIR文件并包括一份簡短的書目。ITU-RBT.2017號報(bào)告-立體電視MPEG-2多視角類型。本報(bào)告介紹了對MPEG-2視頻編碼標(biāo)準(zhǔn)（ITU-TH.262/ISO/IEC13818-2建議書）的修正案，這項(xiàng)1996年批準(zhǔn)的標(biāo)準(zhǔn)旨在實(shí)現(xiàn)立體圖像的編碼。ITU-RBT.1198建議書-基于左右眼雙頻道信號（1995年）的立體電視。它提供了一份簡要（一頁）清單，列出了對廣播用平面和立體視覺信號間兼容性的要求，還在其考慮的問題當(dāng)中具體談到了自由立體顯示問題。ITU-RBT.1438建議書-對立體電視圖像的主觀評估（源于第88/6號課題“對立體電視圖像的主觀評估”，即原ITU-R第234/11ITU-R號課題）。這其中包括評估因素、評估方法、收視條件、觀測者的視頻篩選以及靜止和動態(tài)的測試材料。多種原因證明目前是審議立體成像問題的恰當(dāng)時機(jī)：隨著廣播圖像技術(shù)的發(fā)展，出現(xiàn)了價格更可接受的更大和更平的電視屏幕，因而為立體圖像的不同應(yīng)用提供了理想的平臺。個人電腦技術(shù)促進(jìn)了電子游戲液晶顯示“快門眼鏡”（shutterspectacles）的發(fā)展。目前，這些技術(shù)的價格可以承受，且已上市提供。數(shù)字廣播的出現(xiàn)提高了圖像編碼格式的靈活性。這種靈活性提供了極大提高立體圖像平面兼容性的可能。反之，采用模擬技術(shù)編碼的立體圖像則往往出現(xiàn)明顯的偽影，如幽靈（ghosting）、閃爍（flicker）或“木偶劇效應(yīng)”，而且平面兼容性有限。電腦成像的發(fā)展已使細(xì)致入微的合成立體圖像，幾乎與平面圖像一樣易于生成。立體視覺與視差立體圖像系統(tǒng)使用兩幅圖像，向兩只眼睛各提供一幅。為獲得正確視差，必須從大約一個瞳孔間距（約65毫米）的位置捕獲這些圖像。從兩點(diǎn)的透視差異可以看出景深，供大腦對分別展示給左右眼的兩幅圖像進(jìn)行比較。圖像捕獲點(diǎn)的間距狹小給攝影機(jī)和鏡頭帶來了局限，甚至在某些情況下限制了允許的光圈和焦距組合。然而使用反射鏡可以在一定程度上緩解這類問題。但目前尚不可能為改變其視差而對立體圖像進(jìn)行后處理。因此，攝影機(jī)的設(shè)計(jì)者和操作者都有責(zé)任隨時考慮到視差效果問題。在為創(chuàng)新效果而進(jìn)行的三維制作中，視差往往出現(xiàn)變化。常規(guī)視差會使立體圖像看上去位于屏幕之后。不過可以通過左右圖像的互換倒換視差，使立體圖像看上去位于屏幕前面，但這會引起圖像失真。為增減視深而變換鏡頭間距，也可能夸大視差。視差是微距近拍圖像特有的問題，因?yàn)榻咕嘞喈?dāng)于或短于目間距。由于景深和/或左右眼間的圖像缺少重疊和/或與所見物體和圖像捕獲點(diǎn)所對的角度很大，都會導(dǎo)致效果不佳。為解決這一問題，可以通過縮小攝影機(jī)的鏡頭間距，在微距作業(yè)時有意扭曲視差。還可以為增加圖像重疊而使光路傾斜。這是立體顯微鏡通用的技術(shù)。由于視差同時提供了深度和廣度的信息，這種視差失真的副作用是圖像的廣度失真，看上去較實(shí)際尺寸大很多。雖然這為制造創(chuàng)新性效果提供了一定空間，但大腦可以予以校正，因?yàn)樗朗褂玫氖侨嗽斓挠^視系統(tǒng)。兼容性-概述正如我們希望彩色視頻能與單色視頻兼容一樣，我們也希望立體視頻能與常規(guī)平面視頻相兼容。大多數(shù)立體視頻系統(tǒng)無法做到與常規(guī)視頻完全兼容，從而導(dǎo)致在普通顯示器上收看時出現(xiàn)圖像模糊或閃爍現(xiàn)象。在對每項(xiàng)立體技術(shù)進(jìn)行研究時，還會更詳細(xì)的討論這一問題。顯示工藝與技術(shù)立體成像技術(shù)已有100多年歷史，可追溯到Wheatstone和Brewster在19世紀(jì)30年代進(jìn)行的靜態(tài)成像研究工作。由于立體動態(tài)圖像主要涉及以色彩分離圖像的技術(shù)，立體動態(tài)圖像技術(shù)直到彩色膠片得到廣泛使用的二次世界大戰(zhàn)之后才研制完成。投入商用的一系列系統(tǒng)被用于收視立體動態(tài)圖像。多數(shù)這些顯然不具有時間復(fù)用和普爾弗里希效應(yīng)的系統(tǒng)，都是從靜止圖像立體攝影技術(shù)發(fā)展而來的。這些技術(shù)包括彩色立體影象、偏光立體影像和集成立體影像。離散圖像顯示頭戴式顯示可利用眼鏡式離散顯示展示左右眼的圖像。這些技術(shù)曾用于早期的“虛擬現(xiàn)實(shí)”電子游戲。但這些顯示及圖像與頭同步運(yùn)動，可能使人感覺不適，因?yàn)轱@示器的面積很小，分辨率也很有限。這項(xiàng)技術(shù)不適用于群體收視。配備棱鏡的寬銀幕顯示器離散顯示也可在較遠(yuǎn)的距離使用，但條件是需要通過具有面鏡和棱鏡的眼鏡適當(dāng)彎曲通向眼睛的光路。這種技術(shù)需要收視者盡量減少頭部運(yùn)動，因此很容易使人感到疲勞。立體影像顯示立體影像顯示器可同時疊映兩個圖像，隨后再為了收視而通過光學(xué)過濾將它們分離。4.2.1光學(xué)過濾分離（彩色立體影像）所有相互排斥的色彩組合，都可用于彩色立體影像顯示。為全色彩再現(xiàn)中性重組圖像，應(yīng)使用左右眼補(bǔ)充色彩-紅色/青色、綠色/品紅或藍(lán)色/黃色。通常的做法是同時使用紅色和青色，因?yàn)檫@一組合具有簡單的低通/高通波長特性。雖然綠色/品紅更接近于亮度值（見表1），這一組合需要更難以準(zhǔn)確無誤再現(xiàn)的帶阻/帶通特性。表1用于立體圖像顯示（利用PAL/SECAM/NTSC/SDTV比色法）的互補(bǔ)色的亮度值和亮度比色彩1色彩2亮度比紅色青色Y'=0.299Y'=0.7012.34綠色品紅Y'=0.587Y'=0.4131.42藍(lán)色黃色Y'=0.114Y'=0.8867.77兩臺攝像機(jī)在圖像捕捉階段使用濾色鏡，然后將兩個圖像混合，并為了收視而表現(xiàn)為單一圖像。配有紅色/青色鏡片的眼鏡，將圖像的兩個部分分為左眼和右眼圖像。這兩個濾色鏡的綜合透射譜近乎白光。這是一種最便宜也是最古老的立體動態(tài)圖像技術(shù)，目前尚存有大量這類格式的資料。這是一種電影和電視都易于推行的制式，只是由于左右眼受到的色彩信息不全而影響圖像的逼真度。在采用這一制式時，每只眼睛其實(shí)處于部分色盲的工作狀態(tài)。然而這一制式的好處是，它只需要一臺放映機(jī)或電視顯示器，而且向收視者提供的圖像分離是無源的，因而無需電源、電路、同步或分配。偏光立體影像或矢量圖形這一程序類似于濾光程序，但為了進(jìn)行圖像分離，它依賴于右眼+45。偏光和左眼-5。偏光。這一制式的專利是1900年前［McKay,1953年］為靜止投影而申請的，由ArchOboler于上世紀(jì)50年代最先在電影院推出，并在IMAX影院沿用至上世紀(jì)90年代。與濾光鏡系統(tǒng)相比，它提供了極高的逼真度，因?yàn)槊恐谎鄱寄茉谄庀到y(tǒng)中接收到全光譜圖像。然而它從未得到廣泛采用，因?yàn)樗枰獙Ｓ猛队皟x，對許多小影院不夠經(jīng)濟(jì)實(shí)惠。然而這一制式具有依然保持無源系統(tǒng)的優(yōu)勢，只需要收視者佩戴偏光眼鏡。不過，在電視系統(tǒng)中很難推行這一技術(shù)。光柵/集成立體影像（自由立體）光柵立體影像系統(tǒng)在隔行垂直圖片條中同時采用雙圖像顯示。屏幕上的圓柱形雙凸透鏡隨即分別對準(zhǔn)兩個圖像，相隔大約瞳孔間距。該系統(tǒng)依靠精確的頭部定位取得立體效果，無需收視眼鏡，故稱為自由立體系統(tǒng)。普爾弗里希效應(yīng)這一系統(tǒng)采用一只著色（左眼）另一只無色（右眼）的眼鏡/護(hù)目鏡，依據(jù)的是大腦接收暗影所需的較長傳送時間。主要在利用上述方案從左至右橫向移動圖像時，才能看到這種效果。這一系統(tǒng)的優(yōu)點(diǎn)是與單色顯示兼容，但缺點(diǎn)是靠圖像橫向運(yùn)動產(chǎn)生景深效果。尚未聽說此系統(tǒng)投入商用。時域復(fù)用這是一個順序傳送左眼和右眼圖像的程序。此時，通過采用LCD的交變同步快門的有源眼鏡，對提供給觀眾的圖像加以分離。這種系統(tǒng)自上世紀(jì)90年代以來一直用于IMAX影院，目前用于電腦游戲，還可用于電視。以這一技術(shù)制作的圖像會因?yàn)榈退⑿侣剩?biāo)準(zhǔn)影院為12圖像/秒，隔行掃描電視為12.5-15圖像/秒）而出現(xiàn)閃爍的毛病。當(dāng)采用逐行掃描的更高刷新率時，這項(xiàng)技術(shù)的效果會大幅度提高。數(shù)字立體圖像編碼和平面兼容性在每個隔行掃描圖像域或每個逐行掃描圖像幀中對不同圖像進(jìn)行編碼，都會給數(shù)字編碼系統(tǒng)帶來數(shù)據(jù)壓縮問題。由于左眼和右眼的圖像之間存在巨大差異，可對圖像間差異進(jìn)行的數(shù)據(jù)壓縮數(shù)量會大幅減少。但可以通過將信號分為兩個不同子流（左眼和右眼）的系統(tǒng)重新配置方式提高效率。這種配置已被納入MPEG-2視頻編碼標(biāo)準(zhǔn)，并在ITU-RBT.2017號報(bào)告中作了說明。立體制作格式雖然立體表現(xiàn)方式需要專用顯示器，通常需要某種形式的光復(fù)用和解復(fù)用，立體制作本身不需要這類復(fù)用。唯一需要的是截取兩個間距適當(dāng)?shù)耐綀D像流。這樣便很適于對離散式資料進(jìn)行制作和后制作，只需對提供給呈現(xiàn)階段的必要再制作格式的資料進(jìn)行綜合與編碼。盡管離散的雙圖像制作可能較立體彩色圖像錄制工作需要更多設(shè)備，或更多復(fù)雜設(shè)備，但它本身具有更高的靈活性，可在必要時用于多種再制作格式。如果尚未選擇立體電視的標(biāo)準(zhǔn)再制作格式，保持離散雙圖像制作方式將是至關(guān)重要的。幸運(yùn)的是，MPEG-2MVP擴(kuò)展（見ITU-RBT.2017號報(bào)告）能夠以這種方式實(shí)現(xiàn)信號編碼。另外還需要相應(yīng)的制作格式。如果將它們安排在現(xiàn)有設(shè)備的帶寬內(nèi)，可能需要容忍一定程度的圖像質(zhì)量下降。結(jié)論實(shí)施順利的話，立體增強(qiáng)型圖像再現(xiàn)方式能夠令觀眾感到更加身臨其境、更高的逼真度，還可能得到更大的滿足感。它在這方面與環(huán)繞立體聲技術(shù)有著許多共性，因?yàn)檫@種立體聲技術(shù)提高了觀眾在影視方面的體驗(yàn)。近來尤其在顯示器和數(shù)字編碼方面的技術(shù)發(fā)展，使我們離實(shí)際的大規(guī)模推行立體電視更近了一步。在這方面，立體成像技術(shù)也與自數(shù)字廣播推出以來得到廣泛采用的環(huán)繞立體聲技術(shù)，有著很多共同之處。就成像技術(shù)而言，立體技術(shù)是研究人員、開發(fā)人員、制造商和廣播商未來面臨的主要挑戰(zhàn)，因?yàn)槠矫鏀?shù)字電視廣播技術(shù)已是地位穩(wěn)固。對這種新媒體的制作格式和傳送格式進(jìn)行標(biāo)準(zhǔn)化和重新定義，依然任重道遠(yuǎn)。具體而言，ITU-R目前需要開展工作的領(lǐng)域包括：確定通用的立體顯示格式是否必要或理想，如有必要，需要為其評估和選擇確定定性和定量的性能標(biāo)準(zhǔn)；為簡便的節(jié)目交換和分配確定通用的立體制作格式；為立體制作設(shè)備確定理想的特性和性能；確定推薦的立體制作方式；確定立體質(zhì)量標(biāo)準(zhǔn)和質(zhì)量控制程序；確定立體電視發(fā)射系統(tǒng)是否較平面發(fā)射系統(tǒng)更易于受信號強(qiáng)度效應(yīng)、干擾效應(yīng)、拓?fù)湫?yīng)或其它影響整個系統(tǒng)性能的發(fā)射相關(guān)因素的影響。參考文獻(xiàn)有關(guān)這一議題的資料很多。以下的參考文獻(xiàn)遠(yuǎn)不是全部，但相信可以為希望進(jìn)一步鉆研的人提供一個起點(diǎn)。通用參考文獻(xiàn)WOODS,DOCHERTYandKOCH[1991]Theuseofflicker-freetelevisionproductsforstereoscopicdisplayapplicationsinStereoscopicDisplaysandApplicationsII,J.Merritt,S.Fisher,editors,ProceedingsofSPIEVol.1457,25-27February1991,SanJose,California,UnitedStatesofAmerica.MCKAY,H.C.,[1953]Three-dimensionalphotography:principlesofstereography:AmericanPhotographicPublishingCompany1953.RepublishedonlineattheStereoscopicDisplaysConferencewebsiteBENTON,S.A.ed,[May2001]SelectedPapersonThree-DimensionalDisplaysSPIE.ProceedingsoftheSPIE—StereoscopicDisplaysandVirtualRealitySystems—13volstodate.ReferencesonPulfricheffectfrom/~pulfrich/PulfrichPages/litpulf/1pulf.htmlPULFRICH,C.[June-September,1922]DieStereoskopieimDienstederisochromenundheterochromenPhotometrie.DieNaturwissenschaften,10:Heft25,p.553-564;Heft26,p.569-574;Heft27,p.596-601;Heft33,p.714-722;Heft34,p.735-743;Heft35,p.751-761.LYTHGOE,R.J.[1938]SomeObservationsontheRotatingPendulum.Nature,141(March12issue),474.LIT,A.[1949]ThemagnitudeofthePulfrichstereophenomenonasafunctionofbinoculardifferencesofintensityatvariouslevelsofillumination.AmericanJournalofPsychology,62,159-181.LIT,A.andHYMAN,A.[1951]TheMagnitudeofthePulfrichStereophenomenonasaFunctionofDistanceofObservation.AmericanJournalofOptometryandArchivesoftheAmericanAcademyofOptometry,MonographNo.122,1-17.LIT,A.[1960a]MagnitudeofthePulfrichstereophenomenonasafunctionoftargetthickness.JournaloftheOpticalSocietyofAmerica,50,321-327.LIT,A.[1960b]MagnitudeofthePulfrichstereophenomenonasafunctionoftargetvelocity.JournalofExperimentalPsychology,59(3),165-175.ALPERN,M.[1968]ANoteonVisualLatency.PsychologicalReview,75,260-264.CHRISTIANSON,S.andHOFSTETTER,H.W.[1972]SomeHistoricalNotesonCarlPulfrich.AmericanJournalofOptometryandArchivesoftheAmericanAcademyofOptometry,49,944-947.RUSHTON,D.[1975]UseofthePulfrichPendulumforDetectingAbnormalDelayintheVisualPathwayinMultipleSclerosis.Brain,98(PartII),283-296.BRAUNER,J.D.andLIT,A.[1976]ThePulfricheffect,simplereactiontime,andintensitydiscrimination.AmericanJournalofPsychology,89(1),105-114.NICKALLS,R.W.D.[1986]Nickalls'TheoremandthePulfrichIllusion.TheMathematicalGazette,andrelatedworksSMPTEJournal1991-2000:HARRIS,SHAW,DEAN,HENDRIKS,OMIDVAR,MURRAY,andBAKER[October,1994]3-DfortheNineties-AWide-FieldStereoIMAX?Camera,103:648.HIRUMAandFUKUDA[December,1993]AccommodationResponsetoBinocularStereoscopicTVImagesandTheirViewingConditions,102:1137.LIPTON[May1991]TheEvolutionofElectronicStereoscopy,100:332.MAYHEW[June1991]VisionIIISingle-CameraAutostereoscopicMethods,100:416.MAYHEW[June1993]A35mmAutostereoscopicSystemforLive-ActionImagingUsingaSingleCameraandLens,102:505.MAYHEWandHALLOWS[September1993]OnUsageoftheWordStereoscopic,Re:A35mmAutostereoscopicSystemforLiveActionImagingUsingaSingleCameraandLens,(June1993SMPTEJournal,p.505-511),104:826,(Letter).YAMANOUE[April1997]TheRelationBetweenSizeDistortionandShootingConditionsforStereoscopicImages,106:225.YANOandYUYAMA[January1991]StereoscopicHDTV:ExperimentalSystemandPsychologicalEffects,100:14.ReferencesfrompreviousITU-RReports:HIRUMA,N.andFUKUDA,T.[December,1990]AccommodationresponsetobinocularstereoscopicTVimagesandtheirviewingconditions.J.SMPTE,102,12,p.2047-2054YAMANOUE,H.etal.[October,1997]Subjectivestudyontheorthostereoscopicconditionsfor3D-HDTV.ITETech.Report,Vol.21,63,p.7-12YAMANOUE,H.etal.[1998]Orthostereoscopicconditionsfor3-DHDTV.Proc.SPIE,3295,StereoscopicdisplaysandApplicat