機器視覺論文

1、生活中的視覺課程論文基于機器視覺的虛擬演播室系統(tǒng)姓名學(xué)號二零一七年三月虛擬演播室系統(tǒng)應(yīng)用攝像機跟蹤技術(shù)，獲得真實攝像機數(shù)據(jù)，并與計算機生成的背景結(jié)合在一起，背景成像依據(jù)的是真實的攝像機拍攝所得到的鏡頭參數(shù)，因而和演員的三維透視關(guān)系完全一致，避免了不真實、不自然的感覺。由于背景大多是由計算機生成的，可以迅速變化，這使得豐富多彩的演播室場景設(shè)計可以用非常經(jīng)濟(jì)的手段來實現(xiàn)，由于它本身所具有的無窮魅力以及其不可低估的發(fā)展前景，迄今已被越來越多的節(jié)目制作及有關(guān)人員所關(guān)注。虛擬演播室在應(yīng)用傳統(tǒng)的色鍵合成技術(shù)的基礎(chǔ)上實現(xiàn)了攝像機可以與背景同步運動的功能，使演員可以有效地融合到虛擬場景中，同時在與虛擬對象流互

2、動時無任何違和感。演員在虛擬演播室的藍(lán)箱中表演時，由攝像機采集前視頻信號，并且通過跟蹤設(shè)備實時地采集攝像機的各項參數(shù)信息，再把跟蹤設(shè)的數(shù)據(jù)傳給高速圖形計算機，最后，通過圖形發(fā)生器將演員與背景圖像合成。中，在拍攝演員時采用藍(lán)色背景，然后使計算機生成的虛擬背景與演員攝像視頻步工作，再利用色鍵器的摳圖合成技術(shù)將兩路信號實時合成，將其作為最后的輸出。關(guān)鍵詞：虛擬演播室；機器視覺；虛擬演播室系統(tǒng)；色鍵與藍(lán)箱AbstractApplicationofthevirtualstudiosystemcameratrackingtechnology,obtaintherealcameradata,andtheco

3、mputergeneratedbackgroundtogether,thebackgroundimageisbasedontherealcameralensparametersobtained,andthusactor3Dperspectiverelationshipiscompletelyconsistent,avoidisnottrueandnaturalfeeling.Becausethebackgroundismostlyproducedbythecomputer,canchangerapidly,whichmakestherichandcolorfuldesignstudioscen

4、ecanbeusedtoachieveaveryeconomicalmeans,becauseofitsinherentcharmanditsdevelopmentprospectsshouldnotbeunderestimated,sofarhasbeenmoreandmoreconcernedabouttheproduction.Onthebasisofthetraditionalcolorkeycombinationtechnology,thevirtualstudiocanrealizethecameraandthebackgroundThesynchronousmotionfunct

5、ion,theactorcanbeeffectivelyintegratedintothevirtualscene,atthesametimetointeractwithvirtualobjectsflowwithoutanysenseofviolation.Actorintheblueboxinthevirtualstudio,thevideosignalcollectedbythecamera,andtheparametersoftheinformationreal-timecameratrackingequipment,thensetthetrackingdatatohighspeedg

6、raphicscomputer,finally,apatterngeneratorwillactorandbackgroundimagesynthesis.Inthebluebackgroundinthefilmactor,andthenmakethevirtualbackgroundandactorcomputergeneratedvideostep,usingmattingsynthesistechnologykeymachinewillbereal-timesynthesisoftwosignals,asthefinaloutput.Thevirtualstudioturnedoutto

7、beabenefitforhigh-definitiontelevisiontechnology,thisnewtechnologyprovidesastrongsupportforthedevelopmentofthevirtualstudiohighdefinitiontelevision.Atthesametime,themotionparametersofthesensortrackingsystemcameraareacquired,andthefinalrenderingoutputincludesthebackgroundsignalandthekeysignalasthefor

8、egroundocclusion.Keywords:Virtualstudio;machinevision;virtualstudiosystem目錄摘要IIABSTRACT.III.第1章緒論1.1.1 背景和意義錯誤！未定義書簽。1.2 研究歷史及研究進(jìn)展錯誤！未定義書簽。1.3 基本原理錯誤！未定義書簽。1.4 本論文的組織和結(jié)構(gòu)第2章虛擬演播室的系統(tǒng)構(gòu)成錯誤！未定義書簽。2.1 攝像機跟蹤系統(tǒng)錯誤！未定義書簽。2.1.1 機械傳感方式錯誤！未定義書簽。2.1.2 超聲波定位方式錯誤！未定義書簽。2.1.3 網(wǎng)格圖案識別方式錯誤！未定義書簽。2.1.4 輔助攝像機技術(shù)錯誤！未定義書簽。2

9、.1.5 紅外傳感方式錯誤！未定義書簽。2.2 虛擬背景生成系統(tǒng)錯誤！未定義書簽。2.2.1 虛擬場景的制作錯誤！未定義書簽。2.2.2 實時背景生成錯誤！未定義書簽。2.3 視頻合成系統(tǒng)錯誤！未定義書簽。第3章虛擬演播室系統(tǒng)的設(shè)計錯誤！未定義書簽。3.1 攝像機跟蹤部分的設(shè)計錯誤！未定義書簽。3.1.1 基于傳感器的系統(tǒng)錯誤！未定義書簽。3.1.2 基于圖形分析系統(tǒng)錯誤！未定義書簽。3.2 計算機虛擬場景生成的設(shè)計錯誤！未定義書簽。3.3 視頻合成部分的設(shè)計錯誤！未定義書簽。3.3.1 燈光系統(tǒng)設(shè)計錯誤！未定義書簽。3.3.2 藍(lán)箱設(shè)計錯誤！未定義書簽。3.3.3 鍵控系統(tǒng)的設(shè)計錯誤！未定義

10、書簽。第4章虛擬演播室系統(tǒng)的實際運用模式錯誤！未定義書簽。4.1 二維虛擬演播室錯誤！未定義書簽。4.2 三維虛擬演播室錯誤！未定義書簽。4.3 HD虛擬演播室錯誤！未定義書簽。4.4 虛擬重放系統(tǒng)錯誤！未定義書簽。錯誤！未定義書簽。4.5 虛擬廣告系統(tǒng)結(jié)論及展望15參考文獻(xiàn)1.7第1章緒論1.1 概述虛擬演播室(VirtualStudio)是近年發(fā)展起來的一種新興電視制作技術(shù)，是傳統(tǒng)演播室色鍵摳像技術(shù)與計算機虛擬現(xiàn)實相結(jié)合的產(chǎn)物。它將攝像機拍攝的圖像與計算機制作的虛擬場景完美地結(jié)合起來，創(chuàng)造出令人異想天開的虛擬世界。這一技術(shù)的應(yīng)用，使得電視工作者擺脫了時間、空間及道具制作方面的限制，能夠自由

11、地遨游在廣闊的想象空間之中，極大地提高了電視臺的節(jié)目創(chuàng)作及制作能力。并且由于虛擬場景的制作、修改、保存都是在計算機中進(jìn)行，省去了真實場景的搭建、拆卸、儲藏等環(huán)節(jié)，降低了節(jié)目制作的費用，提高了演播室的效率。虛擬演播室系統(tǒng)應(yīng)用攝像機跟蹤技術(shù)，獲得真實攝像機數(shù)據(jù)，并與計算機生成的背景結(jié)合在一起，背景成像依據(jù)的是真實的攝像機拍攝所得到的鏡頭參數(shù)，因而和演員的三維透視關(guān)系完全一致，避免了不真實、不自然的感覺。由于背景大多是由計算機生成的，可以迅速變化，這使得豐富多彩的演播室場景設(shè)計可以用非常經(jīng)濟(jì)的手段來實現(xiàn)，由于它本身所具有的無窮魅力以及其不可低估的發(fā)展前景，迄今已被越來越多的節(jié)目制作及有關(guān)人員所關(guān)注。

12、虛擬演播室是一種全新的電視節(jié)目制作工具，虛擬演播室技術(shù)包括攝像機跟蹤技術(shù)、計算機虛擬場景設(shè)計、色鍵技術(shù)、燈光技術(shù)等。虛擬演播室技術(shù)是在傳統(tǒng)色鍵摳像技術(shù)的基礎(chǔ)上，充分利用了計算機三維圖形技術(shù)和視頻合成技術(shù)，根據(jù)攝像機的位置與參數(shù)，使三維虛擬場景的透視關(guān)系與前景保持一致，經(jīng)過色鍵合成后，使得前景中的主持人看起來完全浸盡于計算機所產(chǎn)生的三維虛擬場景中，而且能在其中運動，從而創(chuàng)造出逼真的、立體感很強的電視演播室效果。采用虛擬演播室技術(shù)，可以制作出任何想象中的布景和道具。無論是靜態(tài)的，還是動態(tài)的，無論是現(xiàn)實存在的，還是虛擬的。這只依賴于設(shè)計者的想象力和三維軟件設(shè)計者的水平。許多真實演播室無法實現(xiàn)的效果，

13、對于虛擬演播室來說，確是“小菜一碟”。例如，在演播室內(nèi)搭建摩天大廈，演員在月球進(jìn)行“實況”轉(zhuǎn)播，演播室里刮起了龍卷風(fēng)等等。現(xiàn)在有的電視臺已經(jīng)起用了虛擬主持人，并且成為了明星，他們不僅可以配合真人的主持人主持節(jié)目，而且還可以單獨主持節(jié)目。這些都是虛擬演播室創(chuàng)造性的體現(xiàn)。虛擬演播室的產(chǎn)生，給視頻節(jié)目制作、電視廣播帶來了一場革命。1.2 研究歷史及研究進(jìn)展1978年，EugeneL.提出了“電子布景”(ElectroStudioSetting)的概念，指出未來的節(jié)目制作，可以在只有演員和攝像機的空演播室內(nèi)完成，其余布景和道具都由電子系統(tǒng)產(chǎn)生。隨著計算機技術(shù)與虛擬現(xiàn)實(VirtualReality)技

14、術(shù)的發(fā)展，在1992年以后虛擬演播室技術(shù)真正走向了實用。1993年，以色列ORA睢出了世界上第一套真三維虛擬演播室，此后另外一家以色列廠商RTSet也推出了基于傳感器跟蹤技術(shù)的真三維虛擬演播室，此后的10年中，虛擬演播室廠商陸續(xù)推出自己的產(chǎn)品，西班牙的BrainStorm,BBC英國廣播電視公司的虛擬演播室，法國PSY等等，以及2000年之后中國大洋、奧維迅、新奧特也相繼推出自己的虛擬演播室產(chǎn)品，虛擬演播室要求實時圖形圖像渲染技術(shù)很高，并要求配合方便，使用便捷的虛擬演播室跟蹤技術(shù)，經(jīng)過市場的淘汰、演變，所剩余繼續(xù)發(fā)展虛擬技術(shù)的廠商逐漸減少，2008年之后，一些無跟蹤的虛擬演播室技術(shù)開始推向?qū)I(yè)

15、市場，被稱為無軌跟蹤虛擬演播室，此類虛擬演播室沒有攝像機跟蹤技術(shù)，無法獲得真實攝像機的運動參數(shù)，圖形工作站也無需按照攝像機的運動實時渲染25幀/秒的畫面，因此此種方式的虛擬演播室適合學(xué)校、電教室等等非專業(yè)用戶的使用。作為數(shù)字演播室發(fā)展新技術(shù)，虛擬演播室技術(shù)已成為了當(dāng)今數(shù)字電視演播室新技術(shù)的熱點。在1993年IBC展覽會上虛擬演播室技術(shù)首次亮像，并在各種電視轉(zhuǎn)播中得以實現(xiàn)。迄今，中央電視臺、各省級電視臺、教育行業(yè)、企業(yè)等大量采用了此技術(shù)，該技術(shù)的發(fā)展促進(jìn)未來電視行業(yè)低碳、減排發(fā)展。國內(nèi)產(chǎn)品與國外產(chǎn)品差別主要是：(1)國外的虛擬演播室產(chǎn)品一般基于工作站平臺開發(fā)，成本較高；生成的三維圖形圖像的質(zhì)量高

16、、速度快；攝像機參數(shù)的獲取多采用機電跟蹤和光電跟蹤相結(jié)合的方法;可以在場景及前景的任意位置上插入活動視頻；虛擬攝像機可以在實際演播室邊界以外的地方漫游攝像：三維音響效果可以被激活并與其他動畫或特技聯(lián)系起來：具有完備的提示系統(tǒng)；在制作過程中沒有現(xiàn)場視頻和音頻的延遲等等。(2)國內(nèi)同類虛擬演播室系統(tǒng)多基于PCM:主要用二維圖像作為虛擬背景，通過視角變化產(chǎn)生三維的視覺效果；通過圖形加速卡生成真三維的背景圖形：攝像機參數(shù)的獲取采用機電跟蹤和光電跟蹤相結(jié)合的方法；能夠進(jìn)行多個攝像機機位的預(yù)監(jiān)和多通道的特技切換；提供移動機位，使攝像機在拍攝過程中可以自由的移動。1.3 虛擬演播室的基本原理在虛擬演播室中，

17、把攝像機拍攝到的人物、景物稱為前景圖像，而把通過計算機動畫軟件制作的二維或三維動畫圖形，稱為虛擬背景或虛擬場景。雖然虛擬演播室前景、背景圖像也是靠色鍵技術(shù)合成的，但二者之間卻有“同步聯(lián)動”關(guān)系，即將拍攝前景的攝像機進(jìn)行搖移、俯仰、變焦、聚焦動作時，可以通過獲取攝像機的各種運動參數(shù)（搖移、俯仰、變焦、聚焦、攝像機空間位置等），去控制背景圖像生成裝置,使之生成與前景圖像保持正確透視關(guān)系的背景圖像，最后通過色鍵將前景、背景圖像合成輸出。隨著各種先進(jìn)電視節(jié)目制作技術(shù)的發(fā)展，虛擬演播室得到了越來越多的應(yīng)用，它主要包括了攝像機系統(tǒng)、虛擬場景生成系統(tǒng)以及視頻合成系統(tǒng)。所謂的前景指的就是在虛擬情況下得到的各種

18、風(fēng)景以及人物的視頻，與其相對應(yīng)的是虛擬場景。虛擬場景并不是真實的，是借助虛擬生成系統(tǒng)生成的。攝像機的拍攝工作中不可避免的會進(jìn)行角度的調(diào)整，姿勢的俯視仰視、變焦動作，攝像跟蹤系統(tǒng)的職責(zé)就在于對攝像機進(jìn)行跟蹤監(jiān)視，并且將采集到的各種運動信息傳送到虛擬生成系統(tǒng)中，從而使得到的各種虛擬場景對前景透明。有的情況下我們會發(fā)現(xiàn)得到的虛擬場景和前景之間會存在一定的延時現(xiàn)象，因此需要增加相應(yīng)的延時器，確保制作的視頻系統(tǒng)能夠?qū)崿F(xiàn)虛擬背景和實際背景之間的有效合并，為人們呈現(xiàn)一個虛實相結(jié)合的場景，達(dá)到前景同虛擬場景進(jìn)行交融貫通，合為一體。1.4 本論文的組織和結(jié)構(gòu)第2章虛擬演播室的系統(tǒng)構(gòu)成1套典型的虛擬演播室系統(tǒng)主要

19、由攝像機跟蹤系統(tǒng)、虛擬背景生成系統(tǒng)及視頻合成系統(tǒng)組成。2.1 攝像機跟蹤系統(tǒng)攝像機跟蹤系統(tǒng)在在虛擬演播室中扮演著重要角色，確保攝像機、演員以及虛擬場景之間保持一個同步關(guān)系，同時保持對攝像機進(jìn)行精密的監(jiān)視并將其中的運動參數(shù)提取出來，其中最為重要參數(shù)主要為鏡頭運動參數(shù)、機頭運動參數(shù)、空間坐標(biāo)參數(shù)等，然后通過串行接口RS23減RS422實施傳輸，虛擬場景生成系統(tǒng)接收后生成同前景相融合的虛擬場景。常見的攝像機跟蹤技術(shù)主要包含下列幾種方式：網(wǎng)格圖案識別、紅外傳感、超聲波定位、機械傳感。2.1.1 機械傳感方式優(yōu)點：此種方式的優(yōu)點在于性能穩(wěn)定可靠，對于攝像機的跟蹤參數(shù)的獲取精度較高，數(shù)據(jù)處理效率較高；背景

20、顏色采用單一藍(lán)色；同時對于攝像機的拍攝位置的選擇比較寬松，沒有苛刻的要求，所以在使用過程中不用考慮攝像機的擺放位置和拍攝角度；演員還可以在背景范圍內(nèi)進(jìn)行自由活動。缺點：跟蹤系統(tǒng)每次重新啟動都需對攝像機重新進(jìn)行校正定位；攝像機的種類和數(shù)量受到了極大的限制；如果必須多臺攝像機，那么任何一臺攝像機必須相應(yīng)的配備一套跟蹤系統(tǒng)，這對于系統(tǒng)成本來說無疑是一個極為不利的因素。2.1.2 超聲波定位方式該方式能夠有效提高攝像機在視頻錄制過程中的定位精度；安裝方式也進(jìn)行了大幅的簡化，初始化設(shè)置的簡便快捷化，另外當(dāng)攝像機重新啟動后將自動進(jìn)行定位校正；攝像機的參數(shù)采集精度得到了較大的提升，對于數(shù)據(jù)處理效率較高，運算

21、量較小、延時短；拍攝方式簡單、多樣化，包括肩扛、手提、液壓云臺、搖臂、吊臂、滾輪三角架等。缺點：當(dāng)前采用的超聲波定位技術(shù)的實際產(chǎn)品比較少，應(yīng)用并未成熟。2.1.3 網(wǎng)格圖案識別方式1 .優(yōu)點無需對攝像機安裝附加方式；拍攝過程中能夠?qū)z像機實施自由轉(zhuǎn)動，這對于攝像師的創(chuàng)作是極為方便的；能夠原封不動的對演播室攝像機進(jìn)行使用；對于一個跟蹤器能夠運用于多臺攝像機。2 .缺點對于色鍵混合器的細(xì)節(jié)表現(xiàn)能力有所犧牲，同時燈光布置要求比較苛刻；由于受到網(wǎng)格角度的此限制，攝像機的俯仰角范圍較小，不得搖擺出網(wǎng)格，否則定位精度將會大打折扣；相比起機械傳感方式，該識別方式采集到的數(shù)據(jù)精度較?。凰詾榱吮ＷC視頻拍攝過程

22、中的跟蹤精度，使用過程中應(yīng)保證攝像機的焦點不得移出網(wǎng)格，這無疑將會大大限制了攝像機的景深以及演員的活動范圍，這給特寫拍攝帶來較大難度，演員不得走出網(wǎng)格范圍之外，同時演員的藍(lán)色背景也有限制，不能對網(wǎng)格進(jìn)行遮掩，否則的話，跟蹤信號將會受到影響，甚至消失；攝像機移動過程中要保持緩慢的速度，從而避免攝像機在移動過程中出現(xiàn)跟蹤混淆現(xiàn)象，導(dǎo)致錄制的圖像出現(xiàn)一定程度的跳幀現(xiàn)象；需要額外時間對網(wǎng)格圖案進(jìn)行辨識，這無疑增加了節(jié)目錄制所需要的時間，導(dǎo)致視頻播放需要的時長較多。2.1.4輔助攝像機技術(shù)上一個圖像識別方式為輔助攝像機的設(shè)計和應(yīng)用提供了必備條件，實現(xiàn)了攝像機向著小型化的方向發(fā)展，體積的小型化給安裝工作提

23、供了極大的便利，一般可安裝到演播室攝像機頂部，但是也可安裝到其他部位，不管是側(cè)墻或者天花板。輔助攝像機的作用在于配合演播室攝像機的演員拍攝工作，并且對拍攝工作內(nèi)容進(jìn)行實施分析，確保攝像機采集到的各個參數(shù)正確無誤。這種攝像技術(shù)具有較大的便利性，能夠?qū)崿F(xiàn)各種高難度的視頻拍攝。紅外傳感方式1 .優(yōu)點對于攝像機角度坐標(biāo)參數(shù)的測定非常簡單快捷，只要處于其所控制的范圍內(nèi)；拍攝方式簡單快捷，無論是肩扛還是手提式拍攝。2 .缺點安裝程序復(fù)雜，初始化比較麻煩；容易遭受外界環(huán)境干擾；一般情況下如果紅外線相互交織就會出現(xiàn)炫光現(xiàn)象，對演播室中的人員眼睛造成一定的損害；另外該方式在使用過程中的運算量較大，視頻錄制和播放

24、過程中存在較嚴(yán)重的而言是現(xiàn)象。2.2 虛擬背景生成系統(tǒng)2.2.1 虛擬場景的制作虛擬演播室的背景圖像可以是來自錄像機或攝像機的視頻圖像，也可以是靜止圖像，但使用最多的是計算機創(chuàng)作的二維或三維圖形CG(ComputerGraphics),即虛擬場景。虛擬場景可分為二維虛擬場景和三維虛擬場景，所謂二維虛擬場景是指景物沒有厚度，只提供一個平面背景，而在三維虛擬場景中景物是立體的，具有Z方向的厚度，在具有虛擬后景的同時，也提供虛擬前景。人物可在前景與后景之間穿插，運動，從而增強了視覺效果的縱深感和真實感。三維虛擬場景的制作可分為幾個步驟:首先要對虛擬場景中出現(xiàn)的所有物體按自然尺寸比例建成三維模型，然后

25、在模型上添加材質(zhì)，描繪紋理；其次是將模型在虛擬場景中定位，制作燈光效果以及陰影最后是制作在實際拍攝過程中虛擬場景出現(xiàn)的事件序列和特技效果，目前用于虛擬場景制作的主要軟件有Softimage,Alias/Wavefront,3Dmax等，它們一般都具有建模、描繪和特技等功能。2.2.2 實時背景生成實時背景生成是指在攝像機運動參數(shù)控制下，背景生成系統(tǒng)對預(yù)先制作好的虛擬場景信號進(jìn)行處理，實時生成與前景有正確透視關(guān)系的背景圖像。這就意味著背景生成系統(tǒng)必須要以25幀/秒的速度實時處理數(shù)據(jù)流。如果生成三維虛擬場景，其計算量是非常大的。在不降低圖形照明度、陰影，紋理和建模結(jié)構(gòu)的前提下，提高圖形工作站圖形刷

26、新速率成為實時生成虛擬背景的關(guān)鍵。2.3 視頻合成系統(tǒng)虛擬演播室的視頻合成系統(tǒng)仍采用傳統(tǒng)演播室多年來一直使用的色鍵摳像技術(shù)即前景與背景的混合是通過色鍵混合器來完成的，一般采用Ultimatte、Primatte等色鍵合成器。為保證容易摳像，應(yīng)使藍(lán)色幕布處于均勻照明之下，演員的服裝及小道具的顏色也應(yīng)注意。藍(lán)色幕布應(yīng)使用純正的色鍵藍(lán)色，其空間大小應(yīng)保證演員有足夠的移動范圍。另外，由于圖形工作站創(chuàng)建出來的三維虛擬場景中每一個像素都帶有景深值Z,即深度信息，而攝像機提供的前景圖像是沒有深度信息的，因此要實現(xiàn)演員在虛擬環(huán)境中行為逼真，各物體間的遮擋關(guān)系顯得尤為重要。這便引出了深度鍵的概念。采用層次等級深

27、度鍵可將物體分為有限數(shù)目的深度層次，使物體之間實現(xiàn)相互遮擋；而像素等級深度鍵是按像素劃分等級，可使演員處于虛擬場景中的正確位置。當(dāng)真實的人物、景物與虛擬景物動態(tài)遮擋時，通過深度鍵技術(shù)，就可以實現(xiàn)逼真的三維效果。第3章虛擬演播室的設(shè)計3.1 攝像機跟蹤部分的設(shè)計攝像機在拍攝過程中有平移X、縱移丫、高度移Z、水平角、俯仰角、鏡頭變焦Z00M聚焦FOCU等變化，這些參數(shù)的改變會引起所攝圖像視野與視角的改變，為了模擬人物所在的三維環(huán)境，計算機必須根據(jù)這些參數(shù)不斷調(diào)整三維視圖。而攝像機跟蹤部分的作用正是收取攝像機的位置信息和運動數(shù)據(jù)，實時的跟蹤真實攝像機，以保證前景與計算機背景“聯(lián)動”。由于這種“聯(lián)動”

28、是以高速計算機運算的結(jié)果，而這種運算永遠(yuǎn)是存在著一個運算時間，所以這種“聯(lián)動”是有時間差的。只是設(shè)計者保證使這種時間差在一個人眼不易察覺的范圍之內(nèi)，因此要求前景攝象機只能在一個有限的速率內(nèi)改變位置參數(shù)。目前虛擬演播室的攝像機跟蹤系統(tǒng)主要有以下幾種方式：3.1.1 基于傳感器的系統(tǒng)基于機械傳感器跟蹤方式是首先應(yīng)用于虛擬演播室系統(tǒng)的一種跟蹤方式，并且至今還在廣泛應(yīng)用。這種跟蹤方式原理很簡單，即在攝像機的鏡頭上、液壓搖擺頭上裝有精確的編碼器，可以精確地檢測相應(yīng)參數(shù)，通過RS-232或RS-422端口送給控制計算機，要獲得正確的透視合成效果，就要使虛擬背景的立體透視關(guān)系實時地跟上真實攝像機拍攝的狀態(tài)變

29、化。為此，二維虛擬演播室系統(tǒng)中虛擬攝像機應(yīng)跟蹤真實攝像機機頭的左右搖移、上下俯仰、鏡頭推拉三個參數(shù)，采用這種方式的有益世的Minset,RT-set的舊IS;三維虛擬演播室系統(tǒng)中，除了上述三個參數(shù)外，還應(yīng)跟蹤真實攝像機的機位橫向、縱向位移，機座高度升降，攝像機旋轉(zhuǎn)，鏡頭光圈變動，采用這種方式的有RT-set系統(tǒng)的Larus。虛擬攝像機各項參數(shù)與真實攝像機間各項參數(shù)之間并非是一一對應(yīng)的線性關(guān)系，這就更增加了用模擬控制的困難程度。為此，采用基于編碼的傳感技術(shù)，并對這些參數(shù)進(jìn)行編碼，經(jīng)過分析判斷這些參數(shù)的優(yōu)先級別，并將這些編碼信息饋送到同步跟蹤分析處理計算機優(yōu)先譯碼，轉(zhuǎn)為虛擬攝像機的參數(shù)指令，控制高

30、性能的圖形計算機生成虛擬背景，跟隨真實攝像機同步移動。3.1.2 基于圖形分析系統(tǒng)基于圖形識別技術(shù)的虛擬演播室，是在演播室的藍(lán)幕上畫上兩種藍(lán)色深淺不同、線條粗細(xì)不等、線間空格不均勻的網(wǎng)絡(luò)圖案。真實攝像機在攝取前景圖像的同時，也攝取了網(wǎng)格圖案的影像，將這一圖像數(shù)字化后送入同步跟蹤的圖形處理計算機，利用圖像分析法，參照攝像機起始參數(shù)，根據(jù)網(wǎng)格圖案的變化，計算出攝像機左右搖攝、上下俯仰攝及視角的變化，用這些參數(shù)的變化量去控制圖形計算機生成虛擬背景的變化，使虛擬攝像機中看到場景中物體位置的變化及透視關(guān)系與真實攝像機中看到的一致。圖像識別的簡單原理，用圖像分析的方法檢測其亮度的變化，以求出每一幀圖像中由

31、于攝像機運動而引起的水平位移、垂直位移Axi、Ayi及放大系數(shù)Z的變化。用圖像分析法求取攝像機運動參數(shù)的原理，主要是把攝像機的幀間的運動與亮度的時間、空間梯度聯(lián)系起來。在每一個像素位置都有如下關(guān)系成立：Gi=GxX+GyY+Z-1)(GxX+GyY其中，Gi、Gx、Gy為圖像亮度于水平、垂直方向及時間上的梯度。X、YZ則為水平、垂直位移及推拉鏡頭比例系數(shù)的變化。x、y為像素在當(dāng)前圖像幀內(nèi)的坐標(biāo)值。由于每幀圖像中都有大量像素，每點都可以列出一個如上的方程，因而可以得到一個已知條件高度冗余的線性方程組。由此可以求出運動參數(shù)的最小均方值。實驗證明，為獲得可靠的、質(zhì)量足夠好的攝像機運動參數(shù)，每幀取50

32、0-1000個有規(guī)律的點即可達(dá)到要求。3.2 計算機虛擬場景生成的設(shè)計虛擬演播室的場景是計算機繪制的圖形，計算機繪圖有二維和三維之分，因而虛擬場景也有二維和三維之分，二維場景沒有厚度，只是一個平面圖形，所以二維虛擬場景只能作為背景平面，出現(xiàn)在真實人物的后面，而三維虛擬場景中的景物具有Z方向的厚度，是立體的，以背景中的一個長方體為例，長方體是一種六面體，其底面和背面一般是看不見的。然而隨拍攝角度的不同，有可能看見其正面，側(cè)面和頂面。在計算機中應(yīng)保存其正面、側(cè)面和頂面的圖像，實際上，在計算機內(nèi)，其正面、側(cè)面和頂面的圖像都分解為像素的形式，保存在存儲器中，當(dāng)攝像機處于任意的角度位置時，計算機即進(jìn)行計

33、算，獲得相應(yīng)的畫面。同時，三維的場景中，虛擬景物既能作為真實人物的前景出現(xiàn)，也能作為背景出現(xiàn)，并且真實人物還能圍繞虛擬景物運動：這樣在視覺效果上更具縱深感，更加真實。顯然對于計算機的運算能力、運算速度提出了很高的要求。當(dāng)然還必然進(jìn)一步考慮許多細(xì)節(jié)問題，比如燈光和陰影的問題，當(dāng)攝像機改變其取向位置時，根據(jù)照明條件，陰影部分將發(fā)生相應(yīng)的變化，背景畫面應(yīng)該能夠反映出這種變化。3.3 視頻合成部分的設(shè)計虛擬演播室系統(tǒng)視頻合成的基本技術(shù)是色鍵器摳像，攝像機拍攝的藍(lán)幕布前的真實景物：通過色鍵器進(jìn)行摳像處理，與計算機生成的虛擬場景合成一個畫面。3.3.1 燈光系統(tǒng)設(shè)計在一般情況來講，虛擬演播室有多個攝像機來

34、拍攝。通過這個特征，為了能讓每個角度拍攝出來的畫面都防止出現(xiàn)邊角摳透或者是出現(xiàn)藍(lán)邊的現(xiàn)象，所以就要求藍(lán)箱一定要照射的非常柔和。尤其要注意的就是對于藍(lán)箱的表面和地面的照射，一定要注意在摳畫面以后，在場面地面和藍(lán)箱背景有均勻的照度。而且每當(dāng)主持人在坐著主持節(jié)目的時候，尤其注意當(dāng)燈光投射在主持人身上或者是主持人整面的時候，燈光必須是均勻柔和的。一旦燈光不均勻，就會出現(xiàn)把主持人的腿部照射的彎曲，將衣服照射的不平或者有些地方?jīng)]有燈光從而出現(xiàn)摳透這個現(xiàn)象。所以說，虛擬演播室的燈光一定要全面的均勻布光手法，這樣才能摳出最理想的畫面，主持人在這個場景中也會顯得真實。虛擬演播室摳像的技術(shù)運用的是色鍵機器進(jìn)行消除

35、藍(lán)處理，所以說，在對藍(lán)色進(jìn)行消除的同時要注意把主持人刨除在外，也就是一定要具有立體光布局的概念。前面進(jìn)行燈管布局，后面進(jìn)行藍(lán)箱布置燈光：由于光的三種基本顏色柔光等所發(fā)出的光亮非常廣闊，對于主持人進(jìn)行燈光布局之后，一定要在藍(lán)箱上再照射出一定燈光。所以說，前面景色光照度滿足需求以后，還要再對藍(lán)箱進(jìn)行一定范圍的補光才能滿足出藍(lán)色的要求。比較亮的藍(lán)箱能夠讓前面主持人的邊角比較光亮，用被色器中的消除藍(lán)色的按鍵對藍(lán)光進(jìn)行消除，導(dǎo)致主持人的邊角顯得比較黑，可以對主持人用少量側(cè)面的光來彌補。3.3.1藍(lán)箱設(shè)計在實際進(jìn)行藍(lán)箱設(shè)計時，首要考慮的問題就是藍(lán)箱所在演播室的空間問題。目前各電視臺的演播室多是一室多用，即

36、同一個演播室由多個節(jié)目共用，也就有多個場景。這就要求在設(shè)計藍(lán)箱時要充分考慮到其它場景的位置和燈光需求，不能使節(jié)目在錄制時出現(xiàn)質(zhì)量下降或穿幫現(xiàn)象。倘若演播室一室一用，專為虛擬演播室所用,就不存在這個問題。所以，建議最好是選用面積適合的小演播室作為虛擬系統(tǒng)專用。其次，要根據(jù)虛擬系統(tǒng)的機位，來設(shè)計藍(lán)箱的形狀并計算其大小。也就是說，藍(lán)箱的大小一定要能夠滿足攝像機的推拉搖移的范圍要求，既不能過小而限制鏡頭的活動，又不能盲目加大藍(lán)箱面積而導(dǎo)致造價的大幅度提高。然后，就是要根據(jù)使用虛擬演播室制作節(jié)目的性質(zhì)來規(guī)劃藍(lán)箱的大小。大家知道，新聞及小型訪談類的節(jié)目在錄制時鏡頭一般較為簡單，大多是以正面近景輔以少量側(cè)面

37、全景，且鏡頭固定，無需推拉搖移，主持人的位置也固定不動，這樣對藍(lán)箱的要求也就不高，只要顧及到側(cè)面全景不穿即可，藍(lán)箱可以做的較小。如果是錄制文藝性節(jié)目，主持人不但會來回走動，且鏡頭的推拉搖移較多，變化較大。這就要求藍(lán)箱要相對較大，給出足夠的鏡頭活動空間。3.3.3鍵控技術(shù)的設(shè)計我們知道傳統(tǒng)視頻領(lǐng)域中的鍵控技術(shù)的本質(zhì)就是應(yīng)用視頻開關(guān)控制圖象的"摳"和"填"。"摳"就是利用前景物體輪廓作為遮擋控制電平將背景畫面的顏色沿該輪廓線摳掉，使背景變成黑色。"填"就是將所要疊加的視頻信號填到被摳掉的無圖象區(qū)域，而最終生成前景物體與

38、疊加背景合成的圖象。在這個處理過程中，依賴于前景物體所產(chǎn)生的遮擋輪廓信號，作為外鍵信號輸入，背景圖象中輸出像素的鍵值為0%而前景物體輸出像素的鍵值為100%這種傳統(tǒng)處理方式存在的缺陷是對于前景物體的軟邊，比如頭發(fā)絲，會產(chǎn)生蘭色鑲邊，就是我們通常說的“蘭溢出"(bluespill)。由于人體膚色的原因，傳統(tǒng)的鍵控處理中背景畫面的顏色一般選擇高飽和度的蘭色和綠色，所需的門控開關(guān)信號稱為鍵控信號或鍵信號，鍵信號由作為鍵源的視頻信號通過鍵處理器產(chǎn)生。一個鍵開關(guān)信號在有鍵信號(鍵值為100%的時候背景圖像通不過，讓前景圖像通過，沒有鍵信號(鍵值為0%的時候讓背景圖像通過，而前景圖像通不過，根據(jù)

39、不同的前景圖象視頻所獲得的，并因此控制視頻切換開關(guān)的鍵信號的頻率，大約在幾十Hz-幾MHz如此一個模擬色鍵處理的結(jié)果即是我們通常所說的"扣像"。傳統(tǒng)鍵信號波形是前后沿很陡的矩形脈沖信號，在合成輸出圖像時前景物體與背景畫面的分界處有鋸齒、抖動和突變現(xiàn)象，使人感到生硬和不自然，還存在分界處彩色閃爍和有幕布色鑲邊等現(xiàn)象。另外，對于自然景物中的半透明物體作為合成圖像前景圖像時，其后面的背景圖像應(yīng)該是部分地透明，但是在傳統(tǒng)色鍵處理時，任何瞬間其鍵信號所控制的視頻切換開關(guān)不是接通就是斷開，鍵信號只有兩種取值，不是高電平就是低電平，因此傳統(tǒng)色鍵合成圖像中前景圖像不是全透過就是全不透過其后

40、的背景圖像，這與我們?nèi)粘Ｒ姷降淖匀痪坝^是不同的，效果十分生硬與缺乏真實感的，我們稱之為硬色鍵。在硬色鍵中，鍵信號為高電平時視頻開關(guān)接通，前景圖像全透過其后的背景圖像，鍵信號為低電平時視頻開關(guān)切斷，前景圖像全不透過其后的背景圖像。在早期的視頻領(lǐng)域要想很好的解決"蘭溢出”的發(fā)生，很好的保留前景圖象的細(xì)節(jié)，或者是針對半透明前景物體作鍵處理，是一件很難做到的事情。但是在數(shù)字視頻領(lǐng)域里，由于引入多種數(shù)字色鍵處理方式，使得我們基本上走出了此類困惑。(1)深度鍵(depth-key)深度鍵不是鍵技術(shù)，它根本是解決主持人與三維虛擬場景的前后遮擋關(guān)系，以確定鍵或非鍵。深度鍵的概念是由三維實時虛擬演播室

41、技術(shù)引入的，與傳統(tǒng)的鍵控技術(shù)不同，目前市場出現(xiàn)的三維實時虛擬演播室產(chǎn)品中，合成圖象的真實性主要表現(xiàn)在可以產(chǎn)生一個縱深方向的信息(即Z軸方向的參數(shù)值，稱為Z值)，它不象二維處理時所用的層技術(shù)，是一種基于三維畫面的混合技術(shù)，稱為深度鍵。虛擬演播室的出現(xiàn)，對傳統(tǒng)色鍵技術(shù)提出了更高的要求，為了使同一節(jié)目中的主持人、實物道具和虛擬背景之間可以相互動態(tài)遮擋，實現(xiàn)主持人在虛擬或?qū)嶋H物體后方或前方行走，要求色鍵具有縱深方向的信息，即虛擬攝象機到每個像素的距離。使用傳統(tǒng)的色鍵技術(shù)，將主持人從蘭色幕布中提取出來的同時產(chǎn)生一個前景遮擋信號即鍵信號，然后通過深度鍵發(fā)生器求出色鍵的深度值。深度鍵發(fā)生器有兩種：一種是將物

42、體分成有限數(shù)目的分層級；另一種是將像素分成等級的像素級。在分層級深度鍵中，物體被分別歸類到數(shù)目有限的幾個深度層中，因此演員在虛擬場景中的位置無法連續(xù)變化。而在像素級深度鍵中，構(gòu)成虛擬場景中的每一個像素都有相應(yīng)的Z軸深度值。因此演員在虛擬場景中的位置可以連續(xù)變化。目前，獲得深度鍵的方法大致有兩種：一種靠近似判斷的方法得出。它是用近似的方法判斷出前景主持人和攝象機的相對距離，并且用這個值作為整個前景的深度值。如果主持人移動，那么這個值也將改變。通過對合成畫面上每個像素Z值的計算和實際內(nèi)容的需要用手控方式?jīng)Q定前景主持人和虛擬背景的相對關(guān)系，這種方法實現(xiàn)起來比較容易，缺陷是逼真度差，而且對主持人的要求

43、較高。另一種獲得Z值的方法是采用"自動主持人跟蹤系統(tǒng)"。它主要是由一個固定在主持人身上的紅外發(fā)射器和一套安裝在演播室墻上的紅外接收裝置完成。它可以準(zhǔn)確定位出主持人的三維位置，自動識別主持人和虛擬背景的相對位置關(guān)系。(2)數(shù)字色鍵數(shù)字色鍵與模擬色鍵的最大不同在于它可以在數(shù)字領(lǐng)域的1千6百萬種顏色中任選一種，這1千6百萬種顏色得自計算機的32位機器字長，其中有8位專門用于表示每一種顏色的256種明暗(灰度)變化(即下文提到的ALPHA®),另外的24位可以表示224種(約為1千6百萬種)顏色。當(dāng)然這是由計算機的處理能力得出的，并不代表自然界真實存在的顏色，有很大一部分

44、為非法色。模擬色鍵在做扣像時，可以不分級的連續(xù)選擇無數(shù)色作為鍵出色，通常選擇高飽和度的蘭或綠色。高質(zhì)量的數(shù)字色鍵針對畫面的三個分量(Y,B-Y,R-Y)的每一路進(jìn)行處理，并分別產(chǎn)生一個線性鍵。這種將一個色鍵分為三個鍵來處理的方法，可以允許保留更多的圖象細(xì)節(jié)。由于色鍵處理是針對背景畫面的某一種顏色分量進(jìn)行鍵出覆蓋，因此鍵源信號的質(zhì)量高低決定了鍵信號的質(zhì)量。為了對色度信號做盡可能細(xì)的區(qū)分，帶寬的保證是必不可少的。眾所周知，模擬或數(shù)字分量的NTSC®PAL制全電視信號的帶寬為6MHz而在ITU-601數(shù)字分量演播室標(biāo)準(zhǔn)內(nèi)，采用對Y,(R-Y),(B-Y)3個信號分量分別編碼的方式，取樣頻率

45、為13.5MHz取樣2構(gòu)為4:2:2,假如以10bit作為量化比特數(shù)，其編碼后的總碼率R=10*(13.5+6.75+6.75)=270Mbit/s。通常，信道帶寬至少是數(shù)碼率的0.5至1倍，數(shù)字化后的信號帶寬就達(dá)到了(67.5-135)MHz(只有Y時)或(135-270)MHz即使經(jīng)過數(shù)據(jù)壓縮之后，其帶寬仍遠(yuǎn)遠(yuǎn)高于模擬或數(shù)字分量信號。因此，ITU-601數(shù)字分量演播室標(biāo)準(zhǔn)就為色度提供了更大可用的帶寬。使得數(shù)字色鍵產(chǎn)品可以得到比模擬色鍵產(chǎn)品好得多的質(zhì)量。但是數(shù)字色鍵也有它自身不可克服的缺陷，那就是由于數(shù)字圖象的壓縮，哪怕是極輕微的壓縮，都有可能導(dǎo)致鍵錯誤的發(fā)生。尤其是在DCT塊處理的邊界處。

46、在新的數(shù)字電視標(biāo)準(zhǔn)中，已經(jīng)將鍵信號規(guī)定為彩色圖象除了Y,（R-Y）,（B-Y）的第四個分量，具采樣結(jié)構(gòu)為4:2:2:4或4:4:4:4（此時為R,G,B處理）,采樣頻率為13.5MHz（3）柔化鍵（Soft-key）在數(shù)字鍵控技術(shù)領(lǐng)域，提到柔化鍵，一般包括兩層含義。一種是針對傳統(tǒng)開關(guān)切換的硬色鍵而言的軟色鍵，其鍵信號波形是與前景圖像透明度相關(guān)的斜坡形（梯形）信號，鍵信號在上升和下降期間有一定的斜率，能夠在很大程度上克服硬色鍵非0即1的缺點，軟色鍵中將用于硬色鍵的脈沖門控混合電路改成了線性混合電路。還有一層含義是指在一些數(shù)字色鍵處理過程中，為了得到精細(xì)逼真的畫面效果，而將處理模塊細(xì)化，比如Pri

47、matte色鍵處理軟件，在處理蘭屏前的物體與背景疊加時，將處理過程細(xì)分為背景彩色分量處理、柔化鍵彩色分量處理（針對前景物體的透明或半透明部分進(jìn)行）、蘭色溢出彩色分量處理與前景彩色分量處理。四個過程分別進(jìn)行，然后再合成。此時的柔化鍵，已經(jīng)是特指對前景物體的透明度所進(jìn)行的軟件運算了。（4）線性鍵（linear-key）線性鍵是在柔化鍵中軟色鍵技術(shù)的基礎(chǔ)上發(fā)展而來的，它借用了計算機圖象處理軟件中的ALPHAS道分層技術(shù)的精髓，通過對鍵信號的分級來均勻地混合前景與背景。采用線性鍵技術(shù)合成的圖像，可以根據(jù)前景圖像的透明度線性成比例地透過背景圖像，因此也被稱為ALPHA®。線性鍵是具有半透明混合效果的鍵控特技，其鍵信號決定合成圖像中前景圖像（填充信號）后背景圖像以什么樣的透明度可見，即鍵信號根據(jù)前景圖像的透明度而線性地成比例地決定前景信號與背景信號的合成比例或混合程度。線性鍵的數(shù)學(xué)模型可用下式表示：VOUT=VF*K+VB*（1-K）其中VOU叨前景（填充）信號和背景信號合成后的輸出信號，VF為前景信號，VB背景信號，K為鍵信號，K值取值范圍為大于等于0而小于等于1,從該式可知，當(dāng)