7章基于圖像的VR技術(shù)84

基于圖像的VR技術(shù)VR的兩兩種研究究方法簡(jiǎn)簡(jiǎn)介VR的兩兩種研究究方法：：方法一：：基于幾幾何的繪繪制該方法有有時(shí)也被被稱為基基于模型型的方法法傳統(tǒng)上，，一個(gè)虛虛擬環(huán)境境是由各各類3D幾何體體合成的的。在虛虛擬環(huán)境境中漫游游是通過過實(shí)時(shí)繪繪制2D幾何體體實(shí)現(xiàn)的的。首先對(duì)場(chǎng)場(chǎng)景建立立三維幾幾何模型型，對(duì)場(chǎng)場(chǎng)景中各各個(gè)物體體的材料料、光照照、紋理理、消隱隱等因素素進(jìn)行描描述；然后根據(jù)據(jù)觀察者者位置和和觀察角角度生成成場(chǎng)景中中各個(gè)物物體的圖圖象，用用圖形學(xué)學(xué)方法進(jìn)進(jìn)行繪制制；最后用光光線跟蹤蹤或紋理理映射的的方法增增加真實(shí)實(shí)感，同同時(shí)對(duì)物物體進(jìn)行行著色、、上光、、粘貼材材質(zhì)、判判斷遮擋擋、填充充空洞等等處理。?；趲缀魏卫L制的的方法此方法有有3個(gè)主主要問題題：第一，幾幾何體的的建模是是一個(gè)非非常繁瑣瑣的問題題。其次，由由于漫游游需要實(shí)實(shí)時(shí)顯示示，因此此限制了了場(chǎng)景的的復(fù)雜性性和繪制制的質(zhì)量量。最后，加加速繪制制所需要要的專門門硬件極極其昂貴貴，因此此限制了了虛擬現(xiàn)現(xiàn)實(shí)的發(fā)發(fā)展?；趲缀魏蔚睦L制制方法的的工作流流程基于圖像像繪制技技術(shù)VR的兩兩種研究究方法：：方法二：：基于圖圖像的建建模和繪繪制(ImageBasedModelingandRendering，簡(jiǎn)稱稱IBMR，簡(jiǎn)簡(jiǎn)寫為IBR))從已知的的圖像中中合成新新視圖來來構(gòu)成虛虛擬環(huán)境境，IBMR方法有有以下優(yōu)優(yōu)點(diǎn)：建模容易易：把不同視視線方向向、不同同位置拍拍攝的照照片數(shù)據(jù)據(jù)按某種種形式組組織起來來表示場(chǎng)場(chǎng)景，如如全景圖圖像和光光場(chǎng)，這這就是IBMR意義下下的所謂謂建模。。繪制快：：不需要復(fù)復(fù)雜的計(jì)計(jì)算，直直接從已已有的視視圖中合合成新的的視圖，，整個(gè)繪繪制過程程都在二二維空間間進(jìn)行，，繪制時(shí)時(shí)間不依依賴于場(chǎng)場(chǎng)景的復(fù)復(fù)雜度，，只跟顯顯示分辨辨率有關(guān)關(guān)。

真實(shí)感強(qiáng)強(qiáng)：基于圖像像的方法法能真實(shí)實(shí)地反映映景物的的形狀和和豐富的的明暗、、材料及及紋理細(xì)細(xì)節(jié)，不不需要經(jīng)經(jīng)過額外外的光照照模擬。。交互性好好：由于有繪繪制速度度和真實(shí)實(shí)感的保保證，再再加之先先進(jìn)的交交互設(shè)備備和反饋饋技術(shù)，，使得基基于圖像像的VR有更好好的交互互性。當(dāng)然，IBR方方法也并并非沒有有不足，，目前還還有如下下缺點(diǎn)：：1)表示示模式。。即數(shù)據(jù)的的組織問問題。需需要找到到一種簡(jiǎn)簡(jiǎn)便有效效且適合合于計(jì)算算機(jī)表示示的模式式，使之之能精確確完整地地表示整整個(gè)場(chǎng)景景;2)獲取取方法。。用手持相相機(jī)或者者用被精精確定位位與控制制的數(shù)控控?cái)z像機(jī)機(jī)、圖象象采樣的的數(shù)量多多少、采采樣模式式及樣本本均勻性性等都會(huì)會(huì)影響問問題的難難度和精精度。3)失真真問題失真是由由于連續(xù)續(xù)圖象信信號(hào)的離離散化、、采樣設(shè)設(shè)備的精精度和質(zhì)質(zhì)量、設(shè)設(shè)備噪等等多種因因素而產(chǎn)產(chǎn)生的。。同時(shí)，，工BR方法不不可避免免地要對(duì)對(duì)場(chǎng)景圖圖象進(jìn)行行多重采采樣，這這樣又會(huì)會(huì)產(chǎn)生采采樣積累累誤差。。4)可見見性判斷斷。景物間的的相互遮遮擋會(huì)使使新合成成的視圖圖中出現(xiàn)現(xiàn)空洞和和重疊。。5)信息息壓縮。。IBR方法的的計(jì)算量量不大，，但數(shù)據(jù)據(jù)量很大大，合理理有效的的壓縮及及解壓縮縮機(jī)制是是一個(gè)亞亞待解決決的問題題。6)完全全漫游。。如何實(shí)現(xiàn)現(xiàn)基于圖圖象的完完全實(shí)時(shí)時(shí)漫游是是基于IBR方方法的虛虛擬現(xiàn)實(shí)實(shí)系統(tǒng)能能否走向向?qū)嵱玫牡挠忠粋€(gè)個(gè)關(guān)鍵問問題。基于圖像像的建模模和繪制制技術(shù)基于立體體視覺的的方法基于視圖圖插值的的方法基于圖像像拼合和和分層的的方法基于全視視函數(shù)的的方法基于立體體視覺的的方法基于立體體視覺的的視圖合合成方法法主要利利用立體體視覺技技術(shù)從已已知的參參考圖像像中合成成相對(duì)于于新視點(diǎn)點(diǎn)的理想想圖像關(guān)鍵問題題是找出出每對(duì)已已知圖像像之間的的對(duì)應(yīng)映映射，即即解決立立體匹配配問題通過對(duì)應(yīng)應(yīng)關(guān)系建建立了一一個(gè)基于于圖像的的場(chǎng)景表表示將場(chǎng)景視視圖及其其對(duì)應(yīng)關(guān)關(guān)系組成成一個(gè)圖圖結(jié)構(gòu)，，圖中灰灰色攝像像機(jī)代表表不同物物理位置置的參考考圖像，，黑色攝攝像機(jī)代代表合成成視圖，，雙向邊邊表示鄰鄰接視圖圖間的立立體對(duì)應(yīng)應(yīng)關(guān)系，，單向邊邊表示對(duì)對(duì)參考圖圖像所做做的變換換?；趫D像像的建模模和繪制制技術(shù)1基于于立體視視覺的方方法基于立體體視覺的的圖像合合成方法法主要有有以下優(yōu)優(yōu)點(diǎn)：新視圖可可以由兩兩幅鄰近近的參考考圖像及及它們的的對(duì)應(yīng)關(guān)關(guān)系合成成，整體體的幾何何模型不不是必需需的；圖像變換換比傳統(tǒng)統(tǒng)的圖像像繪制快快得多，，而且計(jì)計(jì)算時(shí)間間獨(dú)立于于場(chǎng)景復(fù)復(fù)雜度；；只需知道道鄰接攝攝像機(jī)之之間的相相對(duì)輪廓廓信息，，而不需需要對(duì)攝攝像機(jī)進(jìn)進(jìn)行精確確的定標(biāo)標(biāo)?；诹Ⅲw體視覺的的圖像合合成方法法也存在著著立體視視覺中固固有的缺缺陷：由于場(chǎng)景景有可能能部分和和全部地地被遮擋擋，只能能掌握?qǐng)鰣?chǎng)景有限限的信息息，導(dǎo)致致在參考考圖中不不可見而而在新圖圖中應(yīng)該該可見的的區(qū)域出出現(xiàn)空洞洞，如何何填補(bǔ)這這些空洞洞是一個(gè)個(gè)難以解解決的問問題；由于只產(chǎn)產(chǎn)生有限限的深度度分辨率率(深度度不連續(xù)續(xù))，使使得匹配配處理出出現(xiàn)誤差差。視圖插值值方法可可以對(duì)二二維的圖圖像按照照形狀插插值來模模擬和近近似三維維的圖形形變換。。給定兩兩幅不同同視點(diǎn)參參數(shù)的圖圖像，用用這種方方法可以以求出中中間視點(diǎn)點(diǎn)的圖像像，從而而達(dá)到視視點(diǎn)變化化的效果果。視圖插值值就是利利用圖像像變形的的方法產(chǎn)產(chǎn)生視點(diǎn)點(diǎn)沿著一一定路徑徑變化時(shí)時(shí)的中間間圖像基于圖像像的建模模和繪制制技術(shù)2基于于視圖插插值的方方法將同一場(chǎng)場(chǎng)景的多多張有重重疊的圖圖像組合合成一幅幅較大圖圖像的處處理叫做做拼合((mosaic)。圖像拼合合技術(shù)典典型地被被用于全全景圖的的生成、、改善圖圖像分辨辨率、圖圖像壓縮縮及視頻頻擴(kuò)展等等方面圖像整合合(imageregistration),,即是是把參考考圖像中中相互重重疊的部部分對(duì)齊齊所做的的變換。?；趫D像像的建模模和繪制制技術(shù)3圖像像拼合和和分層的的方法全視函數(shù)數(shù)(PlenOpticFunction)是是由Adelson和和Bergen命名的的全視函數(shù)數(shù)描述了了觀察點(diǎn)點(diǎn)(而非非物體或或光源))接收到到的所有有可見光光輻射的的能量。。用計(jì)算算機(jī)圖形形學(xué)術(shù)語語，它描描述了給給定場(chǎng)景景中所有有可能的的環(huán)境映映照集合合全視函數(shù)數(shù)定義在在一個(gè)七七維的參參數(shù)空間間上代表空間間中視點(diǎn)點(diǎn)的位置置，視域域方向和和范圍用用仰角方位角定義，λ代表人人眼感受受到的波波長(zhǎng),t代表時(shí)時(shí)間基于圖像像的建模模和繪制制技術(shù)4基于于全視函函數(shù)的方方法

全視函數(shù)數(shù)的參數(shù)數(shù)化攝像機(jī)：：模型及及定標(biāo)攝像機(jī)模模型針孔成像像模型（（幾何））幾種參考考坐標(biāo)系系成像過程程（代數(shù)數(shù)）攝像機(jī)定定標(biāo)線性模型型攝像機(jī)機(jī)定標(biāo)非線性模模型攝像像機(jī)定標(biāo)標(biāo)立體視覺覺攝像機(jī)機(jī)定標(biāo)一、Camera模模型：針孔成像像模型圖像上每每一點(diǎn)的的亮度反反映了空空間物體體表面某某點(diǎn)反射射光的強(qiáng)強(qiáng)度，而而該點(diǎn)在在圖像上上的位置置則與空空間物體體表面相相應(yīng)點(diǎn)的的幾何位位置有關(guān)關(guān)。這些些位置的的相互關(guān)關(guān)系，由由攝像機(jī)機(jī)成像幾幾何模型型所決定定；該幾何模模型的參參數(shù)稱為為攝像機(jī)機(jī)參數(shù)，，必須由由實(shí)驗(yàn)與與計(jì)算來來確定，，實(shí)驗(yàn)與與計(jì)算過過程稱為為攝像機(jī)機(jī)定標(biāo)；；攝像機(jī)模模型是光光學(xué)成像像幾何關(guān)關(guān)系的簡(jiǎn)簡(jiǎn)化。最最簡(jiǎn)單的的模型為為線性模模型，亦亦稱為針針孔模型型(pin--holemodel)攝像機(jī)針針孔模型型示意圖圖Camera模模型：四種參考考坐標(biāo)系系Image坐標(biāo)系camera坐標(biāo)系world坐標(biāo)系（物理/計(jì)算機(jī)））Camera模模型：代數(shù)模型型成像過程程旋轉(zhuǎn)、平移（歐氏變換）(1)從從world坐坐標(biāo)到Camera坐坐標(biāo)齊次坐標(biāo)標(biāo)概念：：Camera模模型：代數(shù)模型型(2)經(jīng)經(jīng)透視投投影將Camera坐坐標(biāo)投影影到實(shí)際際圖像平平面透視投影影（中心射射影）：：Camera模模型：代數(shù)模型型(3)將將實(shí)際圖圖像坐標(biāo)標(biāo)轉(zhuǎn)換成成計(jì)算機(jī)機(jī)圖像坐坐標(biāo)(縮縮放變換換)Image坐標(biāo)系代數(shù)表達(dá)達(dá)：為計(jì)算機(jī)圖像坐標(biāo)（象素單位）為實(shí)際圖像坐標(biāo)（物理單位）Camera模模型：代數(shù)模型型完整過程程攝像機(jī)定標(biāo)：求解二、Camera定標(biāo)標(biāo)目標(biāo)基本原理理定標(biāo)參照照物線性模型型非線性模模型立體視覺覺自定標(biāo)((project))實(shí)例機(jī)器人手手眼定標(biāo)標(biāo)主動(dòng)視覺覺的頭眼眼定標(biāo)Camera定定標(biāo)：線性模型型情形Camera的完整代代數(shù)模型型：其中：:

為3X4矩陣，稱為投影矩陣;:由（（只只與攝像像機(jī)內(nèi)部部結(jié)構(gòu)有有關(guān)）決決定，稱稱為攝像機(jī)內(nèi)內(nèi)部參數(shù)數(shù);:由攝像機(jī)機(jī)相對(duì)于于世界坐坐標(biāo)系的的方位決決定，稱稱為攝像機(jī)外外部參數(shù)數(shù);Camera定標(biāo)：確定某某攝像機(jī)機(jī)的條件：借借助定標(biāo)標(biāo)參照物物（已知知n個(gè)點(diǎn)）攝像機(jī)定定標(biāo)算法法（線性模型型情形）最小二乘乘法Camera定定標(biāo)：非線性模模型情形形徑向畸變變離心畸變變薄棱鏡畸畸變?nèi)鐝V角鏡鏡頭系統(tǒng)統(tǒng)Camera定定標(biāo)：立體視覺覺情形極線概念Camera定定標(biāo)：立體視覺覺情形消去消去Camera定定標(biāo)：立體視覺覺情形：基本矩陣外極線方程：Camera定定標(biāo)自定標(biāo)不使用定定標(biāo)參照照物針孔攝像像機(jī)模型型及坐標(biāo)標(biāo)系全景圖像像的生成成圖像拼合合主要包包含兩個(gè)個(gè)問題：：一是圖像像整合，，即把參參考圖像像中相互互重疊的的部分對(duì)對(duì)齊所做做的變換換；二是圖像像縫合，，即把圖圖像經(jīng)過過一定的的變換后后，在縫縫合空間間進(jìn)行圖圖像的局局部匹配配。通過圖象象拼接來來生成全全景圖象象的基本本過程如如下:針對(duì)某一一場(chǎng)景，，視點(diǎn)固固定，采采集一組組有重疊疊區(qū)域的的連續(xù)環(huán)環(huán)視圖象象作為原原始圖象象數(shù)據(jù)。。按照全景景視覺一一致性的的要求，，同時(shí)也也是為了了維持實(shí)實(shí)際場(chǎng)景景中的空空間約束束關(guān)系，，先將原原始圖象象數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)化為拼拼接圖象象數(shù)據(jù)，，即:把把原始圖圖象轉(zhuǎn)換換到用于于映射全全景圖象象的曲面面上(如如:圓柱柱面、球球面、立立方體表表面等))。通過圖象象拼接技技術(shù)，將將這組圖圖象中相相鄰兩幅幅圖象間間的重疊疊部分整整合在一一起，進(jìn)進(jìn)而實(shí)現(xiàn)現(xiàn)相鄰兩兩幅圖象象的拼接接。當(dāng)所所有的圖圖象都拼拼接完畢畢后，就就會(huì)獲得得一幅全全景圖象象。當(dāng)然也可可以不固固定視點(diǎn)點(diǎn)，如::手持照照相機(jī)進(jìn)進(jìn)行拍攝攝，但此此時(shí)要通通過某種種辦法計(jì)計(jì)算出拍拍攝各張張相片時(shí)時(shí)，照相相機(jī)的位位置和方方位柱面全景景模型柱面全景景模型((圖a))就是將將環(huán)境圖圖像表達(dá)達(dá)在一個(gè)個(gè)圓柱體體面上，，這樣就就很容易易將它展展開為簡(jiǎn)簡(jiǎn)單的平平面圖((圖b))。在水水平方向向上其無無表面無無邊界，，從而簡(jiǎn)簡(jiǎn)化了建建立圖像像流場(chǎng)所所需的對(duì)對(duì)應(yīng)關(guān)系系搜索。。通過旋轉(zhuǎn)轉(zhuǎn)攝影的的方法，，可以獲獲得一系系列相互互間有一一定接縫縫的局部部圖像，，以此作作為全景景圖像生生成的原原始輸入入。柱面體模模型和展展開示意意圖1、柱面面正投影影算法在拼接全全景圖像像之前必必須將他他們統(tǒng)一一投影到到柱面上上，使現(xiàn)現(xiàn)實(shí)世界界中相同同的景物物在不同同的局部部圖像中中是相同同的。柱面正投投影算法法是為了了將多張張實(shí)景圖圖像分別別投影到到一個(gè)柱柱面上，，以柱面面全景圖圖像的形形式存儲(chǔ)儲(chǔ),就是是對(duì)于一一張拍攝攝的實(shí)景景圖像I上的每每一個(gè)象象素點(diǎn)P的坐標(biāo)標(biāo)(x,,y))，找到到其在圓圓柱體上上的投影影點(diǎn)Q((u,,v,,w))在柱面面全景圖圖像中的的坐標(biāo)((x’，，y’))。如下下圖2--9所示示。P在照相相機(jī)坐標(biāo)標(biāo)系下的的坐標(biāo)為為:(x-W//2,y-H//2,--f)，，其中，，W和H分別是是實(shí)景圖圖像I的的寬度和和高度。。把圓柱柱面的中中心設(shè)為為照相機(jī)機(jī)坐標(biāo)系系的原點(diǎn)點(diǎn)0，以以數(shù)碼相相機(jī)的象象素焦距距f作為為圓柱面面的半徑徑。柱面正投投影示意意圖柱面坐標(biāo)標(biāo)轉(zhuǎn)換圖圖照相機(jī)坐坐標(biāo)系原原點(diǎn)0與與象素點(diǎn)點(diǎn)P的直直線方程程可以表表示為參參數(shù)方程程(t是是參數(shù))):圓柱面的的方程可可以表示示為:聯(lián)立上面面式即可可得到P點(diǎn)在圓圓柱面上上投影點(diǎn)點(diǎn)Q的參參數(shù)坐標(biāo)標(biāo):為了便于于存儲(chǔ)，，將此三三維的坐坐標(biāo)轉(zhuǎn)換換為二維維的圖像像坐標(biāo)::1、柱面面全景圖圖像的拼拼接圖像的整整合一般圖像像整合問問題可以以形式化化定義為為其中I1和I2分別代表表兩個(gè)圖圖像樣本本，M是是一個(gè)平平面投影影變換或或攝像機(jī)機(jī)定點(diǎn)旋旋轉(zhuǎn)拍攝攝時(shí)兩幅幅重疊圖圖像間的的變換矩矩陣，用用齊次坐坐標(biāo)表示示如下::

因?yàn)閮蓚€(gè)個(gè)圖像具具有共同同的視點(diǎn)點(diǎn)，所以以m9=1，即即假如M能能得到，，我們就就可準(zhǔn)確確地將兩兩幅圖像像拼合。。（1）特特征點(diǎn)的的提取及及相關(guān)匹匹配算法法特征點(diǎn)的的提取及及匹配算算法的目目的是提提取圖像像的特征征點(diǎn)，然然后對(duì)兩兩幅圖像像中的特特征點(diǎn)進(jìn)進(jìn)行盡可可能準(zhǔn)確確的匹配配。主要包含含以下三三步：首先提取取每幅圖圖像的特特征點(diǎn)；；然后通過過一定的的相關(guān)準(zhǔn)準(zhǔn)則對(duì)兩兩幅圖像像的特征征點(diǎn)集進(jìn)進(jìn)行初步步匹配；；最后通過過全局優(yōu)優(yōu)化策略略在初始始匹配集集中尋找找最佳匹匹配(a)角角點(diǎn)檢測(cè)測(cè)(CornerDetection))選取的特特征點(diǎn)為為圖像上上的Harris角點(diǎn)點(diǎn)，它的的基本原原理描述述如下，，建立下下面的矩矩陣C其中I((x,y)是是亮度值值，這里里用灰度度來表示示如果在一一點(diǎn)上矩矩陣C的的兩個(gè)特特征值很很大，則則在該點(diǎn)點(diǎn)向任意意方向上上的一個(gè)個(gè)很小的的移動(dòng)都都會(huì)引起起灰度值值的較大大的變化化角點(diǎn)檢測(cè)測(cè)的函數(shù)數(shù)如下：：其中k參參數(shù)設(shè)為為0.04(Harris設(shè)設(shè)定的最最優(yōu)參數(shù)數(shù))。局局部區(qū)域域中對(duì)應(yīng)應(yīng)角點(diǎn)函函數(shù)的最最大值的的點(diǎn)就是是角點(diǎn)。。確定一個(gè)個(gè)閾值，，僅僅選選取R值值大于這這個(gè)閾值值的點(diǎn)作作為角點(diǎn)點(diǎn)。這個(gè)個(gè)閾值根根據(jù)需要要的角點(diǎn)點(diǎn)數(shù)量確確定（2）相相關(guān)匹配配法匹配過程程如下：：在一幅幅圖像中中選擇一一個(gè)角點(diǎn)點(diǎn)以及角角點(diǎn)周圍圍小區(qū)域域的像素素，把這這些像素素同第二二幅圖像像中候選選角點(diǎn)及及周圍相相同大小小的區(qū)域域像素進(jìn)進(jìn)行比較較，得到到一些相相似度量量值，最最后通過過這些度度量值確確定匹配配點(diǎn)。角點(diǎn)的匹匹配過程程是一個(gè)個(gè)病態(tài)問問題。一一些角點(diǎn)點(diǎn)不能得得到匹配配點(diǎn)，這這是因?yàn)闉榈谝?，待待匹配的的角點(diǎn)有有一些非非常相似似，可能能得到錯(cuò)錯(cuò)誤的匹匹配點(diǎn)。。第二，兩兩幅圖像像中求出出的角點(diǎn)點(diǎn)并不是是一一對(duì)對(duì)應(yīng)的，，存在一一些角點(diǎn)點(diǎn)在另一一幅圖像像中的匹匹配點(diǎn)沒沒有檢測(cè)測(cè)出來。。相關(guān)匹配配法對(duì)于圖像像I1中中的角點(diǎn)點(diǎn)m1，設(shè)其其坐標(biāo)為為(x1,y1)，并并以該點(diǎn)點(diǎn)為中心心定義一一個(gè)大小小為(2n+1)′′(2m+1)的的相關(guān)窗窗口。選擇第二二幅圖像像I2中中的矩形形搜索窗窗口為在在該點(diǎn)附附近大小小為(2dx+1)′′(2dy+1)的的窗口，，然后用用該區(qū)域域中的所所有角點(diǎn)點(diǎn)m2與圖像像I1中中的角點(diǎn)點(diǎn)m1在給定定的相關(guān)關(guān)窗口中中進(jìn)行相相關(guān)操作作，并設(shè)設(shè)m2的坐標(biāo)標(biāo)為(x2,y2)。角點(diǎn)m1和m2的相關(guān)關(guān)值Score定義如如下表示相關(guān)關(guān)窗口內(nèi)內(nèi)像素灰灰度均值值，定義義為，k=1,2.則表示圖圖像Ik在以點(diǎn)點(diǎn)(xk,yk)為為中心，，大小為為(2n+1)′((2m++1))的鄰域域內(nèi)的標(biāo)標(biāo)準(zhǔn)偏差差，其表表達(dá)式為為相關(guān)值Score(m1,m2)的的取值范范圍從--1到1，當(dāng)點(diǎn)點(diǎn)m1與與m2越越相似，，相關(guān)值值Score((m1,,m2))也就越越大（3）松松弛法通過對(duì)匹匹配點(diǎn)的的匹配強(qiáng)強(qiáng)度進(jìn)行行松弛法法迭代來來去除模模糊的匹匹配點(diǎn)對(duì)對(duì)。M矩陣的的魯棒求求解由于M只有8個(gè)個(gè)未知參參數(shù)，而而一對(duì)匹匹配點(diǎn)可可以構(gòu)成成兩個(gè)方方程，所所以如果果我們有有四對(duì)匹匹配點(diǎn)，，i=1，2，3，，4，便便可得到到下面的的方程組組用下式求求得變換換矩陣M后，可定定義如下下的誤差差函數(shù)來來衡量M的準(zhǔn)確程程度其中，n為匹配配點(diǎn)的數(shù)數(shù)目，ei為第第i對(duì)匹匹配點(diǎn)的的誤差，，定義如如下其中圖像的縫縫合在求得圖圖像序列列的變換換矩陣M后，要將將相鄰照照片依次次拼接形形成圓柱柱面全景景圖，需需要處理理以下三三個(gè)問題題：恢復(fù)攝像像機(jī)焦距距，將照照片序列列投影到到圓柱面面；查找變換換后圖像像的重疊疊區(qū)域；；對(duì)圖像的的色彩融融合。攝像機(jī)焦焦距的求求解Ii和Ii+1是相鄰鄰的兩幅幅照片，，圖Ii的中心心點(diǎn)Oi在Ii+1中中的對(duì)應(yīng)應(yīng)點(diǎn)是Pi+1。。根據(jù)Ii到Ii+1的變換換矩陣Mi，并由由此計(jì)算算Pi+1到到Oi+1的的距離ti。攝攝像機(jī)焦焦距f、攝像機(jī)機(jī)幀間轉(zhuǎn)轉(zhuǎn)角Hi與ti之間有有如下關(guān)關(guān)系：Hi=arctan(ti/f)。如果果圖片1,2,……,N是攝像機(jī)機(jī)環(huán)繞垂垂直軸旋旋軸360°攝攝取的如如圖所示示的依次次相鄰的的圖片序序列，那那么有如如下等式式成立,用牛頓迭迭代法解解方程((5-16)，，可得到到以象素素為單位位的攝像像機(jī)焦距距f的的值攝像機(jī)焦焦距的恢恢復(fù)示意意圖為簡(jiǎn)化計(jì)計(jì)算，設(shè)設(shè)攝像機(jī)機(jī)內(nèi)參數(shù)數(shù)矩陣為為對(duì)于純旋旋轉(zhuǎn)運(yùn)動(dòng)動(dòng)的情況況，變換換矩陣可可表示為為為旋轉(zhuǎn)矩矩陣。由由于R為為正交矩矩陣，因因此可由由下面的的式子可以求f

縫合點(diǎn)的的查找將圖像投投影到圓圓柱面上上后，得得到了具具有重疊疊相似區(qū)區(qū)域的兩兩幅圖像像對(duì)兩幅圖圖像分別別運(yùn)算相相似距離離，根據(jù)據(jù)相似距距離來尋尋找圖像像的相似似部分由于在上上面的算算法中已已經(jīng)得到到了匹配配的特征征點(diǎn)，所所以利用用重疊區(qū)區(qū)域的搜搜尋方法法。

圖像投影影變換后后的匹配配點(diǎn)對(duì)對(duì)于圖像像中的特特征點(diǎn)，，設(shè)其坐坐標(biāo)為((,)，，并以該該點(diǎn)為中中心定義義一個(gè)大大小為((2n+1)′′(2m+1)的的相關(guān)窗窗口。并并設(shè)的坐坐標(biāo)為((,)，，選擇第第二幅圖圖像中的的搜索窗窗口為以以該點(diǎn)為為中心大大小為((2s+1)′′(2t+1)的的窗口，，然后用用該區(qū)域域中的所所有點(diǎn)與與圖像中中的特征征點(diǎn)在給給定的相相關(guān)窗口口中進(jìn)行行相關(guān)操操作，并并設(shè)的坐坐標(biāo)為((,,))。點(diǎn)和和的相關(guān)關(guān)值Score的定義義上面所所述。在在實(shí)驗(yàn)中中，為使使縫合點(diǎn)點(diǎn)查找的的更準(zhǔn)確確，例如如使m==n=10，考考慮到，，分別為為m1和m2變換后后的對(duì)應(yīng)應(yīng)點(diǎn)，所所以確定定搜索窗窗口很小小，s==t=5，相關(guān)關(guān)值的閾閾值為0.95縫合點(diǎn)查查找的算算法描述述：Step1隨隨機(jī)選選擇一對(duì)對(duì)匹配點(diǎn)點(diǎn)m1、m2，投影影變換后后得到對(duì)對(duì)應(yīng)點(diǎn)和和。Step2在在投影影變換后后的圖像像和上進(jìn)進(jìn)行上面面所述的的相關(guān)匹匹配。Step3若若存在在滿足要要求的匹匹配，從從中選擇擇一個(gè)最最優(yōu)的匹匹配作為為結(jié)果，，算法結(jié)結(jié)束；否否則，轉(zhuǎn)轉(zhuǎn)到Step1。圖像的色色彩融合合由于相鄰鄰幀之間間亮度差差的存在在，如果果將圖像像簡(jiǎn)單疊疊加，拼拼接處會(huì)會(huì)產(chǎn)生明明顯的接接縫。為為了消除除拼接縫縫隙，在在兩幅圖圖的重疊疊區(qū)域，，將兩幀幀圖的像像素值按按一定的的權(quán)值合合成到新新圖圖像融合合加權(quán)函函數(shù)生成的全全景圖像像球面全景景圖生成成技術(shù)使用普通通數(shù)字相相機(jī)的球球面全景景圖生成成技術(shù)難難度雖然然較高，，但是應(yīng)應(yīng)用價(jià)值值也大。。這種方法法對(duì)硬件件的要求求低，只只需有一一臺(tái)數(shù)字字相機(jī)即即可，隨隨著數(shù)字字相機(jī)的的普及，，它能使使個(gè)人制制作自己己的球面面全景圖圖。用這種方方法構(gòu)造造的全景景圖有很很大的靈靈活性，，可以根根據(jù)需要要設(shè)置場(chǎng)場(chǎng)景的分分辨率，，可以滿滿足不同同的應(yīng)用用需求。。還可以用用于從拍拍攝的較較低分辨辨率的圖圖像構(gòu)造造高分辨辨率圖像像?；趫D像像繪制的的全景圖圖生成系系統(tǒng)可以以采用立方體、圓柱體和球體等模型來來實(shí)現(xiàn)。。采用球面面模型生生成的全全景圖，，相對(duì)于于立方體體模型而而言效果果真實(shí)，，相對(duì)于于圓柱體體模型而而言視角角范圍廣廣，但球球面全景景圖模型型較復(fù)雜雜，技術(shù)術(shù)尚欠成成熟。同時(shí)由于于球面模模型生成成全景圖圖在兩極極的變形形較大，，在實(shí)際際中應(yīng)用用受到限限制。球面模型型原始圖圖像的拍拍攝可以以用普通通相機(jī)也也可以外外掛魚眼眼鏡頭拍拍攝。對(duì)于用普普通相機(jī)機(jī)拍攝得得到的照照片圖像像，其全全景圖的的生成過過程一般般為:獲獲得系列列圖像一一計(jì)算相相機(jī)焦距距一投影影變換一一拼接生生成全景景圖一反反投影變變換實(shí)時(shí)時(shí)瀏覽。。用魚眼鏡鏡頭，我我們只需需要拍攝攝2-4張張圖片，就就可覆蓋蓋水平和和垂直方方向360度的的場(chǎng)景，，由于全全方位光光線投射射的方式式使得魚魚眼圖片片中的場(chǎng)場(chǎng)景呈現(xiàn)現(xiàn)扭曲現(xiàn)現(xiàn)象，因因而不能能直接使使用一般般的拼接接方式合合成全景景圖。因因此用魚魚眼圖像像的全景景圖生成成過程為為:獲得得魚眼圖圖片一魚魚眼圖片片校正一一拼接生生成全景景圖一反反投影變變換。相鄰照片片幾何關(guān)關(guān)系示意意圖為獲得球球體的半半徑，首首先應(yīng)對(duì)對(duì)相機(jī)的的焦距進(jìn)進(jìn)行估計(jì)計(jì)。對(duì)于于繞固定定視點(diǎn)旋旋轉(zhuǎn)360度拍拍攝到的的水平