3D相機(jī)圖像處理及顯示技術(shù)研究報(bào)告

1、- 3D相機(jī)圖像處理與顯示技術(shù)研究專業(yè)名稱： 指導(dǎo)教師：. z-摘要近年來(lái)，隨著三維顯示技術(shù)的進(jìn)步，特別是3D電視、3D游戲和3D電影等一系列產(chǎn)品的投入，電子市場(chǎng)已經(jīng)掀起了一場(chǎng)關(guān)于三維成像與顯示的熱潮。群眾娛樂(lè)生活已邁進(jìn)一個(gè)全新的紀(jì)元，人們已經(jīng)不再滿足于拍攝二維圖像的普通數(shù)碼相機(jī)，因而能實(shí)時(shí)拍攝和顯示三維圖像的3D相機(jī)、全景相機(jī)等受到了人們的大力追捧。 本論文研究3D相機(jī)圖像處理與顯示技術(shù)，主要涉及兩個(gè)方面：一是基于雙像合成的圖像匹配技術(shù)，二是基于柱透鏡的裸眼3D顯示技術(shù)。論文首先介紹了3D相機(jī)的工作原理、構(gòu)造和工作流程，并對(duì)幾個(gè)重要部件進(jìn)展了簡(jiǎn)要介紹。然后重點(diǎn)分析和研究了圖像匹配技術(shù)和自由立

2、體顯示技術(shù)，給出基于灰度變換的彩色圖像區(qū)域匹配技術(shù)，并做了詳細(xì)分析。對(duì)柱透鏡光柵立體顯示技術(shù)的單元光路光學(xué)參數(shù)和光柵參數(shù)做了詳細(xì)分析，并給出一套用于5.0英寸液晶顯示屏的柱鏡光柵構(gòu)造及參數(shù)。最后，討論了研究過(guò)程中可能出現(xiàn)的理論缺陷及相應(yīng)的解決方案。 關(guān)鍵詞：3D相機(jī) 圖像匹配技術(shù) 柱透鏡 裸眼3D. z-Abstract In recent years, with the progress of three-dimensional display technology, especially, the 3D TV, 3D games, 3D movies and a series of pro

3、ducts inputs, a new upsurge of three-dimensional imaging and display in the electronic market is ing. Mass entertainment has entered a new era. People satisfy with two-dimensional image of the ordinary digital camera no longer, which can real-time shooting and displaying three-dimensional images of

4、the 3D camera, panoramic camera are vigorously sought after by the people. Image processing and display technology of 3D camera are researched in the thesis. It mainly involves two aspects of the image matching technique based on the synthesis of double image, and based on the cylindrical lens glass

5、es-free 3D display technology. Firstly, the 3D camera operating principle, structure, workflow, and several important parts are introduced. Then, the image matching technology and stereoscopic display technology are researched, and the area matching technology of color image which based on gray-scal

6、e transformation is given, and analyzed in detail. The optical parameters of cylindrical lens unit are analyzed in detail, and the parameters of grating structure for a 5.0-inch LCD display are given. Finally, theoretical defects during the research process are discussed and the solutions are given.

7、Keywords: 3D camera, image matching technology, column lens, glasses-free 3D. z-目錄摘要IAbstractII目錄III前 言11 3D相機(jī)的構(gòu)造與工作流程71.1 3D相機(jī)的構(gòu)造原理71.1.1 圖像傳感器81.1.2 A/D轉(zhuǎn)換器91.1.3 數(shù)字信號(hào)處理器101.1.4 圖像數(shù)據(jù)壓縮器111.2 3D相機(jī)的工作流程112 圖像匹配處理技術(shù)142.1 基于區(qū)域灰度的彩色圖像匹配算法142.2 基于灰度變換的匹配152.2.1 灰度變換152.2.2 基于灰度變換的SAD匹配算法代價(jià)函數(shù)162.3 灰度變換的彩色

8、圖像匹配172.3.1 三基色原理172.3.2 基于灰度變換的彩色圖像匹配算法182.4 選擇匹配窗口192.5 約束條件193 3D顯示技術(shù)213.1 3D顯示技術(shù)簡(jiǎn)介213.2 基于柱鏡光柵的LCD顯示設(shè)備223.2.1柱鏡光柵的光學(xué)原理223.2.2單元光路與視點(diǎn)排列順序分析243.3 柱透鏡光柵的參數(shù)設(shè)計(jì)253.4 問(wèn)題與解決方案274 總結(jié)32致 34參考文獻(xiàn)35. z-前 言 隨著數(shù)碼時(shí)代的到來(lái)，照相技術(shù)的開(kāi)展極為迅速。數(shù)碼化帶動(dòng)了相機(jī)價(jià)格的逐步降低，也推動(dòng)了照相技術(shù)的開(kāi)展和照相機(jī)的普及。而隨著顯示技術(shù)的不斷成熟，以3D(英文：Three Dimension，中文：三維)電影為代

9、表所引發(fā)了一輪新的立體顯示熱潮。人們?cè)诟惺芰肆Ⅲw顯示所帶來(lái)的視覺(jué)沖擊后，已經(jīng)不再滿足于拍攝二維圖像的相機(jī)了。人們?cè)絹?lái)越渴求能實(shí)時(shí)拍攝并顯示三維圖像的相機(jī)。普通相機(jī)的開(kāi)展1 照相起源于針孔成像，早在公元前四百多年，我國(guó)的?墨經(jīng)?一書就詳細(xì)記載了光的直線前進(jìn)、光的反射，以及平面鏡、凹面鏡、凸面鏡的成像現(xiàn)象。到了宋代，在括所著的?夢(mèng)溪筆談?一書中，還詳細(xì)表達(dá)了“小孔成像匣的原理。在16世紀(jì)文藝復(fù)興時(shí)期，歐洲出現(xiàn)了供繪畫用的“成像暗箱。下面我們把相機(jī)的開(kāi)展按照時(shí)間劃分為以下四個(gè)階段：第一階段：從1839年至1924年為照相機(jī)開(kāi)展的第一階段。1839年8月19日法國(guó)畫家達(dá)蓋爾公布了他創(chuàng)造的達(dá)蓋爾銀版攝影

10、術(shù)，于是世界上誕生了第一臺(tái)可攜式木箱照相機(jī)。圖1 世界上第一臺(tái)135照相機(jī) 1841年光學(xué)家沃哥蘭德創(chuàng)造了第一臺(tái)全金屬機(jī)身的照相機(jī)。該相機(jī)安裝了世界上第一只由數(shù)學(xué)計(jì)算設(shè)計(jì)出的、最大孔徑為1:3.4的攝影鏡頭。1845年德國(guó)人·馬騰斯創(chuàng)造了世界上第一臺(tái)可搖攝150°的轉(zhuǎn)機(jī)。1849年戴維·布魯司特創(chuàng)造了立體照相機(jī)和雙鏡頭的立體觀片鏡。1861年物理學(xué)家馬克斯威創(chuàng)造了世界上第一彩色照片。1866年德國(guó)化學(xué)家肖特與光學(xué)家阿具在蔡司公司創(chuàng)造了鋇冕光學(xué)玻璃，產(chǎn)生了正光攝影鏡頭，使攝影鏡頭的設(shè)計(jì)制造得到迅速開(kāi)展。1888年美國(guó)柯達(dá)公司生產(chǎn)出了新型感光材料柔軟、可卷繞的“膠卷。

11、這是感光材料的一個(gè)飛躍。同年，柯達(dá)公司創(chuàng)造了世界上第一臺(tái)安裝膠卷的可攜式方箱照相機(jī)。1913年德國(guó)人奧斯卡·巴納克研制出了世界上第一臺(tái)135照相機(jī)圖1。 第二階段：從1925年至1938年為照相機(jī)開(kāi)展的第二階段。這段時(shí)間，德國(guó)的萊茲、羅萊、蔡司等公司研制生產(chǎn)出了小體積、鋁合金機(jī)身等雙鏡頭及單鏡頭反光相機(jī)。在此階段，照相機(jī)的性能逐步提高和完善，光學(xué)式取景器、測(cè)距器、自拍機(jī)等被廣泛采用，機(jī)械快門的調(diào)節(jié)圍不斷擴(kuò)大。照相機(jī)制造業(yè)開(kāi)場(chǎng)大批量生產(chǎn)照相機(jī)，各國(guó)照相機(jī)制造廠紛紛仿制萊卡型和羅萊弗萊型照相機(jī)。黑白感光膠片的感光度、分辨率和寬容度不斷提高；彩色感光片開(kāi)場(chǎng)推廣，從而使攝影隊(duì)伍迅速擴(kuò)大并走向

12、專業(yè)化。第三階段：從1939年到1981年為照相機(jī)開(kāi)展的第三階段。此階段的前半期即上世紀(jì)六十年代之前，黑白、彩色膠片的質(zhì)量有了進(jìn)一步的提高，光學(xué)工業(yè)制成了含有稀有元素的新型光學(xué)玻璃，如鑭、鈦、鎘等玻璃。從而更好地校正了攝影鏡頭的相差，使鏡頭向大孔徑和多種焦距的方向迅速開(kāi)展。因而，出現(xiàn)了變焦、微距、折反射式、廣角等多種攝影鏡頭。鏡頭單層鍍膜得到普遍推廣。照相機(jī)出現(xiàn)了計(jì)數(shù)器自動(dòng)復(fù)零、反光鏡自動(dòng)復(fù)位、半自動(dòng)和全自動(dòng)收縮光圈等構(gòu)造。照相機(jī)的質(zhì)量、產(chǎn)量開(kāi)場(chǎng)飛速開(kāi)展。圖2 佳能RC-701 從上世紀(jì)六十年代初至九十年代初為第三階段的后期。這期間，日本的小西六攝影公司生產(chǎn)出第一臺(tái)自動(dòng)調(diào)焦照相機(jī)柯尼卡C35A

13、型135照相機(jī)。接著日本又生產(chǎn)出世界上第一臺(tái)雙優(yōu)選式自動(dòng)曝光照相機(jī)美能達(dá)DG型135單鏡頭反光相機(jī)，開(kāi)創(chuàng)了一臺(tái)相機(jī)具有多種曝光功能的先例。這期間，光學(xué)傳遞函數(shù)理論進(jìn)入了光學(xué)設(shè)計(jì)領(lǐng)域，出現(xiàn)了成像質(zhì)量高，色彩復(fù)原好，大孔徑，低畸變的攝影鏡頭。同時(shí)，鏡頭向系列化開(kāi)展，由焦距幾毫米的魚眼鏡頭到焦距長(zhǎng)達(dá)2米的超攝遠(yuǎn)鏡頭，并有了透視調(diào)整、變焦微距、夜視等攝影鏡頭。電子技術(shù)逐漸深入到照相機(jī)部，多種測(cè)光、高精度的電子鏡間快門、電子焦平面快門以及易于控制的電子自拍機(jī)等紛紛出現(xiàn)。曝光補(bǔ)償、存儲(chǔ)記憶、多記錄功能、電子上弦卷片、自動(dòng)調(diào)焦等各種功能得到愈益精巧的應(yīng)用，高度自動(dòng)化、小型、輕便等方面到達(dá)了前所未有的高度。第

14、四階段：從1981年至今為照相機(jī)開(kāi)展的第四階段。1981年索尼公司創(chuàng)造了世界第一架不用感光膠片的電子靜物照相機(jī)靜態(tài)視頻馬維卡照相機(jī)。這是當(dāng)今數(shù)碼照相機(jī)的雛形。圖4 DSC-R1 1988年富士與東芝在德國(guó)科隆博覽會(huì)上，展出了共同開(kāi)發(fā)的，使用閃存卡的富士克斯數(shù)字靜物相機(jī)DS1P。在這前后，富士、東芝、奧林巴斯、柯尼卡、佳能等相繼發(fā)表了數(shù)字相機(jī)的試制品：如佳能RC-701(圖2)、卡西歐VS-101、富士DS-1P、東芝MC2000等。這些產(chǎn)品的推出大大刺激了群眾的好奇心，不需要感光膠片，相機(jī)同樣可以紀(jì)錄影像成為當(dāng)時(shí)最熱門的話題之一。 圖3富士M*-2700 1997年11月柯達(dá)公司發(fā)布了DC21

15、0數(shù)碼相機(jī)，這款數(shù)碼相機(jī)使用了109萬(wàn)的正方像素CCD圖像傳感器，而且還開(kāi)場(chǎng)在數(shù)碼相機(jī)上采用變焦鏡頭，使得數(shù)碼相機(jī)的開(kāi)展有了全新的突破。到了1999年，數(shù)碼相機(jī)再度在像素上有所突破，全面跨入200萬(wàn)像素之年。富士推出的M*-2700圖3，號(hào)稱是當(dāng)時(shí)全球首款最輕230萬(wàn)像素的數(shù)碼相機(jī)，機(jī)身只有230克。其最高分辨率到達(dá)1800×1200像素。 進(jìn)入2000年，不管在計(jì)算機(jī)方面，還是存儲(chǔ)設(shè)備方面，都有了很大程度的提高,數(shù)碼相機(jī)的像素也在200萬(wàn)的根底之上，再上一個(gè)高樓。2002年，奧林巴斯推出C-40 ZOOM，作為世界上首款最小的400萬(wàn)像素?cái)?shù)碼相機(jī)，它不僅是一款最小巧的機(jī)型，而且在當(dāng)

16、時(shí)的數(shù)碼相機(jī)市場(chǎng)上技術(shù)含量也是最高的，為時(shí)尚數(shù)碼相機(jī)小型化開(kāi)展邁出了堅(jiān)實(shí)的一步。索尼在2005年推出了全球第一款采用APS-C畫幅圖像傳感器的非單反數(shù)碼相機(jī)DSC-R1圖4。2006年數(shù)碼相機(jī)已經(jīng)全面進(jìn)入了千萬(wàn)像素級(jí)階段，一批批千萬(wàn)像素級(jí)產(chǎn)被推向市場(chǎng)，成為了目前的主流產(chǎn)品。 隨著各個(gè)階段的演變，傳統(tǒng)相機(jī)已逐步被淘汰，高質(zhì)量的數(shù)碼相機(jī)已成為現(xiàn)代人的首選；普通家用數(shù)碼相機(jī)的千萬(wàn)像素、大屏幕、觸摸屏、防抖、廣角等一系列功能遠(yuǎn)遠(yuǎn)滿足了我們?nèi)粘Ｉ钚枰?。近?lái)，隨著三維顯示技術(shù)的技術(shù)進(jìn)步，以及3D電影、3D電視、3D投影一系列成熟產(chǎn)品的投入市場(chǎng)，已經(jīng)掀起了一場(chǎng)關(guān)于三維成像與顯示的熱潮。隨著這場(chǎng)熱潮的掀起，

17、人們已經(jīng)不再滿足于普通的數(shù)碼相機(jī)，因而3D相機(jī)、全景相機(jī)等又讓相機(jī)步入了新臺(tái)階。3D相機(jī)時(shí)代的降臨 由于人們生活的世界是三維的，但是傳統(tǒng)相機(jī)只能獲取二維圖像，這種局限限制了人們通過(guò)二維成像系統(tǒng)對(duì)真實(shí)世界中物體的感知和理解的能力。所以人們一直沒(méi)有停頓過(guò)研究能用于拍攝三維圖像的相機(jī)。 在19世紀(jì)末已經(jīng)有人探索立體照相的技術(shù)問(wèn)題，最著名的實(shí)驗(yàn)是英國(guó)人懷特斯通，他用兩個(gè)照相機(jī)模擬左、右眼睛分別拍攝兩幅照片，然后用兩個(gè)互相分隔的目鏡，由左右眼觀察這兩幅照片，于是在大腦中從新合成了立體圖像。懷特斯通的視差理論2得到實(shí)驗(yàn)支持，非常成功，至今仍然是研究立體照相技術(shù)的主要理論依據(jù)。自上世紀(jì)初以來(lái)，人們的主要精力

18、用于開(kāi)展和完善黑白和彩色照相技術(shù)以及建立相應(yīng)的工業(yè)體系。因而，三維照相技術(shù)只是在小規(guī)模、小圍進(jìn)展。早期的工作集中在用像對(duì)法重現(xiàn)立體影像，20世紀(jì)60年代出現(xiàn)過(guò)的立體電影就是這個(gè)原理。當(dāng)然也可以用互相垂直的兩束偏振光去拍攝和重現(xiàn)像對(duì)的立體效果3。這些方法的共同缺點(diǎn)是只能一個(gè)人使用。20世紀(jì)50年代開(kāi)場(chǎng)，有人提出用柱狀透鏡陣列(亦稱光柵片) 重現(xiàn)立體圖像的方案3。用這種方法表達(dá)立體圖像是成功的，因?yàn)樗梢栽谙喈?dāng)大的視角供大家欣賞。經(jīng)過(guò)近50多年的努力，抑制了這種方案中出現(xiàn)的圖像抖動(dòng)、模糊、死角等問(wèn)題，近年已到達(dá)商業(yè)推廣的水平，掀起了一個(gè)3D畫像技術(shù)的高潮。由于這種方法具有很大的市場(chǎng)潛力，并需龐大投

19、資，過(guò)去10年主要由美國(guó)和日本的幾家公司集中研究，獲取專利以及壟斷技術(shù)。圖5 索尼W*10菜單控制圖 在以前所有民用級(jí)3D設(shè)備當(dāng)中，見(jiàn)到最多的還是輸出設(shè)備，而在3D影像的捕捉設(shè)備上卻寥寥無(wú)幾，直到富士、索尼、松下以及奧林巴斯的多款3D數(shù)碼相機(jī)、3D數(shù)碼攝像機(jī)發(fā)布之后，民用級(jí)3D捕捉設(shè)備才終于初具規(guī)模。圖6 松下3D相機(jī) 位移式3D成像：索尼。它是通過(guò)拍攝兩或多取景角度略有差異的照片，然后再合成為一3D照片的技術(shù)。顯然，采用這種方式形成的3D影像只要從圖像處理的層面就可以實(shí)現(xiàn)，因此它幾乎不會(huì)增加產(chǎn)品的本錢。另外，采用這種方式拍攝出來(lái)的3D效果從理論上講也會(huì)受到拍攝者轉(zhuǎn)動(dòng)相機(jī)速度的影響。索尼W*系

20、列的最新旗艦 W*10具備3D靜止影像、3D掃描全景、掃描多角度(圖5)，其中掃描多角度可以拍攝能以3D方式在本相機(jī)以及3D電視顯示的3D影像，從*種角度來(lái)說(shuō)，該方法實(shí)現(xiàn)了裸眼3D。圖7 富士3D相機(jī) 雙象場(chǎng)3D系統(tǒng)+位移式3D成像：松下。松下的3D成像主要依靠其3D鏡頭圖6，通過(guò)在一支鏡頭上設(shè)立兩套獨(dú)立鏡組會(huì)形成兩個(gè)較小的成像圈，而光線通過(guò)這兩個(gè)成像圈投射到傳感器上時(shí)也會(huì)形成左右兩個(gè)影像。當(dāng)然這兩幅影像之間是存在視差的，因此可以把它們合成為3D影像，而這個(gè)合成的過(guò)程則需要通過(guò)英寸處理器來(lái)完成。顯然，這種3D成像技術(shù)會(huì)浪費(fèi)不少的有效像素，但它的拍攝效果要比位移式3D成像技術(shù)來(lái)的穩(wěn)定。 雙成像3

21、D系統(tǒng)：富士圖7。富士相機(jī)采用的雙鏡頭、雙傳感器3D相機(jī)從硬件構(gòu)造上講是目前最強(qiáng)大的3D成像系統(tǒng)，不但工作穩(wěn)定，而且在輸出3D影像的精度上也是最高的。3D相機(jī)的課題研究在分別介紹了相機(jī)的開(kāi)展和3D顯示技術(shù)的開(kāi)展，并充分考慮了人們對(duì)3D攝影設(shè)備的強(qiáng)烈渴望和當(dāng)前此類設(shè)備的開(kāi)展?fàn)顩r后，本文提出了基于雙像合成技術(shù)和柱透鏡3D顯示技術(shù)的3D相機(jī)的課題研究。本論文的容及構(gòu)造為：前言主要介紹了相機(jī)的開(kāi)展，并把相機(jī)的開(kāi)展歷史劃分為四個(gè)階 段；并介紹了3D相機(jī)的視覺(jué)原理和目前開(kāi)展?fàn)顩r。 第一章主要介紹了3D相機(jī)的構(gòu)造和原理以及其工作流程，并對(duì)CCD、DSP等重要部件進(jìn)展簡(jiǎn)要介紹。 第二章重點(diǎn)介紹和分析了圖像處理

22、技術(shù)，由灰度變換技術(shù)和區(qū)域匹配技術(shù)提出來(lái)基于灰度變換的彩色圖像區(qū)域匹配技術(shù)，并對(duì)匹配算法做了詳細(xì)分析，由區(qū)域匹配的SAD相似性函數(shù)得出適用于本算法的匹配函數(shù)。第三章重點(diǎn)介紹和分析了基于柱透鏡的3D顯示技術(shù)，通過(guò)對(duì)柱透鏡光學(xué)參數(shù)的詳細(xì)分析從而推出光柵板的各項(xiàng)參數(shù)，并給出一套用于5.0英寸液晶顯示屏的柱鏡光柵板。在分析了系統(tǒng)構(gòu)造后對(duì)可能存在的問(wèn)題提出了相應(yīng)的解決方案。 第四章對(duì)全文進(jìn)展了總結(jié)。. z-1 3D相機(jī)的構(gòu)造與工作流程 一般情況下，當(dāng)人觀察現(xiàn)實(shí)世界中*一物體的時(shí)候，每只眼睛的視網(wǎng)膜上各自形成一個(gè)獨(dú)立的影像，左眼看到物體的左邊多一些，右眼看到物體的右邊多些，同一物體在兩個(gè)視網(wǎng)膜上得到不同的

23、影像，同一物體上*點(diǎn)落在左右兩眼視網(wǎng)膜上的位置是不同的，這種位差就稱為雙目視差4。人之所以能有深度感知，就是因?yàn)橛辛诉@個(gè)視差。本論文研究的3D相機(jī)就是根據(jù)人類雙眼對(duì)同一景物成像的視差原理來(lái)設(shè)計(jì)的雙鏡頭、雙傳感器的圖像采集系統(tǒng)。1.1 3D相機(jī)的構(gòu)造原理圖1.1 3D相機(jī)構(gòu)造圖 3D數(shù)碼相機(jī)與普通數(shù)碼相機(jī)如果僅從外觀上看，兩者區(qū)別并不大，前者擁有兩個(gè)間距為6.5cm鏡頭，而后者只有一個(gè)鏡頭。雖然3D相機(jī)的光學(xué)鏡頭系統(tǒng)、電子快門系統(tǒng)、電子測(cè)光、光電傳感器、圖像存儲(chǔ)器、操作以及輸出控制單元等與普通數(shù)碼相機(jī)并無(wú)太大差異，但在圖像處理單元DSP、液晶顯示屏LCD等根本元器件和工作原理與普通數(shù)碼相機(jī)有著本

24、質(zhì)區(qū)別。最重要的區(qū)別在于3D相機(jī)獨(dú)有的圖像匹配處理技術(shù)圖1.1。 雙鏡頭3D相機(jī)成像系統(tǒng)采用的是雙像合成法2，它的原理是用兩個(gè)鏡頭對(duì)同一目標(biāo)同時(shí)攝像得到兩不同視角的二維圖片，在經(jīng)過(guò)數(shù)字圖像處理器通過(guò)特定算法合成目標(biāo)的三維圖像。相機(jī)構(gòu)造主要包括兩套鏡頭組件、取景系統(tǒng)、成像系統(tǒng)、圖像的存儲(chǔ)、圖像的輸出和電源等幾局部。各局部圍繞圖像信號(hào)的處理流程而構(gòu)成。下面對(duì)光電傳感器、A/D轉(zhuǎn)換器、數(shù)字信號(hào)處理器、圖像數(shù)據(jù)壓縮器作一個(gè)簡(jiǎn)介。 1.1.1 圖像傳感器圖像傳感器又稱光電傳成器，是相機(jī)的主要部件之一，它的作用是將光信號(hào)轉(zhuǎn)換成電信號(hào)。圖像傳感器品質(zhì)的上下，直接決定了數(shù)碼相機(jī)的成像品質(zhì)。當(dāng)前的圖像傳感器主要

25、有CCD和CMOS兩類，綜合考慮了它們各自的性能和3D相機(jī)高畫質(zhì)的要求后，本論文采用的是CCD傳感器。 CCD圖像傳感器( Charge Coupled Device電荷耦合器件)5是由許多個(gè)光敏像元按定的規(guī)律排列組成的。每個(gè)像元就是一個(gè)MOS電容器，大多為光敏二極管。它是在P型硅襯底外表上用氧化的方法生成一層厚度約為100-150nm的二氧化硅SiO2，再在二氧化硅外表蒸鍍一金屬層(多晶硅)，在襯底和金屬電極間加大一個(gè)偏置電壓，就構(gòu)成了一個(gè)MOS電容器。其工作原理是當(dāng)有一束光線投射到MOS電容器上時(shí)，光子穿過(guò)透明電極及氧化層，進(jìn)入P型硅襯底，襯底中處于價(jià)帶的電子將吸收光子的能量而躍入導(dǎo)帶。光

26、子進(jìn)入襯底時(shí)產(chǎn)生的電子躍遷形成電子-空穴對(duì)，電子-空穴對(duì)在外加電場(chǎng)的作用下，分別向電極的兩端移動(dòng)，這就是信號(hào)電荷。這些信號(hào)電荷儲(chǔ)存在由電極形成的“勢(shì)阱中，信號(hào)電荷在外加驅(qū)動(dòng)脈沖的作用下，在CCD移位存放器中按順序傳送到輸出級(jí)。每列像素從CCD1到CCDn的電荷隨時(shí)鐘信號(hào)被送到一個(gè)為合成其輸出的水平CCD模擬移位存放器上，然后再經(jīng)過(guò)一個(gè)增幅放大器，輸出圖像信號(hào)。整個(gè)CCD 上的所有像素所產(chǎn)生的信號(hào)，構(gòu)成了一個(gè)完整的畫面。 綜上所述，CCD圖像傳感器是由光電轉(zhuǎn)換、電荷積蓄、電荷傳送、輸出局部這四大功能局部構(gòu)成，這四局部作為CCD單元被集成在線路板上。CCD把光學(xué)信號(hào)轉(zhuǎn)換為電信號(hào)，輸出的是串行信號(hào)。

27、就是說(shuō)它把平面二維圖像信號(hào)變成了一維信號(hào)一個(gè)接一個(gè)的比特流。這些表示圖像的電荷按照一定的順序依次輸出，然后送到信號(hào)處理電路中進(jìn)展處理。圖像信號(hào)處理電路以串行信號(hào)的方式輸出這些電荷所代表的圖像信息。 由于面陣中的每個(gè)光電藕合元件對(duì)映影像中的一個(gè)像素。由此，單位面積感光器件的數(shù)量越多，就越能細(xì)膩地分辨圖像，像素越多圖像分辨率越高。面陣CCD通過(guò)光電效應(yīng)收集電荷，由于光電二極管所取得的電荷量同入射光的強(qiáng)度和照射時(shí)間之積成正比，所以電荷量為模擬量。因此，轉(zhuǎn)移局部也就具備了模擬位移存放器的功能。由于輸出局部送出的電荷是模擬量，要想使其數(shù)字化，并在個(gè)人計(jì)算機(jī)中處理，則，A/D轉(zhuǎn)換器是必不可少的。1.1.2

28、 A/D轉(zhuǎn)換器6 數(shù)碼相機(jī)的圖像傳感器獲得信號(hào)以后，接著需要經(jīng)過(guò)模/數(shù)轉(zhuǎn)換器將模擬量轉(zhuǎn)換為數(shù)字量，變換成數(shù)字信號(hào)后才能進(jìn)展下一步的匹配、壓縮、存儲(chǔ)等處理過(guò)程。 在數(shù)碼相機(jī)中，A/D轉(zhuǎn)換器(Analog Digital Converter)主要是將CCD 圖像傳感器生成的模擬電信號(hào)轉(zhuǎn)換成數(shù)字電信號(hào)，并將信號(hào)傳送到數(shù)字信號(hào)處理單元。A/D轉(zhuǎn)換器將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)主要有采樣、量化、編碼等過(guò)程。A/D轉(zhuǎn)換器的量化精度編碼位數(shù)越高，則在A/D轉(zhuǎn)換過(guò)程中的數(shù)據(jù)失真越小，影像復(fù)原后的品質(zhì)越好。 客觀景物的細(xì)節(jié)是連續(xù)變化的，也就是說(shuō)它的像素是無(wú)限多的。但是圖像傳感器的光電二極管卻是有限的，經(jīng)過(guò)圖像傳感器

29、后獲得的圖像像素是有限的，就是說(shuō)在*,y方向上對(duì)圖像的細(xì)節(jié)作了一次量化。但客觀景物除細(xì)節(jié)外，它的亮度和色彩變化也是連續(xù)的，所以在經(jīng)過(guò)圖像傳感器成像后，每個(gè)像素的亮度和色彩仍然是模擬量即連續(xù)變化的量所以還必須對(duì)它進(jìn)展量化處理。A/D轉(zhuǎn)換器的主要性能指標(biāo)是量化精度和轉(zhuǎn)換速度。 量化精度是指將模擬信號(hào)分成多少個(gè)等級(jí)。數(shù)碼相機(jī)中，一般將亮度量化為256個(gè)等級(jí)。用二進(jìn)制數(shù)的位來(lái)表示為8位28=256，也就是說(shuō)數(shù)碼相機(jī)將灰度圖像量化為256個(gè)灰度等級(jí)。中、高檔數(shù)碼相機(jī)采用更高的量化精度，常為10位1024個(gè)等級(jí)或12位4096個(gè)等級(jí)。對(duì)于彩色圖像需要對(duì)RGB三個(gè)信號(hào)進(jìn)展量化，其量化等級(jí)在數(shù)碼相機(jī)中稱為色彩

30、深度，通常以二進(jìn)制的位bit為單位來(lái)表示。數(shù)碼相機(jī)常用的色彩深度有3種：24位RGB各8位、30位RGB各10位、36位RGB各12位。它們所對(duì)應(yīng)的顏色數(shù)分別為167萬(wàn)、10億、680億。24位以上色彩深度的圖像稱為真彩色圖像。顏色數(shù)越多越能真實(shí)地再現(xiàn)景物的色彩，但量化的工作量就越大，計(jì)算的工作量也越大，處理的時(shí)間就越長(zhǎng)，對(duì)相機(jī)的相應(yīng)器件的速度要求也就越高。一般24位、30位常用于低、中檔相機(jī)，36位則用于高檔相機(jī)中。 A/D 轉(zhuǎn)換器的轉(zhuǎn)換速度也是一個(gè)重要指標(biāo)。轉(zhuǎn)換速度當(dāng)然是越快越好，但芯片價(jià)格也就越高。所以不同檔次的數(shù)碼相機(jī)對(duì)轉(zhuǎn)換速度有不同要求。經(jīng)過(guò)A/D轉(zhuǎn)換后，產(chǎn)生的大量數(shù)據(jù)將送入微處理器

31、進(jìn)展處理。對(duì)于有緩沖存儲(chǔ)器的3D相機(jī)，A/D轉(zhuǎn)換后的數(shù)據(jù)首先存入緩存，然后再送入微處理器進(jìn)展處理。1.1.3 數(shù)字信號(hào)處理器 數(shù)字信號(hào)處理器Digital Signal Processor，?？s寫為DSP也稱作微處理器MPU，及Micro Processor Unit的縮寫7。它可以說(shuō)是數(shù)碼相機(jī)中的“微電腦。相機(jī)中圖像的大量數(shù)據(jù)的匹配運(yùn)算處理，黑白平衡調(diào)整、各種測(cè)量、控制、拍攝模式的設(shè)定等等，無(wú)一不是由它統(tǒng)一協(xié)調(diào)和控制的。 例如通過(guò)彩色濾鏡陣列，生成的圖像顏色是別離的，還需要DSP對(duì)這些數(shù)據(jù)進(jìn)展處理將其合成為彩色圖像。數(shù)碼相機(jī)的所謂數(shù)碼變焦也是利用插值運(yùn)算進(jìn)展的。數(shù)碼相機(jī)的曝光控制可分為手動(dòng)和

32、自動(dòng)，自動(dòng)曝光又可分為程序式自動(dòng)曝光、光圈優(yōu)先式自動(dòng)曝光和快門優(yōu)先式自動(dòng)曝光。這些控制都由DSP來(lái)完成的，DSP通過(guò)對(duì)CCD感光強(qiáng)弱程度的分析，自動(dòng)調(diào)節(jié)光圈和快門，進(jìn)展自動(dòng)曝光?？傊?，數(shù)碼相機(jī)的各種操作和控制的協(xié)調(diào)統(tǒng)一，一切數(shù)據(jù)的分析處理都是由微處理器來(lái)完成的。 在3D相機(jī)中，本模塊還有一個(gè)主要功能是對(duì)經(jīng)過(guò)預(yù)處理的兩幅圖像進(jìn)展匹配和融合，使兩幅圖像合二為一，以方便后續(xù)處理和輸出。這是本系統(tǒng)中最重要的一步，也是決定整個(gè)系統(tǒng)好壞的一部，這將直接決定輸出的三維圖像的質(zhì)量好壞。 其中的關(guān)鍵技術(shù)主要包括：相機(jī)參數(shù)的標(biāo)定、圖像預(yù)處理、RGB灰度變換、區(qū)域匹配等。通過(guò)對(duì)三維重建的立體匹配實(shí)現(xiàn)過(guò)程展開(kāi)研究，本

33、課程的圖像匹配過(guò)程主要包括了以下幾個(gè)方面： 1、圖像預(yù)處理，通過(guò)最為常用的去噪方式，對(duì)圖像進(jìn)展去噪，濾波等預(yù)處理操作，完成圖像的預(yù)處理。 2、圖像的RGB灰度變換，使用了灰度變換的方法對(duì)圖像進(jìn)展匹配簡(jiǎn)化。 3、圖像的區(qū)域匹配，選擇了基于區(qū)域灰度的彩色圖像匹配方法，基于灰度變換原理的匹配算法通過(guò)增加約束條件進(jìn)展區(qū)域匹配，提高了匹配速度和匹配精度。 4、對(duì)進(jìn)展處理后的兩幅圖像數(shù)字信號(hào)進(jìn)展重新編碼。 為了完美整合兩套成像系統(tǒng)的影像，必須提供全新設(shè)計(jì)的3D影像處理引擎，它可以同步兩套成像系統(tǒng)的圖像信號(hào)，并即時(shí)成高質(zhì)量的3D影像無(wú)論是靜態(tài)照片和動(dòng)態(tài)錄像。這同步意味著當(dāng)快門被完全按下的瞬間，跟拍攝相關(guān)的重

34、要參數(shù)，例如對(duì)焦、變焦圍、曝光等都將被同步富士W*10的精度已到達(dá)了0.001秒數(shù)量級(jí)。1.1.4 圖像數(shù)據(jù)壓縮器 為了降低本錢，在有限的儲(chǔ)存空間儲(chǔ)存盡可能多的圖像，采用了將優(yōu)化處理后的圖像進(jìn)展較高壓縮比的壓縮格式，如多數(shù)相機(jī)采用的JPEG編碼壓縮算法是把得到的圖像數(shù)據(jù)轉(zhuǎn)換成JPEG格式，這是以自然場(chǎng)景圖像為對(duì)象的彩色靜態(tài)圖像數(shù)據(jù)壓縮的國(guó)際標(biāo)準(zhǔn)。如果根據(jù)具體實(shí)現(xiàn)編碼算法的根本構(gòu)造進(jìn)展分類的話，可分成DCT方式和Spatial方式7。Spatial方式是對(duì)于基線系統(tǒng)和擴(kuò)展系統(tǒng)被稱為獨(dú)立的功能，編碼中使用差分脈碼調(diào)制DPCM(Differential PCM)和嫡編碼。該功能是基于編碼和解碼的無(wú)失

35、真、可逆的過(guò)程。 3D相機(jī)中為了獲得高品質(zhì)、高清晰的圖像，往往采用了無(wú)失真壓縮方式，這樣對(duì)圖像 信息進(jìn)展編碼時(shí)不丟棄有效信息，經(jīng)復(fù)原而得的圖像與原圖像完全一樣，但這種方式要求存儲(chǔ)介質(zhì)有較大的容量。經(jīng)過(guò)數(shù)據(jù)壓縮以后的圖像數(shù)據(jù)以特定的格式存儲(chǔ)到圖像存儲(chǔ)媒體中，用于以后的相機(jī)本身顯示調(diào)用、外部媒體調(diào)用和數(shù)據(jù)保存等。 1.2 3D相機(jī)的工作流程 通過(guò)上面的簡(jiǎn)介了解了相機(jī)的構(gòu)造和工作原理，下面對(duì)其整個(gè)工作流程進(jìn)展詳細(xì)的分析。 當(dāng)相機(jī)鏡頭對(duì)準(zhǔn)景物時(shí)，兩鏡頭處在不同的角度對(duì)目標(biāo)進(jìn)展攝像，把拍攝的圖像通過(guò)特定的灰度變換轉(zhuǎn)換成該目標(biāo)的三維圖像。光線通過(guò)主透鏡在CCD的感光面上形成一幅二維的光學(xué)圖像。此光學(xué)圖像中

36、包含有圖像的亮度信息和色度信息。為了得到代表紅、綠、藍(lán)三基色的信號(hào)R、G、B，需要把色度信號(hào)別離出來(lái)。別離色度信號(hào)的方法是采用一種彩色陣列式網(wǎng)格濾色片罩在CCD圖像傳感器感光面上，通過(guò)這層特殊的網(wǎng)格濾色片別離出三基色信號(hào)R、G、B來(lái)。 三基色信號(hào)R、G、B經(jīng)過(guò)A/D變換器轉(zhuǎn)換為數(shù)字信號(hào)后再由數(shù)字信號(hào)處理器DSP進(jìn)展灰度變換、黑平衡調(diào)整、白平衡調(diào)整、雙像合成等處理后，經(jīng)過(guò)圖像數(shù)據(jù)壓縮成特定格式就可以記錄在存儲(chǔ)卡上，還可以經(jīng)D/A變換成為普通視頻信號(hào)輸出，用于觀察被拍景象的則是液晶顯示屏LCD。圖 1.2 3D相機(jī)圖像處理流程 整個(gè)相機(jī)的工作流程具體可以分為獲取圖像的流程和再現(xiàn)圖像的流程，具體容如

37、下。獲取圖像的流程： 1、圖像采集，兩組相機(jī)鏡頭對(duì)空間的同一物體進(jìn)展取景，在同步控制信號(hào)下得到同一物體在兩個(gè)不同角度的圖像。 2、通過(guò)鏡頭的光分別聚焦在兩塊CCD上，并被轉(zhuǎn)化成電信號(hào)。儲(chǔ)存在CCD中的電信號(hào)被從TG計(jì)時(shí)發(fā)送器發(fā)出的驅(qū)動(dòng)信號(hào)取出，此信號(hào)被CDS*3互取雙采樣消減噪音后再被A/D轉(zhuǎn)換成數(shù)字信號(hào)。 3、一旦形成數(shù)字圖像數(shù)據(jù)，就將被傳送到DRAM并臨時(shí)儲(chǔ)存。圖像數(shù)據(jù)被傳送到3D圖像處理引擎并進(jìn)入Y/C亮度信號(hào)/顏色信號(hào)別離、白平衡、圖像匹配、圖像融合等操作。 4、被融合后的圖像數(shù)據(jù)被數(shù)據(jù)壓縮器以JPEG等格式壓縮，最后圖像數(shù)據(jù)被記錄在CF/SD卡。 再現(xiàn)圖像的流程： 1、從CF/SD卡

38、上獲得的JPEG等壓縮格式的數(shù)據(jù)被數(shù)據(jù)壓縮器重新恢復(fù)成原始數(shù)據(jù)；恢復(fù)后的圖像數(shù)據(jù)被傳送到DRAM。2、數(shù)字處理器在DRAM中獲取圖像數(shù)據(jù)并用D/A轉(zhuǎn)換將其轉(zhuǎn)化成模擬信號(hào)并通過(guò)圖像控制在LCD上顯示圖像；3、數(shù)字處理器在DRAM中獲取圖像數(shù)據(jù)并通過(guò)RS232C或USB接口將其輸出給外部媒體；或者是通過(guò)存儲(chǔ)控制器直接從CF/SD卡中獲取圖像數(shù)據(jù)從USB接口輸出給外部媒體。. z-2 圖像匹配處理技術(shù) 圖像匹配處理技術(shù)是3D相機(jī)最核心的技術(shù)。圖像匹配處理技術(shù)是3D相機(jī)能否實(shí)現(xiàn)立體視覺(jué)的較困難和關(guān)鍵的一步。如何快速、準(zhǔn)確地實(shí)現(xiàn)圖像對(duì)的對(duì)應(yīng)點(diǎn)匹配，獲得滿足要求的視差圖，是當(dāng)前研究的熱點(diǎn)之一。 圖像匹配算

39、法是在兩幅圖像的匹配點(diǎn)之間建立一一對(duì)應(yīng)關(guān)系的過(guò)程。根據(jù)匹配基元的不同，立體圖像匹配算法可分為：區(qū)域匹配法4、特征匹配法4和相位匹配法4。為了使圖像處理問(wèn)題簡(jiǎn)單化，利于圖像的提取，在圖像處理中經(jīng)常使用的一種有效手段是圖像變換，而最能直接表現(xiàn)圖像本質(zhì)特征的是像素灰度值，所以很多算法都采用的是像素灰度變換的匹配方法?；谶@種思想，本文給出了一種基于灰度變換的彩色圖像區(qū)域匹配方法。2.1 基于區(qū)域灰度的彩色圖像匹配算法 圖像匹配的核心是快速、準(zhǔn)確地實(shí)現(xiàn)圖像對(duì)的對(duì)應(yīng)點(diǎn)匹配，獲得滿足要求的視差圖。最能直接表現(xiàn)圖像本質(zhì)特征的是像素灰度值，所以本算法使用像素灰度值作為基元進(jìn)展匹配。區(qū)域灰度算法是利用圖像處理的

40、區(qū)域相關(guān)方法8，它是解決基元對(duì)應(yīng)問(wèn)題的一個(gè)最直觀最簡(jiǎn)單的方法(圖2.1)。 圖2.1 匹配系統(tǒng)的流程圖 基于區(qū)域相關(guān)的匹配方法是把一幅圖像中當(dāng)前像素點(diǎn)的鄰域像素作為模板，在另一幅圖像中以一樣大小的模板在一定圍搜索具有一樣或相似分布的對(duì)應(yīng)像素點(diǎn)。 用L(*，y)和R(*，y)分別代表左圖像和右圖像，如果L(*，y)和R(*+d，y)是正確的匹配對(duì)，則這兩點(diǎn)的鄰域窗口對(duì)應(yīng)位置的各像素對(duì)也應(yīng)該是正確的匹配對(duì)，所以考察兩個(gè)像素對(duì)是否是正確的匹配，其鄰域窗口像素相似性是重要的參考指標(biāo)。該匹配算法是建立在基元之間的相似性度量根底上的區(qū)域匹配，是以匹配基元的灰度參數(shù)信息為依據(jù)的局部相似程度的度量。2.2 基

41、于灰度變換的匹配 灰度變換屬于非參量變換，是一種數(shù)理統(tǒng)計(jì)的方法，本節(jié)對(duì)灰度變換原理和一些特性進(jìn)展了分析，給出了利用其變換特征作為基元的代價(jià)函數(shù)?；诨叶茸儞Q的匹配算法可分兩步，首先對(duì)圖像進(jìn)展灰度變換，然后將轉(zhuǎn)換后的值應(yīng)用到預(yù)定的算法中。2.2.1 灰度變換8 像素的灰度變換，是以該像素點(diǎn)為中心取一個(gè)矩形區(qū)域(稱為灰度窗口)，統(tǒng)計(jì)灰度窗口中所有灰度值小于中心像素灰度值的像素的個(gè)數(shù)，并以這個(gè)數(shù)代替原來(lái)中心像素點(diǎn)的灰度值。經(jīng)過(guò)每個(gè)像素的灰度變換后，整個(gè)圖像被轉(zhuǎn)換為一個(gè)整數(shù)矩陣，這個(gè)整數(shù)矩陣稱為灰度圖像。 在這對(duì)灰度變換作一個(gè)定義。設(shè)f(*，y)表示當(dāng)前像素(*，y)的灰度值，N(*，y)表示以(*，

42、y)為中心的矩形窗口像素集合，則對(duì)像素*，y的灰度變換定義為： 2-1 2-2 在這里取一個(gè)3×3的窗口，其中心像素f(*，y)的灰度為152，首先由式2-1把N(*，y)轉(zhuǎn)換為M(*，y)，然后求M(*，y)所有元素的代數(shù)和，即為f(*，y)以N(*，y)為灰度變換窗口的灰度變換值r(*，y)。直接從N(*，y)中可以看出，有5個(gè)像素灰度值小于中心像素，因此r(*，y)=5(如圖2.2)。圖 2.2 灰度變換求解過(guò)程 經(jīng)過(guò)灰度變換后，像素的灰度值(0到255)就轉(zhuǎn)換為一個(gè)取值圍較小的整數(shù)(0到n-1，n是窗口的像素總數(shù))。這個(gè)整數(shù)就是中心像素灰度值在轉(zhuǎn)換窗口灰度值排序的序號(hào)。這樣，

43、在計(jì)算左右窗口的相關(guān)性時(shí)，并不是直接用灰度，而是用這些序號(hào)來(lái)進(jìn)展比擬。由于轉(zhuǎn)換是窗口像素灰度的相對(duì)值，使得匹配基元對(duì)干擾不敏感，相對(duì)于采用簡(jiǎn)單的灰度值作為匹配基元來(lái)說(shuō)，提高了算法的抗噪性。 2.2.2 基于灰度變換的SAD匹配算法代價(jià)函數(shù) 根據(jù)人眼視覺(jué)清晰圍，左右圖像進(jìn)展匹配的主要圍為左圖像的右局部和右圖像的左局部。所以區(qū)域匹配的根本思路是，在給定右視圖中的一個(gè)點(diǎn)后，在左視圖中是根據(jù)鄰域的相似性來(lái)尋找匹配點(diǎn)，該鄰域稱為窗口，窗口通常以檢測(cè)點(diǎn)為中心。如果左右圖像中兩點(diǎn)是正確的匹配，則其鄰域的對(duì)應(yīng)像素也是正確的匹配，所以在匹配過(guò)程中，通常以鄰域相似性作為測(cè)度。在匹配搜索過(guò)程中，以SAD(Sum o

44、f AbsoluteDifference)函數(shù)8作為兩個(gè)鄰域的相似性度量。 圖2.3 相關(guān)窗口匹配圖例 如圖2.3所示，設(shè)左右灰度圖像函數(shù)分別為和，相關(guān)窗口為w，搜索圍為k。則SAD相似性函數(shù)為： 2-3 當(dāng)SAD(*,y,k)取值最小時(shí)，左右兩個(gè)像素就為最正確匹配對(duì)。 以灰度變換值作為匹配基元，則本文算法的代價(jià)函數(shù)為： 2-4rl,rr分別為左右圖像變換后的灰度圖像，當(dāng)SADrl,rr最小時(shí)，左右兩個(gè)像素就為最正確匹配對(duì)。這時(shí)視差d為 2-52.3 灰度變換的彩色圖像匹配 人眼視覺(jué)是彩色的，因而人們很早就開(kāi)場(chǎng)對(duì)彩色進(jìn)展研究，對(duì)色彩的感知是人眼及大腦皮質(zhì)的重要生理特征。彩色圖像不僅包含著被攝物

45、體的亮度信息，而且包含著它的色度信息，色度又具有兩個(gè)自由度。因而彩色圖像比灰度圖像有更豐富的信息，充分利用這些信息就有可能構(gòu)造出比灰度圖像更可靠、穩(wěn)健的算法。2.3.1 三基色原理三基色的容是：假設(shè)有三種視覺(jué)感受器，分別對(duì)紅、綠、藍(lán)三種顏色敏感。當(dāng)光線同時(shí)作用在這三種感受器上時(shí)，三個(gè)感受器產(chǎn)生的興奮程度不同。不奮程度的組合將產(chǎn)生不同的顏色感覺(jué)。現(xiàn)代技術(shù)的開(kāi)展充分證實(shí)了三基色假說(shuō)的合理性?，F(xiàn)在知道可見(jiàn)光譜上的大多數(shù)顏色都可以用紅(Red)綠(Green)藍(lán)(Blue)三種單色加權(quán)混合產(chǎn)生，基于RGB三基色的顏色表示稱為RGB顏色模型。根據(jù)這一原理，任何顏色I(xiàn)可以用公式表示： 2-6其中分別為紅綠

46、藍(lán)的加權(quán)系數(shù)。2.3.2 基于灰度變換的彩色圖像匹配算法 與灰度圖像比，彩色圖像包括了更多的圖像空間和更多信息，對(duì)噪聲和光度變化不敏感，這使得彩色圖像可以匹配得更準(zhǔn)確，而且誤匹配率更低。本算法中采用上節(jié)中提到的灰度變換的圖像匹配策略，并且利用彩色圖像三基色的特點(diǎn)。 圖2.4 彩色圖像灰度變換算法流程圖 本算法首先將彩色圖像按紅綠藍(lán)三通道分別進(jìn)展灰度轉(zhuǎn)換，然后使用區(qū)域匹配法求出視差。根據(jù)色度學(xué)的三基色原理，任何色光都可以由紅，綠，藍(lán)三種單色光按不同比例相配而成。因此彩色圖像的模型可以由紅R(*)，綠G(*)，藍(lán)B(*)圖像組合表示。設(shè)一對(duì)匹配圖像(R1(*),G1(*),B1(*)和(R2(*)

47、,G2(*),B2(*),以RGB三通道的灰度變換值作為匹配基元，則本算法的代價(jià)函數(shù)為： 2-7fs2,fs2分別表示左右圖像變換后的灰度圖像，當(dāng)SADRGB(*,y,k)最小時(shí)，左右兩個(gè)像素就為最正確匹配對(duì)。這時(shí)視差d為 2-82.4 選擇匹配窗口 基于區(qū)域相關(guān)的方法是最根本的立體匹配方法，該方法的核心思想就是計(jì)算以當(dāng)前欲匹配像素為中心的相關(guān)窗口的相似度，將相關(guān)性最高的那個(gè)點(diǎn)對(duì)為成功的匹配。該方法的難點(diǎn)之一是如何選擇相關(guān)窗口的大小。窗口大小的選擇應(yīng)該遵循以下原則：選取的窗口要足夠大以至于窗口的像素灰度值應(yīng)以一定的規(guī)律變化，另外一方面，窗口要足夠小以至于窗口的視差沒(méi)有變化。這樣如何選擇窗口的大

48、小就成為關(guān)鍵的問(wèn)題。 如何解決這個(gè)問(wèn)題，許多研究采用了許多不同的策略進(jìn)展處理，例如固定窗口大小、自適應(yīng)可變窗口、多窗口等策略4。固定窗口大小的方法假設(shè)窗口的視差是一致的，這種方法簡(jiǎn)單但誤匹配發(fā)生的概率增大；自適應(yīng)可變窗口使用了視差估計(jì)不確定性作為相關(guān)窗口匹配費(fèi)用，該方法需要窗口的視差變化模型和初始視差估計(jì)；多窗口對(duì)每個(gè)像素利用幾個(gè)不同的相關(guān)窗口聯(lián)合作為該像素的測(cè)度。 綜合分析了3D相機(jī)的性能要求和三種方法的技術(shù)開(kāi)展后，針對(duì)該問(wèn)題，本文采用固定窗口大小的解決思路和方法，在保證匹配精度的前提下提高數(shù)據(jù)處理的速度。2.5 約束條件 由于在3D相機(jī)中左右鏡頭彼此參數(shù)一致，光軸平行且垂直于基線，構(gòu)成一對(duì)

49、共極性構(gòu)造，這樣只有水平方向的視差，使搜索空間大大減少，簡(jiǎn)化對(duì)應(yīng)匹配過(guò)程和減少算法的計(jì)算量。為了幫助建立對(duì)應(yīng)關(guān)系，提出了許多約束條件來(lái)減少搜索的圍和確定正確的對(duì)應(yīng)點(diǎn)匹配，下面是一些最根本的約束條件。 1、相容性約束4 對(duì)于灰度圖像，這一約束的具體含義是同一景物像點(diǎn)的灰度值理論上應(yīng)該具有一定的相容性，由于鏡頭的位置不同和特性差異，場(chǎng)景中各對(duì)應(yīng)點(diǎn)處的光強(qiáng)可能具有一定的差異。在判斷兩個(gè)匹配基元是否相容時(shí)要根據(jù)它們之間的相似性。問(wèn)題的關(guān)鍵是在于如何度量匹配基元的相似性。 現(xiàn)在主要用的有兩種相似性的假設(shè)，一種是基于光度學(xué)不變性，即左右圖像對(duì)應(yīng)區(qū)域中灰度的變化情況相似，如果景物中外表的深度變化比擬平緩，同

50、時(shí)由于雙眼相隔的距離不大作這樣的假設(shè)是有道理的；另一種假設(shè)是根據(jù)幾何學(xué)不變性，即兩幅圖像中同一對(duì)象的幾何構(gòu)造一樣。如在以邊緣作為匹配基元時(shí)沿外極線上任何掃描方向在左右圖像中邊緣出現(xiàn)的次序一樣，雖然有時(shí)候出現(xiàn)在左圖中的邊緣由于遮擋可能不出現(xiàn)在右圖中或出現(xiàn)在右圖中的邊緣由于遮擋可能不出現(xiàn)在左圖中。 2、唯一性約束 在一般情況下，一幅圖像上的每個(gè)基元只能與另一幅圖像上的唯一一個(gè)基元相對(duì)應(yīng)。而在特殊情況下，如物體外表是平滑的，每個(gè)像素灰度一樣時(shí)就會(huì)存在一個(gè)基元與多個(gè)基元匹配的現(xiàn)象，這就需要利用下面的條件進(jìn)展約束。 3、連續(xù)性約束 這個(gè)約束條件考慮的前提是：同觀察者到物體外表的距離相比擬，物體外表凹凸引

51、起的變化造成的差異都很小，因此物體外表是平滑的，除了邊界處深度不連續(xù)的地方外，得到的視差值圖像中幾乎處處平滑，而物體的邊界只占圖像面積的很小局部。 4、RGB灰度疊加約束條件 在灰度圖像進(jìn)展匹配時(shí)，可能會(huì)出現(xiàn)多個(gè)最正確匹配，這就會(huì)造成許多誤匹配。為了減少這種誤匹配，除了采用以上三個(gè)約束條件外，還采用了一種新的約束條件，當(dāng)出現(xiàn)多個(gè)最正確匹配時(shí)，說(shuō)明僅考慮相關(guān)窗口的當(dāng)前值己無(wú)法判斷。彩色圖像的匹配有兩種策略：一是將彩色圖像的每個(gè)像素由原來(lái)三基色表示，轉(zhuǎn)化成灰度表示，然后按灰度圖像來(lái)匹配，這種方法完全不考慮彩色影像的色彩信息，很明顯會(huì)喪失局部信息。二是對(duì)彩色圖像的R、G、B三通道，按同樣方法分別處理

52、(按灰度算出代價(jià)函數(shù)值是其中的方法之一)，再將得到的結(jié)果按一定的方法綜合起來(lái)求得匹配圖像因?yàn)榈诙N策略得到的視差圖更準(zhǔn)確。 本方法采用了先分別求三基色圖像是代價(jià)函數(shù)值，再求和作為總的代數(shù)值來(lái)進(jìn)展匹配。當(dāng)代價(jià)函數(shù)為最小值時(shí)，兩點(diǎn)即為最正確匹配對(duì)。. z-3 3D顯示技術(shù) 隨著科學(xué)技術(shù)的飛速開(kāi)展，傳統(tǒng)二維圖像已經(jīng)越來(lái)越不能滿足眾多應(yīng)用領(lǐng)域?qū)ι疃葘哟蔚囊蟆?D顯示技術(shù)具有傳統(tǒng)顯示技術(shù)所不能比擬的高度臨場(chǎng)感，能給觀眾帶來(lái)身臨其境的逼真感覺(jué)和無(wú)與倫比的立體視覺(jué)享受。因此包含三維信息的3D顯示技術(shù)得到了人們的極大關(guān)注。3.1 3D顯示技術(shù)簡(jiǎn)介 20世紀(jì)90年代以前的3D顯示技術(shù)雖然成功應(yīng)用于3D電視和3

53、D電影等領(lǐng)域，但都需佩戴特制眼鏡或者頭盔才能觀看到立體效果，從而大大限制了其推廣應(yīng)用。進(jìn)入21世紀(jì)，人們將目光投向無(wú)需借助輔助視具就能觀看到立體效果的3D顯示技術(shù)即裸眼3D技術(shù)，并在世界圍掀起了新一輪的3D顯示技術(shù)研究熱潮。 3D顯示技術(shù)是以視差理論為根底的，觀眾可以在較大角度用裸眼自由清晰地觀看到屏幕上的立體圖像。當(dāng)前，3D顯示技術(shù)的研究熱點(diǎn)主要集中于基于平板顯示器(如TFT LCD、PDP等)的顯示技術(shù)。具體說(shuō)來(lái)可以分為以下幾類： 1、基于視差擋板的3D顯示技術(shù)9：其構(gòu)造是在液晶屏的前方放置一塊光柵擋板，這樣觀察者的單眼通過(guò)擋板上的一條狹縫只能看到顯示屏上的一列像素，如左眼只能看到奇像素列，而看不到偶像素列。這樣一來(lái)，分別由奇偶像素列組成的兩幅圖像就成了具有水平視差的立體圖像對(duì)，通過(guò)大腦的融合，最終形成一幅具有深度感的立體圖像。而該顯示技術(shù)是通過(guò)對(duì)光線的局部遮擋來(lái)實(shí)現(xiàn)立體顯示的，這種做法會(huì)導(dǎo)致圖像的亮度和分辨率降低，視點(diǎn)個(gè)數(shù)越多，亮度和分辨率降低得也越多。 2、基于柱鏡光柵的3D顯示技術(shù)10：原理與基于視差擋板的3D顯示技術(shù)類似，其利用柱透鏡單元的折射作用，引導(dǎo)光線進(jìn)入特定的觀察區(qū)，產(chǎn)生對(duì)應(yīng)左右眼的立體圖像對(duì)，并最終在大腦的融合下產(chǎn)生立體視覺(jué)。 3、體三維顯示技術(shù)