3D視覺傳感技術(shù)研究進(jìn)展

1、3D視覺傳感技術(shù)研究進(jìn)展i引言毫無疑問，視覺是人獲取信息的主要器官。在當(dāng)前的視覺系統(tǒng)中，3D立體成像成為研究熱點(diǎn)，無需配戴立體眼鏡就能觀看立體圖像成為視覺系統(tǒng)的發(fā)展方 向。目前所謂的3D游戲和電影，實(shí)際上并非真正的 3D影像。這是因?yàn)榕臄z電 影時使用的是單鏡頭的攝像機(jī)，制作的游戲使用的是 3D軟件技術(shù)，并且目前顯 示的屏幕是2D,因此從制作到顯示都是平面的。3D圖像信息的獲取都是基于某 種圖像傳感器獲取、量化圖像信息，這些圖像傳感器有直接獲取可見光的圖像， 也有間接通過檢測輻射、紅外線、X射線、或者超聲波來獲取圖像信息。不同的 傳感器技術(shù)有不同的分辨率、精度和噪聲，因此從圖像傳感器獲取的信息中

2、提取 有用信號進(jìn)行分析成為廣大科技工作者的研究課題。3D視覺傳感器具有廣泛的用途，比如多媒體手機(jī)、網(wǎng)絡(luò)攝像、數(shù)碼相機(jī)、 機(jī)器人視覺導(dǎo)航、汽車安全系統(tǒng)、生物醫(yī)學(xué)圖像分析、人機(jī)界面、虛擬現(xiàn)實(shí)、監(jiān) 控、工業(yè)檢測、無線遠(yuǎn)距離傳感、顯微鏡技術(shù)、天文觀察、海洋自主導(dǎo)航、科學(xué) 儀器等等。這些不同的應(yīng)用均是基于 3D視覺圖像傳感器技術(shù)。特別是 3D影像 技術(shù)在工業(yè)控制、汽車自動導(dǎo)航中具有急迫的應(yīng)用。通過分析發(fā)現(xiàn)，發(fā)現(xiàn)目前研究3D影像技術(shù)主要集中在基于 CCD或者CMOS 圖像傳感器的3D實(shí)現(xiàn)方法、圖像處理和顯示的研究，真正開展 3D視覺傳感器 研究的很少。本文在分析各種3D影像技術(shù)的方法上，提出一種新的 3D

3、視覺傳感器新技 術(shù)，并重點(diǎn)討論3D新影像技術(shù)的關(guān)鍵技術(shù)之一的視覺圖像攝取器件的原理和實(shí) 現(xiàn)方法。與傳統(tǒng)的3D視覺傳感器技術(shù)相比，具有結(jié)構(gòu)簡單、實(shí)現(xiàn)方便、價格低 廉的優(yōu)點(diǎn)，便于便攜式多媒體設(shè)備的應(yīng)用。2 3D立體成像原理3D信號是一個三維坐標(biāo)的空間信號。在一個精確視覺的定義中，3D影像應(yīng)該是一個擁有三個空間分量的圖像。但是，從廣義上講，視頻信號序列可以考慮 作為一個3D信號，其中包括兩維的空間變量和一個一維的時間分量。在真正的 3D視頻信號中，其圖像是一個擁有三個空間分量的影像 ；有時，廣義上講3D視 頻信號可以看作是4維空間信號，擁有三個空間分量和一個時間分量。圖1表示人的眼睛3D成像原理。人

4、的眼睛看到的景象是一種具有層次和深 度的立體影像。人兩眼水平分開在兩個不同的位置上， 當(dāng)人眼在觀察一個三維物 體的時候，兩個眼睛觀察的物體圖像是不一樣的， 存在一個像差，兩幅圖像傳輸 到大腦，通過大腦的合成處理，人就感覺到一個三維世界的深度立體變化。 其基 本原理是利用兩眼的視覺像差和光學(xué)折射原理形成三維圖像。 一些鳥類的大腦沒 有三維影像合成的功能，比如公雞，公雞通過異步前后移動頭腦來獲得 3D的影 像。0 地處璀物/c近處景物圖1人的眼睛3D成像原理一般情況下，在三維空間里，物體反射光的密度會不一樣，通過監(jiān)測物體上 反射光的密度可以決定物體的三維影像。目前 3D的圖像可以通過適當(dāng)?shù)墓ぷ鞣?

5、式從固體圖像傳感器(比如CCD或者CMOS圖像傳感器)檢測物體反射光的密度 來獲得。3光電3D影像技術(shù)的發(fā)展根據(jù)獲取圖像信息方法的不同，光電3D影像技術(shù)分為有源和無源兩種技術(shù)， 無源技術(shù)主要是接受物體的輻射或者環(huán)境的發(fā)射，有源技術(shù)是通過投射一束調(diào)制 的或未調(diào)制的光到物體上通過檢測物體反射的光來形成 3D圖像。以前大多數(shù)技術(shù)研究集中在無源 3D技術(shù)上，利用三角測量原理，通過兩臺 相距一定距離的照相機(jī)，左邊照相機(jī)產(chǎn)生的圖像表示深度信息， 右邊照相機(jī)產(chǎn)生 差異的二維圖像。關(guān)鍵是產(chǎn)生深度信息的照相機(jī)需要分離出深度信息。無源3D影像技術(shù)需要拍攝的物體具有突出的輪廓特點(diǎn)，比如邊緣、角、線等。其優(yōu)點(diǎn)是 不需

6、要特殊的硬件條件，并成功使用在好幾個方面。這種技術(shù)的缺點(diǎn)是需要兩臺 或者更多的高質(zhì)量的照相機(jī)、圖像處理軟件。圖像質(zhì)量、拍照速度、數(shù)據(jù)傳輸?shù)?都是這種機(jī)制能否被廣泛應(yīng)用的限制因素。有源3D光電圖像方法是投射一束有規(guī)律的空間分布的線狀光到物體上從而 產(chǎn)生一個網(wǎng)狀格的深度。廣泛使用的有源光方法是飛行時間(time off light)方法，最近幾年，市場上出現(xiàn)的3D照相機(jī)都是基丁飛行時間方法，這些 3D照相機(jī)主 要應(yīng)用丁工業(yè)控制。SwissRanger3000照相機(jī)是最近應(yīng)用這種技術(shù)的產(chǎn)品，通過 飛行時間方法檢測相位來實(shí)現(xiàn)3D影像。一束幾十兆赫茲被調(diào)制的近紅外光照射 到物體上，物體反射的光進(jìn)入 3D

7、照相機(jī)，由丁立體物體的遠(yuǎn)近距離不同，反射光的相位存在一個延遲，通過檢測原始光束以及反射光束的相位延 遲從而檢測出物體的景深，從而實(shí)現(xiàn)3D圖像。這種3D圖像傳感器的制作由ZMD 公司完成，ZMD公司根據(jù)3D圖像傳感器需要高速的特點(diǎn)從噪聲和速度進(jìn)行工 藝優(yōu)化，響應(yīng)速度可以到100MHz以上。4 一種新的3D視覺圖像傳感器技術(shù)不管是多個照相機(jī)形成的3D無源影像技術(shù)，還是以飛行時間方為原理的有 源3D影像技術(shù)，整個系統(tǒng)的價格都很高、功耗大、需要復(fù)雜的校正軟件。在有 源3D影像技術(shù)中可以獲得高精度的3D圖像，但是要求傳感器的工作響應(yīng)速度 很高，在現(xiàn)有技術(shù)情況下，不得不降低圖像的分辨率。目前研究 3D影像

8、技術(shù)主 要集中在基于CCD或者CMOS圖像傳感器的3D實(shí)現(xiàn)方法、圖像處理和顯示的 研究，真正開展視覺傳感器研究的很少。本文提出一種新的3D視覺圖像傳感器技術(shù)，可以單芯片實(shí)現(xiàn) 3D拍照的功 能，同時可以輸出2D的影像，并輸出高分辨率的3D圖像。這種圖像傳感器技 術(shù)并不需要額外的有源光照，通過電子快門控制曝光時間，獲得高速的視頻圖像， 通過自動對焦處理，形成景深影像。這種 3D傳感器技術(shù)很適合于低價格、小型 化的視覺應(yīng)用系統(tǒng)，比如手機(jī)等多媒體應(yīng)用。該系統(tǒng)由兩部分構(gòu)成，3DCMOS圖像傳感器以及可變焦的液體鏡頭兩部分構(gòu) 成，其中3DCMOS圖像傳感器集成光電轉(zhuǎn)變電路、低噪聲讀出電路、噪聲抑制 電路、

9、可編程放大電路、模數(shù)轉(zhuǎn)換器電路、曝光控制電路、壞像素糾正電路、彩 色空間轉(zhuǎn)換電路、自動白平衡電路以及多媒體圖像信號處理電路等功能。圖2是傳統(tǒng)2D與提出的3D拍照圖像傳感器芯片與系統(tǒng)，圖 2(a)是傳統(tǒng)2D 拍照圖像傳感器芯片與系統(tǒng)，圖中主要包括 2DCMOS圖像傳感器芯片和定焦鏡 頭，當(dāng)拍照的時候，物體上所有的像素點(diǎn)都映射到 AA'平面上，因此系統(tǒng)拍照得 到的是一個2維圖像。圖2(b)是提出的3D拍照圖像傳感器芯片與系統(tǒng)，圖中主 要包括3DCMOS圖像傳感器芯片和液體變焦鏡頭。其中 3DCMOS圖像傳感器 芯片的特點(diǎn)是響應(yīng)速度快、動態(tài)范圍高、具有焦距判斷、輸出控制信號改變液態(tài) 鏡頭的功

10、能。液態(tài)變焦鏡頭是近兩年發(fā)展起來的新型變焦鏡頭，通過改變施加在 液體上的電壓而改變焦距，比如拍照AA'平面時，液體變焦鏡頭的形狀如圖中的 實(shí)線所示，如果拍照 BB'平面時，液體變焦鏡頭的形狀如圖中的虛線所示，在 AA'與BB'平面之間可以拍照多幅圖像，分析這些圖像的輪廓并合成這些圖像的 邊緣，就可以得到一幅完整的 3D圖像。這種3D拍照圖像傳感器系統(tǒng)具有分辨 率高，根據(jù)預(yù)設(shè)拍照的照片個數(shù)的多少而得到更精確的景深照片。與傳統(tǒng)的光學(xué)變焦鏡頭相比，這種液體變焦鏡頭的優(yōu)勢是響應(yīng)快、 變焦快，適合于快速變焦的 應(yīng)用場合。癡上HIM 說土俸統(tǒng)3D拍卿圖像伯格塞芯N勺統(tǒng)A 廠

11、物俸X X'* -Mfa廠 推 g 宅 '七J.代弘一h./：UM甘IS閣掀歸感J器 (b)提出的3D拍照圖傳檔器y系統(tǒng)圖2傳統(tǒng)2D與提出的3D拍照圖像傳感器芯片與系統(tǒng)圖3是3DCMOS圖像傳感器芯片的示意圖，圖中的像素單元電路具有靈敏 度高、暗電流小、噪聲低等優(yōu)點(diǎn)，行譯碼電路和列譯碼電路在時序控制電路的控 制下產(chǎn)生像素陣列工作的時序，噪聲抑制電路消除信號通路帶來的噪聲， 經(jīng)過模 數(shù)轉(zhuǎn)換器將模擬信號轉(zhuǎn)換為數(shù)字信號, 并輸給邏輯產(chǎn)生與數(shù)字信號處理電路, 邏 輯產(chǎn)生與數(shù)字信號處理電路產(chǎn)生控制信號控制感光陣列的曝光時間，并集成白平衡處理、彩色差值、焦距判斷、輪廓提取等功能。其中模數(shù)轉(zhuǎn)

12、換器是多分辨率的 模數(shù)轉(zhuǎn)換器，在拍照2D圖像時輸出10bit的數(shù)據(jù)，當(dāng)拍照3D圖像時，僅僅輸出 二值化的圖像信息。同時電路可以集成電源管理、鎖相環(huán)電路模塊、I2C控制總線，這正是CMOS圖像傳感器的優(yōu)勢所在(與CCD圖像傳感器相比，CCD不能 單芯片集成)。外部: 時鐘M 值號:行譯電路ET序控制像素單元陣列(prCEL.WUYJPLL球模教轉(zhuǎn)糧器<ADC>1 白平撕 插值r催施判斷與控制瞑光控割電路!,輪廊祝取電路邏輯產(chǎn)生和控制j逗輯產(chǎn)生和甄宇信日姓埋：VCL校制;總統(tǒng)數(shù)字信號輸出圖3 3D CMOS圖像傳感器芯片的示意圖圖4表示3DCMOS圖像傳感器芯片及系統(tǒng)工作的時序圖，其中

13、長曝光時間 拍攝的是正常的2D圖像，后續(xù)短曝光拍攝的是景深圖像，從 AA'到BB'平面可 以連續(xù)自動拍照，從而產(chǎn)生合成 3D影像的景深圖像。當(dāng)3DCMOS圖像傳感器 芯片工作丁 2D圖像拍照模式時，模數(shù)轉(zhuǎn)換器輸出10位的數(shù)據(jù)給數(shù)字信號圖像 處理模塊，當(dāng)3D CMOS圖像傳感器芯片工作丁 3D圖像拍照模式，模數(shù)轉(zhuǎn)換器 輸出二值化的圖像信息，因此3D CMOS圖像傳感器芯片可以工作丁高速拍照的 模式，從而獲得高速視頻信息。%圖像曝光AjV圖4 3D CMOS圖像傳感器芯片工作示意圖圖5是法國Varioptic公司的液體變焦鏡頭示意圖。液體變焦鏡頭由法國Varioptic發(fā)明，其原理

14、是將兩種液體固定在不同的容器中， 再它們之間加裝一個 金屆電極，電極中間注入導(dǎo)電液體，當(dāng)施加在電極上的電壓發(fā)生改變時， 容器中 的具有極性的水分子發(fā)生漂移，從是兩種液體容器中的液體形狀發(fā)生改變， 根據(jù) 變形的程度來改變焦距。最大特色是其具備幾乎是無限寬廣的變焦范圍， 更快反映速度及更出色光學(xué)性能，可以應(yīng)用在可拍照手機(jī)、數(shù)碼相機(jī)以及PDA等等設(shè)備上。其電壓控制信號由3D CMOS圖像傳感器芯片可編程提供或者自動等間距 提供。葉啟美陶" '電壓力I1*毫尿力4 S井翅iOilJLF嗷口so1 zn m口金宿邛命屬金屬111金曷圖5液體變焦鏡頭示意圖5結(jié)語人類肉眼看到的是一幅具有層次、 深度的立體影像。但是目前的攝像機(jī)和顯 示屏大多數(shù)是2D的，因此3D成像成為目前的研究熱點(diǎn)，3D影像技術(shù)將成為將 來發(fā)展的新技術(shù)。3D影像技術(shù)在多媒體手機(jī)、網(wǎng)絡(luò)攝像、數(shù)碼相機(jī)、機(jī)器人視 覺導(dǎo)航、汽車安全系統(tǒng)、生物醫(yī)學(xué)圖像分析、人機(jī)界面、虛擬現(xiàn)實(shí)、監(jiān)控、工業(yè) 檢測、無線遠(yuǎn)距離傳感、顯微鏡技術(shù)、天文觀察、海洋自主導(dǎo)航、科學(xué)儀器等等 領(lǐng)域具有廣闊的用途。目前發(fā)展起來的基丁飛行時間方法的3D攝像機(jī)在一些工業(yè)控制和一些導(dǎo)航中有所應(yīng)用，但是這些 3D裝置復(fù)雜