單幅圖像的三維信息處理畢業(yè)設(shè)計(jì)

1、 PAGE 29獨(dú)立完成與誠(chéng)信聲明本人鄭重聲明：所提交的畢業(yè)設(shè)計(jì)是本人在指導(dǎo)教師的指導(dǎo)下，獨(dú)立工作所取得的成果并撰寫完成的，鄭重確認(rèn)沒有剽竊、抄襲等違反學(xué)術(shù)道德、學(xué)術(shù)規(guī)范的侵權(quán)行為。文中除已經(jīng)標(biāo)注引用的內(nèi)容外，不包含其他人或集體已經(jīng)發(fā)表或撰寫過的研究成果。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中作了明確的說明并表示了謝意。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。畢業(yè)設(shè)計(jì)作者簽名： 指導(dǎo)導(dǎo)師簽名： 簽字日期： 簽字日期：畢業(yè)設(shè)計(jì)版權(quán)使用授權(quán)書本人完全了解華北水利水電學(xué)院有關(guān)保管、使用畢業(yè)設(shè)計(jì)的規(guī)定。特授權(quán)華北水利水電學(xué)院可以將畢業(yè)設(shè)計(jì)的全部或部分內(nèi)容公開和編入有關(guān)數(shù)據(jù)庫(kù)提供檢索，并采用

2、影印、縮印或掃描等復(fù)制手段復(fù)制、保存、匯編以供查閱和借閱。同意學(xué)校向國(guó)家有關(guān)部門或機(jī)構(gòu)送交畢業(yè)設(shè)計(jì)原件或復(fù)印件和電子文檔（涉密的成果在解密后應(yīng)遵守此規(guī)定）。畢業(yè)設(shè)計(jì)作者簽名： 導(dǎo)師簽名：簽字日期： 簽字日期： 目錄TOC o 1-3 h u HYPERLINK l _Toc12287 North China University of Water Resources and Electric Power PAGEREF _Toc12287 1 HYPERLINK l _Toc28406 摘要 PAGEREF _Toc28406 5 HYPERLINK l _Toc3445 Abstract P

3、AGEREF _Toc3445 6 HYPERLINK l _Toc26942 第一章 緒論 PAGEREF _Toc26942 7 HYPERLINK l _Toc5060 1.1 選題的背景和意義 PAGEREF _Toc5060 7 HYPERLINK l _Toc28543 1.2 三維信息獲取的發(fā)展前景 PAGEREF _Toc28543 8 HYPERLINK l _Toc19347 1.3 本文的結(jié)構(gòu) PAGEREF _Toc19347 9 HYPERLINK l _Toc9723 第二章 攝像機(jī)的成像模型 PAGEREF _Toc9723 10 HYPERLINK l _Toc

4、21898 2.1參考坐標(biāo)系 PAGEREF _Toc21898 10 HYPERLINK l _Toc10872 2.2 攝像機(jī)模型 PAGEREF _Toc10872 11 HYPERLINK l _Toc24846 2.3 坐標(biāo)變換關(guān)系 PAGEREF _Toc24846 12 HYPERLINK l _Toc15512 2.4攝像機(jī)成像模型的參數(shù) PAGEREF _Toc15512 14 HYPERLINK l _Toc3524 第三章 偽逆算法 PAGEREF _Toc3524 16 HYPERLINK l _Toc2515 3.1 最小二乘法原理 PAGEREF _Toc2515

5、16 HYPERLINK l _Toc13857 3.2 偽逆矩陣 PAGEREF _Toc13857 18 HYPERLINK l _Toc16954 3.2.1 右偽逆矩陣 PAGEREF _Toc16954 18 HYPERLINK l _Toc21398 3.2.2 左偽逆矩陣 PAGEREF _Toc21398 18 HYPERLINK l _Toc28963 3.3 線性方程組求解 PAGEREF _Toc28963 19 HYPERLINK l _Toc1861 3.4 偽逆算法 PAGEREF _Toc1861 19 HYPERLINK l _Toc13476 第四章 獲取圖像

6、的三維特征點(diǎn)坐標(biāo) PAGEREF _Toc13476 21 HYPERLINK l _Toc30204 4.1圖像預(yù)處理 PAGEREF _Toc30204 21 HYPERLINK l _Toc8429 4.2利用偽逆法提取圖像的特征點(diǎn)坐標(biāo) PAGEREF _Toc8429 23 HYPERLINK l _Toc32541 第五章 結(jié)果分析 PAGEREF _Toc32541 25 HYPERLINK l _Toc952 第六章 總結(jié)與展望 PAGEREF _Toc952 29 HYPERLINK l _Toc9170 6.1 總結(jié) PAGEREF _Toc9170 29 HYPERLINK

7、 l _Toc22386 6.2 展望 PAGEREF _Toc22386 29 HYPERLINK l _Toc26556 致謝 PAGEREF _Toc26556 30 HYPERLINK l _Toc16531 參考文獻(xiàn) PAGEREF _Toc16531 31 HYPERLINK l _Toc14174 附錄一 PAGEREF _Toc14174 32 HYPERLINK l _Toc13240 程序： PAGEREF _Toc13240 32 HYPERLINK l _Toc11878 附錄二 PAGEREF _Toc11878 35 HYPERLINK l _Toc31062 外文

8、翻譯 PAGEREF _Toc31062 35 HYPERLINK l _Toc2313 英文原文 PAGEREF _Toc2313 35 HYPERLINK l _Toc24939 中文翻譯 PAGEREF _Toc24939 41 HYPERLINK l _Toc30505 附錄三 PAGEREF _Toc30505 45 HYPERLINK l _Toc25609 附錄四 PAGEREF _Toc25609 49單幅圖像的三維信息獲取摘要 三維信息獲取,是研究快速獲取物體表面三維信息,得到物體三維數(shù)字化模型的技術(shù)。三維信息主要包括目標(biāo)點(diǎn)的空間位置信息、顏色信息、結(jié)構(gòu)信息等等,隨著電子技術(shù)

9、和計(jì)算機(jī)技術(shù)的迅猛發(fā)展,人們經(jīng)常需要迅速的獲得圖像的三維信息。 當(dāng)前三維信息獲取技術(shù)大多是基于計(jì)算機(jī)視覺理論,計(jì)算機(jī)視覺是用視覺傳感器獲取環(huán)境圖像并將其轉(zhuǎn)換成數(shù)字信號(hào),用計(jì)算機(jī)實(shí)現(xiàn)對(duì)視覺信息處理的全過程。 計(jì)算機(jī)視覺的研究目標(biāo)是使計(jì)算機(jī)具有通過二維圖像認(rèn)知三維環(huán)境信息的能力,使機(jī)器能感知三維環(huán)境中物體的幾何信息,包括形狀,位置,姿態(tài),運(yùn)動(dòng)等,并對(duì)它們進(jìn)行描述,存儲(chǔ),識(shí)別和理解。本研究的核心算法是首先需要得到攝像機(jī)從三維到二維的成像矩陣M3*4，并計(jì)算M3*4的偽逆矩陣N，然后利用偽逆矩陣N提取二維單幅圖像中的三維信息，即提取特征點(diǎn)的三維坐標(biāo)。 本文在分析了攝像機(jī)成像模型的基礎(chǔ)上，提出了空間點(diǎn)獲

10、取的方案，得到了世界坐標(biāo)系與像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系式，并為獲取三維信息提供了一種簡(jiǎn)單的方法。關(guān)鍵詞:三維信息獲??；攝像機(jī)成像模型；偽逆；特征點(diǎn)Abstract 3D information acquisition is the study of the rapid acquisition of 3D object surface information to get the 3D model technology.Three dimensional information mainly includes the target space position information, color

11、 information, configuration information and so on, along with the electronic technology and the rapid developement of computer technology, people often need to obtain images of three-dimensional information. The current 3D information acquisition methods are mostly based on the theory of computer vi

12、sion, computer vision is the vision sensor image acquisition environment and converts it into a digital signal, using computer to realize the whole process of visual information processing.The study of the core algorithm is the first need to get the camera from 3D to 2D image matrix M3* 4, and calcu

13、late the M3 *4 pseudo inverse matrix N, and then use the pseudo inverse matrix N extracted from the two-dimensional images of three-dimensional information extraction, namely the3D coordinates of feature points. Based on the analysis of the model imaging camera are put forward, based on the point of

14、 the scheme for space, by the world coordinate system and the conversion relation between pixel coordinate system, and for access to the 3 d information provides a simple method. Key words:3D information acquisition;A camera imaging model ; pseudo inverse; feature point第一章 緒論計(jì)算機(jī)視覺的研究目標(biāo)是使計(jì)算機(jī)具有通過一幅或多幅

15、圖像認(rèn)知周圍環(huán)境信息的能力。這種能力將不僅使計(jì)算機(jī)能感知環(huán)境中物體的幾何信息，包括它的形狀、位置、姿態(tài)、運(yùn)動(dòng)等，而且能對(duì)它們進(jìn)行描述、存儲(chǔ)、識(shí)別與理解。 80年代初Marr首次從信息處理的角度綜合了圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)及臨床精神病學(xué)的研究成果，提出了第一個(gè)較為完善的視覺系統(tǒng)框架。在這一理論的指導(dǎo)下，經(jīng)過眾多學(xué)者辛勤探索，計(jì)算機(jī)視覺已發(fā)展起一套獨(dú)立的計(jì)算理論與算法，它并不刻意去“仿真”生物視覺系統(tǒng)，從而能用計(jì)算機(jī)對(duì)視覺信息（或者說對(duì)圖像）進(jìn)行分析與處理。在理論發(fā)展的同時(shí)，計(jì)算機(jī)視覺已應(yīng)用于遙感圖像分析，文字識(shí)別，醫(yī)學(xué)圖像處理，多媒體技術(shù)，工藝檢測(cè)與軍事等方面。我們相信，隨著跨學(xué)科基礎(chǔ)

16、研究的不斷深入，隨著計(jì)算機(jī)性能的快速提高，計(jì)算機(jī)視覺將廣泛地應(yīng)用于更復(fù)雜的場(chǎng)合。1.1 選題的背景和意義客觀世界在空間上是三維的。在工程技術(shù)和其他很多領(lǐng)域，一般要對(duì)物體進(jìn)行三維信息分析，從而得到對(duì)研究有用的信息?；跀?shù)碼圖片的三維信息獲取是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)重要的研究部分，近年來，三維信息獲取的理論和應(yīng)用也得到了很大的發(fā)展。目前，絕大部分圖像采集裝置所獲取的圖像信息都是二維的平面信息，盡管其中可以含有三維物體的空間信息。要想從數(shù)碼圖片去認(rèn)識(shí)真實(shí)物體，就要從二維世界中的平面圖像來恢復(fù)其在三維空間中的立體模型，這就需要研究二維空間中的圖像中的像素點(diǎn)與客觀世界中物體各點(diǎn)之間的對(duì)應(yīng)關(guān)系，分析確定物體

17、的大小和空間物體的相互位置關(guān)系，得到物體的三維坐標(biāo)，從而獲取三維信息。在美國(guó)召開的第10屆模式識(shí)別會(huì)議上,J.Atoimonos(英國(guó)馬里蘭大學(xué))提出了有目的的、定性的主動(dòng)視覺,他認(rèn)為以馬爾視覺計(jì)算理論為代表的理論將視覺規(guī)定為由場(chǎng)景的圖像精確地獲取三維幾何機(jī)器視覺,這要求太高了,是沒有必要的,計(jì)算也太過復(fù)雜,求解太困難,并且這些定量計(jì)算沒有必要, 可以用定性視覺來代表定量視覺。立體成像的方式主要由光源、采集器和景物三者的相互位置和運(yùn)動(dòng)情況所決定。傳統(tǒng)的成像方法幾乎是這三者中至少有一者位置不固定,比如雙目成像是兩個(gè)采集器位于兩個(gè)位置,當(dāng)然也可以是同一個(gè)采集器平移到另一個(gè)位置;光移(光度立體)成像

18、是光源運(yùn)動(dòng),另兩者固定;主動(dòng)視覺成像是采集器運(yùn)動(dòng),另兩者固定;主動(dòng)視覺(自運(yùn)動(dòng))成像是僅光源固定,另兩者運(yùn)動(dòng)等等。盡管圖像中包含著豐富的信息, 但是從一幅圖像無法直接獲得沿著某條投影線上的點(diǎn)的深度。至少需要兩幅圖像,才可以通過三角測(cè)量的方法得到點(diǎn)的深度。傳統(tǒng)的三維重建方法很少基于三者都固定的情況。從一幅圖像中提取三維信息的原理有很多,如透視縮放、透視縮短和紋理梯度等,因?yàn)樵谝环鶊D像中,三維信息是隱藏在所成像的幾何畸變、明暗度、紋理、表面輪廓等因素之中的。值得注意的是,除非景物與像之間的距離測(cè)度比例已知,否則由2D圖像并不能直接得到攝像機(jī)與景物間的絕對(duì)距離。簡(jiǎn)言之,如果沒有足夠的先驗(yàn)知識(shí),從一幅

19、圖像中提取的三維信息只能做定性分析,只能得到相對(duì)的位置或方位關(guān)系。實(shí)際上，三維數(shù)據(jù)獲取是人工智能領(lǐng)域的研究課題，是通常的幾何作圖或者攝影成像過程的逆過程。1.2 三維信息獲取的發(fā)展前景生活在三維的物理世界中，所有物體都具有三維物理尺寸。然而，迄今為止所有商業(yè)化信息器都只能顯示二維圖像，人們無法從被顯示的圖像上獲得物體的三維信息或感受到物體的物理深度。這種目前仍在使用的二維顯示技術(shù)剝奪了物體的三維特征，具有極大的局限性。有鑒于此，近年來提出并開展了一系列的三維信息獲取技術(shù)，并且這些三維信息獲取技術(shù)在一定程度上解決了城市規(guī)劃、國(guó)土調(diào)查、數(shù)字電力、數(shù)字森林、數(shù)字交通、應(yīng)急減災(zāi)、礦產(chǎn)調(diào)查、文物數(shù)字保護(hù)

20、等應(yīng)用領(lǐng)域的數(shù)據(jù)需求，有不可替代的商業(yè)價(jià)值和廣闊的應(yīng)用市場(chǎng)。特別是最近十年來迅速發(fā)展起來的激光雷達(dá)新型遙感技術(shù)和計(jì)算機(jī)視覺的攝影測(cè)量技術(shù)為三維信息快速獲取注入了新的活力。在巨大的市場(chǎng)需求和技術(shù)競(jìng)爭(zhēng)面前，自主創(chuàng)新與技術(shù)集成是迫在眉睫的頭等大事。近些年，單幅圖像信息獲取的研究越來越受到關(guān)注，由于一幅圖像無法完全重構(gòu)出對(duì)應(yīng)的三維模型，針對(duì)這一點(diǎn)，眾多研究者利用圖像中已知的幾何信息對(duì)目標(biāo)物體進(jìn)行三維信息獲取。在國(guó)外，caPrile和Torre首先提出了利用滅點(diǎn)進(jìn)行攝像機(jī)標(biāo)定的思想。在給出并證明了滅點(diǎn)屬性的基礎(chǔ)上，根據(jù)滅點(diǎn)與攝像機(jī)內(nèi)參數(shù)的關(guān)系通過單幅圖像確定攝像機(jī)的內(nèi)參數(shù)，再由根據(jù)特定模板計(jì)算攝像機(jī)的外

21、參數(shù)。Guilfou等人提出了一種利用滅點(diǎn)實(shí)現(xiàn)單幅圖像中三維物體信息獲取的方法，假設(shè)攝相機(jī)在投影面上的投影中心即為圖像的中心，而不是利用滅點(diǎn)的屬性進(jìn)行計(jì)算，且在對(duì)相機(jī)內(nèi)參數(shù)的估算時(shí)也沒有充分利用滅點(diǎn)的屬性，因而計(jì)算過程稍顯復(fù)雜。Debevec等將目標(biāo)物體的幾何形狀作為相應(yīng)參數(shù)，實(shí)現(xiàn)結(jié)構(gòu)化場(chǎng)景的交互式建模。ZHANG提出利用一些用戶指定的約束，如目標(biāo)物體表面的位置、輪廓、皺痕等生成滿足這些約束的三維表面。在國(guó)內(nèi)，對(duì)利用單幅圖像進(jìn)建模工作的研究也很多，張祖勛等通過分析滅點(diǎn)幾何，基于單幅圖像的三維信息獲取的研究建立了攝像機(jī)的成像模型，根據(jù)偽逆算法，用最小二乘法原理，計(jì)算影像的內(nèi)、外方位元素的方法，并

22、在三維信息獲取的實(shí)踐中進(jìn)行了驗(yàn)證。1.3 本文的結(jié)構(gòu)本文一共由六章組成，本文的主要內(nèi)容如下：緒論介紹了本課題的研究背景和意義，以及獲取三維信息技術(shù)的發(fā)展前景，并列出本課題的具體任務(wù)。研究了攝像機(jī)的成像模型，知道攝像機(jī)的兩個(gè)內(nèi)參矩陣，為提取特征點(diǎn)的偽逆算法提供了依據(jù)。先介紹最小二乘法原理，然后再了解偽逆算法。對(duì)圖像進(jìn)行預(yù)處理，然后根據(jù)偽逆算法獲取圖像特征點(diǎn)的三維坐標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，并總結(jié)偽逆算法提取特征點(diǎn)的優(yōu)點(diǎn)和缺點(diǎn)。對(duì)全文做總結(jié)和對(duì)未來的研究工作進(jìn)行展望。 第二章 攝像機(jī)的成像模型從圖像中獲取三維信息的幾何數(shù)據(jù)，必須建立物體位置點(diǎn)與其在攝相機(jī)中所處的位置點(diǎn)到像點(diǎn)之間的數(shù)學(xué)關(guān)系表達(dá)式，即確定

23、攝像機(jī)成像幾何模型。攝像機(jī)成像模型是攝像機(jī)標(biāo)定的基礎(chǔ)，確定了成像模型，才能確定攝像機(jī)內(nèi)外參數(shù)的個(gè)數(shù)和求解的方法。在計(jì)算機(jī)視覺中，利用所拍攝的圖像來計(jì)算出三維空間中被測(cè)物體幾何參數(shù)。圖像是空間物體通過成像系統(tǒng)在像平面上的反映，即空間物體在像平面上的投影。圖像上每一個(gè)像素點(diǎn)的灰度反映了空間物體表面某點(diǎn)的反射光的強(qiáng)度，而該點(diǎn)在圖像上的位置則與空間物體表面對(duì)應(yīng)點(diǎn)的幾何位置有關(guān)。這些位置的相互關(guān)系，由攝像機(jī)成像系統(tǒng)的幾何投影模型所決定。計(jì)算機(jī)視覺研究中，三維空間中的物體到像平面的投影關(guān)系即為成像模型。2.1參考坐標(biāo)系攝像機(jī)的成像過程如圖2-1，共涉及到4個(gè)坐標(biāo)系，這4個(gè)坐標(biāo)系分別為：世界坐標(biāo)系 根據(jù)自己

24、的需要選定的坐標(biāo)系，坐標(biāo)原點(diǎn)為，其它的坐標(biāo)用表示；世界坐標(biāo)系用來描述場(chǎng)景中攝像機(jī)和物體的位置。 (2) 攝像機(jī)坐標(biāo)系 坐標(biāo)系為Oc-XcYcZc，其中Oc為攝像機(jī)的光心，Xc軸和Yc軸與成像平面坐標(biāo)系的坐標(biāo)軸平行,Z軸為攝像機(jī)的光軸，與成像平面垂直。 (3) 圖像坐標(biāo)系 它的坐標(biāo)原點(diǎn)O在攝像機(jī)獲得的圖像平面的中心，其點(diǎn)的坐標(biāo)用(x, y)來表示，它的 X 軸、Y 軸分別平行于攝像機(jī)坐標(biāo)系的兩條垂直邊；像素坐標(biāo)系 它的坐標(biāo)原點(diǎn)在圖像平面的左上角，它的兩個(gè)坐標(biāo)軸分別用 U、V 表示，且 U 軸、V 軸也平行于攝像機(jī)坐標(biāo)系的兩條垂直邊，其點(diǎn)的坐標(biāo)用(u ,v)來表示，由于像素坐標(biāo)系中的坐標(biāo)是用像素來

25、表達(dá)的，所以該坐標(biāo)值都是一些離散的整數(shù)值。 P(Xw,Yw,Zw)Zc(Xc,Yc,Zc)O0VPOXUYfXc OcYc 2-1 攝相機(jī)成像坐標(biāo)系2.2 攝像機(jī)模型攝像機(jī)采集得到的圖像上的每一點(diǎn)的亮度反映了空間物體表面某點(diǎn)反射光的強(qiáng)度，而該點(diǎn)在圖像中的位置與物體表面點(diǎn)在三維世界中的位置有關(guān)。攝像機(jī)成像模型將三維空間的點(diǎn)與圖像平面上的點(diǎn)對(duì)應(yīng)起來，可以用一個(gè)從三維空間到二維空間的映射來表示： （2-1)2.3 坐標(biāo)變換關(guān)系 四個(gè)參考坐標(biāo)系的坐標(biāo)變換一共涉及到三個(gè)過程，將空間中點(diǎn)的世界坐標(biāo)變換為圖像的像素坐標(biāo)。（1）世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的變換 世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的變換是一個(gè)剛體變換，可以

26、由一個(gè)正交變換矩陣R和一個(gè)位移向量T表示為： （2-2）用齊次坐標(biāo)的形式可以表示為： （2-3） 其中，是世界坐標(biāo)系的坐標(biāo)(X,Y,Z)是攝像機(jī)坐標(biāo)系的坐標(biāo),T是世界坐標(biāo)系原點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo),矩陣R是正交旋轉(zhuǎn)矩陣,矩陣元素滿足下式： （2-4） 正交旋轉(zhuǎn)矩陣實(shí)際上只有3個(gè)獨(dú)立變量,再加上T的3個(gè)變量,一共有6個(gè)參數(shù)決定了攝像機(jī)光軸在世界坐標(biāo)系中的位置,這6個(gè)參數(shù)被稱為攝像機(jī)的外部參數(shù)。 (2)攝像機(jī)坐標(biāo)系到成像平面坐標(biāo)系的變換 攝像機(jī)坐標(biāo)系到成像平面坐標(biāo)系的變換是一個(gè)透視投影變換，由相似三角形關(guān)系可以得到下面的關(guān)系式： （2-5）用齊次坐標(biāo)的形式可以表示為： （2-6）其中，(X，Y，

27、Z)是攝像機(jī)坐標(biāo)系的坐標(biāo)，(x，y)是成像平面坐標(biāo)系的坐標(biāo),f是攝像機(jī)的焦距。 (3)成像平面坐標(biāo)系到圖像坐標(biāo)系的變換 成像平面坐標(biāo)系到圖像坐標(biāo)系的變換是圖像數(shù)字化的過程,將像素點(diǎn)的物理坐標(biāo)變換為圖像的像素坐標(biāo)。設(shè)主點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)為,每一個(gè)像素在x軸和y軸方向上的物理尺寸為dx，dy,則圖像坐標(biāo)變換關(guān)系可由下式表示: （2-7）用齊次坐標(biāo)的形式可以表示為： （2-8）其中,(x,y)是成像平面坐標(biāo)系的坐標(biāo)(u,v)是圖像坐標(biāo)系的坐標(biāo)，和為x和y方向的采樣頻率,即單位長(zhǎng)度的像素點(diǎn)個(gè)數(shù)。 將式(2.3)和式(2.6)代入式(2.8)得到圖像坐標(biāo)和世界坐標(biāo)的變換關(guān)系可由下式表示: （2-9）

28、 上面的關(guān)系式是在假設(shè)圖像坐標(biāo)軸相互垂直的情況下推導(dǎo)出來的,但是通常情況下,兩個(gè)坐標(biāo)軸之間并不是嚴(yán)格垂直的,引入傾斜因子s來描述圖像坐標(biāo)軸的傾斜程度。最終得到針孔成像模型的數(shù)學(xué)表達(dá)式如下:（2-10）其中,和分別為x和y方向的等效焦距,K稱為攝像機(jī)的內(nèi)部參數(shù)矩陣,(R,T)稱為攝像機(jī)的外部參數(shù)矩陣,P稱為投影矩陣。2.4攝像機(jī)成像模型的參數(shù) 三維計(jì)算機(jī)視覺系統(tǒng)從攝像機(jī)獲得的圖像信息出發(fā),計(jì)算三維環(huán)境物體的位置、形狀等幾何信息,并由此來識(shí)別環(huán)境中的物體.圖像上每一點(diǎn)的亮度反映了空間物體表面某點(diǎn)反射光的強(qiáng)度,而該點(diǎn)在圖像上的位置則與空間物體表面相應(yīng)點(diǎn)的位置有關(guān).這些位置的相互關(guān)系,與攝像機(jī)成像的幾

29、何模型有關(guān).該幾何模型的參數(shù)稱為攝像機(jī)參數(shù).攝像機(jī)標(biāo)定的任務(wù)是去求解這些參數(shù). 攝像機(jī)參數(shù)可以分為內(nèi)外2種參數(shù).外部參數(shù)用來把世界坐標(biāo)系轉(zhuǎn)換成攝像機(jī)坐標(biāo)系.其最簡(jiǎn)單的模型是線性模型,由于攝像機(jī)可安放在環(huán)境中的任何一個(gè)位置,可在環(huán)境中選擇一個(gè)基準(zhǔn)坐標(biāo)系來描述攝像機(jī)的位置,并用它來描述環(huán)境中任何物體的位置,該坐標(biāo)系稱為世界坐標(biāo)系.攝像機(jī)坐標(biāo)系(x,y,z)與世界坐標(biāo)系(X,Y,Z)之間的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移向量T來描述.矩陣R與向量T被稱為攝像機(jī)的外部參數(shù).攝像機(jī)的內(nèi)部參數(shù)通常包括焦距f，圖像中心坐標(biāo). 由于圖像像素坐標(biāo)并沒有用物理單位表示出該像素在圖像中的位置,因此, 需要再建立以物理單位

30、(mm)表示的圖像物理坐標(biāo)系.該坐標(biāo)系以圖像中心坐標(biāo)為原點(diǎn)，x軸與y軸分別與u，v軸平行。式（2-11）是攝像機(jī)成像過程矩陣運(yùn)算表示方法： (2-11)式中,k表示畸變系數(shù),dx與dy分別表示圖像采樣時(shí)x方向與y方向像素與像素之間的長(zhǎng)度,單位為毫米/像素；u0與v0分別表示計(jì)算機(jī)圖像坐標(biāo)系中圖像中心的坐標(biāo)值;f表示攝像機(jī)有效焦距。是旋轉(zhuǎn)矩陣，是平移矩陣。第三章 偽逆算法 本實(shí)驗(yàn)的核心算法就是偽逆算法，通過對(duì)三維到二維的成像矩陣，進(jìn)行偽逆，就可以提取圖像的特征點(diǎn)。但進(jìn)行偽逆，需要應(yīng)用最小二乘法原理來計(jì)算。下面我們將介紹最小二乘法原理。3.1 最小二乘法原理最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小

31、化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配。最小二乘法就是用最簡(jiǎn)單的方法去求得一些絕對(duì)不可知的、真值，從而令誤差平方之和為最小。最小二乘法是應(yīng)用最多的參數(shù)估計(jì)方法，是從最小二乘法原理出發(fā)的其他估計(jì)方法的基礎(chǔ)，是必須熟練掌握的一種方法。 在已經(jīng)獲得樣本觀測(cè)值（i=1,2,n）的情況下，假設(shè)參數(shù)估計(jì)量已經(jīng)求得到，為，并且是最合理的參數(shù)估計(jì)量，那么直線方程 i=1,2,n (3-1)應(yīng)該能夠最好地去擬合樣本數(shù)據(jù)。其中被解釋為變量的估計(jì)值，它是由參數(shù)估計(jì)量和解釋變量的觀測(cè)值計(jì)算得到的。那么，被解釋變量的估計(jì)值與觀測(cè)值應(yīng)該在總體上最為接近，判斷的標(biāo)準(zhǔn)是二者之差的平方和最小。 (3-2)為什么要用平方和？因

32、為二者之差可正可負(fù)，簡(jiǎn)單求和可能將很大的誤差抵掉，只有平方和才能反映二者在總體上的接近程度。這就是最小二乘原則。那么，就可以從最小二乘原則和樣本觀測(cè)值出發(fā)，求得參數(shù)估計(jì)量。由于 (3-3)是、的二次函數(shù)并且非負(fù)，所以其極小值總是存在。根據(jù)羅彼塔法則，當(dāng)Q對(duì)、的一階偏導(dǎo)數(shù)為0時(shí)，Q達(dá)到最小。即 (3-4)容易推得特征方程： (3-5)解得： (3-6) 所以有： (3-7)于是得到了符合最小二乘原則的參數(shù)估計(jì)量。為了減少計(jì)算工作量，本實(shí)驗(yàn)介紹了采用樣本的利差形式的參數(shù)估計(jì)量的計(jì)算公式。由于現(xiàn)在計(jì)量經(jīng)濟(jì)學(xué)計(jì)算機(jī)軟件被普遍采用，計(jì)算工作量已經(jīng)不是什么大問題。但離差形式的計(jì)算公式在其他方面也是有應(yīng)用的

33、，有關(guān)公式如下： （3-8）（3-8）的參數(shù)估計(jì)量可以寫成 （3-9）至此，完成了模型估計(jì)的第一項(xiàng)任務(wù)。下面進(jìn)行模型估計(jì)的第二項(xiàng)任務(wù)，即求隨機(jī)誤差項(xiàng)方差的估計(jì)量。記為第i個(gè)樣本觀測(cè)點(diǎn)的殘差，即被解釋變量的估計(jì)值與觀測(cè)值之差。則隨機(jī)誤差項(xiàng)方差的估計(jì)量為 （3-10）3.2 偽逆矩陣3.2.1 右偽逆矩陣 設(shè)A是mn階矩陣，規(guī)定：叫右偽逆矩陣。右偽逆矩陣具有逆矩陣的性質(zhì)： （3-11）3.2.2 左偽逆矩陣 設(shè)A是mn階矩陣，規(guī)定：叫左偽逆矩陣。右偽逆矩陣具有逆矩陣的性質(zhì)： （3-12）3.3 線性方程組求解 對(duì)于n元線性方程組AX=B其解有三種情況;解惟一,有無窮組解,無解.下面應(yīng)用偽逆矩陣對(duì)線

34、性方程組AX=B作進(jìn)一步的討論.設(shè)方程組有n個(gè)變?cè)?A是階矩陣,B是階矩陣.（1）有唯一解 當(dāng)線性方程組AX=B有唯一解時(shí)，必有R（）（）此時(shí)方程組的解為；。（2）有無窮組解 當(dāng)線性方程組AX=B有無窮組解時(shí)，必有R（A）=R（AB）n. 一般的，對(duì)于線性方程組AX=B，當(dāng)有無窮組解時(shí)，我們要找出最接近原點(diǎn)的解，即最小范數(shù)解，則他是惟一的。令這個(gè)最小范數(shù)解為,即滿足以下條件：AX=B，且對(duì)所有滿足AX=B的X，有：|X|，這表示在X 對(duì)應(yīng)的n維空間中，是所有滿足AX=B的解中最靠近遠(yuǎn)點(diǎn)的。 的構(gòu)造如下：=。（3）無解 當(dāng)線性方程組AX=B有無解時(shí)，必有R（A）R（AB）。如果方程組無解，我們希

35、望能夠找到可以使范數(shù)|AX-B|最小化的解。令此解為，即滿足以下條件： （3-13） 這里不是傳統(tǒng)意義上的解，因?yàn)樗粷M足代數(shù)方程組AX=B，因此被稱為可使|AX-B|最小化的近似解的構(gòu)造如下： （3-14）3.4 偽逆算法 在本試驗(yàn)中，圖像經(jīng)已標(biāo)定的攝像機(jī)所得到的成像矩陣為M，它的偽逆矩陣的算法如下： 如果矩陣M是方陣且非奇異,則M的偽逆矩陣(記為)與相等; 如果M不是方陣或M為奇異陣, 則不相等。即有: （3-15） 可以通過最小二乘法得到矩陣的偽逆矩陣,也稱之為通過矛盾方程組求解。本文需要求矩陣的偽逆。為了求的偽逆,構(gòu)造等式: （3-16）式中，表示的偽逆，在該式中它是未知數(shù); 表示四階

36、方陣。展開式后,可以得到16個(gè)方程, 其中前4個(gè)方程如式（3-15）所示, 它是通過的第一行元素得到的4個(gè)方程: （3-17）為了解這16個(gè)方程、12個(gè)未知數(shù)的方程組,可以通過最小二乘法來求解。首先把這16個(gè)方程寫成方程矩陣形式,得到: （3-18）式中，是的12個(gè)元素寫成列向量的行式, 是單位方陣寫成列向量的行式, 就是通過上面得到的16個(gè)方程的系數(shù)矩陣得到的。在式（3-16）左邊和右邊分別左乘,得到相應(yīng)的正規(guī)方程組,即: （3-19） 再對(duì)上述正規(guī)方程組進(jìn)行求解,即可得到的最小二乘偽逆陣。把寫成4行、3列形式, 就得到。將上述求解過程合并一下, 就可以得到以下公式: （3-20） 顯然式(

37、3-20）滿足式(3-15）關(guān)于偽逆矩陣的定義,其運(yùn)算過程也滿足矩陣逆的定義?？梢宰C明,這種方法求得的偽逆解,就是最小二乘解。因?yàn)閷?duì)于形如式(3-20）這種AX = b的超定方程組而言,與子空間是正交的,其中為最逼近真解的最近似解,因此可以看成是子空間的法線,所以該解向量到子空間的距離是最短的,即最小二乘原理。 第四章 獲取圖像的三維特征點(diǎn)坐標(biāo) 隨著科技不斷的發(fā)展進(jìn)步，針對(duì)一幅圖片，人們不單單的只去觀看了解它的表面，而是想更深入的知道這幅圖在真實(shí)環(huán)境中的立體感覺。一部分科學(xué)家正在研究怎樣才能更準(zhǔn)確，高精度的去獲取它的三維信息，讓人們更能直觀的去認(rèn)識(shí)這幅圖片。本實(shí)驗(yàn)為大家提供一種比較快速的去獲得

38、圖像的三維數(shù)據(jù)的方法。4.1圖像預(yù)處理 在圖像的產(chǎn)生、傳輸和變換過程中，由于多種因素的影響，往往使其與原始景物之間產(chǎn)生某些差異，這種差異稱為變劣或退化。圖像的退化一般包括對(duì)比度較差，邊緣模糊、噪聲較大等。這些變劣給圖像的進(jìn)一步處理造成了困難和不便。因此，有必要對(duì)圖像進(jìn)行恰當(dāng)?shù)奶幚?，從而改善圖像的視覺效果，提高圖像成分的清晰度，并且使圖像更有利于計(jì)算機(jī)的處理，便于對(duì)圖像進(jìn)行分割，從而提高圖像的識(shí)別率，這一過程就是圖像的預(yù)處理。本文利用MATLAB對(duì)圖像進(jìn)行預(yù)處理，該系統(tǒng)中所用到的算法容易實(shí)現(xiàn)，運(yùn)算量少。 （1）灰度圖像的直方圖 按照隨機(jī)過程理論，圖像可以看作是一個(gè)隨機(jī)場(chǎng)具有相應(yīng)的統(tǒng)計(jì)特性，其中最

39、重要的特征是灰度密度函數(shù)。要精確得到圖像的灰度密度函數(shù)是比較困難的，實(shí)際中用數(shù)字圖像的直方圖來代替?；叶戎狈綀D是一個(gè)離散函數(shù)，它表示數(shù)字圖像每一灰度級(jí)與該灰度級(jí)出現(xiàn)頻率的對(duì)應(yīng)關(guān)系。假設(shè)一幅數(shù)字圖像的象素總數(shù)為 N，有L個(gè)灰度級(jí)，具有第k個(gè)灰度級(jí)的灰度的像素共有個(gè)，則第k個(gè)灰度級(jí)或者說是出現(xiàn)的頻率為： ， k=0.1L-1 （4-1） 密度函數(shù)p (z)或直方圖雖然不能直接反映出圖像的內(nèi)容，但對(duì)它進(jìn)行分析可以得出圖像的一些有用特征，這些特征能反映出圖像的特點(diǎn)。例如，當(dāng)圖像對(duì)比度較小時(shí)，它的灰度直方圖只在灰度軸上較小的一段區(qū)間上非零；較暗的圖像由于較多的象素灰度值低，因此它的直方圖的主體出現(xiàn)在低灰

40、度區(qū)間上，其在高灰度區(qū)間上的幅度較小或?yàn)榱悖豢雌饋砬逦膱D像，它的直方圖灰度分布較均勻。 （2）直方圖均衡化直方圖均衡化處理的“中心思想”是把原始圖像的灰度直方圖從比較集中的某個(gè)灰度區(qū)間變成在全部灰度范圍內(nèi)的均勻分布。直方圖均衡化就是對(duì)灰度圖像進(jìn)行非線性拉伸，重新分配圖像的像素值，是一定灰度范圍內(nèi)的像素?cái)?shù)量大致相同。直方圖均衡化就是把給定圖像的直方圖分布改變成均勻分布直方圖分布。直方圖均衡化方法是將一已知灰度概率密度分布圖像經(jīng)過某種變換變成一幅具有均勻灰度概率密度分布的新圖像，從而達(dá)到增強(qiáng)圖像整體對(duì)比度的效果，是一種常用的灰度增強(qiáng)的算法。假設(shè)一幅圖像的像素?cái)?shù)為n，共有1個(gè)灰度級(jí)，代表灰度級(jí)為的

41、像素的數(shù)目，則第k個(gè)灰度級(jí)出現(xiàn)的概率可以表示為 （4-2）其中，0，其中k=0,1.,變換函數(shù)T(r)為： （4-3) 其中，0，且j=0,1.從上面計(jì)算過程可以看出，對(duì)原始輸入圖像直方圖的統(tǒng)計(jì)值可以算出均衡化各像素的灰度值。采用直方圖均衡化后會(huì)是灰度分布較密的部分被拉伸，灰度分布稀疏的部分被壓縮，從而使一幅圖像對(duì)比度在總體上得到增強(qiáng)。更重要的是，通過圖像的直方圖，可以確定圖像的閾值范圍，去除圖像以外的像素點(diǎn)，更方便的提取圖像的特征點(diǎn)。（3）二值圖像二值圖像是指每個(gè)像素不是黑就是白，其灰度值沒有中間過渡的圖像。二值圖像一般用來描述文字或者圖形，其優(yōu)點(diǎn)是占用空間少，缺點(diǎn)是，當(dāng)表示人物，風(fēng)景的圖像

42、時(shí)，二值圖像只能描述其輪廓，不能描述細(xì)節(jié)。這時(shí)候要用更高的灰度級(jí)。二值圖像是每個(gè)像素只有兩個(gè)可能值的數(shù)字圖像。人們經(jīng)常用的黑白、B&W單色圖像表示二值圖像，但是也可以用來表示每個(gè)像素只有一個(gè)采樣值的任何圖像，例如灰度圖像等。 二值圖像中所有的像素只能從0和1這兩個(gè)值中取，因此在MATLAB中，二值圖像用一個(gè)由0和1組成的二維矩陣表示。這兩個(gè)可取的值分別對(duì)應(yīng)于關(guān)閉和打開，關(guān)閉表征該像素處于背景，而打開表征該像素處于前景。以這種方式來操作圖像可以更容易識(shí)別出圖像的結(jié)構(gòu)特征。二值圖像操作只返回與二值圖像的形式或結(jié)構(gòu)有關(guān)的信息，如果希望對(duì)其他類型的圖像進(jìn)行同樣的操作，則首先要將其轉(zhuǎn)換為二進(jìn)制的圖像格式

43、，可以通過調(diào)用MATLAB提供的im2bw（）來實(shí)現(xiàn)。（4）邊緣檢測(cè) 邊緣是所要提取目標(biāo)的分界線，提取出邊緣才能將目標(biāo)和背景區(qū)分開來。在圖像中，邊界表明一個(gè)特征區(qū)域的終結(jié)和另一個(gè)特征區(qū)域的開始，邊界所分開區(qū)域的內(nèi)部特征或?qū)傩允且恢碌?，而不同區(qū)域內(nèi)部的特征或?qū)傩允遣煌?。邊緣的檢測(cè)正是利用物體和背景在某種圖像特性上的差異來實(shí)現(xiàn)的，這些差異包括灰度、顏色或者紋理特征。邊緣檢測(cè)實(shí)際上就是檢測(cè)圖像特性發(fā)生變化的位置。 由于噪聲和模糊的存在，檢測(cè)到的邊界可能會(huì)變寬或在某些點(diǎn)出發(fā)生間斷，因此，邊界檢測(cè)包括兩個(gè)基本內(nèi)容：首先抽取出反映灰度變化的邊緣點(diǎn)，然后剔除某些邊界點(diǎn)或補(bǔ)邊界間斷點(diǎn)，并將這些邊緣連接成完整

44、的線。4.2利用偽逆法提取圖像的特征點(diǎn)坐標(biāo)特征提取和選擇是對(duì)于處理后的數(shù)據(jù)進(jìn)行分析、去粗存精的過程。由于原始圖像數(shù)據(jù)量是相當(dāng)大的，需要把這些數(shù)據(jù)轉(zhuǎn)換為若干個(gè)特征，即為特征提取。為了提高分類處理的速度和精度，對(duì)提取的特征必須選擇最有代表性的特征，其信息冗余度最小，而且希望具有比例、旋轉(zhuǎn)、位移不變性。從數(shù)學(xué)上講，特征提取相當(dāng)于把一個(gè)物理模式變成一個(gè)隨機(jī)向量，如果抽取和選擇了m個(gè)特征，則物理模式可用一個(gè)m維特征向量描述，表現(xiàn)為m維歐氏空間中的一個(gè)點(diǎn)。m維特征向量表示為 近幾年來，研究者對(duì)特征提取的理論作了較多的探索，力求得出一些針對(duì)特定目標(biāo)的高精度、高效率的特征提取算法與方法。這其中包含PCA方法、

45、Fisher鑒別分析方法，以及以核方法為代表的非線性特征提取方法等。另外，在實(shí)際應(yīng)用中算法的效率也是非常重要的。核方法是新近發(fā)展起來的一種非線性特征提取方法，它的理論基礎(chǔ)來自于統(tǒng)計(jì)學(xué)習(xí)理論。下面介紹的是以最小二乘法原理為基礎(chǔ)，利用偽逆算法來提取圖像的特征點(diǎn)坐標(biāo)的。這一步是式（2-11）的逆過程，可以通過以下公式計(jì)算特征點(diǎn)的三維坐標(biāo)值，該三維坐標(biāo)值的坐標(biāo)系取決于前面計(jì)算的時(shí)用到的R與T，計(jì)算公式為： （4-4） 結(jié)果分析本次試驗(yàn)的目的是從二維的圖像平面感知它的三維立體空間，并提取特征點(diǎn)的三維坐標(biāo),得到三維信息。本實(shí)驗(yàn)的主要步驟如下：首先要根據(jù)攝像機(jī)的成像模型, 得到攝像機(jī)從三維到二維的成像矩陣。

46、這里要用到攝像機(jī)的內(nèi)參和外參矩陣。其次利用最小二乘原理，計(jì)算成像矩陣的偽逆矩陣。然后利用偽逆算法提取圖像的特征點(diǎn)。最后獲取圖像的特征點(diǎn)的三維坐標(biāo)，獲得三維信息。本實(shí)驗(yàn)的具體內(nèi)容如下：首先先輸入一幅原圖（即灰度圖像）如下圖1：圖 1 原圖像 圖2 原圖像的直方圖 為了看到圖像的分布情況，直方圖能夠反映圖像的分布，如上圖2，可以從圖2中看出該直方圖只在灰度軸較小的一段區(qū)間上非零，說明該圖像的對(duì)比度較??；而且其主體出現(xiàn)在低值灰度區(qū)間上，說明圖像中有較多的象素灰度值低。為了使圖像清晰，可以對(duì)圖像進(jìn)行原圖像均化處理，使圖像的灰度范圍拉開，并且然灰度頻率較小的灰度級(jí)變大，即讓灰度直方圖在較大的動(dòng)態(tài)范圍內(nèi)趨于一致，如下圖3：圖3 原圖像均衡化圖4 均衡化的直方圖從圖4可以使圖像的細(xì)節(jié)更加清楚了，而從圖像的直方圖上也可以看出，在直方圖調(diào)整之前，低灰度的比例較大，經(jīng)過直方圖調(diào)整，各灰度等級(jí)的比例更加平衡，從而得到圖像的閾值范圍。但是由于直方圖均衡并沒有考慮圖像的內(nèi)容，簡(jiǎn)單地將圖像進(jìn)行直方圖均衡，還需用其它方法對(duì)圖像進(jìn)行增強(qiáng)。對(duì)圖1進(jìn)行黑白化，白的部分就是就是圖像的閾值，如下圖5： 圖5 二值圖像對(duì)比度增強(qiáng)的圖像處理技術(shù)是按一定的規(guī)則修改輸入圖像每一個(gè)象素灰度，從而改變圖像灰度的動(dòng)態(tài)范圍。它可以使灰度