立體視覺(jué)基礎(chǔ)(1)

1、.1 主要內(nèi)容 一. 立體視覺(jué)的概念 二. 立體視覺(jué)的基本原理 三. 射影幾何中的基本概念 四. 基本的成像模型 五. 單視幾何學(xué)的基本原理 六. 雙視幾何學(xué)的基本原理 七. 攝像機(jī)標(biāo)定的基本原理 .2 一. 立體視覺(jué)的概念 1. 計(jì)算機(jī)視覺(jué)的概念 2. 立體視覺(jué)的概念 .3 1. 計(jì)算機(jī)視覺(jué)的概念 什么是計(jì)算機(jī)視覺(jué)? 模擬人眼接收客觀世界中可見(jiàn)光信息，并 由大腦解釋可視信息的過(guò)程，使用算法對(duì) 真實(shí)圖像或視頻中的內(nèi)容給予有效的解釋。 入口數(shù)據(jù)：圖像、視頻（可視信息） 出口數(shù)據(jù)：對(duì)可視內(nèi)容的某種解釋?zhuān)ǚ强?視信息） .4 1. 計(jì)算機(jī)視覺(jué)的概念 應(yīng)用實(shí)例： 汽車(chē)牌照識(shí)別 車(chē)輛形狀識(shí)別 人臉識(shí)別

2、拍攝場(chǎng)景中的人數(shù)統(tǒng)計(jì) 動(dòng)態(tài)目標(biāo)分割、定位、跟蹤、行為分析 .5 1. 計(jì)算機(jī)視覺(jué)的概念 相關(guān)領(lǐng)域： 計(jì)算機(jī)圖形學(xué) 數(shù)字圖像處理 .6 計(jì)算機(jī)圖形學(xué) 使用圖形生成管道（一組有序執(zhí)行的算 法），由計(jì)算機(jī)內(nèi)部的虛擬幾何圖形表述 生成虛擬可視像素圖形的過(guò)程。 入口數(shù)據(jù)：虛擬二維或三維場(chǎng)景描述（幾 何圖形，非可視數(shù)據(jù)） 出口數(shù)據(jù)：經(jīng)圖形管道處理后得到的虛擬 的、像素化圖形（可視數(shù)據(jù)） .7 數(shù)字圖像處理 使用算法對(duì)數(shù)字圖像中的像素信息實(shí)施處 理，使圖像中內(nèi)容的可視化質(zhì)量得以提高 的過(guò)程。 入口數(shù)據(jù)：圖像（可視） 出口數(shù)據(jù)：圖像（可視） .8 2. 立體視覺(jué)的概念 模仿人眼的立體視覺(jué)過(guò)程，基于一幀或多 幀

3、具有共同拍攝場(chǎng)景的圖像，由其中的二 維形狀信息恢復(fù)原始場(chǎng)景中三維形狀信息 的視覺(jué)過(guò)程。 .9 二. 立體視覺(jué)的基本原理 1. 單視幾何原理 2 .雙視幾何原理 3. 多視幾何原理 4. 立體視覺(jué)的一般處理過(guò)程 .10 1. 單視幾何原理 單視幾何：針對(duì)平面物體的形狀恢復(fù) .11 2 .雙視幾何原理 雙視幾何：基于標(biāo)定攝像機(jī)的三維表面重建 .12 3. 多視幾何原理 多視幾何：基于未標(biāo)定攝像機(jī)的三維表面重建 .13 4. 立體視覺(jué)的一般處理過(guò)程 p l pr P Ol Or Xl Xr PlPr flfr Zl Yl Zr Yr R, T 入口數(shù)據(jù)：?jiǎn)螏蚨鄮瑘D像 為了最終恢復(fù)三維信息， 需要基

4、于入口數(shù)據(jù)進(jìn)一步 獲取哪些數(shù)據(jù)？ .14 4. 立體視覺(jué)的一般處理過(guò)程 問(wèn)題： 如何知道不同圖像中的匹配信息？ 如何知道不同拍攝方位的相對(duì)放置（外部 參數(shù)）？ 如何知道攝像機(jī)的內(nèi)部參數(shù)？ .15 4. 立體視覺(jué)的一般處理過(guò)程 （1）圖像配準(zhǔn) （2）攝像機(jī)標(biāo)定（確定內(nèi)部參數(shù)） （3）確定攝像機(jī)相對(duì)放置（確定外部參數(shù)） （4）三維表面重建 .16 （1）圖像配準(zhǔn) 1）基于像素的圖像配準(zhǔn)方法 兩幀圖像中所有具有同一原像的像素對(duì)都 應(yīng)建立匹配關(guān)系。 2）基于特征的圖像配準(zhǔn)方法 僅針對(duì)兩幀圖像中的具有同一原像的點(diǎn)、 線(xiàn)、區(qū)域特征對(duì)建立匹配關(guān)系。 .17 （1）圖像配準(zhǔn) 兩類(lèi)方法具有一定的聯(lián)系，并且，基于

5、特 征的圖像配準(zhǔn)效率更高，在其基礎(chǔ)上可簡(jiǎn) 化像素級(jí)配準(zhǔn)。 由于各類(lèi)特征均可以轉(zhuǎn)換為點(diǎn)特征，因此， 基于特征點(diǎn)的配準(zhǔn)方法成為研究的重點(diǎn)。 例如，直線(xiàn)段特征可轉(zhuǎn)換為直線(xiàn)段的兩兩 交點(diǎn)，區(qū)域特征可轉(zhuǎn)換為區(qū)域的重心。 .18 2）基于特征點(diǎn)的圖像配準(zhǔn) a）數(shù)字圖像中的特征點(diǎn)提取 示例：角點(diǎn)提取 b）基于特征點(diǎn)的圖像配準(zhǔn) 仿射圖像配準(zhǔn)、透視圖像配準(zhǔn)、基于外極 幾何約束的圖像配準(zhǔn) .19 a）角點(diǎn)提取 示例：基于獨(dú)立性的角點(diǎn)提取方法 兩個(gè)像素窗口的關(guān)聯(lián)系數(shù)： 像素的獨(dú)立性： 21 21 21 , WW WW WWCC T ), (),(1),(yyxxWyxWCCMAXyxU 1 23 4 56 7 89

6、 1 2 3 4 5 6 7 8 9 x與與y 小于指定整數(shù)，且不同時(shí)為零小于指定整數(shù)，且不同時(shí)為零 .20 a）角點(diǎn)提取 獨(dú)立性示例：亮度越強(qiáng)的像素位置獨(dú)立性越強(qiáng) .21 a）角點(diǎn)提取 處理流程： 1. 從圖像中提取邊緣像素集 2. 將邊緣像素按照獨(dú)立性降序排序 3. 對(duì)于當(dāng)前獨(dú)立性最大的像素，若其獨(dú)立性大 于指定閾值，則將其輸出到角點(diǎn)集，否則結(jié)束 處理流程 4. 對(duì)于剩余的邊緣像素集，將其獨(dú)立性乘以H， 轉(zhuǎn)第2步 .22 a）角點(diǎn)提取 其中，di為第i個(gè)剩余邊緣像素與輸出角點(diǎn) 間的像素距離； D為相對(duì)距離定義，由它規(guī)定距離遠(yuǎn)、近的 概念。 )/exp(1 22 DdH i .23 b）基于

7、特征點(diǎn)的圖像配準(zhǔn) 圖像配準(zhǔn)的目的： 在兩幀圖像間建立一個(gè)映射關(guān)系，該映射能夠 將其中一幀圖像上的特征點(diǎn)坐標(biāo)映射為另一幀 圖像中匹配特征點(diǎn)的坐標(biāo)。 .24 b）基于特征點(diǎn)的圖像配準(zhǔn) 問(wèn)題： 兩幀圖像中的特征點(diǎn)數(shù)量一定相等嗎？ 是否所有特征點(diǎn)都存在對(duì)應(yīng)的匹配特征點(diǎn)？ 兩幀圖象存在差異，內(nèi)容不會(huì)完全一致，因此特征點(diǎn) 數(shù)量也不一定相等 兩幀圖象存在差異，某特征點(diǎn)可能在左圖像中出現(xiàn)， 但卻可能在右圖像中未出現(xiàn) .25 b）基于特征點(diǎn)的圖像配準(zhǔn) 特征點(diǎn)坐標(biāo)間的映射可理解為坐標(biāo)變換，可使用矩陣來(lái)表示。 矩陣類(lèi)型與圖像間幾何變換的關(guān)系： 1. 二維仿射矩陣與圖像平面內(nèi)的二維旋轉(zhuǎn)、平移、放縮變 換對(duì)應(yīng) 2.二維

8、透視矩陣除包含二維變換外，還包含攝像機(jī)繞光心 的旋轉(zhuǎn)變換 3. 基礎(chǔ)矩陣包含二維變換、攝像機(jī)旋轉(zhuǎn)、攝像機(jī)平移等變 換 .26 b）基于特征點(diǎn)的圖像配準(zhǔn) 11001 232221 131211 i l i l j r j r y x aaa aaa y x 二維仿射變換：兩幀圖像間的變化可由二維圖像平面上的 二維旋轉(zhuǎn)、放縮、平移來(lái)描述； r、l 分別表示左右圖像中特征點(diǎn)坐標(biāo)，i、j 表示特征點(diǎn)序號(hào) 若已知左、右圖像中的3個(gè)匹配特征點(diǎn)對(duì)，則能求解該變換 .27 b）基于特征點(diǎn)的圖像配準(zhǔn) 11 333231 232221 131211 i l i l j r j r y x aaa aaa aaa

9、y x 二維透視變換：兩幀圖像間的變化包括二維圖像平面上的 二維旋轉(zhuǎn)、放縮、平移、攝像機(jī)成像平面在三維空間中繞 光心旋轉(zhuǎn)； r、l 分別表示左右圖像中特征點(diǎn)坐標(biāo)，i、j 表示特征點(diǎn)序號(hào) 若已知左、右圖像中的4個(gè)匹配特征點(diǎn)對(duì)，則能求解該變換 .28 b）基于特征點(diǎn)的圖像配準(zhǔn) 仿射配準(zhǔn)的處理流程： 1. 假設(shè)左圖像與右圖像的特征點(diǎn)集分別為P、 Q，從P、Q中選擇一個(gè)未嘗試的三點(diǎn)對(duì)，若已 無(wú)三點(diǎn)對(duì)可以選擇，則認(rèn)為配準(zhǔn)失敗，并結(jié)束 處理流程 2. 使用相似三角形約束判斷三點(diǎn)對(duì)的合理性， 若不合理，則轉(zhuǎn)第一步 .29 b）基于特征點(diǎn)的圖像配準(zhǔn) 11 31 21 31 21 qq qq pp pp 相似三

10、角形約束：p、q分別表示P、Q中的特征點(diǎn)， 相同腳標(biāo)表示具有匹配關(guān)系，為很小的值 .30 b）基于特征點(diǎn)的圖像配準(zhǔn) 3. 使用三點(diǎn)對(duì)解方程組，求解仿射變換的6 個(gè)未知系數(shù)，確定變換矩陣 4. 使用得到的變換矩陣，求P中所有特征點(diǎn) 在Q中滿(mǎn)足容忍度D（誤差，以像素為單位） 的匹配特征點(diǎn) 5. 若特征點(diǎn)數(shù)量足夠大，則認(rèn)為配準(zhǔn)成功， 保存匹配點(diǎn)對(duì)信息，結(jié)束處理流程；否則， 轉(zhuǎn)第1步 .31 b）基于特征點(diǎn)的圖像配準(zhǔn) 仿射配準(zhǔn)示例：由于實(shí)際的幾何變換包含仿射配準(zhǔn)示例：由于實(shí)際的幾何變換包含 攝像機(jī)繞光心旋轉(zhuǎn)、平移等三維變換，因攝像機(jī)繞光心旋轉(zhuǎn)、平移等三維變換，因 此導(dǎo)致部分點(diǎn)對(duì)失配此導(dǎo)致部分點(diǎn)對(duì)失配

11、.32 三. 射影幾何中的基本概念 1.矩陣與向量間的關(guān)系 2.幾何變換與逆變換 3.對(duì)偶與對(duì)偶變換 4.歐氏幾何、同射幾何、仿射幾何、射 影幾何的概念以及相互間的關(guān)系 .33 1.矩陣與向量間的關(guān)系 向量的幾何概念：具有長(zhǎng)度、方向的幾何 元素 向量表述的幾何元素：點(diǎn)、線(xiàn)、面、乃至 于N維空間中的線(xiàn)性幾何元素 向量的具體形式：一組坐標(biāo)值 .34 向量坐標(biāo)的本質(zhì) 向量坐標(biāo)的本質(zhì)：在N維空間中，在給定基 向量集的基礎(chǔ)上，任意向量在各基向量上 的投影 給定向量，求坐標(biāo)：向各基向量投影 給定坐標(biāo)，求向量：以坐標(biāo)為系數(shù)對(duì)基向 量做線(xiàn)性組合 .35 向量坐標(biāo)的本質(zhì) o X Y 3 2 10 01 3 2

12、矩陣行、列均 理解為基向量 集 .36 矩陣的本質(zhì)-以旋轉(zhuǎn)為例 Y X Y X O V VX VY VX VY Y X Y X V V aa aa V V 2221 1211 思考：行、列向量組的含義是什么？ 2212 2111 Y X Y X V V aa aa V V 逆變換逆變換 cossin sincos 2221 1211 aa aa .37 矩陣的本質(zhì)-以旋轉(zhuǎn)為例 Y X Y X O y x aa aa y x 2221 1211 (x,y) .38 矩陣的本質(zhì)-以旋轉(zhuǎn)為例 Y X Y X O y x aa aa y x 2221 1211 (x,y) 2212 2111 y x

13、aa aa y x .39 矩陣的本質(zhì) 僅考慮N階方陣，因?yàn)橐话憔仃嚳赏ㄟ^(guò)添加 零向量（行或列）擴(kuò)展為方陣。 任意N階方陣的行、列向量組分別對(duì)應(yīng)N維 空間中兩個(gè)不同的基向量集（不一定線(xiàn)性 無(wú)關(guān)），即N維空間中的兩個(gè)坐標(biāo)系。 .40 矩陣的本質(zhì) 方陣的行向量組為行坐標(biāo)系基向量在列坐 標(biāo)系下的坐標(biāo)； 列向量組為列坐標(biāo)系基向量在行坐標(biāo)系下 的坐標(biāo)。 .41 矩陣的本質(zhì) N階方陣的本質(zhì)是N維空間中兩個(gè)坐標(biāo)系間 的坐標(biāo)變換。 若N階方陣不是滿(mǎn)秩矩陣，即行、列向量組 中存在線(xiàn)性相關(guān)，則坐標(biāo)變換中存在降維 變換。 N階單位陣的行、列坐標(biāo)系為同一坐標(biāo)系， 其中無(wú)坐標(biāo)變換。 .42 向量變換與坐標(biāo)系變換 Y X

14、 Y Y X X OOO 等價(jià)變換等價(jià)變換 .43 向量變換與坐標(biāo)系變換 對(duì)任意一種向量變換，可以找到一種等價(jià) 的坐標(biāo)系變換與之對(duì)應(yīng)；反之亦然。 .44 2.幾何變換與逆變換 （1）旋轉(zhuǎn)變換與逆變換 （2）放縮變換與逆變換 （3）平移變換與逆變換 （4）射影變換與逆變換 （5）變換與逆變換基向量組間關(guān)系 .45 （1）旋轉(zhuǎn)變換與逆變換 旋轉(zhuǎn)變換一一對(duì)應(yīng)于單位正交陣，也稱(chēng)為 旋轉(zhuǎn)矩陣，其逆變換即為旋轉(zhuǎn)矩陣的轉(zhuǎn)置。 解釋?zhuān)篤由R的列坐標(biāo)系變換到行坐標(biāo)系， 再由行坐標(biāo)系變換到列坐標(biāo)系； 列坐標(biāo)系自己向自己投影，即無(wú)坐標(biāo)變換。 RVRV T .46 （2）放縮變換與逆變換 y x y x 10 05

15、. 0 Y X O Y X O Y X O 等價(jià)變換等價(jià)變換 沿坐標(biāo)軸放縮沿坐標(biāo)軸放縮 .47 沿坐標(biāo)軸放縮 對(duì)于沿坐標(biāo)軸的放縮，變換矩陣為對(duì)角陣，對(duì) 角線(xiàn)上各元素對(duì)應(yīng)各坐標(biāo)軸分別的放縮因子。 行坐標(biāo)系與列坐標(biāo)系相互的坐標(biāo)描述完全一致。 思考：試從投影與線(xiàn)性組合兩個(gè)角度來(lái)解釋放 縮變換。 KVV .48 沿坐標(biāo)軸放縮-逆變換 n k k k K .00 . 0.0 0.0 2 1 n k k k K /1.00 . 0./10 0.0/1 2 1 1 .49 （2）放縮變換與逆變換 Y X O Y X O p p X p Y O X Y yp xp xp yp 等價(jià)變換等價(jià)變換 KRVRV T

16、 沿任意方向放縮沿任意方向放縮 KRERT列坐標(biāo)系變換：列坐標(biāo)系變換： 變換矩陣為對(duì)稱(chēng)陣變換矩陣為對(duì)稱(chēng)陣 放縮變換可能改變幾何形狀（夾角），但不會(huì)改變平行性 .50 沿任意方向的放縮 對(duì)于沿任意方向的放縮，其變換矩陣為對(duì)稱(chēng)陣， 其含義是先將坐標(biāo)系旋轉(zhuǎn)到放縮方向，再實(shí)施 向量放縮，最后再將坐標(biāo)系旋轉(zhuǎn)回原處。 任意對(duì)稱(chēng)陣總可以拆分為RTKR的形式。 行坐標(biāo)系與列坐標(biāo)系相互的坐標(biāo)描述完全一致。 思考：試從投影與線(xiàn)性組合兩個(gè)角度來(lái)解釋放 縮變換 .51 沿任意方向的放縮-逆變換 RKRKRR TT1 1 可見(jiàn)，逆變換的可見(jiàn)，逆變換的放縮方向并無(wú)變化放縮方向并無(wú)變化， 僅將放縮因子變?yōu)榈箶?shù)僅將放縮因子變

17、為倒數(shù) .52 線(xiàn)性變換 N維向量空間中的旋轉(zhuǎn)、放縮變換統(tǒng)稱(chēng)為線(xiàn) 性變換。 N維空間中的線(xiàn)性變換與N階方陣一一對(duì)應(yīng)。 任一N階矩陣對(duì)應(yīng)的線(xiàn)性變換均可分解為旋 轉(zhuǎn)、放縮兩種變換。 .53 N階方陣的特征值分解（SVD） KRRRM T M為任意N階矩陣，R表示旋轉(zhuǎn)， RTKR表示任意方向上的放縮 .54 （3）平移變換與逆變換 在N維向量空間中，平移變換是通過(guò)向量加 法來(lái)實(shí)現(xiàn)的，而非矩陣實(shí)現(xiàn)的線(xiàn)性變換。 如果使用矩陣來(lái)實(shí)現(xiàn)平移，則必須引入齊 次坐標(biāo)系，將N維向量空間擴(kuò)展為N+1 維空 間，稱(chēng)為N維射影空間。 為了區(qū)分所討論的向量空間，將N維常規(guī)空 間稱(chēng)為IRN，將N維射影空間稱(chēng)為IPN。 .55

18、 二維射影空間IP2 Y X O W (0,0,1) (x,y,w) (x/w, y/w, 1) w y x 1 / / wy wx Plane: w=1 在IP2 中，對(duì)任意過(guò)原點(diǎn)的直線(xiàn)， 其上所有點(diǎn)等價(jià)，每條過(guò)原點(diǎn)直 線(xiàn)對(duì)應(yīng)平面w=1上一個(gè)點(diǎn)。 雖然是3維坐標(biāo)，但自由度仍為2 IR2在IP2中對(duì)應(yīng)于平面w=1 .56 三維射影空間IP3 1 / / / wz wy wx w z y x 4維空間中每條過(guò)原點(diǎn) 的直線(xiàn)等價(jià)于w=1這個(gè) 3維超平面中的一個(gè)點(diǎn) 雖然是4維坐標(biāo)，但自 由度仍為3 .57 三維射影空間IP3 如果要針對(duì)IP3作圖，則必須在4維空間作圖， 無(wú)法實(shí)現(xiàn)。 但應(yīng)理解，IR3中

19、的每一點(diǎn)均為IP3中過(guò)原點(diǎn) 直線(xiàn)在w=1的3維超頻面上投影而成的。 注：直線(xiàn)（1維）、平面（2維）、3維超平 面、乃至N維超平面并沒(méi)有本質(zhì)區(qū)別，區(qū)別 僅在于維度。 .58 X Y W 二維平移變換 X Y W X Y W 1100 10 01 1 y x t t y x y x 通過(guò)IP2中的線(xiàn)性變換實(shí)現(xiàn)了 IR2中的平移變換 .59 IPN中平移變換的逆變換 10.00 0.00 . 0.10 0.01 10.00 0.00 . 0.10 0.01 2 1 1 2 1 NN t t t t t t 思考：試舉一例說(shuō)明IP2中平移變換與其逆變換的關(guān)系 .60 歐氏變換 旋轉(zhuǎn)與平移變換并稱(chēng)歐氏變

20、換。 顯然，歐氏變換常用于描述剛體放置。 注：平移變換在IRN中并非線(xiàn)性變換，它是 通過(guò)IPN中的線(xiàn)性變換間接實(shí)現(xiàn)的。 在歐氏變換中，幾何形狀、大小均不變化， 僅坐標(biāo)系中的方位變化。 .61 同射變換 旋轉(zhuǎn)、平移、各方向等比放縮并稱(chēng)為同射 變換。 在同射變換下，幾何形狀不變化（保持角 度、長(zhǎng)度比例），但長(zhǎng)度、面積等測(cè)度， 以及方位會(huì)變化。 .62 仿射變換 旋轉(zhuǎn)、平移、放縮并稱(chēng)為仿射變換。 在仿射變換下，物體形狀、測(cè)度、方位均 可能變化，但原本平行的幾何元素其平行 性不變。 為什么仿射變換不保持角度、長(zhǎng)度比例？ 存在任意的放縮變換存在任意的放縮變換 .63 （4）射影變換與逆變換 射影變換的含

21、義： 將IRN中的N維向量理解為IPN中N+1維向量 在N維超平面w=1上的投影； 對(duì)IPN中N+1維原向量實(shí)施變換，則IRN中的 N維投影向量隨之改變。 .64 二維射影變換 X Y W X Y W X Y W 1111 010 001 yx y x w wy wx w y x IP2中原像對(duì)應(yīng)的過(guò)原點(diǎn)直線(xiàn) 發(fā)生變化，引起IR2中的像點(diǎn) 發(fā)生變化 在IR2中，像點(diǎn)的變化規(guī)律為沿原射線(xiàn)方向變化 （IR2原點(diǎn)為起點(diǎn)，變換前像點(diǎn)為終點(diǎn)確定的射線(xiàn)方向） .65 三維射影變換 X Y Z IR3 w wz wy wx w z y x 1111 0100 0010 0001 IP3中原像對(duì)應(yīng)的過(guò)原點(diǎn)直線(xiàn)

22、 發(fā)生變化，引起IR3中的像點(diǎn) 發(fā)生變化 在IR3中，像點(diǎn)的變化規(guī)律為沿原射線(xiàn)方向變化 （IR3原點(diǎn)為起點(diǎn)，變換前像點(diǎn)為終點(diǎn)確定的射線(xiàn)方向） IP3無(wú)法作圖，只能針對(duì)IR3作圖觀察 .66 N維射影變換 N維向量的射影變換一定在IPN中才能完成。 IPN中的射影變換：在N+1維向量坐標(biāo)中， 改變齊次項(xiàng)w，實(shí)質(zhì)上修改了原像所在的過(guò) 原點(diǎn)直線(xiàn)， 從而引起IRN中N維投影向量的變化，但投 影向量的方向總是不變，僅長(zhǎng)度發(fā)生變化。 .67 N維射影變換 1 . 1. 01.00 . 00.10 00.01 1 . 2 1 , 12, 11 , 1 2 1 n nnnn n x x x aaa x x x

23、 .68 N維射影變換的逆變換 1. 01.00 . 00.10 00.01 1. 01.00 . 00.10 00.01 , 12, 11 , 1 1 , 12, 11 , 1nnnnnnnn aaaaaa .69 齊次坐標(biāo)系的意義 IRN中的平移變換通過(guò)IPN變換矩陣的第N+1 列實(shí)現(xiàn)；IRN中的射影變換通過(guò)IPN變換矩陣 的第N+1行實(shí)現(xiàn) 齊次坐標(biāo)系的引入，使得IRN中的平移、射 影兩種非線(xiàn)性變換能夠用IRN+1（實(shí)質(zhì)上是 IPN）中的線(xiàn)性變換來(lái)表示。 .70 （5）變換與逆變換基向量組間關(guān)系 EAA 1 A的行向量與A-1的列向量是 同一坐標(biāo)系下的表述；并且， 除對(duì)應(yīng)列外，A中任意一行

24、 與A-1中任意一列正交；同樣， 除對(duì)應(yīng)行外， A-1中任意一列 與A中任意一行正交 對(duì)逆矩陣的一種理解：將A的 行向量組投影到A-1的列向量組， 由于兩個(gè)向量組間的正交關(guān)系， 最終將A中的行向量組變換為 單位正交基。 總結(jié)：A與A-1相乘，可理解為對(duì) A的行向量組或A-1的列向量組實(shí) 施了一種幾何變換，變換后它 們成為標(biāo)準(zhǔn)正交基 .71 3.對(duì)偶與對(duì)偶變換 X Y W X Y W IR2中的任意2D點(diǎn)可由IP2中 3D向量確定; IR2中的任意直線(xiàn)可由IP2中過(guò) 原點(diǎn)平面確定; IP2中給定一個(gè)3D向量，可以確定一個(gè)點(diǎn)， 也可以確定一個(gè)過(guò)原點(diǎn)平面 IP2 IP2 .72 IP2中直線(xiàn)的描述

25、0 1 cbyaxy x cba IR2 .73 IP2中點(diǎn)與直線(xiàn)對(duì)偶 若針對(duì)其中一個(gè)幾何元素存在一個(gè)定理， 則對(duì)其對(duì)偶幾何元素一定存在一個(gè)相應(yīng)的 定理。 示例： 任意兩個(gè)不同點(diǎn)確定一條直線(xiàn) 任意兩條不同直線(xiàn)交于一點(diǎn)（平行直線(xiàn)？） .74 IP2中點(diǎn)與直線(xiàn)對(duì)偶 X Y WIP2 P Q R RQP 若P、Q為兩點(diǎn)，則R為兩點(diǎn)所確定的直線(xiàn)法向量； 若P、Q為兩直線(xiàn)法向量，則R為兩直線(xiàn)的交點(diǎn) .75 IP3中點(diǎn)與平面對(duì)偶 在IP3中給定一個(gè)向量，可以確定一個(gè)IR3的點(diǎn)； 也可以確定一個(gè)IR3的平面 X Y Z （a, b, c） 0 1 dczbyax z y x dcba .76 IP3中點(diǎn)與平

26、面對(duì)偶 示例： 三個(gè)不同的點(diǎn)確定一個(gè)平面 三個(gè)不同的平面確定一個(gè)點(diǎn) .77 IPN中的對(duì)偶關(guān)系 對(duì)偶關(guān)系可以推廣到N維空間 IPN中的點(diǎn)與N-1維超平面對(duì)偶 .78 IPN中的對(duì)偶變換 0P T 0 1 APA T P為N-1維超平面上的點(diǎn)，為 超平面的法線(xiàn)向量 若對(duì)P實(shí)施線(xiàn)性變換A，對(duì)應(yīng) 實(shí)施何種變換，使它仍是該超 平面的法線(xiàn)向量？ 對(duì)而言： T A 對(duì)偶變換的性質(zhì)在對(duì)偶變換的性質(zhì)在IPN與與IRN+1中中 是一致的是一致的 .79 IPN中的對(duì)偶變換 對(duì)A作SVD分解： KRRRA T 對(duì)P所作變換： KRPRRAP T TTT RRKRKRRRA 1 1 1 RKRRRRKRA T T

27、TTT11 對(duì)所作變換： RKRR T1 .80 IPN中的對(duì)偶變換 為什么對(duì)偶變換中的放縮變換必須互逆？ 換言之，為什么放縮互逆才能保角？ Y X 以IR2為例 0 1 1 10 02 10 02/1 11 .81 IPN中的對(duì)偶變換 在IPN中，若要在線(xiàn)性變換后保持兩個(gè)向量 間的角度，則需要對(duì)它們實(shí)施對(duì)偶變換。 特別的，若要保證向量相對(duì)于某坐標(biāo)系的 坐標(biāo)在線(xiàn)性變換前后保持不變，則考察向 量與坐標(biāo)系需要作互為對(duì)偶的變換。 .82 IPN中的對(duì)偶變換 APP BPABP 1 將A的列坐標(biāo)系下任一點(diǎn)的列坐標(biāo)P 變換到行坐標(biāo)系下，得到行坐標(biāo)P 對(duì)P實(shí)施線(xiàn)性變換B，若期望經(jīng)變換A后保持行坐標(biāo)P不變，

28、 必須對(duì)A中行坐標(biāo)系基向量實(shí)施對(duì)偶變換 .83 4.歐氏、同射、仿射、射影幾何 （1）無(wú)窮遠(yuǎn)直線(xiàn)、平面 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) （3）IPN中的歐氏幾何 （4）IPN中的同射幾何 （5）IPN中的仿射幾何 （6）IPN中的射影幾何 .84 （1）無(wú)窮遠(yuǎn)直線(xiàn)、平面 IP2中一個(gè)3D向量可確定IR2中的一條直線(xiàn)， 若該向量與W坐標(biāo)軸同向，直線(xiàn)在何處？ .85 （1）無(wú)窮遠(yuǎn)直線(xiàn)、平面 對(duì)IP2中對(duì)無(wú)窮遠(yuǎn)直線(xiàn)的理解 .86 （1）無(wú)窮遠(yuǎn)直線(xiàn)、平面 0 0 100 y x 0 w y x cba IP2中的普通直線(xiàn)IP2中的無(wú)窮遠(yuǎn)直線(xiàn) .87 （1）無(wú)窮遠(yuǎn)直線(xiàn)、平面 在IP2中，兩條平行直線(xiàn)交于何處？

29、 無(wú)窮遠(yuǎn)直線(xiàn)上的某個(gè)無(wú)窮遠(yuǎn)點(diǎn) 在IP2中，只要兩條直線(xiàn)不同，無(wú)論是否平 行，它們都具有交點(diǎn)。 在IP2中，所有同方向的平行直線(xiàn)交于同一 無(wú)窮遠(yuǎn)點(diǎn)。 .88 （1）無(wú)窮遠(yuǎn)直線(xiàn)、平面 IP3中一個(gè)4D向量可確定IR3中的一個(gè)平面， 若該向量與W坐標(biāo)軸同向，平面在何處？ 無(wú)窮遠(yuǎn)處，即無(wú)窮遠(yuǎn)平面 IP3中兩條平行直線(xiàn)交于無(wú)窮遠(yuǎn)平面上一 點(diǎn)；兩個(gè)平行平面交于無(wú)窮遠(yuǎn)平面上一 條直線(xiàn) .89 （1）無(wú)窮遠(yuǎn)直線(xiàn)、平面 1 w z y x dcba1 0 1000 z y x IP3中的普通平面IP3中的無(wú)窮遠(yuǎn)平面 .90 （1）無(wú)窮遠(yuǎn)直線(xiàn)、平面 同理，無(wú)窮遠(yuǎn)直線(xiàn)、平面的概念可以推廣到N 維空間 IPN中存在N

30、-1維無(wú)窮遠(yuǎn)超平面 .91 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) 0 100 0 0 00 00 1 y x r cb ca rcc b a yx y x yx 0 2 22 rcbycax yx IP2中的二次曲線(xiàn)，包括圓、橢圓 .92 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) 0 100 0 0 00 00 1 y x r cb ca rcc b a yx y x yx 0 1 0 0 1 222 2 2 y x rccbcac bcb aca yx yxyx y x IP2中的二次曲線(xiàn)，包括圓、橢圓 .93 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) 0 1 0 0 1 y x edc db ca yx IP2中的二次曲線(xiàn)的簡(jiǎn)化表述

31、 如果二次曲線(xiàn)的參數(shù)a、b給定，則定下一種橢圓（或圓） 所有這種形狀的橢圓（或圓）交于如下兩點(diǎn)： T i b a 0 1 T i b a 0 1 .94 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) 相同形狀橢圓的交點(diǎn)也可寫(xiě)作： 由于 2 aa 2 bb T i b a 01 T i b a 01 .95 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) 特別的，所有圓的交點(diǎn)為： 對(duì)圓而言： ba T i01 T i01 此二點(diǎn)稱(chēng)為環(huán)點(diǎn)，環(huán)點(diǎn)是所有圓的共同交點(diǎn)，此二點(diǎn)稱(chēng)為環(huán)點(diǎn)，環(huán)點(diǎn)是所有圓的共同交點(diǎn)， 同時(shí)也是任意圓與無(wú)窮遠(yuǎn)直線(xiàn)的交點(diǎn)同時(shí)也是任意圓與無(wú)窮遠(yuǎn)直線(xiàn)的交點(diǎn) .96 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) 0 1000 00 00 00 00

32、0 000 000 1 z y x r dc db da rddd c b a zyx z y x zyx IP3中的二次曲面 .97 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) 所有球面的交線(xiàn)稱(chēng)為絕對(duì)二次曲線(xiàn)， 它也是任意球面與無(wú)窮遠(yuǎn)平面的交點(diǎn) 0 00000 0100 0010 0001 0 z y x zyx 0 222 zyx 僅存在一個(gè)實(shí)點(diǎn)，其余 點(diǎn)均在復(fù)空間 .98 （2）環(huán)點(diǎn)、絕對(duì)二次曲線(xiàn) 絕對(duì)二次曲線(xiàn)的概念可以推廣到N維空間。 在IPN中，存在絕對(duì)二次超曲線(xiàn)。 .99 （3）IPN中的歐氏幾何 歐氏變換僅包括旋轉(zhuǎn)、平移變換。 問(wèn)題： 以IP2為例，歐氏變換會(huì)改變無(wú)窮遠(yuǎn)直線(xiàn)或 環(huán)點(diǎn)嗎？ 以IP3為

33、例，歐氏變換會(huì)改變無(wú)窮遠(yuǎn)平面或 絕對(duì)二次曲線(xiàn)嗎？ .100 IP2中平移對(duì)無(wú)窮遠(yuǎn)直線(xiàn)的影響 0 0100 10 01 100 10 01 100 y x t t t t y x y x 對(duì)直線(xiàn)上的點(diǎn)實(shí)施平移，其法線(xiàn)向量則作對(duì)偶變換，對(duì)直線(xiàn)上的點(diǎn)實(shí)施平移，其法線(xiàn)向量則作對(duì)偶變換， 實(shí)質(zhì)上為射影變換：實(shí)質(zhì)上為射影變換： 1 0 0 1 0 0 1 010 001 yx tt 變換后法線(xiàn)向量未改變， 可見(jiàn)平移不會(huì)改變無(wú)窮 遠(yuǎn)直線(xiàn)的方位 .101 IP3中平移對(duì)無(wú)窮遠(yuǎn)平面的影響 同理，平移不會(huì)改變IP3中無(wú)窮遠(yuǎn)平面的方 位。 此結(jié)論可以推廣到IPN中，即平移不會(huì)改變 IPN中的無(wú)窮遠(yuǎn)超平面。 .102

34、 IP2中平移對(duì)環(huán)點(diǎn)的影響 0 1 0 1 100 10 01 iit t y x平移前后環(huán)點(diǎn)坐標(biāo)未變， 可見(jiàn)平移不改變環(huán)點(diǎn)的 方位 實(shí)際上，平移不影響任何無(wú)窮遠(yuǎn)點(diǎn)，由此可以推論， IP3中的平移不影響絕對(duì)二次曲線(xiàn)，IPN中的平移不 影響絕對(duì)二次超曲線(xiàn) .103 IP2中旋轉(zhuǎn)對(duì)無(wú)窮遠(yuǎn)直線(xiàn)的影響 0RpR TT 直線(xiàn)上的點(diǎn)與法線(xiàn)向量作 對(duì)偶變換，對(duì)旋轉(zhuǎn)變換則 是相同的 R 1 0 0 1 0 0 100 0cossin 0sincos 旋轉(zhuǎn)前后無(wú)窮遠(yuǎn)直線(xiàn)的法線(xiàn) 向量未改變，說(shuō)明旋轉(zhuǎn)不改 變無(wú)窮遠(yuǎn)直線(xiàn)的方位 .104 IP3中旋轉(zhuǎn)對(duì)無(wú)窮遠(yuǎn)平面的影響 同理，旋轉(zhuǎn)不會(huì)改變IP3中無(wú)窮遠(yuǎn)平面的方 位。

35、此結(jié)論可以推廣到IPN中，即旋轉(zhuǎn)不會(huì)改變 IPN中的無(wú)窮遠(yuǎn)超平面。 .105 IP2中旋轉(zhuǎn)對(duì)環(huán)點(diǎn)的影響 0 1 00 1 100 0cossin 0sincos iie e i i i 旋轉(zhuǎn)前后環(huán)點(diǎn)坐標(biāo)未變，可見(jiàn)旋轉(zhuǎn)不改變環(huán)點(diǎn)的 方位（復(fù)空間內(nèi)，直線(xiàn)是螺旋形的） IP3中的旋轉(zhuǎn)不影響絕對(duì)二次曲線(xiàn)（請(qǐng)自行給出說(shuō)明）， IPN中的旋轉(zhuǎn)不影響絕對(duì)二次超曲線(xiàn) .106 （3）IPN中的歐氏幾何 在IPN中，歐氏變換不改變無(wú)窮遠(yuǎn)超平面、 絕對(duì)二次超曲線(xiàn)。 無(wú)窮遠(yuǎn)超平面的改變，意味著透視變形； 絕對(duì)二次超曲線(xiàn)的改變，意味著仿射變形。 在歐氏變換下，幾何元素?zé)o任何變形，僅 存在幾何元素的方位改變。 .107

36、 （4）IPN中的同射幾何 同射變換包含歐氏變換與各向等比放縮。 在IPN中，同射變換不改變無(wú)窮遠(yuǎn)超平面、 絕對(duì)二次超曲線(xiàn)。（自行說(shuō)明） 同射變換下，幾何元素的方位、絕對(duì)測(cè)度 可能改變，但相對(duì)形狀不改變 .108 （5）IPN中的仿射幾何 仿射變換包括旋轉(zhuǎn)、平移、各向等比或不 等比放縮變換。 在IPN中，仿射變換是否會(huì)影響無(wú)窮遠(yuǎn)超平 面、絕對(duì)二次超曲線(xiàn)？ .109 IP2中不等比放縮對(duì)無(wú)窮遠(yuǎn)直線(xiàn)的影響 0 0100 00 00 100 0/10 00/1 100 y x b a b a 對(duì)直線(xiàn)上的點(diǎn)實(shí)施放縮，其法線(xiàn)向量則作對(duì)偶變換， 實(shí)質(zhì)上為互逆的放縮： 1 0 0 1 0 0 100 0/1

37、0 00/1 b a 變換后法線(xiàn)向量未改變， 可見(jiàn)不等比放縮不會(huì)改 變無(wú)窮遠(yuǎn)直線(xiàn)的方位 .110 IP3中不等比放縮對(duì)無(wú)窮遠(yuǎn)平面的影響 同理，不等比放縮不會(huì)改變IP3中無(wú)窮遠(yuǎn)平 面的方位。 此結(jié)論可以推廣到IPN中，即不等比放縮不 會(huì)改變IPN中的無(wú)窮遠(yuǎn)超平面。 .111 IP2中不等比放縮對(duì)環(huán)點(diǎn)的影響 00 1 100 00 00 bi a ib a 放縮前后環(huán)點(diǎn)坐標(biāo)改變， 可見(jiàn)不等比放縮會(huì)改變 環(huán)點(diǎn)的方位 同樣的，IP3中的不等比放縮會(huì)影響絕對(duì)二次曲線(xiàn)， IPN中的不等比放縮會(huì)影響絕對(duì)二次超曲線(xiàn) .112 IPN中不等比放縮對(duì)絕對(duì)二次超曲線(xiàn)的影響 不等比放縮會(huì)改變IP2中的環(huán)點(diǎn)、IP3中的

38、絕 對(duì)二次曲線(xiàn)、IPN中的絕對(duì)二次超曲線(xiàn)， 這意味著圓會(huì)變形為橢圓、球面會(huì)變形為 橢球面、超球面會(huì)變形為超橢球面。 .113 IPN中不等比放縮不改變平行性 0 1100 00 00 100 0/10 00/1 1 y x b a b a 以IP2中的平行直線(xiàn)為例： 假設(shè)法線(xiàn)向量已標(biāo)準(zhǔn)化，即（, ）為單位向量， 為IR2中該直線(xiàn)的法線(xiàn)向量 與其平行的另一直線(xiàn)可設(shè)為：（方向相同， 與原點(diǎn)距離不同） T r 2 .114 IPN中不等比放縮不改變平行性 r br ar b a / )/( )/( 100 0/10 00/1 11 22 )/()/(bar r br ar b a / )/( )/(

39、 100 0/10 00/1 22 變換后，兩平行直線(xiàn)的 方向、相互距離都發(fā)生 變化；但仍保持平行性 .115 IPN中不等比放縮不改變平行性 此結(jié)論可以推廣到IPN中，即IPN中不等比放 縮變換不會(huì)改變N-1維平行超平面間的平行 性。 容易證明，旋轉(zhuǎn)、平移不改變平行性，因 此IPN中的仿射變換不改變平行性。 .116 （5）IPN中的仿射幾何 仿射變換可能改變幾何元素的方位、形狀， 但不會(huì)改變幾何元素間的平行性。 若IPN中的絕對(duì)二次超曲線(xiàn)方位發(fā)生變化， 而無(wú)窮遠(yuǎn)超平面未發(fā)生變化，則可以斷定 IPN中發(fā)生的變形為仿射變形。 .117 （6）IPN中的射影幾何 廣義的射影變換包括旋轉(zhuǎn)、平移、各

40、向等 比或不等比放縮、射影變換。 在IPN中，射影變換是否會(huì)影響無(wú)窮遠(yuǎn)超平 面、絕對(duì)二次超曲線(xiàn)？ .118 IP2中射影變換對(duì)無(wú)窮遠(yuǎn)直線(xiàn)的影響 0 01 010 001 1 010 001 100 y x aaaa yxyx 對(duì)直線(xiàn)上的點(diǎn)實(shí)施射影變換，其法線(xiàn)向量則作對(duì)偶變換，對(duì)直線(xiàn)上的點(diǎn)實(shí)施射影變換，其法線(xiàn)向量則作對(duì)偶變換， 實(shí)質(zhì)上為平移變換：實(shí)質(zhì)上為平移變換： 11 0 0 100 10 01 y x y x a a a a 變換后法線(xiàn)向量改變， 可見(jiàn)射影變換會(huì)改變 無(wú)窮遠(yuǎn)直線(xiàn)的方位 .119 IP2中射影變換對(duì)無(wú)窮遠(yuǎn)直線(xiàn)的影響 射影變換會(huì)將IP2中的無(wú)窮遠(yuǎn)直線(xiàn)拉至與原 點(diǎn)間具有有限距離的位

41、置上。 變換前，相互平行的直線(xiàn)交于一個(gè)無(wú)窮遠(yuǎn) 點(diǎn)；變換后，它們交于一個(gè)與原點(diǎn)具有有 限距離的點(diǎn)，它們還平行嗎？ 不平行，射影變換不保持平行性。 示例：目測(cè)的或照片中的兩根平行鐵軌 .120 IP2中射影變換對(duì)無(wú)窮遠(yuǎn)直線(xiàn)的影響 示例：無(wú)窮遠(yuǎn)直線(xiàn)被拉至有限距離 .121 IP3中射影變換對(duì)無(wú)窮遠(yuǎn)平面的影響 同理，射影變換會(huì)改變IP3中無(wú)窮遠(yuǎn)平面的 方位。 此結(jié)論可以推廣到IPN中，即射影變換會(huì)改 變IPN中的無(wú)窮遠(yuǎn)超平面。 由于在IPN中，絕對(duì)二次超曲線(xiàn)在無(wú)窮遠(yuǎn)超 平面內(nèi)，因此絕對(duì)二次超曲線(xiàn)也會(huì)受到影 響。 .122 （6）IPN中的射影幾何 射影變換會(huì)改變幾何元素的方位、形狀， 并且不保持平行性

42、。 .123 4.歐氏、同射、仿射、射影幾何 類(lèi)型類(lèi)型旋轉(zhuǎn)旋轉(zhuǎn)平移平移等比例放等比例放 縮縮 不等比放不等比放 縮縮 透視扭曲透視扭曲 歐氏幾何vv 同射幾何vvv 仿射幾何vvvv 射影幾何vvvvv .124 4.歐氏、同射、仿射、射影幾何 類(lèi)型類(lèi)型線(xiàn)性線(xiàn)性相交相交平行平行角度角度長(zhǎng)度比例長(zhǎng)度比例長(zhǎng)度長(zhǎng)度 歐氏幾何vvvvvv 同射幾何vvvvv 仿射幾何vvv 射影幾何vv .125 四. 基本的成像模型 Z Y X (0,0,-f) (0,0,f) O Virtual Projection Plane Factual Projection Plane 基本的小孔成像模型 為簡(jiǎn)化模型，總

43、是使用虛擬成像平面 .126 四. 基本的成像模型 1 0100 0010 0001 100 0 1 z y x cfk csfk y x yy xx l l 從世界坐標(biāo)系轉(zhuǎn)換從世界坐標(biāo)系轉(zhuǎn)換 到左攝像坐標(biāo)系到左攝像坐標(biāo)系 世界坐標(biāo)系下世界坐標(biāo)系下 的原像坐標(biāo)的原像坐標(biāo) 世界坐標(biāo)系與左攝世界坐標(biāo)系與左攝 像坐標(biāo)系間的平移像坐標(biāo)系間的平移 圖像坐標(biāo)系原點(diǎn)與光圖像坐標(biāo)系原點(diǎn)與光 心投影點(diǎn)間的平移心投影點(diǎn)間的平移 圖像坐標(biāo)系內(nèi)的圖像坐標(biāo)系內(nèi)的 傾斜因子傾斜因子 焦距焦距 分別對(duì)應(yīng)兩個(gè)方向分別對(duì)應(yīng)兩個(gè)方向 的放縮因子，將長(zhǎng)的放縮因子，將長(zhǎng) 度單位轉(zhuǎn)換為像素度單位轉(zhuǎn)換為像素 左攝像機(jī)圖像坐左攝像機(jī)圖像坐

44、 標(biāo)系下的像坐標(biāo)標(biāo)系下的像坐標(biāo) 左攝像機(jī)外部參數(shù)左攝像機(jī)外部參數(shù)左攝像機(jī)內(nèi)部參數(shù)左攝像機(jī)內(nèi)部參數(shù) .127 （1）傾斜因子的幾何解釋 圖像中傾斜產(chǎn)生的原因：圖像中傾斜產(chǎn)生的原因： 傳感器的傳感器的 原始排列原始排列 圖像中像圖像中像 素的排列素的排列 原始成像平面原始成像平面 數(shù)字圖像數(shù)字圖像 .128 （2）焦距對(duì)三維表面重建的影響 Z Y X (0,0,f) O Virtual Projection Plane (0,0,1)擺放在正確擺放在正確 焦距上的圖像焦距上的圖像 原像原像 擺放在默認(rèn)擺放在默認(rèn) 焦距上的圖像焦距上的圖像 .129 四. 基本的成像模型 p l pr P Ol Or

45、 Xl Xr PlPr flfr Zl Yl Zr Yr R, T .130 四. 基本的成像模型 1 100 0 1 333231 232221 131211 z y x trrr trrr trrr ckf cskf y x z y x yy xx r r 從世界坐標(biāo)系轉(zhuǎn)換從世界坐標(biāo)系轉(zhuǎn)換 到右攝像坐標(biāo)系到右攝像坐標(biāo)系 世界坐標(biāo)系與右攝世界坐標(biāo)系與右攝 像坐標(biāo)系間的平移像坐標(biāo)系間的平移 右攝像機(jī)外部參數(shù)右攝像機(jī)外部參數(shù)右攝像機(jī)內(nèi)部參數(shù)右攝像機(jī)內(nèi)部參數(shù) .131 五. 單視幾何學(xué)的基本原理 單視幾何學(xué)解決的問(wèn)題：消除成像平面中平面像結(jié)構(gòu)的仿射、 透視變形，使之恢復(fù)為真實(shí)的原像結(jié)構(gòu)； （針對(duì)平

46、面結(jié)構(gòu)的同射重建針對(duì)平面結(jié)構(gòu)的同射重建） .132 五. 單視幾何學(xué)的基本原理 單視幾何學(xué)的應(yīng)用：針對(duì)三維場(chǎng)景中某一平面結(jié)構(gòu)實(shí)施同射 重建，即生成成像平面與該原像平面平行時(shí)所成的圖像生成成像平面與該原像平面平行時(shí)所成的圖像 .133 單視幾何學(xué)采用的變換模型 由于單視幾何學(xué)僅討論三維場(chǎng)景中平面結(jié) 構(gòu)的成像問(wèn)題，因此其中的幾何變換不需 要使用完整的成像模型。 單視幾何學(xué)中采用簡(jiǎn)化的變換模型。 .134 單視幾何中的問(wèn)題分類(lèi) （1）場(chǎng)景中一個(gè)平面結(jié)構(gòu)經(jīng)透視投影，投影到 成像平面，場(chǎng)景平面與成像平面間的變換是怎 樣的？ .135 單視幾何中的問(wèn)題分類(lèi) （2）攝像機(jī)光心不動(dòng)， 成像平面繞光心旋轉(zhuǎn)或 調(diào)

47、整焦距前后針對(duì)同一 場(chǎng)景（不一定是平面） 所成圖像間的幾何變換 是怎樣的？ .136 單視幾何中的問(wèn)題分類(lèi) （3）攝像機(jī)自由運(yùn) 動(dòng)前后，針對(duì)同一 平面結(jié)構(gòu)所成圖像 間的幾何變換是怎 樣的？ .137 單視幾何中的問(wèn)題分類(lèi) 歸納 單視幾何總是討論兩個(gè)平面結(jié)構(gòu)之間的變 換，此變換可視為IP2中的變換，因此不需 要使用IP3中的攝像機(jī)模型來(lái)描述。 .138 單視幾何中透視變形的消除 給出圖像中兩對(duì)已知平行線(xiàn)（經(jīng)透視投影，已變得不平行）， 求得兩個(gè)交點(diǎn)后，確定無(wú)窮遠(yuǎn)直線(xiàn)，假設(shè)法向量為： T d yx .139 單視幾何中透視變形的消除 假設(shè)從場(chǎng)景平面到成像平面間的線(xiàn)幾何變換（與點(diǎn)幾何變換線(xiàn)幾何變換（與

48、點(diǎn)幾何變換 對(duì)偶）對(duì)偶）如下： 1 0 0 333231 232221 131211 aaa aaa aaa d y x 1 0 0 00 10 01 dd y x y x 不影響無(wú) 窮遠(yuǎn)直線(xiàn) 僅考慮有影響的部分 .140 回憶IPN中的對(duì)偶變換 0P T 0 1 APA T P為N-1維超平面上的點(diǎn)，為 超平面的法線(xiàn)向量 若對(duì)P實(shí)施線(xiàn)性變換A，對(duì)應(yīng) 實(shí)施何種變換，使它仍是該超 平面的法線(xiàn)向量？ 對(duì)而言： T A .141 考慮對(duì)應(yīng)的點(diǎn)變換 1 010 001 1 yx S S I I y x d y x 注：未體現(xiàn)平面內(nèi) 的旋轉(zhuǎn)、放縮、平 移變換，因?yàn)樗麄?是仿射變換，不影 響無(wú)窮遠(yuǎn)直線(xiàn) 點(diǎn)

49、變換為射影變換射影變換： 對(duì)圖像施以逆變換，即可消除透視變形： 1 010 001 1 yx I I S S y x d y x .142 單視幾何中透視變形的消除 除使用2對(duì)已知平行線(xiàn)確定無(wú)窮遠(yuǎn)直線(xiàn)，從 而消除透視變形外， 還可以使用直線(xiàn)段間已知的長(zhǎng)度比例來(lái)消 除透視變形 .143 單視幾何中仿射變形的消除 假設(shè)場(chǎng)景平面與成像平面間的點(diǎn)仿射變換為： 1 10 1 1222 S S I I y x ta y x 旋轉(zhuǎn)與放縮旋轉(zhuǎn)與放縮 平移平移 這里不考慮射影變換這里不考慮射影變換 相應(yīng)的線(xiàn)變換為： S S y S x T I I y I x d t a d 1 0 21 22 SI All S

50、 y S xT I y I x a 22 .144 單視幾何中仿射變形的消除 假設(shè)已知原像平面中兩條直線(xiàn)正交： 0 21 S T S ll 0 2 1 1 I TT I lAAl 由于未知參數(shù)僅3個(gè)，提供3對(duì)正交直線(xiàn)可確定矩陣， 分解、求逆后可得線(xiàn)變換矩陣（僅包含旋轉(zhuǎn)、放縮）， 求對(duì)偶后可得點(diǎn)變換矩陣 經(jīng)仿射變換，兩條像直線(xiàn)像直線(xiàn) 的內(nèi)積已改變 .145 單視幾何中仿射變形的消除 （1）平移：尚有平移變換沒(méi)有消除，但平 移屬于歐氏變換，不影響平面結(jié)構(gòu)的形狀。 （2）方法擴(kuò)展：給出圖像中任意3對(duì)已知 夾角的直線(xiàn)，即能消除圖像中的仿射變換。 .146 單視幾何中透視、仿射變形的消 除 使用已知長(zhǎng)度

51、比例的3對(duì)直線(xiàn)段消除透視變形； 使用3對(duì)正交直線(xiàn)段消除仿射變形 .147 六. 雙視幾何學(xué)的基本原理 雙視幾何學(xué)解決的基本問(wèn)題： 1）已知攝像機(jī)內(nèi)部參數(shù)； 2）已通過(guò)配準(zhǔn)方法獲取左、右圖像中8個(gè) 以上的匹配點(diǎn)對(duì)； 在此條件下，求解兩臺(tái)攝像機(jī)的相對(duì)放置， 并在此基礎(chǔ)上對(duì)匹配點(diǎn)對(duì)實(shí)施三維坐標(biāo)重 建。 .148 六. 雙視幾何學(xué)的基本原理 .149 六. 雙視幾何學(xué)的基本原理 關(guān)鍵概念： 1）外極面（Epipolar Plane）：IP3中由左、 右攝像機(jī)光心與任意原像點(diǎn)構(gòu)成的平面； 2）基線(xiàn)（Base Line）： IP3中由左、右攝像 機(jī)光心確定的直線(xiàn)； 外極面由基線(xiàn)與原像點(diǎn)確定。 .150 六

52、. 雙視幾何學(xué)的基本原理 3）外極線(xiàn)（Epipolar Line）：外極面與左、右 攝像機(jī)成像平面的交線(xiàn)； 在左（右）成像平面上給定一個(gè)像點(diǎn)，其原像 位于由它與左（右）攝像機(jī)光心確定的直線(xiàn)上， 該直線(xiàn)在右（左）成像平面上的像直線(xiàn)即為其 對(duì)應(yīng)的外極線(xiàn)。 左（右）成像平面給定像點(diǎn)的匹配像點(diǎn)一定位 于右（左）成像平面對(duì)應(yīng)的外極線(xiàn)上。 .151 六. 雙視幾何學(xué)的基本原理 4）外極點(diǎn)（Epipolar Point）：基線(xiàn)與成像 平面的交點(diǎn) 因?yàn)樗型鈽O面包含基線(xiàn)，所以成像平面 內(nèi)的外極線(xiàn)均過(guò)外極點(diǎn) .152 六. 雙視幾何學(xué)的基本原理 .153 六. 雙視幾何學(xué)的基本原理 .154 六. 雙視幾何學(xué)的

53、基本原理 .155 外極幾何原理 外極線(xiàn)外極線(xiàn) e M m m l e l OO m TFm=0 基線(xiàn)基線(xiàn) 外極點(diǎn)外極點(diǎn) 外極平面外極平面 外極線(xiàn)外極線(xiàn) 3*3基礎(chǔ)基礎(chǔ)矩陣矩陣 或本征矩陣或本征矩陣 .156 攝像機(jī)模型回顧 - 左攝像機(jī) 1 0100 0010 0001 100 0 1 z y x cfk csfk y x yy xx l l llllll mKPtRKI| 使用相同的單位， 一般為mm 原像點(diǎn) 投影到單位焦 距的像點(diǎn) 實(shí)際的像點(diǎn)， 以像素為單位 .157 攝像機(jī)模型回顧 右攝像機(jī) 1 100 0 1 333231 232221 131211 z y x trrr trrr

54、trrr ckf cskf y x z y x yy xx r r rrrrrr mKPtRKI| .158 本征矩陣解析 0 l T r Qmm 0 l lT lr T r mtRRm0 l T lr rT r mRRtm 將右像點(diǎn)轉(zhuǎn)換到 左攝像坐標(biāo)系 將左像點(diǎn)轉(zhuǎn)換到 右攝像坐標(biāo)系 在左攝像坐標(biāo)系 與t作外積 在右攝像坐標(biāo)系 與t作外積 外極幾何的本質(zhì)外極幾何的本質(zhì)：如果左右兩個(gè)像點(diǎn)對(duì)應(yīng)同一原像， 則它們與兩個(gè)光心共面，即位于同一外極面 .159 基礎(chǔ)矩陣解析 0 1 l T rll T r T rl T r FIIIQKKIQmm 基礎(chǔ)矩陣基礎(chǔ)矩陣，雖同為3*3矩陣，但其 中蘊(yùn)含了未知的攝

55、像機(jī)內(nèi)部參數(shù) .160 本征矩陣與基礎(chǔ)矩陣的求解 兩種矩陣均為3*3矩陣，所描述的外極幾何 關(guān)系是同射性質(zhì)的，因此矩陣的自由度為8。 如果攝像機(jī)是標(biāo)定的，則給出8對(duì)像點(diǎn)的 mm單位坐標(biāo)，得到8個(gè)方程組，從而求解 本征矩陣。 如果攝像機(jī)是未標(biāo)定的，則給出8對(duì)像點(diǎn)的 像素單位坐標(biāo)，從而求解基礎(chǔ)矩陣。 .161 本征矩陣分解 t 求與t的外積 .162 本征矩陣分解 求解相對(duì)放置 .163 內(nèi)部參數(shù)未標(biāo)定的情況 若攝像機(jī)未標(biāo)定，則每種內(nèi)部參數(shù)假定 對(duì)應(yīng)一種不同的攝像機(jī)相對(duì)放置，從而 衍生一種不同的重建結(jié)果 .164 內(nèi)部參數(shù)的標(biāo)定 內(nèi)部參數(shù)標(biāo)定需要使用絕對(duì)二次曲線(xiàn)概念， 并且需要在多視（至少三視）幾

56、何中來(lái)求 解。 .165 七. 攝像機(jī)標(biāo)定的基本原理 1. 基礎(chǔ)矩陣與攝像機(jī)參數(shù)的對(duì)應(yīng)關(guān)系 2. 攝像機(jī)內(nèi)部參數(shù)標(biāo)定的基本方法 .166 1. 基礎(chǔ)矩陣與攝像機(jī)參數(shù)的對(duì)應(yīng)關(guān)系 （1）更一般的情形：在多視幾何中考察雙 視幾何 （2）外部參數(shù)帶來(lái)的不確定性 （3）內(nèi)部參數(shù)帶來(lái)的不確定性 .167 （1）更一般的情形：在多視幾何中考察雙視幾 何 p l pr P Ol Or Xl Xr PlPr flfr Zl Yl Zr Yr Rlr , Tlr Ow Xw Zw Yw Rwl , Twl Rwr , Twr 考慮雙視幾何中更一般 的情形，即在多視幾何 中考察雙視幾何的情形 世界坐標(biāo)系 左攝像坐標(biāo)

57、系右攝像坐標(biāo)系 .168 （1）更一般的情形：在多視幾何中考察雙視幾 何 1 0100 0010 0001 100 010 001 1 z y x y x w w 對(duì)世界坐標(biāo)系下內(nèi)、外部參數(shù)的假定： 外部參數(shù)內(nèi)部參數(shù) .169 （1）更一般的情形：在多視幾何中考察雙視幾 何 0 1 l T rll T r T rl T r FIIIQKKIQmm llllll mKPtRKI| rrrrrr mKPtRKI| 外極幾何：給出兩幀圖像中8對(duì)匹配點(diǎn)對(duì)， 則能夠確定基礎(chǔ)矩陣 基礎(chǔ)矩陣對(duì)應(yīng)兩臺(tái)攝像機(jī)的內(nèi)、外部參數(shù)，但是， 如果要使這些參數(shù)唯一確定，則需要通過(guò)標(biāo)定方法 排除其中的不確定因素 .170 （

58、1）更一般的情形：在多視幾何中考察雙視幾 何 確定基礎(chǔ)矩陣后，兩臺(tái)攝像機(jī)的內(nèi)、外部 參數(shù)不確定的原因： 同時(shí)調(diào)整三維原像點(diǎn)坐標(biāo)與兩臺(tái)攝像機(jī)的 內(nèi)、外部參數(shù)，只要保證各三維原像點(diǎn)在 兩個(gè)成像平面上的像點(diǎn)坐標(biāo)不變，則調(diào)整 后的三維原像點(diǎn)集、攝像機(jī)內(nèi)、外參數(shù)仍 對(duì)應(yīng)同一個(gè)基礎(chǔ)矩陣。 .171 （2）外部參數(shù)帶來(lái)的不確定性 p l pr P Ol Or Xl Xr PlPr flfr Zl Yl Zr Yr Rlr , Tlr Ow Xw Zw Yw Rwl , Twl Rwr , Twr 考慮兩臺(tái)攝像機(jī)以及 三維原像場(chǎng)景整體作 旋轉(zhuǎn)、平移 世界坐標(biāo)系 左攝像坐標(biāo)系右攝像坐標(biāo)系 .172 （2）外部參

59、數(shù)帶來(lái)的不確定性 Ow Xw Zw Yw 考慮兩臺(tái)攝像機(jī)以及 三維原像場(chǎng)景整體作 旋轉(zhuǎn)、平移，變換后 兩個(gè)像點(diǎn)坐標(biāo)改變嗎？ 世界坐標(biāo)系 p l pr P Ol Or Xl Xr PlPr flfr Zl Yl Zr Yr Rlr , Tlr Rwl , TwlRwr , Twr 左攝像坐標(biāo)系右攝像坐標(biāo)系 改變 改變 不變 不變不變 .173 （2）外部參數(shù)帶來(lái)的不確定性 lllwlwllll mKPtRKI | llllll mKPtRKI| rrrrrr mKPtRKI| rrrwrwrrrr mKPtRKI | 左攝像機(jī)成像過(guò)程： 明確標(biāo)注了坐標(biāo)系 間的轉(zhuǎn)換 右攝像機(jī)成像過(guò)程： 明確標(biāo)注了

60、坐標(biāo)系 間的轉(zhuǎn)換 .174 （2）外部參數(shù)帶來(lái)的不確定性 左攝像坐標(biāo)系標(biāo)準(zhǔn)化： lllw l lwllll mKPtRKI | lllw l lwl l wlw l lwllll mKPtRtRtRKI | 對(duì)坐標(biāo)系與向量 分別實(shí)施互為對(duì) 偶的變換 lllllllll mKPEKI 0| 理解：第4行增加 單位向量，則兩個(gè) 矩陣互為逆矩陣 總結(jié)：標(biāo)準(zhǔn)化是指以左攝像 坐標(biāo)系，而不是以世界坐標(biāo) 系為標(biāo)準(zhǔn)坐標(biāo)系 .175 （2）外部參數(shù)帶來(lái)的不確定性 右攝像坐標(biāo)系標(biāo)準(zhǔn)化： rrrw r rwrrrr mKPtRKI | rrrw l lwl l wlw r rwrrrr mKPtRtRtRKI |