立體視覺知識補充

1、現(xiàn)在我們有一架平衡雙目攝像機，和一個棋盤和一個待重構(gòu)的物體或者要拍攝的畫面，我們的目的就是利用兩個攝像機捕捉同一個畫面或者物體圖像，然后根據(jù)在兩幅圖像上遍歷同一個世界三維點映射到兩個圖像平面的響應(yīng)匹配點，然后利用匹配點視差和攝像機相關(guān)參數(shù)，以及圖像二維點的信息就可以得到世界物體的三維坐標。1、立體標定cvStereoCalibrate()，利用兩個攝像機同時捕獲的不同視場來實現(xiàn)標定，同時獲得本征矩陣E,基礎(chǔ)矩陣F,兩攝像機坐標系的旋轉(zhuǎn)矩陣R和平移矩陣T或者攝像機內(nèi)參數(shù)M和畸變系數(shù)distCoeffs。立體標定和單攝像機標定是有區(qū)別的。立體標定除了可以計算出攝像機的內(nèi)參數(shù)和畸變系數(shù)，還可以計算出

2、本征矩陣E,基礎(chǔ)矩陣F,兩個攝像機的旋轉(zhuǎn)矩陣R和平移向量T.立體標定函數(shù)參數(shù)中需要兩個著相機的內(nèi)參數(shù)和畸變系數(shù)，它們即可以作為輸入，也可以作為輸出，這里我們讓它們作為輸出，由立體標定函數(shù)計算它們。因此，我們就可以手持棋盤，然后用兩個攝像機同時捕捉棋盤的不同視場，對于每一個視場，我們兩個攝像機都有拍攝的同一棋盤的圖像對，對于兩個攝像機旋轉(zhuǎn)矩陣R和平移向量T，我們通過一個視場就可以求解出來，然而為了計算結(jié)果的穩(wěn)定，則需要多個視場來優(yōu)化結(jié)果。對于兩個攝像機的內(nèi)參數(shù)矩陣和畸變系數(shù)，我們至少需要10個視場。因此，我們可以通過手持棋盤，旋轉(zhuǎn)和平移棋盤以獲得10個視場，從而獲得10幅圖像對，來進行立體標定。

3、在這一步，我們利用極線約束來檢查標定的結(jié)果。（有了本征矩陣我們就可以得到基礎(chǔ)矩陣，有了基礎(chǔ)矩陣，我們就可以計算極線）2、立體校正cvStereoRetify()，利用相機內(nèi)參數(shù)以及上一步得到R,T，得到兩個攝像機極線水平對準的旋轉(zhuǎn)矩陣Rl和Rr，投影矩陣P，重投影矩陣Q，為實現(xiàn)兩幅圖像水平對準準備數(shù)據(jù)。該函數(shù)名為立體校正，并沒有完成真正的立體校正，而是獲得了立體校正的所需要的參數(shù)。通過立體校正，我們可以獲得兩個攝像機的投影矩陣P,有了投影矩陣，我們可以利用相機模型公式5-19，然后在利用立體校正后的圖像（特征點水平對齊）來進行三維坐標計算。然而我們可能并不這樣做，因為OpenCV已經(jīng)給出了計算

4、的函數(shù)，輸入視差圖和重投影矩陣Q，得到三維點坐標。有時候，我們在三維重建的時候，這樣做：假設(shè)我們想重建一個物體，我們用兩個攝像機拍攝這個物體，如果該物體有足夠的surf特征點，我們獲取這兩幅圖像的特征點的坐標位置，然后利用立體校正得到投影矩陣，計算獲取物體三維點云。這樣的步驟是錯誤的，或者做出來可能效果也不好。因為我我們進行立體標定的目的是為了使得兩幅圖像水平對齊，也就是兩臺攝像機的光軸是平行的，即無窮遠處相交。我們知道對于兩幅圖像，水平對齊后，像對于的特征點或者匹配點在同一圖像掃描行上，這樣，我們才能利用理想情況下的深度公式：Z=fT/x1-x2，f為焦距，T表示兩個相機光軸之間的距離。我們

5、可以假設(shè)，如果我們獲得的兩幅圖像對應(yīng)的匹配點，不在同一行，那么x1-x2，就會發(fā)生變化。因此，如果我們在做圖像預(yù)處理時，一定要始終保持兩幅圖像的大小是一樣的。不能隨便的剪切。3、校正映射分為兩個步驟：計算查找表和重投影，此步完成真值的圖像的校正。1、cvInitUndistortRectifyMap()函數(shù)利用攝像機內(nèi)參數(shù)M和畸變系數(shù)，以及投影矩陣P或者校正后的攝像機內(nèi)參數(shù)Mrect，以及旋轉(zhuǎn)矩陣T，來計算原始圖像到校正后的查找表。2、cvRemap函數(shù)，利用計算得到的查找表，和拍攝得到原始圖像，設(shè)置一定的插值方法，得到校正后的圖像。由于左右圖像都需要校正，所以該過程要進行兩次。4、立體匹配到

6、了這一步，我們就可以根據(jù)具體的情況，應(yīng)用不同的特征點匹配了。OpenCV實現(xiàn)的塊匹配算法相當于密集點匹配算法，我們也可以利用稀疏點匹配算法，如sift等。通過這些匹配點，我們就可以獲得匹配點的位置，即x1和x2，我們就可以計算得到他們之間的視差，從而得到計算得到三維點坐標。對于一個物體點的坐標(X,Y,Z)，我們關(guān)心的更多的是Z,Z就是所謂的深度，通俗一點：Z是兩個攝像機透鏡中心（光心）所在平面到物體點所在平面之間的距離。（推導(dǎo)見：相機模型）因為我們計算的過程中操作的的大部分是像素，那么我們得到距離也是用像素來度量的。5、現(xiàn)實世界單位和像素的關(guān)系這個問題是個頭疼的問題，我感覺只有等待自己親自驗

7、證了，才能肯定的回答，但是我在這里分析一下先。1）世界物體的三維點，一般選擇的應(yīng)該是左攝像機的投影中心為坐標系的原點（數(shù)學(xué)模型中的）。視差是左攝像機對應(yīng)的匹配點的x坐標減去右相機對應(yīng)的匹配點的x坐標。我們知道，如果知道了視差和重投影矩陣，以及匹配點就可以根據(jù)公式求解出三維點坐標。我們將主要公式列出：（Q中除了cx來至于右相機，其他參數(shù)均是左相機，Tx為為左攝像機投影中心到右攝像機投影中的平移向量的x分量）如果Q是由Pl和Pr聯(lián)合求解的得到的話，那么Q中cx和cy等參數(shù)都應(yīng)該是校正后的攝像機參數(shù)了。如果那樣的話，主光線在無窮遠處相交，則cx=cx，既然我們使用的校正后的攝像機內(nèi)參數(shù)，那么cx就必

8、然等于cx了，那為什么還會列出上面的Q表達式呢，直接將Q矩陣的右下角設(shè)置為0不就好了嗎？難道它也在告訴我們，我們使用Q時也可以在用校正前的攝像機內(nèi)參數(shù)求解？這不得而知了。2）我們知道攝像機的內(nèi)參數(shù)是根據(jù)單應(yīng)性求解得到的。為了理解，我們引入下圖：在棋盤平面上，我們定義一個三維坐標系，棋盤平面上的一個內(nèi)角點就是一個世界物理點，這個三維坐標系中，棋盤位于xoy平面內(nèi)，那么棋盤上的點的z坐標就是0值。我們知道從棋盤上的點(X,Y,0)，映射到圖像平面內(nèi)的點(x,y)，如果沒有攝像機內(nèi)參數(shù)的影響，即攝像機是完美的，也或者說攝像機的內(nèi)參數(shù)矩陣是單位陣。那么三維點（其實是平面內(nèi)的一點）經(jīng)過一定的旋轉(zhuǎn)R和平移

9、t，就可以到達圖像平面內(nèi)的一點。但是實際上攝像機并不是完美的，那么這個單應(yīng)性矩陣中，就含有攝像機的內(nèi)參數(shù)。攝像機通過求解單應(yīng)性求解內(nèi)參數(shù)。單應(yīng)性矩陣由攝像機內(nèi)參數(shù)、旋轉(zhuǎn)矩陣和平移向量構(gòu)成，其中攝像機內(nèi)參數(shù)矩陣是不變量，旋轉(zhuǎn)和平移是由不同視場決定。那么我們采用不同的棋盤格子的大小，那么該格子的大小將影響哪些呢？其實將影響平移向量的結(jié)果。旋轉(zhuǎn)矩陣OpenCV中說到的是R=r1,r2,r3，三個矢量兩兩正交，并且模是相等的。那么我們就可以將其系數(shù)提出，那么R就為正交矩陣。其實我感覺構(gòu)造R的時候，R就是一個正交矩陣。一個正交矩陣乘上一個向量，那么該向量的模是不變的，這也是線性代數(shù)中學(xué)的正交變換。那么棋

10、盤各自的大小的信息成分，就轉(zhuǎn)化到了平移向量身上1、線性模型可用針孔模型來近似表示任一點P(Xc,Yc,Zc)在像平面的投影位置,也就是說，任一點P(Xc,Yc,Zc)的投影點p(x,y)都是OP（即光心（投影中心）與點P(Xc,Yc,Zc)的連線）與像平面的交點如上一篇文章中的圖2.2。對應(yīng)比例關(guān)系可得：（說明：Xc的c下表表示camera相機，上述公式是在相機坐標系內(nèi)，利用三角形相似原理，即x/f=Xc/Z，其中上述公式的單位為毫米，f表示焦距單位毫米）上式可以用齊次坐標與矩陣的形式表示為：將上一篇文章中的(2.3)和(2.4)代入(2.6)式就可以得到點P的世界坐標與其投影坐標(u,v)之

11、間的關(guān)系為：（說明：上述公式中完成了從世界坐標系到圖像坐標系的轉(zhuǎn)變，中間經(jīng)過了相機坐標系的過度，Xw中的w表示world世界，單位為毫米，而u,v是的 單位為像素，即完成了從毫米像素的轉(zhuǎn)換。）其中ax=f/dx,ay=f/dy；M是34的矩陣投影矩陣，M1完全由相機的內(nèi)參數(shù)ax,ay,u0,v0決定，(u0,v0)為主點坐標，ax,ay分別表示圖像u軸和v軸上的尺度因子，M2則完全由相機的外部參數(shù)決定。而相機標定就是確定相機的內(nèi)外參數(shù)。由式(2.7)可知，若已知相機的內(nèi)外參數(shù)，則相當于已知投影矩陣M.當已知M和空間點P的坐標：矢量Xw=(Xw,Yw,Zw,1)T，（矢量Xw上面有一個矢量標識杠

12、，T表示矢量的轉(zhuǎn)置）。式(2.7)可以給出三個方程，消去Zc就可以得到其投影點p的坐標(u,v)（其實也就是我用一個相機就可以拍攝一個物體的圖片了）。但是由于M為34不可逆矩陣，當 點P的投影坐標(u,v)和投影矩陣M為已知時，我們只能得到關(guān)于Xw,Yw,Zw的兩個線性方程，即射線OP的方程，由上一篇圖2.2我們可以看出，位于射線OP上的所有空間點的投影點（即圖像點）都是p點。所以不能唯一確定空間點P的世界坐標矢量Xw.所以，為了得到空間物體的三維世界坐標，就必須有兩個或更多的相機構(gòu)成立體視覺系統(tǒng)模型才能實現(xiàn)。2、非線性相機模型在實際的成像過程中，考慮鏡頭的失真，一般都存在非線性畸變，所以線性

13、模型不能準確描述成像幾何關(guān)系。非線性畸可用下列公式描述：若考慮非線性畸變，則對相機標定時需要使用非線性優(yōu)化算法。而有研究表明引入過多的非線性參入（如離心畸變和薄棱畸變）不僅不能提高精度，還會引起解的不穩(wěn)定。一般情況下徑向畸變就足以描述非線性畸變，所有本課題只是考慮徑向畸變。則將式(2.9)中的徑向畸變代入式(2.8)可得：OpenCV中講解：從制作上講，從制作一個”球形“透鏡比制作一個數(shù)學(xué)上理想的透鏡更容易。故產(chǎn)生了徑向畸變。從機械方面講，也很難把透鏡和成像儀保持平衡。故產(chǎn)生了切向畸變。1、徑向畸變對徑向畸變，成像儀中心（光學(xué)中心）是畸變?yōu)?，隨著向邊緣移動，畸變越來越嚴重。故我們可以用在r=

14、0處的泰勒級數(shù)展開的前幾項來定量描述。對于便宜的網(wǎng)絡(luò)攝像機，我們通常使用前兩項，其中通常第一項為k1,而第二項為k2。對畸變很大的攝像機，比如魚眼透鏡，我們使用第三個徑向畸變項k3。通常成像儀某點的徑向位置按下式調(diào)節(jié)：這里(x,y)是畸變點在成像儀上的原始位置，(xcorrected,ycorrected)表示矯正后的新位置。2、切向畸變切向畸變是由于透鏡制造上的缺陷使得透鏡本身與圖像平面不平行而產(chǎn)生的。徑向畸變可以有兩個額外的參數(shù)p1和p2來描述，如下：因此總共有5個我們需要的畸變參數(shù)。由于在OpenCV程序中5個參數(shù)是必需的，所以它們被放置到一個畸變向量中，這是一個51的矩陣，按順序依次包

15、含k1,k2,p1,p2和k3。3、平行雙目立體視覺模型通過針孔成像模型的分析可知，為了由像點坐標唯一的確定世界三維坐標，就必須通過兩個或者多個相機來共同完成。通過兩個相隔一定距離的相機來實現(xiàn)對3D場景的成像，就是雙目成像，也稱為立體視覺成像。相機拍攝景物時，先把兩部相機的光軸匯聚于感興趣的物體上，則兩個光軸的交點稱為匯聚點，而該點到基線中心的距離稱為匯聚距離。當匯聚的距離有限時，雙目立體視覺系統(tǒng)統(tǒng)稱為匯聚式雙目立體視覺模型；當匯聚距離無線遠時，雙目立體視覺系統(tǒng)就被成為平行式雙目立體視覺模型。本文研究的是平行雙目立體視覺系統(tǒng)，下面著重介紹一下平行雙目立體視覺模型。如圖2.3所示，當目標距離遠遠

16、大于焦距時，可假定透鏡中心與像平面的距離等于攝像機的焦距f（=OlCl=OrCr）。兩光軸平行且距離（即基線）為2h。世界坐標系定義為OXYZ，左右圖像平面都與相機平面XOY平行，其中Ol、Or分別為左圖像與右圖像的中心（即左右圖像局部坐標系的原點，Xl,Xr分別表示左右相機局部坐標系的X軸），Cl和Cr分別為左右相機的光心，Z軸表示到攝像機（在Z=0處）的距離。X軸表示“水平”距離（Y軸朝負面而去，沒有出現(xiàn)，即滿足右手坐標準則）。X=0是右相機光心位置。光心即投影中心。假設(shè)三維空間點P(X,Y,Z)的像在左、右兩個像平面上的投影分別是Pl(xl,yl)和Pr(xr,yr)（其中xl,yl,x

17、r,yr分別表示投影點在每個圖像局部坐標系即2.1節(jié)所講的圖像坐標系O1xy中的坐標）。由小孔成像原理可知：P,Cl,Pl三點共線，則由三角相似，可得：（這里我只是把內(nèi)容以圖片的形式貼出來，不在手寫了，論文中下面部分存在是錯誤的）下面內(nèi)容摘自：西安工業(yè)大學(xué) 基于雙目立體視覺的圖像匹配與三維重建 張海波5、基于雙目立體視覺技術(shù)的三維重建攝像機通過透視變換將物體的三維信息轉(zhuǎn)換為二維圖像，因為二維圖像中的點與三維物體上的點可以通過某種對應(yīng)關(guān)系相互轉(zhuǎn)換，也就是說，可以從不同方向拍攝的同一空間點的兩幅圖像中的依據(jù)該對應(yīng)關(guān)系反推出三維物體的立體空間位置。這就是雙目立體視覺中三維信息獲取的過程。兩幅圖像通過

18、立體匹配可得到各特征點的視差信息，根據(jù)視差信息確定各點的深度信息，最終獲得被測物體的三維信息。5.1 雙目立體視覺三維測量原理如圖5.1所示，兩臺攝像機的鏡頭中心或光學(xué)中心之間的距離稱為雙目視覺系統(tǒng)的基線B,利用雙目視覺成像系統(tǒng)可以確定具有像平面坐標點(x1,y1)和(x2,y2)的三維空間點W的世界坐標。1）兩臺攝像機相同且它們的攝像機坐標系統(tǒng)各對應(yīng)軸精確平行（光軸平行）圖5.2給出了兩臺攝像機鏡頭連線所在平面（XZ平面）。將世界坐標系設(shè)置在第一臺攝像機坐標系上，即世界坐標系和第一臺攝像機的攝像機坐標系重合。根據(jù)攝像機坐標系與世界坐標系重合情況下的透視變換公式，三維空間點W的X軸坐標表示為：

19、式中X1和Z1為三維空間點形在世界坐標系（此時世界坐標系與第一個攝像機坐標系重合）中的X軸和Z軸坐標。同理，如果將世界坐標系設(shè)置在第二臺攝像機上，則W點在X軸的坐標可表示為：因為基線長度是B且三維空間點W的Z軸坐標對兩臺攝像機坐標系統(tǒng)是一樣的，所以有：將式（5.3）帶入式（5.1）和式（5.2），得式（5.6）把三維空間點與像平面之間的距離Z,即三維信息中的深度信息，與視差D（三維點對應(yīng)的像坐標x2和x1之差）直接聯(lián)系起來。視差的大小直接與深度有關(guān)，所以視差包含了物體的三維空間信息。通過視差就可以求得三維空間點到攝像機的距離，確定三維空間點在世界坐標系中的坐標。如果視差D可以確定并且已知兩臺攝

20、像機之間的基線距離和攝像機的焦距，很容易計算出三維空間點W的Z軸坐標。另外Z軸坐標確定后點W的世界坐標X,Y軸坐標可用(x1,y1)和(x2,y2)借助透視變換得到，即：這樣，通過三維空間點在兩臺攝像機的成像視差，可求出空間點的三維坐標。因此，對于兩臺攝像機平面上的任意一點，只要能夠在另一臺攝像機平面上找到對應(yīng)的匹配點（即兩者是空間同一點在兩臺攝像機面上的像點），就可以通過視差確定出該點的三維空間點。（說明：對于上述公式，我們?nèi)绻O(shè)置相機1為參考世界坐標系，則空間三維點的計算通過X1,Y1的表達式進行計算，反之對于相機2也是同樣的道理）。個人理解部分：在上圖，我們選擇左圖像的中心O1為世界坐標

21、原點。M表示世界坐標系中的一點，p1和p2表示該點經(jīng)過透鏡投影到畫布上的位置。設(shè)p1點為(x1,y1)，p2點為(x2,y2)，（這里點p1和點p2均是在世界坐標系中的坐標，即相對于O1點的坐標，不要為上面的標號所迷糊，切記！因為我們下面的推導(dǎo)就是針對如此的）M點為(X,Y,Z)。我們知道OpenCV坐標系中圖中R1和R2為圖像平面的原點，即相當于p1,p2的參考點的同時變化。這里，我們知道兩個圖像分辨率是一樣的，即兩個圖像的平面是一樣的大小，我們應(yīng)用的相似三角形的知識，故我們只需要確保在列出的比例關(guān)系中，能夠保存長度是正的就可以了。首先我們要證明一點，上圖中直線O1p1和直線MO3是平行的，

22、利用高中所學(xué)的知識：我們知道了O1p1和MO3是平行的，那么就可以知道三角形O1p1D和三角形MO3A相似，又因為線段O1p1和線段MO3的比值等于線段p1C1和線段C1O3的比值，即等于f/Z-f。從上圖我們知道，點p1的x1,y1均小于0。我們現(xiàn)在要列出點p1和點p2的坐標，以及額外的已知參數(shù)與真實點M坐標之間的關(guān)系。由線段p1D=0-x1，線段O3A=X,那么我們就可以得到如下的一個公式：同理我們對于點p1的y1坐標，也進行相似變換。即線段O1D=0-y1,線段MA=Y。那么我們可以得到如下的公式：接下來我們要求解p2點的坐標x2,y2和M點坐標之間的關(guān)系，我們同樣的利用三角形相似來找它

23、們坐標之間的關(guān)系，我們同樣可知道三角形O2p2E和三角形MO4A是相似的。那么線段Ep2=x2-B，線段AO4=B-X，那么他們之間的比例還是滿足f/Z-f，得到如下的公式：總上所述，我們得到X,Y,Z坐標的計算公式：為了方便下面的理解，我們附如下圖：我們知道上面的x1,y1,x2,y2的坐標均是針對世界坐標原點在O1處的情況，但是我們一般知道的是OpenCV圖像中兩個點的q1和q2的坐標，分別為(x11,y11),(x22,y22)。我們就需要尋找x11,y11,x22,y22和x1,y1,x2,y2之間的關(guān)系。我們第一副圖像大小為W*H，W表示OpenCV中X方向的長度，H表示OpenCV

24、中Y方向的長度，那么點（W/2,H/2)就近似于圖像的中間，即認為是世界坐標原點O1，由于分辨率相同，第二幅圖像也有同樣的大小。那么：x1=x11-W/2;y1=H/2-y11;x2-x1=x22-x11+B帶入上述三個公式得：那么我們，我們規(guī)定上述的f,x11,y11,B,單位均為像素，那么我們就可以得到M點以像素為單位的世界坐標，然后里面利用像素和毫米的關(guān)系可以得到真實的三維點的坐標，當然這里的坐標是有參考坐標系的。再如，你或許可以在網(wǎng)上下載到下面的一篇文章：上述文章中，打問號的部分應(yīng)該是錯誤的，所謂的焦點就是光透過透鏡匯聚的點就稱為焦點。所以上述的三維世界原點的坐標應(yīng)該是選了左相機的透鏡中心，這樣上述公式正好，和我上面推導(dǎo)的相吻合。即L和B是等價的，由于選擇的參考系，沿著Z方向平移了f距離，所以我公式中的Z-f就是上圖中的Z。還應(yīng)注意上圖中的z和Z是一樣的，書寫錯誤而已。我上面推導(dǎo)的計算Z的公式，我這里為了強調(diào)一下，我重新將其寫下來：我們這里的Z是圖像平面中心到世界三維點的距離。然而我們經(jīng)?？吹饺缦碌男问剑荷鲜龉街械腪表示的是攝像機透鏡中心到世界三維點的距離（也就是過三維點與相機平行的平面和相機平面，兩個平面之間的距離），這里我們約