三維重建過程課件

1、三維重建過程1圖像預(yù)處理2特征點檢測與匹配3相機標定4計算基礎(chǔ)矩陣與本質(zhì)矩陣5稠密點云的網(wǎng)格化目錄圖像預(yù)處理 圖像預(yù)處理的目的在于改善圖像的視覺效果，提高圖像的清晰度，有選擇的突出某些感興趣的信息，抑制無用的信息，以提高圖像的使用價值。圖像平滑處理：形態(tài)學濾波、雙邊濾波、自適應(yīng)均值濾波、自適應(yīng)中值濾波、自適應(yīng)加權(quán)濾波等。椒鹽噪聲過濾算法：GA-BP神經(jīng)網(wǎng)絡(luò)噪聲檢測的自適應(yīng)濾波算法。 遺傳算法：Genetic Algorithm GA 反向傳播神經(jīng)網(wǎng)絡(luò)：Back BP BP特征點檢測與匹配 特征點問題主要包括特征點的提取和特征點的匹配。特征點的通常理解為：某些鄰域變化比較大的點。如角點和噪聲，因

2、此特征點的本質(zhì)問題可以歸結(jié)為：在抵抗一定的圖像畸變的情況下，保證特征點的正確提取和匹配。特征點提取方法：（1）加權(quán)平均Harris-Laplace特征點提取算法（2）基于SIFT算子的特征提取算法 尺度不變特征轉(zhuǎn)換 SIFT (Scale-invariant feature transform)用來偵測與描述影像中的 局部性特征，它在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉(zhuǎn)不 變量。該算子具有對圖像旋轉(zhuǎn)、縮放、光照變化和仿射變換保持不變性的特點。 SIFT 方法的主要思想為：首先建立高斯差分金字塔表征，然后將每個像素點與它周圍的八個點，以及上下相鄰層的十八個鄰域點，總共 26 個點作比

3、較。如果該點是極值點，那么就認為該點為特征點，同時計算出該特征點的主方向。由此，就可以將特征點提取出來了。（3）基于SURF算子的特征提取算法 加速魯棒特征（Speeded-Up Robust Features）借鑒SIFT簡化思想，借助積分圖和harr小波技術(shù)的使用，使模板對圖像的卷積可以通過加減運算在線性時間內(nèi)完成。經(jīng)實驗證明，SURF的檢測效率要明顯高于算法，且具備較優(yōu)的綜合性能。目前SURF算法在特征提取與匹配鄰域比較流行。特征點匹配方法：（1）NCC特征匹配 歸一化互相關(guān)（normalizes cross correlation）方法的優(yōu)點是它可以抵抗全局的亮度變化和對比度變化，并且

4、速度快。 缺點是：(a)不抗圖像縮放。(b)不抗大的視角的變化。(c)當初始匹配點的錯誤匹配率高于 40%的時候以上兩種方法失效。（2）SIFT特征匹配 主要思想是用特征點的 1616 的鄰域計算該鄰域的每個點的梯度。然后將 1616 的區(qū)域劃分為 44 的小區(qū)域，每個小區(qū)域的點向 8 個方向投影。這樣總共可以得到 448=128 維的特征向量描述符。特征點的匹配首先需要將特征點旋轉(zhuǎn)到它的主方向上，然后計算匹配點的 128 維特征描述符的歐式距離。距離最小的匹配點為正確匹配點。（3）SURF特征匹配 與Sift特征點匹配類似，Surf也是通過計算兩個特征點間的歐式距離來確定匹配度，歐氏距離越短

5、，代表兩個特征點的匹配度越好。不同的是Surf還加入了Hessian（黑塞矩陣）矩陣跡的判斷，如果兩個特征點的矩陣跡正負號相同，代表這兩個特征具有相同方向上的對比度變化，如果不同，說明這兩個特征點的對比度變化方向是相反的，即使歐氏距離為0，頁直接予以排除。相機標定 相機標定就是求出相機的內(nèi)部參數(shù)，最終得到內(nèi)參數(shù)矩陣K。相機標定的方法：（1）Tsai的兩步標定方法 其主要思想是首先利用透視變換原理線性求解出一些相機參數(shù)，接著把求得的這些參數(shù)作為非線性優(yōu)化算法的初始值，只考慮相機的徑向畸變，通過優(yōu)化算法求解其余參數(shù)，從而相對于線性標定方法提高了標定的精度。（2）圓點模板標定方法（3）張正友的平面標

6、定方法 張正友結(jié)合傳統(tǒng)攝影測量標定與計算機視覺自標定優(yōu)勢，提出使用簡易的平面標定模板，通過多個角度獲取的圖像間單應(yīng)關(guān)系，高精度高效的求解出相機的內(nèi)參數(shù)與畸變參數(shù)。張正友標定方法因其有效性、可靠性和靈活性而得到廣泛應(yīng)用。（4）相機自標定方法 相機自標定方法因其不需要額外的已知信息而具有極大的靈活性，受到廣泛的關(guān)注與研究。常見的方法有：直接求解Kruppa方程的自標定法、分層自標定法和基于絕對對偶二次曲面標定法。目前應(yīng)用最廣泛的為利用絕對對偶二次曲面的標定方法。計算基礎(chǔ)矩陣與本質(zhì)矩陣 基礎(chǔ)矩陣是對同一場景的兩幅圖像間約束關(guān)系的數(shù)學描述，是在未標定圖像序列中存在的幾何結(jié)構(gòu)約束信息，隱式的包含了相機的

7、所有內(nèi)外參數(shù)。 對圖像進行歸一化后，特殊的基本矩陣就可以表示成本質(zhì)矩陣。即基本矩陣是本質(zhì)矩陣的廣義形式，之所以本質(zhì)矩陣是基礎(chǔ)矩陣的特殊形式，是因為本質(zhì)矩陣多了一個假設(shè)條件。相比基礎(chǔ)矩陣，本質(zhì)矩陣缺少了自由度卻多出了一些性質(zhì)?；A(chǔ)矩陣計算方法：（1）歸一化8點算法 通過對線性法的計算過程與結(jié)果進行分析，發(fā)現(xiàn)直接使用原始的匹配點圖像坐標構(gòu)成的系數(shù)矩陣會有比較大的條件數(shù)，影響計算結(jié)果。所以提出在應(yīng)用點法前，對原始數(shù)據(jù)做各向同性變換的歸一化處理的歸一化8點算法。該方法可以降低噪聲的干擾，減小系數(shù)矩陣條件數(shù)大小，從而提高解算精度。（2）RANSAC算法 隨機抽樣一致性算法RANSAC（Random Sa

8、mple Consensus）可以在一組包含“外點”的數(shù)據(jù)集中，采用不斷迭代的方法，尋找最優(yōu)參數(shù)模型，不符合最優(yōu)模型的點，被定義為“外點”。本質(zhì)矩陣計算方法： 假設(shè)內(nèi)參矩陣分別為K1和K2的兩幅圖像之間的基礎(chǔ)矩陣為F，由此可以求得它們之間的本質(zhì)矩陣：E=k2TFK1。接著對本質(zhì)矩陣進行分解（SVD分解方法），得到旋轉(zhuǎn)矩陣R和平移向量t。然后計算出兩幅圖像的投影矩陣P1和p2。利用投影矩陣獲得空間三維點的坐標。稠密點云的網(wǎng)格化 通過上面的步驟可以得到基于圖像的三維點云，但要對空間物體的表面信息進行重構(gòu)，需要對三維點云進行三角剖分。三角剖分的方法：（1）平面投影法方法 采用投影映射的方法，將三維點云投影到二維平面上，接著對投影后的二維點進行三角剖分，然后將二維剖分關(guān)系傳遞給三維點云的三角剖分。（2）直接剖分法方法 三角剖分所給點集R，保留原始點云的拓撲結(jié)構(gòu)，實際上是對R的線性插值