計(jì)算機(jī)視覺(jué)課程復(fù)習(xí)資料

計(jì)算機(jī)視覺(jué)課程復(fù)習(xí)資料

目錄

第2節(jié)底層視覺(jué)I深度學(xué)習(xí)初步知識(shí)與特征檢測(cè).............................................2

第3節(jié)底層視覺(jué)II特征點(diǎn)提取、描述與匹配.................................................6

第4節(jié)底層視覺(jué)III圖像分割..............................................................13

第5節(jié)三維視覺(jué)I相機(jī)模型與多視幾何.....................................................16

第6節(jié)三維視覺(jué)II相機(jī)標(biāo)定與稀疏重速....................................................20

第7節(jié)三維視覺(jué)III立體視覺(jué)與三維建模...................................................22

第10節(jié)運(yùn)動(dòng)分析..........25

第11節(jié)視覺(jué)跟蹤..........27

第12節(jié)行為識(shí)別..........28

第13節(jié)計(jì)算機(jī)視覺(jué)中的機(jī)器學(xué)習(xí)方法與人腦工程...........................................31

第14節(jié)物體表達(dá)與場(chǎng)景表達(dá)..............................................................33

第16節(jié)計(jì)算機(jī)視覺(jué)常用優(yōu)化方法..........................................................34

第17節(jié)典型視覺(jué)應(yīng)用及系統(tǒng)..............................................................37

第18節(jié)視覺(jué)測(cè)量及計(jì)算攝影學(xué)簡(jiǎn)介........................................................38

第2節(jié)底層視覺(jué)I深度學(xué)習(xí)初步知識(shí)與特征檢測(cè)

神經(jīng)網(wǎng)絡(luò)的知識(shí)應(yīng)該已經(jīng)爛大街了，全連接，卷積，激活，池化亂七八糟的。

特征提取是計(jì)算機(jī)視覺(jué)的基本步驟，這邊注意一下邊緣，輪廓還有關(guān)鍵點(diǎn)提取。

知識(shí)點(diǎn)：神經(jīng)網(wǎng)絡(luò)，一階算子(Sobel),二階算子(Laplacian),Canny邊緣檢

測(cè)，Harris角點(diǎn)，F(xiàn)AST角點(diǎn)

邊緣：

?邊緣是圖像中亮度突然變化的區(qū)域。

?圖像灰度構(gòu)成的曲面上的陡峭區(qū)域。

?像素灰度存在階躍變化或屋脊?fàn)钭兓南袼氐募稀?/p>

如何提取邊緣？(灰度圖象)

灰度圖象邊緣提取思路：

■抑制噪聲(低通波波、平滑,去噪、模糊)

?邊緣特征增強(qiáng)(高通濾波、說(shuō)化)

■邊境定位

一階微分算子，例如Sobel算子等，檢測(cè)最大值(一階導(dǎo)的最大值，不是像素最大

值哦)。

二階微分算子，例如Laplacian,主要是檢測(cè)過(guò)零點(diǎn)。

一階導(dǎo)致的極大值點(diǎn)：

Edge={p-(x,y)|p=argmax(|7/(p)|))

二階導(dǎo)敗的過(guò)零點(diǎn)：

叫”)=(?分

R中，圖像梯度向■:Edge={p=(x,y)|A/(p)=0,zerocrossing)

梯度幅值表示邊燎的強(qiáng)弱梯度方向代表灰度變化最快的方向

拉普拉斯算子：

I刃(x,y)l4?(x,y)=arct,喘/第

“/(x+Ax)-f(x)

_階導(dǎo)梯度計(jì)算：“幻―甚A，“戰(zhàn)

離散情況(也就是數(shù)字圖像上)：/，/("】)—-)

對(duì)于噪聲圖像，需要進(jìn)行濾波，否則單點(diǎn)的梯度無(wú)法表示最終趨勢(shì):

拉普拉斯算子:

▽”也+也

dx2dy2

LaplacianofGaussian(LoG)過(guò)零點(diǎn)檢測(cè)

先用Gaussian平滑去噪，然后用Laplacian算子

高新離新的導(dǎo)敷離斯拉普拉斯

/，。(…。二三二粥彳M”,”)

Ox

1[x2+y2l"+y

LOG算子:°ZG（x，y）=一肅|】一^-卜-^

Canny邊緣檢測(cè)器

算法基本過(guò)程:

計(jì)算圖像梯度大小■《*?0

方向Ihet.(x.y)

NM5：

梯度非極大值抑制Nor-MaximaSuppression

雙閾值提取邊緣點(diǎn)

(I)求圖像與高斯平滑注波器卷積：(3)幅值和方位向：

2

5。,尸)-GQ,y,o)?/(.<.Z)M(x,y)=jDx(x,y)+Dy(x,yy

。代表對(duì)圖像的平滑程度

O(x.y)=arctan(Dy(x,y)/Dx(x,y))

(2)使用一階有限差分計(jì)算偏導(dǎo)數(shù)的兩個(gè)陣列：

D,(x.y)*(S(x.y+1)-S(x.y)+S(x+l,y+l)-S(x+l,y))/2M代表生度幅值的大小，在存在邊緣的圖像位置處，M

Dy(x.y)?(S(x.y)-S(x+Ly)+S(x,y+I)-5(x+l.y+1))/2的值變大，圖像的邊緣特征極“坳強(qiáng)”?

相當(dāng)于與模版進(jìn)行卷積運(yùn)算：J_J_J_J_

~~77

?非極大值抑制(NMS：Non-MaxmaSuppression)

?主要思想：由梯度幅值圖像Mx.y),僅保留極大值.

(嚴(yán)格地說(shuō)，保留梯度方向上的極大值點(diǎn).)

得到的結(jié)果為N(x.y),具體過(guò)程：

?初始化NGc,y)=M(x,y)

?對(duì)于每個(gè)點(diǎn)，在梯度方向和反梯度方向各找n個(gè)像素點(diǎn).

若M(x.y)不是這些點(diǎn)中的最大點(diǎn)，剜將N(x.y)置零，否則

保持N(x.y)不變。

?在密度方向的沿線(xiàn)上檢測(cè)該點(diǎn)是否為局部極大值

?N(x.y)單像素寬度：

?韻比的情形,只使用4個(gè)方向；［0,45,90.135)

?問(wèn)題：領(lǐng)外的邊緣點(diǎn)，丟失的邊緣點(diǎn)?得到的結(jié)果N(,/)包含邊緣的寬度為1個(gè)像素

?對(duì)上述得到的N(x.y)使用閾值進(jìn)行二值化使用雙閾值檢測(cè)邊緣

?使用大的閾值，得到：

兩個(gè)面值：

?少■的邊緣點(diǎn)T2T2?T1

?由“樗到El(x,y),低闌值邊緣圖：更大的誤檢淵率

?許多空隙?由12將到￡2(凡口.高閾值邊緣圖：JEJM可事

?使用小的面值,得到：邊緣寄接；

?大■的邊緣點(diǎn)

?大■的錯(cuò)誤檢測(cè)

邊緣連接

1.將E2(x.y)中相連的邊韁點(diǎn)依匕為一幡邊蜂圖像E(x.y)

2.對(duì)于E(x.y)中每條邊,從端點(diǎn)出發(fā)在El(x.y)中尋找只延長(zhǎng)

的部分，直至與E(x.y)中另外一條邊的端點(diǎn)相連，否則認(rèn)

為E1(x.y)中沒(méi)有它延長(zhǎng)的部分

3.將E(x.y)作為姑果輸出

角點(diǎn)檢測(cè)算法

Harris角點(diǎn)，主要思想就是F移窗口觀察灰度變換，然后有兩個(gè)方向入1和入2，觀察

兩個(gè)方向的比值，比值比較大說(shuō)明是邊緣，兩個(gè)值都大的是角點(diǎn)，都比較小是非角

點(diǎn)，非邊緣。具體計(jì)算如下，了解思想即可。

將圖像窗口平移U0產(chǎn)生灰度變化/：.（“,u）

于是對(duì)于局部微小的移動(dòng)■["?],可以近似得到下面的表達(dá):

其中M是2x2矩陣，可由圖像的導(dǎo)數(shù)求得：

窗口函數(shù)w（x,y）A，，噴

1inwindow.0outside

窗口移動(dòng)導(dǎo)致的圖像變化，文對(duì)稱(chēng)矩陣M的特征值分析通過(guò)M的兩個(gè)特征值

的大小對(duì)圖像盤(pán)進(jìn)行

￡（",U）S（U,V）M（：）二^項(xiàng)函效^mavAnin土M的特征值分類(lèi)：

怏速變化的方向

E5,

刃的橢圓形式0慢變化的方向

如果3和X,&.很小，

圖像鬼口在所有方向上

序動(dòng)都無(wú)明顯灰度變化

Harris角點(diǎn)性質(zhì)：

?旋轉(zhuǎn)不變性

?對(duì)于圖像灰度的仿射變化（亮度變換不具有不變性，對(duì)比度變換具有不變性）

具有部分的不變性

?尺度不具有不變性

FAST

假設(shè)：若該點(diǎn)的灰度值比其周?chē)I(lǐng)域內(nèi)足夠多的像素點(diǎn)的灰度值大或者小，則該點(diǎn)

可能為角點(diǎn)、。

FAST算法步驟

1.從圖片中選取一個(gè)像素P,下面我們將判斷它是否是

一個(gè)特征點(diǎn)。我們首先把它的亮度值設(shè)為

2.設(shè)定一個(gè)合適的閾值t。

3.考慮以該像素點(diǎn)為中心的一個(gè)半徑等于3像素的離散化

的Bresenham圓，這個(gè)圓的邊界上有16個(gè)像素.

4.如果在這個(gè)大小為16個(gè)像素的圓上有n個(gè)連續(xù)的像素點(diǎn)，

它們的像素值要么都比/p+t大，要么都比仆-t小，那么

它就是一個(gè)角點(diǎn)。（白色虛線(xiàn)所示）

n的值可以設(shè)置為12

或者9,實(shí)驗(yàn)證明選擇

9可能會(huì)有更好的效果。

FAST需要改進(jìn)的地方

I.由于FAST算法依賴(lài)于一個(gè)閾值t因此算法還需要人為干涉

2.FAST算法不產(chǎn)生多尺度特征而且FAST特征點(diǎn)沒(méi)有方向信息，這樣就會(huì)失去

旋轉(zhuǎn)不變性

第3節(jié)底層視覺(jué)II特征點(diǎn)提取、描述與匹配

知識(shí)點(diǎn)：SIFT,ORB->BRIEF,ICP,RANSAC

一、SIFT特征點(diǎn)提取與匹配(以下為個(gè)人總結(jié)，可能與PPT不像)

SIFT識(shí)別圖像寬度、高度以及最重要的比例尺上的獨(dú)特關(guān)鍵點(diǎn)。通過(guò)考慮尺

度，我們可以確定即使在感興趣的模板改變大小、圖像質(zhì)量變得更好或更差，或者

當(dāng)模板發(fā)生視點(diǎn)或縱橫比發(fā)生變化時(shí)，這些關(guān)鍵點(diǎn)也會(huì)(在一定程度上)保持穩(wěn)定。

此外，每個(gè)關(guān)鍵點(diǎn)都有一個(gè)相關(guān)的方向，這使得SIFT特征不受模板旋轉(zhuǎn)的影響。

最后，SIFT將為每個(gè)關(guān)鍵點(diǎn)生成一個(gè)描述符，一個(gè)128長(zhǎng)的向量，允許對(duì)關(guān)鍵點(diǎn)進(jìn)

行比較。這些描述符只不過(guò)是在關(guān)鍵點(diǎn)鄰域內(nèi)計(jì)算的梯度直方圖。本文為SIFT從

零一步步搭建的步驟。

1.圖像高斯金字塔與DoG空間生成

通常，圖像金字塔是連續(xù)模糊值。的高斯模糊圖像與不同尺度的圖像組成。相

同尺度一組圖像我們稱(chēng)之為一個(gè)octave層，每一層由若干高斯模糊圖像組成。由于

需要對(duì)圖像進(jìn)行高斯模糊操作，所以對(duì)原始的RGB圖像要進(jìn)行灰度圖轉(zhuǎn)換，再進(jìn)

行高斯模糊。

首先便是生成高斯金字塔的過(guò)程，高斯金字塔每一個(gè)octave層的尺度不一樣，

相鄰octave層的尺度相差1倍。一般octave層數(shù)。有固定計(jì)算公式為：

0=log2(1)

其中“和〃分別為圖像在該octave層的尺度寬與高，此公式層數(shù)是不針對(duì)對(duì)原圖尺

寸進(jìn)行上采樣生成octave的情況，如果上采樣則計(jì)算的。層數(shù)應(yīng)為

log2min(W,H)—1。

每一個(gè)octave層將有S+3層的圖像，相鄰連個(gè)圖像之間的模糊值A(chǔ)倍，并且這

里的模糊值均相對(duì)于原始圖像。其中S為人為設(shè)定值，我們這里設(shè)定為3oZ有固定

計(jì)算公式，k=21/So第。層octave層的第r張圖像的模糊值為o(o,r)=5)2°+工。其

中如為高斯模糊的初始值，一般建議設(shè)置為1.6,而考慮相機(jī)已經(jīng)對(duì)圖像進(jìn)行。=

0.5的模糊，故實(shí)際我們也可以設(shè)置為。0=01.62-0.52=1.52。

Sole

(next

octave)

圖1.高斯金字塔與DoG空間

在生成高斯金字塔時(shí)，由于o(o+LO)=Oo20+i=Oo2°+?=o(o,s),故可以

直接取上一層octave的第s張圖像直接進(jìn)行下采樣，作為下一層octave的第1張圖

像。注意這里的。是相對(duì)于原始圖像的模糊系數(shù)，高斯平滑具有一個(gè)平方特性，即

進(jìn)行一次內(nèi)的平滑，再進(jìn)行一次”的平滑，相當(dāng)于進(jìn)行一次娟強(qiáng)的平滑。因

此我們的高斯模糊可以連續(xù)模糊，而不是每次模糊都相對(duì)于第一張圖像進(jìn)行模糊。

圖2展示了對(duì)Lena進(jìn)行高斯金字塔模糊結(jié)果。

接下來(lái)是差分金字若DoG空間，這個(gè)空間只需要octave層相鄰的圖像的插值

計(jì)算即可，由模糊系數(shù)高的減去模糊系數(shù)低的。注意的是，這里可以直接采納圖像

相減，即最低值可以為0,不需要為負(fù)值，這是因?yàn)樵诤竺鏄O值點(diǎn)檢測(cè)時(shí)候負(fù)值都

是低對(duì)比度，無(wú)需考慮。圖3是一些DoG空間的可視化。

2.DoG空間極值點(diǎn)檢測(cè)與關(guān)鍵點(diǎn)精確定位，消除不穩(wěn)定點(diǎn)。

極值點(diǎn)檢測(cè)很簡(jiǎn)單,在DoG空間每一層ociave層，尋找相鄰兩層的極值點(diǎn),

包括極大值與極小值，如圖4所示。注意，只需要最大值和最小值即可，不需要是

唯一最大值或者唯一最小值。如果其對(duì)比度滿(mǎn)足要求，繼續(xù)進(jìn)行精確定位，對(duì)比度

閾值7計(jì)算公式如下：

/0.5xc\

T=tx255(2)

其中Q為對(duì)比度，這里設(shè)置為0.04。

接下來(lái)計(jì)算精確點(diǎn)，精確點(diǎn)滿(mǎn)足泰勒展開(kāi)：

Q1

。㈤=〃+而x+⑶

這里一階梯度和二階導(dǎo)分別是圖像關(guān)于長(zhǎng)寬和模糊度方向的導(dǎo)數(shù)，以及

Hessian矩陣。然后反復(fù)計(jì)算精確點(diǎn)，如果精確點(diǎn)不再偏移，則結(jié)束循環(huán)。

/一//J/

圖4.極值點(diǎn)檢測(cè)

確定精確點(diǎn)后，依然要做最后的處理，去除不穩(wěn)定的關(guān)鍵點(diǎn)，首先再次確認(rèn)對(duì)

比度是否足夠，然后嘗試去除邊緣上的點(diǎn)。一般來(lái)說(shuō)是計(jì)算長(zhǎng)度與寬度方向的

Hessian矩陣，計(jì)算其特征值對(duì)比度：

2222

Tr(/7)QI+%)2(rA+A)(r4-l)(7；+l)

---：——=---------=----2-----2--=-------->---------(4)

Det(H)AtA2rA2A2rTr'"

如果上式成立，說(shuō)明存在邊緣響應(yīng)，去除該點(diǎn)，否則保留。其中7；=10。一

般減少Tr可以抑制關(guān)鍵點(diǎn)的數(shù)量。

3.關(guān)鍵點(diǎn)四配

需要進(jìn)行點(diǎn)匹配的話(huà)，我們就需要構(gòu)建描述子，即構(gòu)建點(diǎn)特征，再?gòu)囊环鶊D像

的點(diǎn)與另一幅圖像的點(diǎn)集匹配，找到最佳匹配點(diǎn)對(duì)。

首先在上一節(jié)中計(jì)算的每一個(gè)特征點(diǎn)位置，我們需要構(gòu)建特征，對(duì)其進(jìn)行主方

向的計(jì)算。由于梯度我們是可以計(jì)算出梯度方向的。梯度方向直方圖的橫軸是梯度

方向的角度(梯度方向的范圍是0到360度，直方圖每36度一個(gè)柱共10個(gè)柱)，

縱軸是梯度方向?qū)?yīng)梯度幅值的累加，在直方圖的峰值就是特征點(diǎn)的主方向

確認(rèn)好主方向后，我們需要對(duì)特征進(jìn)行構(gòu)建描述子，具體有：

?校正旋轉(zhuǎn)主方向，確保旋轉(zhuǎn)不變性。

?生成描述子，最終形成一個(gè)128維的特征向量

?歸一化處理，將特征向量長(zhǎng)度進(jìn)行歸一化處理，進(jìn)一步去除光照的影響。

主方向校正SIFT描述子的構(gòu)造

旋轉(zhuǎn)后以主方向?yàn)橹行娜?X8的窗口，求取誨個(gè)像素的梯度幅

值與梯度方向，箭頭方向代表該像素的梯度方向,長(zhǎng)度代表梯

電場(chǎng)值,在每個(gè)4X4的小塊上給出18個(gè)方向的梯倍百方圖

SIFT描述子的構(gòu)造

?將關(guān)鍵點(diǎn)鄰域劃分為4X4個(gè)子區(qū)域

適應(yīng)光照變化

?梯度方向劃分為8個(gè)方向

?直方圖的值為梯度幅值的累加?為了去除光照變化的影響，對(duì)特征向量進(jìn)行歸一

?得到一個(gè)4X4X8=128維向量化處理，去除圖像灰度值整體漂移

?對(duì)于非線(xiàn)性光照，相機(jī)飽和度變化對(duì)造成某些方

向的梯度值過(guò)大，而對(duì)方向的影響微弱。因此設(shè)

置門(mén)限值（向量歸一化后，一般取0.2）截?cái)噍^大

的梯度值。然后，再進(jìn)行一次歸一化處理

SIFT具有：

尺度不變：DoG金字塔的作用

旋轉(zhuǎn)不變：主方向計(jì)算

適應(yīng)光照變化：描述子特征歸一化

二、ORB特征

ORB=oFAST+rBRIEF

研究動(dòng)機(jī)：快速性、兼禎準(zhǔn)確性

FAST請(qǐng)見(jiàn)第2節(jié)，oFAST就是在這個(gè)基礎(chǔ)上加入了主方向以解決旋轉(zhuǎn)問(wèn)題。

oFAST

?采用灰度質(zhì)心的方法IntensityCentroid

?圖像的矩mpq=2xPy?/(x,y)

xy

八m(”\

Q=(嬴？用?=^2(m01,m10)

BRIEF

描述子構(gòu)造方法：在已提取出的特征點(diǎn)的鄰域paich中，隨機(jī)選取若干對(duì)像素點(diǎn)，

分別比較每對(duì)像素點(diǎn)的灰度大小。

不同選擇點(diǎn)的方式。1.x,y方向平均分布采樣；2.x,y均服從Gaussian（0」；S2）各向同

性采樣；3.x服從Gauss（0,福$2）,y服從Gauss（0,京S?）采樣;4.x,y從網(wǎng)格中隨機(jī)

獲取；5.x一直在（0,0）,y從網(wǎng)格中隨機(jī)選取。如下圖所示

GlGilGill

GIVGV

然后分別比較每對(duì)像素點(diǎn)的灰度大小，賦值為1或0,從而構(gòu)建描述子。一般

抽樣？id=256對(duì)點(diǎn)對(duì)。

1ifP(x)<p(y)

r(p;x,y):=

0otherwise

九（P）：=Ei金82一?。≒；Xi,yJ

SteeredBRIEF:方向旋轉(zhuǎn)后的BRIEF

「BRIEF用一種貪婪學(xué)習(xí)算法篩選具有高variance和高不相關(guān)的steeredbrief

?首先建立300k個(gè)特征點(diǎn)測(cè)試集。對(duì)于測(cè)試集中的每個(gè)點(diǎn)，考慮其31x31鄰

域。（不同于原始BRIEF算法，在對(duì)圖像進(jìn)行高斯平滑之后，使用鄰域中

的某個(gè)點(diǎn)的5x5鄰域灰度平均值來(lái)代替某個(gè)點(diǎn)對(duì)的值，進(jìn)而比較點(diǎn)對(duì)的大

小。這樣特征值更加具備抗噪性。）

?在31x31的鄰域內(nèi)共有（31-5+1）x（31-5+1）=729個(gè)子窗口，取點(diǎn)對(duì)的方法

共有M=265356種，在這M種方法中選取256種取法

?D在300k特征點(diǎn)的每個(gè)31x31鄰域內(nèi)按M種方法取點(diǎn)對(duì)，比較點(diǎn)對(duì)大小，形成

一個(gè)300kxM的二進(jìn)制矩陣0。矩陣的每一列代表300k個(gè)點(diǎn)按某種取法得到的二

進(jìn)制數(shù)。

?2）對(duì)Q矩陣的每一列求取平均值，按照平均值到0.5的距離大小重新對(duì)Q矩陣

的列向量排序，形成矩陣T。

?3）將T的第一列向量放到R中。

?4）取T的下一列向量和R中的所有列向量計(jì)算相關(guān)性，如果相關(guān)系數(shù)小于設(shè)定

的閾值，則將T中的該列向量移至R中。

?5）按照4）的方式不斷進(jìn)行操作，直到R中的向量數(shù)量為256。通過(guò)這種方法

就選取了這256種取點(diǎn)對(duì)的方法。這就是rBRIEF算法。

ORB=oFAST+rBRIEF

匹配用漢明距離，也就是對(duì)應(yīng)位置數(shù)值不相同距離+1.

“1011101”與100001”之間的漢明距離是2

漢明距離就是度量下面角d（P）的二進(jìn)制的距離。

?。╬.xV）：=Pifp（x）＜P（y）

''[0otherwise

九（p）：=￡1金為2—?。≒；Xi,yJ

三、基于CNN的特征點(diǎn)與描述子學(xué)習(xí)

方法比較簡(jiǎn)單，感覺(jué)沒(méi)什么的

Keypoint2D

Locations

Keypoint

Descriptors

Interest

PointLoss

Descriptor

Loss

Interest

PointLoss

四、ICP算法

ICP算法主要用于匹配

問(wèn)題

?已知：兩個(gè)對(duì)應(yīng)點(diǎn)集合

==

X(XpX2>X3?(a**Xn)P{DpPj.P3....vpn)

?求解：旋轉(zhuǎn)矩陣R和平移向量t,使得

F(R.t)=argmin^ylk(-Rp(-t||2

(■1

流程圖如圖所示，基本就是不斷迭代評(píng)價(jià)匹配度，匹配度不行再更新迭代

ICP算法

五、RANSAC

注意說(shuō)法：一致集，雖然全景拼接的論文寫(xiě)的是inlier和outlier。

RANSAC估計(jì)模型M的一般步驟

確定求解模型M,所需要的最小費(fèi)據(jù)點(diǎn)的個(gè)數(shù)0?由日數(shù)

據(jù)點(diǎn)組成的子集稱(chēng)為模型M的一個(gè)樣本；

從數(shù)據(jù)點(diǎn)集D中隨機(jī)地抽取一個(gè)樣本J,由該樣本計(jì)算模型

的一個(gè)實(shí)例Mp(J),防定與M0(J)之間幾何距離v闌值t的

數(shù)據(jù)點(diǎn)所構(gòu)成的集合，并記為S(MJJ)),稱(chēng)為實(shí)例Mp(J)的

如果在一致集S(M/J))中數(shù)據(jù)點(diǎn)的個(gè)數(shù)#S(Mp(J))>閱值T.

則用S(MJJ))重新格計(jì)模型M,并輸出結(jié)果，如果“S(M

p(J))〈閾優(yōu)T,返回到步驟2；

經(jīng)過(guò)K次隨機(jī)抽樣，選擇最大的一致集S(Mp(J)),用S(M

p(J))重新估計(jì)模型M.并輸出結(jié)果.

第4節(jié)底層視覺(jué)III圖像分割

具體需要關(guān)注基于聚類(lèi)的圖像分割算法，K?means流程，GMM特點(diǎn)以及用EM算

法更新參數(shù)，Mean-Shift,以及基于圖論的圖割，重點(diǎn)關(guān)注Normalizedcut算法的

流程。深度學(xué)習(xí)的FRCN和YOLO目標(biāo)檢測(cè)，以及DeepLab還有UNET很熟悉

了，這里不放了。

傳統(tǒng)的方法：

?閾值法

?局部閾依法

?邊緣分割法

基于特定理論的方法

1.Kmeans聚類(lèi)

K-Means步驟

?確定聚類(lèi)(cluster,也稱(chēng)簇)中心的個(gè)數(shù)K,并

為它們隨機(jī)初始化一個(gè)各自的聚類(lèi)質(zhì)心點(diǎn)

(clustercentroids)

?根據(jù)每個(gè)數(shù)據(jù)點(diǎn)到質(zhì)心的距離來(lái)進(jìn)行分類(lèi)

?初始質(zhì)心并不是真正的質(zhì)心，質(zhì)心應(yīng)滿(mǎn)足聚類(lèi)里

每個(gè)點(diǎn)到它的歐式距離平方和最小這個(gè)條件。根

據(jù)初步分類(lèi)結(jié)果，重新計(jì)算每一聚類(lèi)中所有向?

的平均值，并確定出新的質(zhì)心

?重復(fù)上述步驟，進(jìn)行一定次數(shù)的迭代，直到質(zhì)心

的位置不再發(fā)生太大變化

Kmeans缺點(diǎn)：聚類(lèi)個(gè)數(shù)需要手動(dòng)設(shè)定,另外質(zhì)心初始化是隨機(jī)的。

2.高斯混合模型GMM

我們假設(shè)數(shù)據(jù)點(diǎn)滿(mǎn)足不同參數(shù)下的高斯分布，用兩個(gè)參數(shù)來(lái)描述聚類(lèi)的形狀均值和

標(biāo)準(zhǔn)差。以二維分布為例標(biāo)準(zhǔn)差的存在允許聚類(lèi)的形狀可以是任何種類(lèi)的橢圓形不

再局限于圓形。如果數(shù)據(jù)點(diǎn)符合某個(gè)高斯分布那它就會(huì)被歸類(lèi)為那個(gè)聚類(lèi)。

GMM通常用EM算法進(jìn)行更新，即一邊E步進(jìn)行評(píng)估期望，另一邊M步用于更新

參數(shù)。

GMM缺點(diǎn)：

KMeans相比GMM每一步迭代的計(jì)算量比較大。

基于EM算法有可能陷入局部極值需要經(jīng)過(guò)多次迭代。

GMM優(yōu)點(diǎn)：

聚類(lèi)形狀不再限制為圓舫

權(quán)重引入為多個(gè)聚類(lèi)目標(biāo)提供了思路。

3.MeanShift

一種基于一般核函數(shù)的非參數(shù)密度梯度的估計(jì)算法，并給出了保證估計(jì)值與

真實(shí)值之間漸近無(wú)偏、一致和均勻連續(xù)時(shí)核函數(shù)應(yīng)滿(mǎn)足的條件。

核心思想：找到概率密度梯度為零的采樣點(diǎn)，并以此作為特征空間聚類(lèi)的模

式點(diǎn)。

基本流程：1.計(jì)算平移向量，2.轉(zhuǎn)換密度估計(jì)窗口

Stepl：對(duì)于始.ComputeMeanShiftVector：m(zj).

m(M)=-------------------------------------x

23刑亍11)2

其中g(shù)(x)=-k'(x).

Step2:TranslateDensityEstimationWindow：

寸'=W+m(zf)

Step3:IterateStep1andStep2untilconveigence.

應(yīng)用到整幅圖也很簡(jiǎn)單，在圖像空間上均勻放入點(diǎn)，然后對(duì)每個(gè)點(diǎn)都進(jìn)行密度估計(jì)

以及平移向量計(jì)算，然后進(jìn)行點(diǎn)位置更新，不斷迭代，最終幾個(gè)點(diǎn)聚集中心便是圖

像聚類(lèi)中心。

與K-Means方法的最大優(yōu)點(diǎn)是無(wú)需指定聚類(lèi)數(shù)目K,聚類(lèi)中心處于最高密度處，也

符合直覺(jué)認(rèn)知。

缺點(diǎn)是如何正確選擇窗口尺寸h。

4.GraphCut圖割

基本思想

1將圖像用圖的方式表示頂點(diǎn)表示像素邊表示像素之間的關(guān)系。圖像分割對(duì)應(yīng)圖的

割集。

2確定圖中邊的權(quán)值使圖像分割目標(biāo)能量最小化對(duì)應(yīng)圖的最小割。

3用最大流算法求解最小割問(wèn)題。

在圖論中，去掉其中所有邊能使一張網(wǎng)絡(luò)流圖不再連通(即分成兩個(gè)子圖)的邊集

稱(chēng)為圖的割(英語(yǔ):cut(graphtheory))(英語(yǔ)：cut),一張圖上最小的割稱(chēng)為最

小割(英語(yǔ)：minimumcutmin-cut)。

A有源節(jié)點(diǎn)(s)和終

節(jié)點(diǎn)(t)

》每條邊有一個(gè)帶負(fù)

的容量Cap(ij)

》對(duì)于不存在的邊，

其容量為0/

53

G={『,￡}

Normalizedcut

需要注意的是：僅考慮用割集的權(quán)值之和來(lái)度量?jī)蓚€(gè)集合之間的相關(guān)性，會(huì)容易出

現(xiàn)孤立分割的問(wèn)題。如下圖所示：

Min-cut2

nlMin-cutI

一個(gè)解決上述問(wèn)題的辦法是通過(guò)定義新的類(lèi)間相似性度量。Normalizedcut(Ncut)

,、cut(A,B)cut(A,B)

Neut(AF)=assoc(AV.)+a5soc(fi^

這里assoc(,A,V)=zw(u,t)

ue4.tev

這樣包含孤立點(diǎn)的槍"唯不會(huì)小。

再定義總的類(lèi)內(nèi)相似性度量

assoc{A,A)assoc(B,B)

Nassoc(A,8)

assoc(A,V)assoc(B,V)

具體算法：

①給定一個(gè)點(diǎn)集，構(gòu)建圖G(V.E),邊的權(quán)為對(duì)應(yīng)兩端點(diǎn)的

相似度。

②求解(D—W)x=4Dx的特征值及其所對(duì)應(yīng)的特征向量。

③用次小特征值所對(duì)應(yīng)的特征向量進(jìn)行二分類(lèi)。

④若需再分，則在每個(gè)分好的類(lèi)別中重復(fù)上述過(guò)程。否則

終止。

圖像應(yīng)用：

將一幅圖像上所有像素點(diǎn)看作點(diǎn)集V,每?jī)蓚€(gè)點(diǎn)之間都建立一條邊，得到邊集E。

為每條邊賦值。這樣就建立一個(gè)賦權(quán)無(wú)向圖G=(V,E)o按照前述算法，我們就可以

完成對(duì)該幅圖像分割操作。

深度學(xué)習(xí)部分速議自己看看

第5節(jié)三維視覺(jué)I相機(jī)模型與多視幾何

需要掌握相機(jī)模型，基本矩陣以及8點(diǎn)法計(jì)算，本質(zhì)矩陣以及5點(diǎn)法計(jì)算

小孔成像

小光圈：曝光時(shí)間增長(zhǎng)、高亮度圖像

大光圈：曝光時(shí)間短、埃糊圖像

光圈過(guò)小（產(chǎn)生衍射現(xiàn)象，圖像模糊）

射影空間：對(duì)n維歐式空間加入無(wú)窮遠(yuǎn)元素，并對(duì)有限元素和無(wú)窮遠(yuǎn)元素不加區(qū)

分，則他們共同構(gòu)成n維射影空間

齊次坐標(biāo)是射影空間的坐標(biāo)表達(dá)方式

?非齊次坐標(biāo)到齊次坐標(biāo)的轉(zhuǎn)換：

X

（工,!/）=>y（q!z，z）n

?齊次坐標(biāo)到非其次坐標(biāo)的轉(zhuǎn)換:

x

）I=?(x/w,y/w,z/w)

y=>{x/w.y/wz

w

w

相機(jī)模型

相機(jī)內(nèi)參數(shù)矩陣:

P,

K=04Py

00I

簡(jiǎn)化版完贅版

多視幾何

X1=K網(wǎng)小

x2=K2[R2|t2]x

x3=K5[R,|t3]x

R>t,

令皿W是空間點(diǎn)X分別在兩個(gè)攝像機(jī)下的投影，通常稱(chēng)它們?yōu)辄c(diǎn)對(duì)應(yīng)(Point

Correspondence),并記作m—zn'。

基本矩陣(fundamentalmatrix)

兩視圖的極幾何約束(叩ipolargeometry)可以用一個(gè)3x3矩陣描述，稱(chēng)為基本矩陣

(fundamentalmatrix)F

F表達(dá)了image1中的齊次坐標(biāo)點(diǎn)p與image2中p的極線(xiàn)之間的映射關(guān)系

圖像對(duì)應(yīng)點(diǎn)間的極幾何約束關(guān)系可以表達(dá)為：q7Fp=0

R:左右相機(jī)間的相對(duì)的狀t:左右相機(jī)何的平秣

qHR[t]jK[p=0

F*---theFundairentalmatrix

兩視圖幾何一8點(diǎn)法(在兩個(gè)相機(jī)參數(shù)不已知的情況下)

x，rFx=0

rf3x3

令x'=[x[,y[t1],x=[x,y,1],而且已知FGIR

L23g

/11/1/1

/21/22/23

/3/3s/li

12/33

A

xixifll+xiVif21+卬31+

+V曲22+%力2+

巾13+Vif23+/33=0

由于解9個(gè)變量(/ii，/n，…,啟3)，至少需要8組解才可以解出唯一平凡解。

X*；X：以y\Zfu

欣就X：煙Xx；fn

小X：詡yix；fn

A

XX.他X：必y：￥

l2=0Af=0

X：/*A

疝；就詡R

.他X：必y：,t：&

加就X；謠y；￥k

X*：出X：渤￥人

則8點(diǎn)法基本流程

?由8組對(duì)應(yīng)點(diǎn)構(gòu)造方程Af=0

?對(duì)A進(jìn)行SVD分解A=U，VT,V的最后一個(gè)列向

量構(gòu)造F

?對(duì)F進(jìn)行SVD分解F=U，Vi

a,oo'a,oo-

z=0(T,0.Z'=0(T,0

.°06.000

?F'=UZ'VT

注意：當(dāng)空間點(diǎn)位于空間同一平面時(shí)，產(chǎn)生退化情況，無(wú)法求解

兩視圖幾何一5點(diǎn)法（在兩個(gè)相機(jī)參數(shù)已知的情況下）

球巳。=。鏟E0=o

theEssentialmatrix(本質(zhì)矩陣)

5點(diǎn)法求的是本質(zhì)矩陣，而8點(diǎn)法求的是基礎(chǔ)矩陣。主要區(qū)別是否已知相機(jī)內(nèi)參數(shù)。

Algorithm5(Thefive-pointrelativeorientation)Givenfiveimagepointcorre-

spondencesu,1u；fari=1,....5.computetherotationandthetranslation

betweenthetwoviews.

I.Formthe5x9linearsystem.

2.Computethefour-dimensionalnullspaceofthelinearsystembySVD.

3.Obtainthecacfficienlsofajparamefrizedhythreeparametersx,y、zfromthe

abovenullspace.

4.FormtheAIOX2Oniutrixfromthetencubicpolynomialconstraints.

5.ObtainthereducedinalrixBiox\ofr<?nAIOX2Ob、Gauss-Jordanelimination.

6.FormthemuliiplicationmatrixXTfmniB(oxio-

7.Compuietheeiffenveclorsof

8.Eachei^eitvecturisasohuiontob.mid

x=M/bio,y=b&/bi。，andz=%/瓦。.

9.Computejfromx,y,z,anilconverte,jintothenuiirixE.

10.DecomposetheEintotheRandtbySVD.

11.ChoosetheRandtthatreconstntcta31)pointinfromofthecameras.

ThereareulmostfensolutionstoRandt.

就是通過(guò)5個(gè)點(diǎn)計(jì)算旋轉(zhuǎn)（4對(duì)點(diǎn)）和平移（額外一對(duì)點(diǎn)）的矩陣，然后用

RANSAC（見(jiàn)第三節(jié)）進(jìn)行校正。用最小配置解原因是不可避免選擇的點(diǎn)對(duì)是存

在外點(diǎn)的。

第6節(jié)三維視覺(jué)II相機(jī)標(biāo)定與稀疏重建

相機(jī)標(biāo)定與稀疏重建，尢為某個(gè)圖像中的坐標(biāo)，K為相機(jī)內(nèi)參，R為旋轉(zhuǎn)參數(shù)，t為

平移參數(shù)，X為世界坐標(biāo)系位置。%=K[R\t]X

?己知x、K、R、t?求X：三角化(Triangulation)

?已知x、X、K,求R、t：姿態(tài)估計(jì)(PoseEstimation)

?已知x、X,求K、R、t：相機(jī)標(biāo)定(CameraCalibration)

?已知、，求K、Rot%X：稀疏重建(SparseReconstruction)

StructurefromMotion(SfM)

StructureandMotionEstimation

三角化：最小化重構(gòu)投影誤差:min￡i||.困同乂一々||2

相機(jī)標(biāo)定：需要知道一組2D—3D對(duì)應(yīng)，并知道對(duì)應(yīng)點(diǎn)的2D與3D坐標(biāo)。通常情況

下，需要一個(gè)人工制作的標(biāo)定物(通常需要至少6對(duì)點(diǎn)用于標(biāo)定)

優(yōu)點(diǎn)：標(biāo)定精度高；通過(guò)一幅圖像即可標(biāo)定

缺點(diǎn)：需要高精度的三維標(biāo)定塊

更實(shí)用的標(biāo)定方案：使用平面標(biāo)定板(至少需要4對(duì)點(diǎn))

注意，在8點(diǎn)法時(shí)候8對(duì)點(diǎn)是不能同一平面(已知%和X2，計(jì)算基本矩陣F),但

相機(jī)標(biāo)定可以(已知x和X,計(jì)算K,R,t)o

1打印一個(gè)模版貼在一人平面上

2拍攝多幅照片

3計(jì)算圖像特征點(diǎn)

4計(jì)算K、R、I

5計(jì)算重投影誤差

6揄出結(jié)果

求相機(jī)標(biāo)定的幾何誤差

使用上述線(xiàn)性求解的代數(shù)最小誤差下的K、R、t為初始值，迭代求解最小重投影

誤差問(wèn)題（即求幾何誤差最小下的K、R、t）

稀疏重建：一般通過(guò)8點(diǎn)法計(jì)算出基本矩陣F,但是F無(wú)法分解出唯一的K-K2f

R,t,當(dāng)內(nèi)參數(shù)矩陣Ki，&已知時(shí)，E=R田x稱(chēng)為本質(zhì)矩陣。本質(zhì)矩陣通過(guò)5點(diǎn)

法求出。

通過(guò)基本矩陣F或本質(zhì)矩陣E,求K、R、t,然后通過(guò)三角化求X,通過(guò)E求X有四

種解，選擇X在兩個(gè)相機(jī)前方數(shù)量多的那個(gè)解。要求幾何誤差意義下的KRtX,還

是用之前的方法，首先以代數(shù)誤差最小化情況下的KRtX作為初值，然后迭代求解

重投影誤差最小化問(wèn)題，得到幾何誤差最小化意義下的KRCX。

實(shí)際中可以通過(guò)圖片EXIF獲取相機(jī)焦距、鏡頭型號(hào)等獲取相機(jī)內(nèi)參數(shù)K

增量式SfM

1、給定一堆圖像

2、特征點(diǎn)檢測(cè)

3、特征匹配，并通過(guò)8點(diǎn)法和RANSAC方式去除錯(cuò)誤點(diǎn)

4、選擇初始圖像對(duì)

5、通過(guò)兩視圖SfMH算初始模型

6、如果圖像連接關(guān)系圖還有未選擇的圖像（這個(gè)就是增量了，多次添加）

a.選擇一幅能看到目前模型中最多3D點(diǎn)的圖像；

b.根據(jù)3D?2D點(diǎn)對(duì)應(yīng)估計(jì)相機(jī)位姿；（找到相機(jī)位置，R,t）

c.三角化新的特征點(diǎn)Tracks（就是互相匹配的點(diǎn)）

d.Bundleadjustment

第7節(jié)三維視覺(jué)III立體視覺(jué)與三維建模

極線(xiàn)校正

左圖像和右圖像位于同一平面(兩相機(jī)K、R相同)，左圖像和右圖像的x軸與基

線(xiàn)平行，對(duì)應(yīng)點(diǎn)具有相同的y坐標(biāo)。

R在右圖像上的極線(xiàn)平行于x軸，搜索P,匹配點(diǎn)的過(guò)程只需在水平掃描線(xiàn)上進(jìn)疔

極線(xiàn)校正方法

可以通過(guò)設(shè)置虛擬攝像機(jī)位置進(jìn)行極線(xiàn)校正

單應(yīng)變換幾種形式

兩圖像間的對(duì)極約束和場(chǎng)景的結(jié)構(gòu)無(wú)關(guān)，也就是說(shuō)對(duì)極約束對(duì)于任意場(chǎng)景結(jié)構(gòu)的兩

幅圖像都是成立的，不能給出兩幅圖像上的像點(diǎn)的——對(duì)應(yīng)關(guān)系，只能給出點(diǎn)對(duì)

應(yīng)的必要條件，另一幅圖像上與圖像上對(duì)應(yīng)的像點(diǎn)在位于對(duì)應(yīng)的對(duì)極線(xiàn)上。基礎(chǔ)矩

陣F描述的實(shí)際是一種點(diǎn)和直線(xiàn)的映射關(guān)系，而不是一種點(diǎn)對(duì)點(diǎn)的約束關(guān)系，并不

能給出另一個(gè)點(diǎn)的確切空置。

通過(guò)空間平面誘導(dǎo)的單應(yīng)，也就是圖像上的點(diǎn)都在世界空間的同一平面上

注意：和基本矩陣F的區(qū)別

單應(yīng)矩陣H和基本矩陣F是有區(qū)別的

單應(yīng)：從物體平面到圖像平面的映射，同時(shí)表征了這兩個(gè)平面的相對(duì)位置和攝像

機(jī)投影矩陣。通常描述處于共同平面上的一些點(diǎn)在兩張圖像之間的變換關(guān)系。

P2=Hpi

基礎(chǔ)矩陣描述的是對(duì)極幾何中兩張圖像之間匹配特征點(diǎn)的空間位置變化關(guān)系。

P“Pi=°

視差：極線(xiàn)校正后，左右圖像的一對(duì)匹配點(diǎn)在x軸上坐標(biāo)的差異稱(chēng)為視差

(Disparity)。視差的大小與點(diǎn)距離相機(jī)距離的遠(yuǎn)近成反比。

立體視覺(jué)的目的就是通過(guò)左右圖像計(jì)算（稠密）視差圖

視差圖是一幅灰度圖像,像素點(diǎn)的值表示這一點(diǎn)的視差大小，灰度值越高表示視差

越大（距離越近）

立體視覺(jué)三維建模流程

三維模型

（稠密點(diǎn)云）

立體匹