計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座

期末作業(yè)通知作業(yè)形式:項目匯報(PPT,15分鐘),2-3人一組,自由組隊.作業(yè)內(nèi)容:項目名稱,項目意義,相關(guān)工作,提出算法,試驗結(jié)果,分析與結(jié)論.作業(yè)題目:計算機(jī)視覺范圍內(nèi)任意課題,提議與個人導(dǎo)師商議后決定.如有需要,可向任課老師申請題目.關(guān)鍵時間點:

下周四之前,將項目名稱,團(tuán)體組員名單發(fā)至任課老師信箱.第15周課堂時間答辯.

計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第1頁Shape(Structure)

From

X處理是從2D圖像到2.5D表面形狀(場景深度)問題Shapefrommotion-------第七章,第八章Shapefromstereo------第九章Shapefrommonocularcues(shading,vanishingpoint,defocus,texture,….)------第十章計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第2頁第七章基于運動視覺場景復(fù)原計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第3頁三維運動預(yù)計三維運動預(yù)計是指從二維圖象序列來預(yù)計物體三維運動參數(shù)以及三維結(jié)構(gòu)。SFM(ShapeFromMotion)計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第4頁Singularvaluedecomposition(SVD)計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第5頁Everymatrixrepresentsatransformation/faculty/will/svd/index.html計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第6頁Singularvaluedecomposition計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第7頁Singularvaluedecomposition計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第8頁Pseudo-inverse計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第9頁三維剛體運動計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第10頁小角度旋轉(zhuǎn)矩陣小角度旋轉(zhuǎn)計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第11頁1.基于正交投影三維運動預(yù)計小角度旋轉(zhuǎn)矩陣6個未知數(shù)，3對點計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第12頁基于正交投影三維運動預(yù)計

Aizawa,1989

1.依據(jù)對應(yīng)點和深度預(yù)計值，計算運動參數(shù)2.依據(jù)運動參數(shù)和對應(yīng)點，重新預(yù)計深度交替直到穩(wěn)定計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第13頁基于正交投影三維運動預(yù)計

Bozdagi,1994

利用深度預(yù)計值隨機(jī)擾動，跳出局部最優(yōu)

1.依據(jù)對應(yīng)點和深度預(yù)計值，計算運動參數(shù)

2.依據(jù)運動參數(shù)和深度預(yù)計值，預(yù)計對應(yīng)點坐標(biāo)

3.計算預(yù)計誤差計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第14頁基于正交投影三維運動預(yù)計4.隨機(jī)擾動深度預(yù)計值5.重復(fù)以上步驟試驗證實，這種改進(jìn)迭代算法在初始深度值有50%誤差情況下，也能很好地收斂到正確運動參數(shù)值。計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第15頁2基于透視投影模型三維運動預(yù)計規(guī)范化焦距F=1,分子分母同除以Zk計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第16頁3基于外極線三維運動預(yù)計外極線方程幾何意義計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第17頁基于外極線三維運動預(yù)計外極線方程三維剛體運動引進(jìn)一個反對稱矩陣：計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第18頁基于外極線三維運動預(yù)計基本矩陣（essentialmatrix）平移矢量乘以不為零系數(shù)，不影響外極線方程成立所恢復(fù)運動參數(shù)是關(guān)于百分比系數(shù)解計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第19頁本質(zhì)矩陣應(yīng)用可被用于

簡化匹配問題檢測錯誤匹配計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第20頁基于外極線三維運動預(yù)計外極線方程計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第21頁基于外極線三維運動預(yù)計基本矩陣性質(zhì)

外極線方程待求參數(shù)

5個未知獨立參數(shù)，這也和運動參數(shù)自由度數(shù)量相一致，即三個旋轉(zhuǎn)自由度，二個平移自由度（或三個關(guān)于一個百分比系數(shù)平移自由度）.計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第22頁(1)依據(jù)基本矩陣預(yù)計運動1.計算基本矩陣8對以上對應(yīng)點求穩(wěn)定解(實際經(jīng)常使用RANSAC算法)計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第23頁(1)依據(jù)基本矩陣預(yù)計運動1.計算基本矩陣Inreality,insteadofsolving

,weseekE

to

minimize

,leasteigenvectorof.計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第24頁8-pointalgorithmToenforcethatFisofrank2,FisreplacedbyF’thatminimizessubjectto.ItisachievedbySVD.Let,where,letthenisthesolution.計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第25頁8-pointalgorithm%BuildtheconstraintmatrixA=[x2(1,:)‘.*x1(1,:)'x2(1,:)'.*x1(2,:)'x2(1,:)'...x2(2,:)'.*x1(1,:)'x2(2,:)'.*x1(2,:)'x2(2,:)'...x1(1,:)'x1(2,:)'ones(npts,1)];

[U,D,V]=svd(A);

%ExtractfundamentalmatrixfromthecolumnofV%correspondingtothesmallestsingularvalue.

E=reshape(V(:,9),3,3)';

%Enforcerank2constraint[U,D,V]=svd(E);

E=U*diag([D(1,1)D(2,2)0])*V';計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第26頁8-pointalgorithmPros:itislinear,easytoimplementandfastCons:susceptibletonoise計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第27頁Problemwith8-pointalgorithm~10000~10000~10000~10000~100~1001~100~100!Ordersofmagnitudedifferencebetweencolumnofdatamatrixleast-squaresyieldspoorresults計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第28頁Normalized8-pointalgorithmTransforminputby

,Call8-pointon

toobtain

計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第29頁Normalized8-pointalgorithm(0,0)(700,500)(700,0)(0,500)(1,-1)(0,0)(1,1)(-1,1)(-1,-1)normalizedleastsquaresyieldsgoodresultsTransformimageto~[-1,1]x[-1,1]計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第30頁Normalized8-pointalgorithmA=[x2(1,:)‘.*x1(1,:)'x2(1,:)'.*x1(2,:)'x2(1,:)'...x2(2,:)'.*x1(1,:)'x2(2,:)'.*x1(2,:)'x2(2,:)'...x1(1,:)'x1(2,:)'ones(npts,1)];

[U,D,V]=svd(A);

E=reshape(V(:,9),3,3)';

[U,D,V]=svd(E);

E=U*diag([D(1,1)D(2,2)0])*V';%Denormalise

E=T2'*E*T1;[x1,T1]=normalise2dpts(x1);[x2,T2]=normalise2dpts(x2);計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第31頁Normalizationfunction[newpts,T]=normalise2dpts(pts)c=mean(pts(1:2,:)')';%Centroidnewp(1,:)=pts(1,:)-c(1);%Shiftorigintocentroid.newp(2,:)=pts(2,:)-c(2);

meandist=mean(sqrt(newp(1,:).^2+newp(2,:).^2));scale=sqrt(2)/meandist;

T=[scale0-scale*c(1)0scale-scale*c(2)001];newpts=T*pts;計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第32頁RANSACrepeatselectminimalsample(8matches)computesolution(s)forFdetermineinliersuntil(#inliers,#samples)<95%||toomanytimes

computeEbasedonallinliers計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第33頁依據(jù)基本矩陣預(yù)計運動2.預(yù)計運動參數(shù)T:根據(jù)基本矩陣性質(zhì)R:根據(jù)計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第34頁(2)直接依據(jù)外極線方程預(yù)計運動理想情況下：因為誤差，改求：計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第35頁Structurefrommotion計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第36頁Structurefrommotionstructureformotion:automaticrecoveryofcameramotionandscenestructurefromtwoormoreimages.Itisaselfcalibrationtechniqueandcalledautomaticcameratrackingormatchmoving.Unknowncameraviewpoints計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第37頁Structurefrommotion2Dfeaturetracking3Destimationoptimization(bundleadjust)geometryfittingSFMpipeline計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第38頁StructurefrommotionStep1:TrackFeaturesDetectgoodfeatures,Shi&Tomasi,SIFTFindcorrespondencesbetweenframeswindow-basedcorrelationSIFTmatching計算機(jī)視覺ShapeStructureFromMotionI專題知識專家講座第39頁KLTtracking/~stb/klt/計算機(jī)視覺ShapeStruc