L62-合集-計算機(jī)科學(xué)進(jìn)展-課件-川大

計算機(jī)視覺進(jìn)展–立體視覺

基礎(chǔ)部分I

計算機(jī)學(xué)院李征參考文獻(xiàn)[1]DavidA.Forsyth,JeanPonce,ComputerVision;AModernApproach(1stEdition),NewJersey:PrenticeHall,August24,2002[2]GoshtasbyA.Ardeshir,2Dand3DImageRegistrationforMedical,RemoteSensing,andIndustrialApplications(1stEdition),JohnWiley&Sons,April,2005[3]RichardHartley,AndrewZisserman,MultipleViewGeometryinComputerVision(2ndEdition),CambridgeUniversityPress,March2004參考文獻(xiàn)[4]OlivervanKaick,HaoZhang,GhassanHamarneh,DanielCohen-Or,ASurveyonShapeCorrespondence,ComputerGraphicsForum,Volume30,Issue6,pages1681-1707,September2011[5]HongshengLi,TianShen,XiaoleiHuang,ApproximatelyGlobalOptimizationforRobustAlignmentofGeneralizedShapes,IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE,Vol.33,NO.6,June2011[6]TimorKadir,MichaelBrady,SaliencyScaleandImageDescription,InternationalJournalofComputerVision,Volume45,Issue2,November2001參考文獻(xiàn)[7]ZhengLi,PohuangJiang,HongMa,JianYang,DongMingTang,AModelforDynamicObjectSegmentationwithKernelDensityEstimationBasedonGradientFeatures,ImageandVisionComputing,Volume27,Issue6,pages817-823,May2009[8]DavidG.Lowe,DistinctiveImageFeaturesfromScale-InvariantKeypoints,InternationalJournalofComputerVision,Volume60,No.2,pages91-110,2004[9]D.Marr,H.K.Nishihara,Representationandrecognitionofthespatialorganizationofthree-dimensionalshapes,Proc.R.Soc.Lond.B.200,pages269-294,1978參考文獻(xiàn)[10]AliShokoufandeh,IvanMarsic,SvenJ.Dickinson,View-basedobjectrecognitionusingsaliencymaps,ImageandVisionComputing,Volume17,Issue5,pages445-460,April1999[11]JamesL.Crowley,AliceC.Parker,ARepresentationforShapeBasedonPeaksandRidgesintheDifferenceofLow-PassTransform,IEEETransactionsonPatternAnalysisandMachineIntelligence,Volume6,No.2,pages156-169,1984[12]KrystianMikolajczyk,CordeliaSchmid,ScaleandAffineInvariantInterestPointDetectors,InternationalJournalofComputerVision,Volume60,No.1,2004參考文獻(xiàn)[13]A.Elgmmal,R.Duraiswami,D.Harwood,L.S.Davis,BackgroundandForegroundModelingusingnonparametrickerneldensityestimationforVisualSurveillance,in:ProceedingoftheIEEE,Vol.90,IEEEInstituteofElectricalandElectronics,USA,Issue7,pages1151-1163,July2002[14]A.Mittal,N.Paragios,Motion-BasedBackgroundSubtractionUsingAdaptiveKernelDensityEstimation,in:CVPR’04,Vol.2,IEEEComputerSociety,Washington,DC,USA,pagesII302-II309,July2004主要內(nèi)容一.計算機(jī)視覺領(lǐng)域中的重要問題二.立體視覺的概念與基本原理三.射影幾何中的基本概念四.基本的成像模型五.單視幾何學(xué)的基本原理六.雙視幾何學(xué)的基本原理七.攝像機(jī)標(biāo)定的基本原理一.計算機(jī)視覺領(lǐng)域中的重要問題1.計算機(jī)視覺的概念2.計算機(jī)視覺領(lǐng)域中的重要問題1.計算機(jī)視覺的概念什么是計算機(jī)視覺?模擬人眼接收客觀世界中可見光信息，并由大腦解釋可視信息的過程，使用算法對真實(shí)圖像或視頻中的內(nèi)容給予有效的解釋。入口數(shù)據(jù)：圖像、視頻（可視信息）出口數(shù)據(jù)：對可視內(nèi)容的某種解釋（非可視信息）1.計算機(jī)視覺的概念應(yīng)用實(shí)例：文字識別（OCR）物體形狀識別人臉識別車站視頻中的人數(shù)統(tǒng)計醫(yī)用圖像中細(xì)胞數(shù)量統(tǒng)計醫(yī)用視頻中運(yùn)動微粒測速軍事目標(biāo)定位、跟蹤、行為分析基于視覺分析的人機(jī)交互1.計算機(jī)視覺的概念相關(guān)領(lǐng)域：計算機(jī)圖形學(xué)數(shù)字圖像處理計算機(jī)圖形學(xué)使用圖形生成流水線（一組有序執(zhí)行的算法），由計算機(jī)內(nèi)部的虛擬幾何圖形表述生成虛擬可視像素圖形的過程。入口數(shù)據(jù)：虛擬二維或三維場景描述（幾何圖形，非可視數(shù)據(jù)）出口數(shù)據(jù)：經(jīng)圖形管道處理后得到的虛擬的、像素化圖形（可視數(shù)據(jù)）數(shù)字圖像處理使用算法對數(shù)字圖像中的像素信息實(shí)施處理，使圖像中內(nèi)容的可視化質(zhì)量得以提高的過程。入口數(shù)據(jù)：圖像（可視）出口數(shù)據(jù)：圖像（可視）脊椎動物的視覺過程脊椎動物的視覺過程兩種感光細(xì)胞（PhotoreceptorCell）桿狀細(xì)胞（rods）：僅對光能量有響應(yīng)，但與光頻率無關(guān)，很小的光能量即能觸發(fā)生理刺激。弱光環(huán)境下主要依靠此類細(xì)胞接收光能量。錐狀細(xì)胞（cones）：對光能量有響應(yīng)，且與頻率相關(guān)。能量低于一定閾值時此類細(xì)胞無響應(yīng)（弱光環(huán)境下不工作）。兩種感光細(xì)胞（PhotoreceptorCell）錐狀細(xì)胞對不同頻率光能量的吸收率兩種感光細(xì)胞（PhotoreceptorCell）錐狀細(xì)胞在視網(wǎng)膜中央?yún)^(qū)域的分布比周邊區(qū)域更密集。脊椎動物的視覺過程接收場合并與多尺度描述接收場（receptivefield）：（三維）原像空間中能由輸入光能量變化引起某神經(jīng)細(xì)胞生理響應(yīng)發(fā)生變化的空間區(qū)域。接收場合并（receptivefieldconvergence）：如果多個底層神經(jīng)細(xì)胞與一個上層神經(jīng)細(xì)胞有連接，并將視覺信號傳遞給它，那么該上層細(xì)胞的接收場是相關(guān)底層細(xì)胞接收場的并集。接收場合并與多尺度描述視覺系統(tǒng)中接收場的逐層合并：感光細(xì)胞——神經(jīng)節(jié)細(xì)胞——視覺皮質(zhì)細(xì)胞提煉的重要概念：多尺度描述對中央與邊緣分別響應(yīng)的兩種神經(jīng)節(jié)細(xì)胞提煉的概念：特征提取立體視覺的產(chǎn)生視覺皮層中的雙視神經(jīng)元具有左、右雙眼視網(wǎng)膜的感光神經(jīng)元合并產(chǎn)生的接收場，其完整的生理響應(yīng)必須由雙目視覺同時刺激。提煉的重要概念：立體視覺特征匹配在視覺中的必要性識別：神經(jīng)元提取的多尺度視覺特征與記憶中的視覺特征相匹配，用于識別看見的物體；配準(zhǔn)：左眼、右眼成像中，底層：哪些感光神經(jīng)元接收的是同一原像的光能量刺激？上層：哪些神經(jīng)細(xì)胞的接收場在哪些部分有重疊？圖像匹配操作是必須的。二.立體視覺的概念與基本原理立體視覺的概念：模仿人眼的立體視覺過程，基于一幀或多幀具有共同拍攝場景的圖像，由其中的二維形狀信息恢復(fù)原始場景中三維形狀信息的視覺過程。二.立體視覺的概念與基本原理1.單視幾何原理2

.雙視幾何原理3.多視幾何原理4.立體視覺的一般處理過程1.單視幾何原理單視幾何：針對平面物體的形狀恢復(fù)2

.雙視幾何原理雙視幾何：基于標(biāo)定攝像機(jī)的三維表面重建3.多視幾何原理多視幾何：基于未標(biāo)定攝像機(jī)的三維表面重建4.立體視覺的一般處理過程plprPOlOrXlXrPlPrflfrZlYlZrYrR,T入口數(shù)據(jù)：單幀或多幀圖像為了最終恢復(fù)三維信息，需要基于入口數(shù)據(jù)進(jìn)一步獲取哪些數(shù)據(jù)？4.立體視覺的一般處理過程問題：如何知道不同圖像中的匹配信息？如何知道不同拍攝方位的相對放置（外部參數(shù)）？如何知道攝像機(jī)的內(nèi)部參數(shù)？4.立體視覺的一般處理過程（1）圖像配準(zhǔn)（2）攝像機(jī)標(biāo)定（確定內(nèi)部參數(shù)）（3）確定攝像機(jī)相對放置（確定外部參數(shù)）（4）三維表面重建（1）圖像配準(zhǔn)1）基于像素的圖像配準(zhǔn)方法兩幀圖像中所有具有同一原像的像素對都應(yīng)建立匹配關(guān)系。2）基于特征的圖像配準(zhǔn)方法僅針對兩幀圖像中的具有同一原像的點(diǎn)、線、區(qū)域特征對建立匹配關(guān)系。（1）圖像配準(zhǔn)兩類方法具有一定的聯(lián)系，并且，基于特征的圖像配準(zhǔn)效率更高，在其基礎(chǔ)上可簡化像素級配準(zhǔn)。由于各類特征均可以轉(zhuǎn)換為點(diǎn)特征，因此，基于特征點(diǎn)的配準(zhǔn)方法成為研究的重點(diǎn)。例如，直線段特征可轉(zhuǎn)換為直線段的兩兩交點(diǎn)，區(qū)域特征可轉(zhuǎn)換為區(qū)域的重心。2）基于特征點(diǎn)的圖像配準(zhǔn)a）數(shù)字圖像中的特征點(diǎn)提取示例：角點(diǎn)提取b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)仿射圖像配準(zhǔn)、透視圖像配準(zhǔn)、基于外極幾何約束的圖像配準(zhǔn)a）角點(diǎn)提取示例：基于獨(dú)立性的角點(diǎn)提取方法兩個像素窗口的關(guān)聯(lián)系數(shù)：像素的獨(dú)立性：123456789123456789x’與y’小于指定整數(shù)，且不同時為零a）角點(diǎn)提取獨(dú)立性示例：亮度越強(qiáng)的像素位置獨(dú)立性越強(qiáng)a）角點(diǎn)提取處理流程：1.從圖像中提取邊緣像素集2.將邊緣像素按照獨(dú)立性降序排序3.對于當(dāng)前獨(dú)立性最大的像素，若其獨(dú)立性大于指定閾值，則將其輸出到角點(diǎn)集，否則結(jié)束處理流程4.對于剩余的邊緣像素集，將其獨(dú)立性乘以H，轉(zhuǎn)第2步a）角點(diǎn)提取其中，di為第i個剩余邊緣像素與輸出角點(diǎn)間的像素距離；D為相對距離定義，由它規(guī)定距離遠(yuǎn)、近的概念。b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)圖像配準(zhǔn)的目的：在兩幀圖像間建立一個映射關(guān)系，該映射能夠?qū)⑵渲幸粠瑘D像上的特征點(diǎn)坐標(biāo)映射為另一幀圖像中匹配特征點(diǎn)的坐標(biāo)。b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)問題：兩幀圖像中的特征點(diǎn)數(shù)量一定相等嗎？是否所有特征點(diǎn)都存在對應(yīng)的匹配特征點(diǎn)？兩幀圖象存在差異，內(nèi)容不會完全一致，因此特征點(diǎn)數(shù)量也不一定相等兩幀圖象存在差異，某特征點(diǎn)可能在左圖像中出現(xiàn)，但卻可能在右圖像中未出現(xiàn)b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)特征點(diǎn)坐標(biāo)間的映射可理解為坐標(biāo)變換，可使用矩陣來表示。矩陣類型與圖像間幾何變換的關(guān)系：1.二維仿射矩陣與圖像平面內(nèi)的二維旋轉(zhuǎn)、平移、放縮變換對應(yīng)2.二維透視矩陣除包含二維變換外，還包含攝像機(jī)繞光心的旋轉(zhuǎn)變換3.基礎(chǔ)矩陣包含二維變換、攝像機(jī)旋轉(zhuǎn)、攝像機(jī)平移等變換b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)二維仿射變換：兩幀圖像間的變化可由二維圖像平面上的二維旋轉(zhuǎn)、放縮、平移來描述；r、l分別表示左右圖像中特征點(diǎn)坐標(biāo)，i、j表示特征點(diǎn)序號若已知左、右圖像中的3個匹配特征點(diǎn)對，則能求解該變換b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)二維透視變換：兩幀圖像間的變化包括二維圖像平面上的二維旋轉(zhuǎn)、放縮、平移、攝像機(jī)成像平面在三維空間中繞光心旋轉(zhuǎn)；r、l分別表示左右圖像中特征點(diǎn)坐標(biāo)，i、j表示特征點(diǎn)序號若已知左、右圖像中的4個匹配特征點(diǎn)對，則能求解該變換b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)仿射配準(zhǔn)的處理流程：1.假設(shè)左圖像與右圖像的特征點(diǎn)集分別為P、Q，從P、Q中選擇一個未嘗試的三點(diǎn)對，若已無三點(diǎn)對可以選擇，則認(rèn)為配準(zhǔn)失敗，并結(jié)束處理流程2.使用相似三角形約束判斷三點(diǎn)對的合理性，若不合理，則轉(zhuǎn)第一步b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)相似三角形約束：p、q分別表示P、Q中的特征點(diǎn)，相同腳標(biāo)表示具有匹配關(guān)系，ε為很小的值b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)3.使用三點(diǎn)對解方程組，求解仿射變換的6個未知系數(shù)，確定變換矩陣4.使用得到的變換矩陣，求P中所有特征點(diǎn)在Q中滿足容忍度D（誤差，以像素為單位）的匹配特征點(diǎn)5.若特征點(diǎn)數(shù)量足夠大，則認(rèn)為配準(zhǔn)成功，保存匹配點(diǎn)對信息，結(jié)束處理流程；否則，轉(zhuǎn)第1步b）基于特征點(diǎn)空間分布的圖像配準(zhǔn)仿射配準(zhǔn)示例：由于實(shí)際的幾何變換包含攝像機(jī)繞光心旋轉(zhuǎn)、平移等三維變換，因此導(dǎo)致部分點(diǎn)對失配特征提取與匹配的目的特征提取與匹配是三維表面重建（立體視覺）的必要基礎(chǔ)；同時也是物體形狀分類、識別、對齊等功能的必要基礎(chǔ)。特征提取的總體原則1）在視覺中顯著程度（Saliency）高，一般在圖像中越稀少的內(nèi)容顯著度越高；例子：角點(diǎn)、邊緣點(diǎn)、BLOB特征2）顯著程度的其中一種評估標(biāo)準(zhǔn)：熵熵的評估：針對圖像中的指定區(qū)域，一般以考察點(diǎn)為中心，其中的邊緣信息越豐富，熵越高。視覺顯著度示例使用直方圖間接評估區(qū)域熵其它特征點(diǎn)提取與圖像內(nèi)容描述、配準(zhǔn)方法c）熵特征提取d）BLOB特征提取e）特征點(diǎn)的局部描述符f）基于局部描述符的配準(zhǔn)方法c）熵特征提取固定尺度熵特征的局限性：無法自動適應(yīng)物體在圖像中的尺寸c）熵特征提取固定尺度熵特征的局限性：邊緣信息在全圖像范圍豐富時，無法體現(xiàn)“稀少”性質(zhì)，特征的“顯著性”減弱，“隨機(jī)性”增強(qiáng)引入多尺度熵特征：左圖：選擇具有最大熵的尺度；右圖：選擇熵局部極值所在的尺度多尺度熵特征的優(yōu)點(diǎn)能適應(yīng)物體在圖像中尺寸變化；各尺度特征的空間組合可用于描述物體形狀結(jié)構(gòu)；能在邊緣總體豐富的情況下，保持特征提取的顯著度；多尺度熵特征——加入K近鄰聚類能適應(yīng)圖像中物體尺寸的變化多尺度熵特征——加入K近鄰聚類邊緣在全圖像豐富時，仍能保持“高顯著”多尺度熵特征——加入K近鄰聚類多尺度特征的空間結(jié)構(gòu)可用于特征匹配；間接提供一種物體形狀或結(jié)構(gòu)的描述方式多尺度熵特征對圖像旋轉(zhuǎn)的不變性多尺度熵特征對圖像放縮的不變性多尺度熵特征對圖像放縮的不變性多尺度熵特征對視角旋轉(zhuǎn)有一定適應(yīng)性，但不具有不變性多尺度熵特征對視角旋轉(zhuǎn)有一定適應(yīng)性，但不具有不變性d）BLOB特征提取BLOB特征是指圖像中具有統(tǒng)一顏色或亮度的塊狀區(qū)域（同樣具有尺度概念）Scale-spaceblobdetector:多尺度BLOB特征提取e）特征點(diǎn)的局部描述符提取特征點(diǎn)后，可使用其鄰域內(nèi)像素屬性的空間分布描述其中的空間特征，即局部描述符，可用于匹配；如何使局部描述符具有旋轉(zhuǎn)不變性若圖像間存在旋轉(zhuǎn)變換，則局部描述符間也存在旋轉(zhuǎn)變換如何使局部描述符具有旋轉(zhuǎn)不變性02p根據(jù)梯度方向直方圖獲得主方向，將圖像區(qū)域的主方向旋轉(zhuǎn)至標(biāo)準(zhǔn)方向即可如何使局部描述符具有仿射不變性若圖像間存在仿射變形，則使用各向同性的描述符不能提取到相同的原像特征如何使局部描述符具有仿射不變性02p通過梯度方向直方圖獲得主方向，根據(jù)主方向調(diào)整區(qū)域形狀，反復(fù)執(zhí)行，直至區(qū)域形狀穩(wěn)定如何使局部描述符具有仿射不變性目前局部描述符的局限性對透視變形有一定適應(yīng)能力，但不具備透視不變性；對其它復(fù)雜的非線性變換也不具備特征的不變性；f）基于局部描述符的配準(zhǔn)方法可以不考慮特征點(diǎn)的空間分布，完全依賴圖像間局部描述符的相似度進(jìn)行匹配；也可將基于特征點(diǎn)空間分布的匹配方法引入其中。針對三維形狀的圖像描述基于視景（view-based）的描述：采用二維描述形式，將三維原像在不同拍攝方位的投影視為不同的形狀，分別進(jìn)行匹配；基于三維重建（reconstruction-based）的描述：采用三維描述形式，將二維投影結(jié)構(gòu)還原為其三維原像結(jié)構(gòu)，針對不變的三維原像進(jìn)行匹配；三維描述舉例特征匹配在時間域的拓展計算機(jī)視覺進(jìn)展–立體視覺

基礎(chǔ)部分II

計算機(jī)學(xué)院李征主要內(nèi)容一.計算機(jī)視覺領(lǐng)域中的重要問題二.立體視覺的概念與基本原理三.射影幾何中的基本概念四.基本的成像模型五.單視幾何學(xué)的基本原理六.雙視幾何學(xué)的基本原理七.攝像機(jī)標(biāo)定的基本原理三.射影幾何中的基本概念1.矩陣與向量間的關(guān)系2.幾何變換與逆變換3.對偶與對偶變換4.歐氏幾何、同射幾何、仿射幾何、射影幾何的概念以及相互間的關(guān)系1.矩陣與向量間的關(guān)系向量的幾何概念：具有長度、方向的幾何元素向量表述的幾何元素：點(diǎn)、線、面、乃至于N維空間中的線性幾何元素向量的具體形式：一組坐標(biāo)值向量坐標(biāo)的本質(zhì)向量坐標(biāo)的本質(zhì)：在N維空間中，在給定基向量集的基礎(chǔ)上，任意向量在各基向量上的投影給定向量，求坐標(biāo)：向各基向量投影給定坐標(biāo)，求向量：以坐標(biāo)為系數(shù)對基向量做線性組合向量坐標(biāo)的本質(zhì)oXY矩陣行、列均理解為基向量集矩陣的本質(zhì)-以旋轉(zhuǎn)為例Y'X'YXOVVXVYV’XV’Y思考：行、列向量組的含義是什么？逆變換θ矩陣的本質(zhì)-以旋轉(zhuǎn)為例YXY'X'O(x,y)矩陣的本質(zhì)-以旋轉(zhuǎn)為例YXY'X'O(x,y)矩陣的本質(zhì)僅考慮N階方陣，因?yàn)橐话憔仃嚳赏ㄟ^添加零向量（行或列）擴(kuò)展為方陣。任意N階方陣的行、列向量組分別對應(yīng)N維空間中兩個不同的基向量集（同一基向量集中的不同基向量不一定線性無關(guān)），即N維空間中的兩個坐標(biāo)系。矩陣的本質(zhì)方陣的行向量組為行坐標(biāo)系基向量在列坐標(biāo)系下的坐標(biāo)；列向量組為列坐標(biāo)系基向量在行坐標(biāo)系下的坐標(biāo)。矩陣的本質(zhì)N階方陣的本質(zhì)是N維空間中兩個坐標(biāo)系間的坐標(biāo)變換。若N階方陣不是滿秩矩陣，即行、列向量組中存在線性相關(guān)，則坐標(biāo)變換中存在降維變換。N階單位陣的行、列坐標(biāo)系為同一坐標(biāo)系，其中無坐標(biāo)變換。向量變換與坐標(biāo)系變換YXYY'XX'OOO等價變換向量變換與坐標(biāo)系變換對任意一種向量變換，可以找到一種等價的坐標(biāo)系變換與之對應(yīng)；反之亦然。2.幾何變換與逆變換（1）旋轉(zhuǎn)變換與逆變換（2）放縮變換與逆變換（3）平移變換與逆變換（4）射影變換與逆變換（5）變換與逆變換基向量組間關(guān)系（1）旋轉(zhuǎn)變換與逆變換旋轉(zhuǎn)變換一一對應(yīng)于單位正交陣，也稱為旋轉(zhuǎn)矩陣，其逆變換即為旋轉(zhuǎn)矩陣的轉(zhuǎn)置。解釋：V由R的列坐標(biāo)系變換到行坐標(biāo)系，再由行坐標(biāo)系變換到列坐標(biāo)系；列坐標(biāo)系自己向自己投影，即無坐標(biāo)變換。（2）放縮變換與逆變換YXOYXOY'X'O等價變換沿坐標(biāo)軸放縮沿坐標(biāo)軸放縮對于沿坐標(biāo)軸的放縮，變換矩陣為對角陣，對角線上各元素對應(yīng)各坐標(biāo)軸分別的放縮因子。行坐標(biāo)系與列坐標(biāo)系相互的坐標(biāo)描述完全一致。思考：試從投影與線性組合兩個角度來解釋放縮變換。沿坐標(biāo)軸放縮-逆變換（2）放縮變換與逆變換YXOαYXOαpp'XαpYOX’Y’ypxpxpyp等價變換沿任意方向放縮變換矩陣為對稱陣放縮變換可能改變幾何形狀（夾角），但不會改變平行性β沿任意方向的放縮對于沿任意方向的放縮，其變換矩陣為對稱陣，其含義是先將坐標(biāo)系旋轉(zhuǎn)到放縮方向，再實(shí)施向量放縮，最后再將坐標(biāo)系旋轉(zhuǎn)回原處。任意對稱陣總可以拆分為RTKR的形式。行坐標(biāo)系與列坐標(biāo)系相互的坐標(biāo)描述完全一致。思考：試從投影與線性組合兩個角度來解釋放縮變換沿任意方向的放縮-逆變換可見，逆變換的放縮方向并無變化，僅將放縮因子變?yōu)榈箶?shù)線性變換N維向量空間中的旋轉(zhuǎn)、放縮變換統(tǒng)稱為線性變換。N維空間中的線性變換與N階方陣一一對應(yīng)。任一N階矩陣對應(yīng)的線性變換均可分解為旋轉(zhuǎn)、放縮兩種變換。N階方陣的特征值分解（SVD）M為任意N階矩陣，R’表示旋轉(zhuǎn)，RTKR表示任意方向上的放縮（3）平移變換與逆變換在N維向量空間中，平移變換是通過向量加法來實(shí)現(xiàn)的，而非矩陣實(shí)現(xiàn)的線性變換。如果使用矩陣來實(shí)現(xiàn)平移，則必須引入齊次坐標(biāo)系，將N維向量空間擴(kuò)展為N+1維空間，稱為N維射影空間。為了區(qū)分所討論的向量空間，將N維常規(guī)空間稱為IRN，將N維射影空間稱為IPN。二維射影空間IP2YXOW(0,0,1)(x,y,w)(x/w,y/w,1)Plane:w=1在IP2中，對任意過原點(diǎn)的直線，其上所有點(diǎn)等價，每條過原點(diǎn)直線對應(yīng)平面w=1上一個點(diǎn)。雖然是3維坐標(biāo)，但自由度仍為2IR2在IP2中對應(yīng)于平面w=1三維射影空間IP34維空間中每條過原點(diǎn)的直線等價于w=1這個3維超平面中的一個點(diǎn)雖然是4維坐標(biāo)，但自由度仍為3三維射影空間IP3如果要針對IP3作圖，則必須在4維空間作圖，無法實(shí)現(xiàn)。但應(yīng)理解，IR3中的每一點(diǎn)均為IP3中過原點(diǎn)直線在w=1的3維超頻面上投影而成的。注：直線（1維）、平面（2維）、3維超平面、乃至N維超平面并沒有本質(zhì)區(qū)別，區(qū)別僅在于維度。XYW二維平移變換X’Y’W’X’Y’W’通過IP2中的線性變換實(shí)現(xiàn)了IR2中的平移變換IPN中平移變換的逆變換思考：試舉一例說明IP2中平移變換與其逆變換的關(guān)系歐氏變換旋轉(zhuǎn)與平移變換并稱歐氏變換。顯然，歐氏變換常用于描述剛體放置。注：平移變換在IRN中并非線性變換，它是通過IPN中的線性變換間接實(shí)現(xiàn)的。在歐氏變換中，幾何形狀、大小均不變化，僅坐標(biāo)系中的方位變化。同射變換旋轉(zhuǎn)、平移、各方向等比放縮并稱為同射變換。在同射變換下，幾何形狀不變化（保持角度、長度比例），但長度、面積等測度，以及方位會變化。仿射變換旋轉(zhuǎn)、平移、放縮并稱為仿射變換。在仿射變換下，物體形狀、測度、方位均可能變化，但原本平行的幾何元素其平行性不變。為什么仿射變換不保持角度、長度比例？存在任意的放縮變換（4）射影變換與逆變換射影變換的含義：將IRN中的N維向量理解為IPN中N+1維向量在N維超平面w=1上的投影；對IPN中N+1維原向量實(shí)施變換，則IRN中的N維投影向量隨之改變。二維射影變換XYWX’Y’W’X’Y’W’IP2中原像對應(yīng)的過原點(diǎn)直線發(fā)生變化，引起IR2中的像點(diǎn)發(fā)生變化在IR2中，像點(diǎn)的變化規(guī)律為沿原射線方向變化（IR2原點(diǎn)為起點(diǎn)，變換前像點(diǎn)為終點(diǎn)確定的射線方向）三維射影變換XYZIR3IP3中原像對應(yīng)的過原點(diǎn)直線發(fā)生變化，引起IR3中的像點(diǎn)發(fā)生變化在IR3中，像點(diǎn)的變化規(guī)律為沿原射線方向變化（IR3原點(diǎn)為起點(diǎn)，變換前像點(diǎn)為終點(diǎn)確定的射線方向）IP3無法作圖，只能針對IR3作圖觀察N維射影變換N維向量的射影變換一定在IPN中才能完成。IPN中的射影變換：在N+1維向量坐標(biāo)中，改變齊次項w，實(shí)質(zhì)上修改了原像所在的過原點(diǎn)直線，從而引起IRN中N維投影向量的變化，但投影向量的方向總是不變，僅長度發(fā)生變化。N維射影變換N維射影變換的逆變換齊次坐標(biāo)系的意義IRN中的平移變換通過IPN變換矩陣的第N+1列實(shí)現(xiàn)；IRN中的射影變換通過IPN變換矩陣的第N+1行實(shí)現(xiàn)齊次坐標(biāo)系的引入，使得IRN中的平移、射影兩種非線性變換能夠用IRN+1（實(shí)質(zhì)上是IPN）中的線性變換來表示。（5）變換與逆變換基向量組間關(guān)系A(chǔ)的行向量與A-1的列向量是同一坐標(biāo)系下的表述；并且，除對應(yīng)列外，A中任意一行與A-1中任意一列正交；同樣，除對應(yīng)行外，A-1中任意一列與A中任意一行正交對逆矩陣的一種理解：將A的行向量組投影到A-1的列向量組，由于兩個向量組間的正交關(guān)系，最終將A中的行向量組變換為單位正交基?？偨Y(jié)：A與A-1相乘，可理解為對A的行向量組或A-1的列向量組實(shí)施了一種幾何變換，變換后它們成為標(biāo)準(zhǔn)正交基3.對偶與對偶變換XYWXYWIR2中的任意2D點(diǎn)可由IP2中3D向量確定;IR2中的任意直線可由IP2中過原點(diǎn)平面確定;IP2中給定一個3D向量，可以確定一個點(diǎn)，也可以確定一個過原點(diǎn)平面IP2IP2IP2中直線的描述YX(a,b)cIR2IP2中點(diǎn)與直線對偶若針對其中一個幾何元素存在一個定理，則對其對偶幾何元素一定存在一個相應(yīng)的定理。示例：任意兩個不同點(diǎn)確定一條直線任意兩條不同直線交于一點(diǎn)（平行直線？）IP2中點(diǎn)與直線對偶XYWIP2PQR若P、Q為兩點(diǎn)，則R為兩點(diǎn)所確定的直線法向量；若P、Q為兩直線法向量，則R為兩直線的交點(diǎn)IP3中點(diǎn)與平面對偶在IP3中給定一個向量，可以確定一個IR3的點(diǎn)；也可以確定一個IR3的平面XYZ（a,b,c）IP3中點(diǎn)與平面對偶示例：三個不共線的點(diǎn)確定一個平面三個不共線的平面確定一個點(diǎn)IPN中的對偶關(guān)系對偶關(guān)系可以推廣到N維空間IPN中的點(diǎn)與N-1維超平面對偶IPN中的對偶變換P為N-1維超平面上的點(diǎn)，π為超平面的法線向量若對P實(shí)施線性變換A，對π應(yīng)實(shí)施何種變換，使它仍是該超平面的法線向量？對π而言：對偶變換的性質(zhì)在IPN與IRN+1中是一致的IPN中的對偶變換對A作SVD分解：對P所作變換：對π所作變換：IPN中的對偶變換為什么對偶變換中的放縮變換必須互逆？換言之，為什么放縮互逆才能保角？YX以IR2為例IPN中的對偶變換在IPN中，若要在線性變換后保持兩個向量間的角度，則需要對它們實(shí)施對偶變換。特別的，若要保證向量相對于某坐標(biāo)系的坐標(biāo)在線性變換前后保持不變，則考察向量與坐標(biāo)系需要作互為對偶的變換。IPN中的對偶變換將A的列坐標(biāo)系下任一點(diǎn)的列坐標(biāo)P變換到行坐標(biāo)系下，得到行坐標(biāo)P’對P實(shí)施線性變換B，若期望經(jīng)變換A后保持行坐標(biāo)P’不變，必須對A中行坐標(biāo)系基向量實(shí)施對偶變換4.歐氏、同射、仿射、射影幾何（1）無窮遠(yuǎn)直線、平面（2）環(huán)點(diǎn)、絕對二次曲線（3）IPN中的歐氏幾何（4）IPN中的同射幾何（5）IPN中的仿射幾何（6）IPN中的射影幾何（1）無窮遠(yuǎn)直線、平面IP2中一個3D向量可確定IR2中的一條直線，若該向量與W坐標(biāo)軸同向，直線在何處？（1）無窮遠(yuǎn)直線、平面對IP2中對無窮遠(yuǎn)直線的理解（1）無窮遠(yuǎn)直線、平面IP2中的普通直線IP2中的無窮遠(yuǎn)直線（1）無窮遠(yuǎn)直線、平面在IP2中，兩條平行直線交于何處？無窮遠(yuǎn)直線上的某個無窮遠(yuǎn)點(diǎn)在IP2中，只要兩條直線不同，無論是否平行，它們都具有交點(diǎn)。在IP2中，所有同方向的平行直線交于同一無窮遠(yuǎn)點(diǎn)。（1）無窮遠(yuǎn)直線、平面IP3中一個4D向量可確定IR3中的一個平面，若該向量與W坐標(biāo)軸同向，平面在何處？無窮遠(yuǎn)處，即無窮遠(yuǎn)平面IP3中兩條平行直線交于無窮遠(yuǎn)平面上一點(diǎn)；兩個平行平面交于無窮遠(yuǎn)平面上一條直線（1）無窮遠(yuǎn)直線、平面IP3中的普通平面IP3中的無窮遠(yuǎn)平面（1）無窮遠(yuǎn)直線、平面同理，無窮遠(yuǎn)直線、平面的概念可以推廣到N維空間IPN中存在N-1維無窮遠(yuǎn)超平面（2）環(huán)點(diǎn)、絕對二次曲線IP2中的二次曲線，包括圓、橢圓（2）環(huán)點(diǎn)、絕對二次曲線IP2中的二次曲線，包括圓、橢圓（2）環(huán)點(diǎn)、絕對二次曲線IP2中的二次曲線的簡化表述如果二次曲線的參數(shù)a、b給定，則定下一種橢圓（或圓）所有這種形狀的橢圓（或圓）交于如下兩點(diǎn)：（2）環(huán)點(diǎn)、絕對二次曲線相同形狀橢圓的交點(diǎn)也可寫作：由于（2）環(huán)點(diǎn)、絕對二次曲線特別的，所有圓的交點(diǎn)為：對圓而言：此二點(diǎn)稱為環(huán)點(diǎn)，環(huán)點(diǎn)是所有圓的共同交點(diǎn)，同時也是任意圓與無窮遠(yuǎn)直線的交點(diǎn)（2）環(huán)點(diǎn)、絕對二次曲線IP3中的二次曲面（2）環(huán)點(diǎn)、絕對二次曲線所有球面的交線稱為絕對二次曲線，它也是任意球面與無窮遠(yuǎn)平面的交線僅存在一個實(shí)點(diǎn)，其余點(diǎn)均在復(fù)空間（2）環(huán)點(diǎn)、絕對二次曲線絕對二次曲線的概念可以推廣到N維空間。在IPN中，存在絕對二次超曲線。（3）IPN中的歐氏幾何歐氏變換僅包括旋轉(zhuǎn)、平移變換。問題：以IP2為例，歐氏變換會改變無窮遠(yuǎn)直線或環(huán)點(diǎn)嗎？以IP3為例，歐氏變換會改變無窮遠(yuǎn)平面或絕對二次曲線嗎？IP2中平移對無窮遠(yuǎn)直線的影響對直線上的點(diǎn)實(shí)施平移，其法線向量則作對偶變換，實(shí)質(zhì)上為射影變換：變換后法線向量未改變，可見平移不會改變無窮遠(yuǎn)直線的方位IP3中平移對無窮遠(yuǎn)平面的影響同理，平移不會改變IP3中無窮遠(yuǎn)平面的方位。此結(jié)論可以推廣到IPN中，即平移不會改變IPN中的無窮遠(yuǎn)超平面。IP2中平移對環(huán)點(diǎn)的影響平移前后環(huán)點(diǎn)坐標(biāo)未變，可見平移不改變環(huán)點(diǎn)的方位實(shí)際上，平移不影響任何無窮遠(yuǎn)點(diǎn)，由此可以推論，IP3中的平移不影響絕對二次曲線，IPN中的平移不影響絕對二次超曲線

IP2中旋轉(zhuǎn)對無窮遠(yuǎn)直線的影響直線上的點(diǎn)與法線向量作對偶變換，對旋轉(zhuǎn)變換則是相同的旋轉(zhuǎn)前后無窮遠(yuǎn)直線的法線向量未改變，說明旋轉(zhuǎn)不改變無窮遠(yuǎn)直線的方位IP3中旋轉(zhuǎn)對無窮遠(yuǎn)平面的影響同理，旋轉(zhuǎn)不會改變IP3中無窮遠(yuǎn)平面的方位。此結(jié)論可以推廣到IPN中，即旋轉(zhuǎn)不會改變IPN中的無窮遠(yuǎn)超平面。IP2中旋轉(zhuǎn)對環(huán)點(diǎn)的影響旋轉(zhuǎn)前后環(huán)點(diǎn)坐標(biāo)未變，可見旋轉(zhuǎn)不改變環(huán)點(diǎn)的方位（復(fù)空間內(nèi)，直線是螺旋形的）IP3中的旋轉(zhuǎn)不影響絕對二次曲線（請自行給出說明），IPN中的旋轉(zhuǎn)不影響絕對二次超曲線

（3）IPN中的歐氏幾何在IPN中，歐氏變換不改變無窮遠(yuǎn)超平面、絕對二次超曲線。無窮遠(yuǎn)超平面的改變，意味著透視變形；絕對二次超曲線的改變，意味著仿射變形。在歐氏變換下，幾何元素?zé)o任何變形，僅存在幾何元素的方位改變。（4）IPN中的同射幾何同射變換包含歐氏變換與各向等比放縮。在IPN中，同射變換不改變無窮遠(yuǎn)超平面、絕對二次超曲線。（自行說明）同射變換下，幾何元素的方位、絕對測度可能改變，但相對形狀不改變（5）IPN中的仿射幾何仿射變換包括旋轉(zhuǎn)、平移、各向等比或不等比放縮變換。在IPN中，仿射變換是否會影響無窮遠(yuǎn)超平面、絕對二次超曲線？IP2中不等比放縮對無窮遠(yuǎn)直線的影響對直線上的點(diǎn)實(shí)施放縮，其法線向量則作對偶變換，實(shí)質(zhì)上為互逆的放縮：變換后法線向量未改變，可見不等比放縮不會改變無窮遠(yuǎn)直線的方位IP3中不等比放縮對無窮遠(yuǎn)平面的影響同理，不等比放縮不會改變IP3中無窮遠(yuǎn)平面的方位。此結(jié)論可以推廣到IPN中，即不等比放縮不會改變IPN中的無窮遠(yuǎn)超平面。IP2中不等比放縮對環(huán)點(diǎn)的影響放縮前后環(huán)點(diǎn)坐標(biāo)改變，可見不等比放縮會改變環(huán)點(diǎn)的方位同樣的，IP3中的不等比放縮會影響絕對二次曲線，IPN中的不等比放縮會影響絕對二次超曲線

IPN中不等比放縮對絕對二次超曲線的影響不等比放縮會改變IP2中的環(huán)點(diǎn)、IP3中的絕對二次曲線、IPN中的絕對二次超曲線，這意味著圓會變形為橢圓、球面會變形為橢球面、超球面會變形為超橢球面。IPN中不等比放縮不改變平行性以IP2中的平行直線為例：假設(shè)法線向量已標(biāo)準(zhǔn)化，即（α,β）為單位向量，為IR2中該直線的法線向量與其平行的另一直線可設(shè)為：（方向相同，與原點(diǎn)距離不同）IPN中不等比放縮不改變平行性變換后，兩平行直線的方向、相互距離都發(fā)生變化；但仍保持平行性IPN中不等比放縮不改變平行性此結(jié)論可以推廣到IPN中，即IPN中不等比放縮變換不會改變N-1維平行超平面間的平行性。容易證明，旋轉(zhuǎn)、平移不改變平行性，因此IPN中的仿射變換不改變平行性。（5）IPN中的仿射幾何仿射變換可能改變幾何元素的方位、形狀，但不會改變幾何元素間的平行性。若IPN中的絕對二次超曲線方位發(fā)生變化，而無窮遠(yuǎn)超平面未發(fā)生變化，則可以斷定IPN中發(fā)生的變形為仿射變形。（6）IPN中的射影幾何廣義的射影變換包括旋轉(zhuǎn)、平移、各向等比或不等比放縮、射影變換。在IPN中，射影變換是否會影響無窮遠(yuǎn)超平面、絕對二次超曲線？IP2中射影變換對無窮遠(yuǎn)直線的影響對直線上的點(diǎn)實(shí)施射影變換，其法線向量則作對偶變換，實(shí)質(zhì)上為平移變換：變換后法線向量改變，可見射影變換會改變無窮遠(yuǎn)直線的方位IP2中射影變換對無窮遠(yuǎn)直線的影響射影變換會將IP2中的無窮遠(yuǎn)直線拉至與原點(diǎn)間具有有限距離的位置上。變換前，相互平行的直線交于一個無窮遠(yuǎn)點(diǎn)；變換后，它們交于一個與原點(diǎn)具有有限距離的點(diǎn)，它們還平行嗎？不平行，射影變換不保持平行性。示例：目測的或照片中的兩根平行鐵軌IP2中射影變換對無窮遠(yuǎn)直線的影響示例：無窮遠(yuǎn)直線被拉至有限距離IP3中射影變換對無窮遠(yuǎn)平面的影響同理，射影變換會改變IP3中無窮遠(yuǎn)平面的方位。此結(jié)論可以推廣到IPN中，即射影變換會改變IPN中的無窮遠(yuǎn)超平面。由于在IPN中，絕對二次超曲線在無窮遠(yuǎn)超平面內(nèi)，因此絕對二次超曲線也會受到影響。（6）IPN中的射影幾何射影變換會改變幾何元素的方位、形狀，并且不保持平行性。4.歐氏、同射、仿射、射影幾何類型旋轉(zhuǎn)平移等比例放縮不等比放縮透視扭曲歐氏幾何vv同射幾何vvv仿射幾何vvvv射影幾何vvvvv4.歐氏、同射、仿射、射影幾何類型線性相交平行角度長度比例長度歐氏幾何vvvvvv同射幾何vvvvv仿射幾何vvv射影幾何vv計算機(jī)視覺進(jìn)展–立體視覺

基礎(chǔ)部分III

計算機(jī)學(xué)院李征主要內(nèi)容一.計算機(jī)視覺領(lǐng)域中的重要問題二.立體視覺的概念與基本原理三.射影幾何中的基本概念四.基本的成像模型五.單視幾何學(xué)的基本原理六.雙視幾何學(xué)的基本原理七.攝像機(jī)標(biāo)定的基本原理四.基本的成像模型ZYX(0,0,-f)(0,0,f)OVirtualProjectionPlaneFactualProjectionPlane基本的小孔成像模型為簡化模型，總是使用虛擬成像平面四.基本的成像模型從世界坐標(biāo)系轉(zhuǎn)換到左攝像坐標(biāo)系世界坐標(biāo)系下的原像坐標(biāo)世界坐標(biāo)系與左攝像坐標(biāo)系間的平移圖像坐標(biāo)系原點(diǎn)與光心投影點(diǎn)間的平移圖像坐標(biāo)系內(nèi)的傾斜因子焦距分別對應(yīng)兩個方向的放縮因子，將長度單位轉(zhuǎn)換為像素左攝像機(jī)圖像坐標(biāo)系下的像坐標(biāo)左攝像機(jī)外部參數(shù)左攝像機(jī)內(nèi)部參數(shù)（1）傾斜因子的幾何解釋圖像中傾斜產(chǎn)生的原因：傳感器的原始排列圖像中像素的排列原始成像平面數(shù)字圖像（2）焦距對三維表面重建的影響ZYX(0,0,f)OVirtualProjectionPlane(0,0,1)擺放在正確焦距上的圖像原像擺放在默認(rèn)焦距上的圖像四.基本的成像模型plprPOlOrXlXrPlPrflfrZlYlZrYrR,T四.基本的成像模型從世界坐標(biāo)系轉(zhuǎn)換到右攝像坐標(biāo)系世界坐標(biāo)系與右攝像坐標(biāo)系間的平移右攝像機(jī)外部參數(shù)右攝像機(jī)內(nèi)部參數(shù)五.單視幾何學(xué)的基本原理單視幾何學(xué)解決的問題：消除成像平面中平面像結(jié)構(gòu)的仿射、透視變形，使之恢復(fù)為真實(shí)的原像結(jié)構(gòu)；（針對平面結(jié)構(gòu)的同射重建）五.單視幾何學(xué)的基本原理單視幾何學(xué)的應(yīng)用：針對三維場景中某一平面結(jié)構(gòu)實(shí)施同射重建，即生成成像平面與該原像平面平行時所成的圖像單視幾何學(xué)采用的變換模型由于單視幾何學(xué)僅討論三維場景中平面結(jié)構(gòu)的成像問題，因此其中的幾何變換不需要使用完整的成像模型。單視幾何學(xué)中采用簡化的變換模型。單視幾何中的問題分類（1）場景中一個平面結(jié)構(gòu)經(jīng)透視投影，投影到成像平面，場景平面與成像平面間的變換是怎樣的？單視幾何中的問題分類（2）攝像機(jī)光心不動，成像平面繞光心旋轉(zhuǎn)或調(diào)整焦距前后針對同一場景（不一定是平面）所成圖像間的幾何變換是怎樣的？單視幾何中的問題分類（3）攝像機(jī)自由運(yùn)動前后，針對同一平面結(jié)構(gòu)所成圖像間的幾何變換是怎樣的？單視幾何中的問題分類–歸納單視幾何總是討論兩個平面結(jié)構(gòu)之間的變換，此變換可視為IP2中的變換，因此不需要使用IP3中的攝像機(jī)模型來描述。單視幾何中透視變形的消除給出圖像中兩對已知平行線（經(jīng)透視投影，已變得不平行），求得兩個交點(diǎn)后，確定無窮遠(yuǎn)直線，假設(shè)法向量為：單視幾何中透視變形的消除假設(shè)從場景平面到成像平面間的線幾何變換（與點(diǎn)幾何變換對偶）如下：不影響無窮遠(yuǎn)直線僅考慮有影響的部分回憶IPN中的對偶變換P為N-1維超平面上的點(diǎn)，π為超平面的法線向量若對P實(shí)施線性變換A，對π應(yīng)實(shí)施何種變換，使它仍是該超平面的法線向量？對π而言：考慮對應(yīng)的點(diǎn)變換注：未體現(xiàn)平面內(nèi)的旋轉(zhuǎn)、放縮、平移變換，因?yàn)樗麄兪欠律渥儞Q，不影響無窮遠(yuǎn)直線點(diǎn)變換為射影變換：對圖像施以逆變換，即可消除透視變形：單視幾何中透視變形的消除除使用2對已知平行線確定無窮遠(yuǎn)直線，從而消除透視變形外，還可以使用直線段間已知的長度比例來消除透視變形單視幾何中仿射變形的消除假設(shè)場景平面與成像平面間的點(diǎn)仿射變換為：旋轉(zhuǎn)與放縮平移這里不考慮射影變換相應(yīng)的線變換為：單視幾何中仿射變形的消除假設(shè)已知原像平面中兩條直線正交：由于未知參數(shù)僅3個，提供3對正交直線可確定矩陣，分解、求逆后可得線變換矩陣（僅包含旋轉(zhuǎn)、放縮），求對偶后可得點(diǎn)變換矩陣經(jīng)仿射變換，兩條像直線的內(nèi)積已改變單視幾何中仿射變形的消除（1）平移：尚有平移變換沒有消除，但平移屬于歐氏變換，不影響平面結(jié)構(gòu)的形狀。（2）方法擴(kuò)展：給出圖像中任意3對已知夾角的直線，即能消除圖像中的仿射變換。單視幾何中透視、仿射變形的消除使用已知長度比例的3對直線段消除透視變形；使用3對正交直線段消除仿射變形六.雙視幾何學(xué)的基本原理雙視幾何學(xué)解決的基本問題：1）已知攝像機(jī)內(nèi)部參數(shù)；2）已通過配準(zhǔn)方法獲取左、右圖像中8個以上的匹配點(diǎn)對；在此條件下，求解兩臺攝像機(jī)的相對放置，并在此基礎(chǔ)上對匹配點(diǎn)對實(shí)施三維坐標(biāo)重建。六.雙視幾何學(xué)的基本原理六.雙視幾何學(xué)的基本原理關(guān)鍵概念：1）外極面（EpipolarPlane）：IP3中由左、右攝像機(jī)光心與任意原像點(diǎn)構(gòu)成的平面；2）基線（Base

Line）：IP3中由左、右攝像機(jī)光心確定的直線；外極面由基線與原像點(diǎn)確定。六.雙視幾何學(xué)的基本原理3）外極線（Epipolar

Line）：外極面與左、右攝像機(jī)成像平面的交線；在左（右）成像平面上給定一個像點(diǎn)，其原像位于由它與左（右）攝像機(jī)光心確定的直線上，該直線在右（左）成像平面上的像直線即為其對應(yīng)的外極線。左（右）成像平面給定像點(diǎn)的匹配像點(diǎn)一定位于右（左）成像平面對應(yīng)的外極線上。六.雙視幾何學(xué)的基本原理4）外極點(diǎn)（EpipolarPoint）：基線與成像平面的交點(diǎn)因?yàn)樗型鈽O面包含基線，所以成像平面內(nèi)的外極線均過外極點(diǎn)六.雙視幾何學(xué)的基本原理六.雙視幾何學(xué)的基本原理六.雙視幾何學(xué)的基本原理外極幾何原理外極線eMmm'l'e'lOO'm'

TFm=0基線外極點(diǎn)外極平面外極線3*3基礎(chǔ)矩陣或本征矩陣攝像機(jī)模型回顧-左攝像機(jī)使用相同的單位，一般為mm原像點(diǎn)投影到單位焦距的像點(diǎn)實(shí)際的像點(diǎn)，以像素為單位攝像機(jī)模型回顧–右攝像機(jī)本征矩陣解析將右像點(diǎn)轉(zhuǎn)換到左攝像坐標(biāo)系將左像點(diǎn)轉(zhuǎn)換到右攝像坐標(biāo)系在左攝像坐標(biāo)系與t作外積在右攝像坐標(biāo)系與t作外積外極幾何的本質(zhì)：如果左右兩個像點(diǎn)對應(yīng)同一原像，則它們與兩個光心共面，即位于同一外極面基礎(chǔ)矩陣解析基礎(chǔ)矩陣，雖同為3*3矩陣，但其中蘊(yùn)含了未知的攝像機(jī)內(nèi)部參數(shù)本征矩陣與基礎(chǔ)矩陣的求解兩種矩陣均為3*3矩陣，所描述的外極幾何關(guān)系是同射性質(zhì)的，因此矩陣的自由度為8。如果攝像機(jī)是標(biāo)定的，則給出8對像點(diǎn)的mm單位坐標(biāo)，得到由8個方程構(gòu)成的方程組，從而求解本征矩陣。如果攝像機(jī)是未標(biāo)定的，則給出8對像點(diǎn)的像素單位坐標(biāo)，從而求解基礎(chǔ)矩陣。本征矩陣分解t求與t的外積本征矩陣分解–求解相對放置內(nèi)部參數(shù)未標(biāo)定的情況若攝像機(jī)未標(biāo)定，則每種內(nèi)部參數(shù)假定對應(yīng)一種不同的攝像機(jī)相對放置，從而衍生一種不同的重建結(jié)果2023/10/26AdvancedTopicsinDatabaseTechnologies217AdvancedTopicsinComputerSciencePresenter:ChuanLiDepartmentofComputerScienceSichuanUniversity/~lichuan2023/10/26AdvancedTopicsinDatabaseTechnologies2182023/10/26AdvancedTopicsinDatabaseTechnologies219Chapter3:DataWarehousingandOLAPTechnology:AnOverviewWhatisadatawarehouse?

Amulti-dimensionaldatamodelDatawarehousearchitectureDatawarehouseimplementationFromdatawarehousingtodatamining2023/10/26AdvancedTopicsinDatabaseTechnologies220DataWarehousingandOLAPTechnology:AnOverviewWhatisadatawarehouse?

Amulti-dimensionaldatamodelDatawarehousearchitectureDatawarehouseimplementationFromdatawarehousingtodatamining2023/10/26AdvancedTopicsinDatabaseTechnologies221WhatisDataWarehouse?Definedinmanydifferentways,butnotrigorously.Adecisionsupportdatabasethatismaintainedseparatelyfromtheorganization’soperationaldatabaseSupportinformationprocessingbyprovidingasolidplatformofconsolidated,historicaldataforanalysis.“Adatawarehouseisa

subject-oriented,integrated,time-variant,andnonvolatile

collectionofdatainsupportofmanagement’sdecision-makingprocess.”—W.H.InmonDatawarehousing:Theprocessofconstructingandusingdatawarehouses2023/10/26AdvancedTopicsinDatabaseTechnologies222DataWarehouse—Subject-OrientedOrganizedaroundmajorsubjects,suchascustomer,product,sales.Focusingonthemodelingandanalysisofdatafordecisionmakers,notondailyoperationsortransactionprocessing.Provideasimpleandconciseviewaroundparticularsubjectissuesbyexcludingdatathatarenotusefulinthedecisionsupportprocess.2023/10/26AdvancedTopicsinDatabaseTechnologies223DataWarehouse—IntegratedConstructedbyintegratingmultiple,heterogeneousdatasourcesrelationaldatabases,flatfiles,on-linetransactionrecordsDatacleaninganddataintegrationtechniquesareapplied.Ensureconsistencyinnamingconventions,encodingstructures,attributemeasures,etc.amongdifferentdatasourcesE.g.,Hotelprice:currency,tax,breakfastcovered,etc.Whendataismovedtothewarehouse,itisconverted.2023/10/26AdvancedTopicsinDatabaseTechnologies224DataWarehouse—TimeVariantThetimehorizonforthedatawarehouseissignificantlylongerthanthatofoperationalsystems.Operationaldatabase:currentvaluedata.Datawarehousedata:provideinformationfromahistoricalperspective(e.g.,past5-10years)EverykeystructureinthedatawarehouseContainsanelementoftime,explicitlyorimplicitlyButthekeyofoperationaldatamayormaynotcontain“timeelement”.2023/10/26AdvancedTopicsinDatabaseTechnologies225DataWarehouse—Non-VolatileAphysicallyseparatestoreofdatatransformedfromtheoperationalenvironment.Operationalupdateofdatadoesnotoccurinthedatawarehouseenvironment.Doesnotrequiretransactionprocessing,recovery,andconcurrencycontrolmechanismsRequiresonlytwooperationsindataaccessing:initialloadingofdataandaccessofdata.2023/10/26AdvancedTopicsinDatabaseTechnologies226DataWarehousevs.HeterogeneousDBMSTraditionalheterogeneousDBintegration:Buildwrappers/mediatorsontopofheterogeneousdatabasesQuerydrivenapproachWhenaqueryisposedtoaclientsite,ameta-dictionaryisusedtotranslatethequeryintoqueriesappropriateforindividualheterogeneoussitesinvolved,andtheresultsareintegratedintoaglobalanswersetComplexinformationfiltering,competeforresourcesDatawarehouse:update-driven,highperformanceInformationfromheterogeneoussourcesisintegratedinadvanceandstoredinwarehousesfordirectqueryandanalysis2023/10/26AdvancedTopicsinDatabaseTechnologies227DataWarehousevs.OperationalDBMSOLTP(on-linetransactionprocessing)MajortaskoftraditionalrelationalDBMSDay-to-dayoperations:purchasing,inventory,banking,manufacturing,payroll,registration,accounting,etc.OLAP(on-lineanalyticalprocessing)MajortaskofdatawarehousesystemDataanalysisanddecisionmakingDistinctfeatures(OLTPvs.OLAP):Userandsystemorientation:customervs.marketDatacontents:current,detailedvs.historical,consolidatedDatabasedesign:ER+applicationvs.star+subjectView:current,localvs.evolutionary,integratedAccesspatterns:updatevs.read-onlybutcomplexqueries2023/10/26AdvancedTopicsinDatabaseTechnologies228OLTPvs.OLAP2023/10/26AdvancedTopicsinDatabaseTechnologies229WhySeparateDataWarehouse?HighperformanceforbothsystemsDBMS—tunedforOLTP:accessmethods,indexing,concurrencycontrol,recoveryWarehouse—tunedforOLAP:complexOLAPqueries,multidimensionalview,consolidationDifferentfunctionsanddifferentdata:missingdata:DecisionsupportrequireshistoricaldatawhichoperationalDBsdonottypicallymaintaindataconsolidation:DSrequiresconsolidation(aggregation,summarization)ofdatafromheterogeneoussourcesdataquality:differentsourcestypicallyuseinconsistentdatarepresentations,codesandformatswhichhavetobereconciledNote:TherearemoreandmoresystemswhichperformOLAPanalysisdirectlyonrelationaldatabases2023/10/26AdvancedTopicsinDatabaseTechnologies230DataWarehousingandOLAPTechnology:AnOverviewWhatisadatawarehouse?Amulti-dimensionaldatamodelDatawarehousearchitectureDatawarehouseimplementationFromdatawarehousingtodatamining2023/10/26AdvancedTopicsinDatabaseTechnologies231FromTablesandSpreadsheetstoDataCubesAdatawarehouseisbasedonamultidimensionaldatamodelwhichviewsdataintheformofadatacubeAdatacube,suchassales,allowsdatatobemodeledandviewedinmultipledimensionsDimensiontables,suchasitem(item_name,brand,type),ortime(day,week,month,quarter,year)Facttablecontainsmeasures(suchasdollars_sold)andkeystoeachoftherelateddimensiontablesIndatawarehousingliterature,ann-Dbasecubeiscalledabasecuboid.Thetopmost0-Dcuboid,whichholdsthehighest-levelofsummarization,iscalledtheapexcuboid.Thelatticeofcuboidsformsadatacube.2023/10/26AdvancedTopicsinDatabaseTechnologies232Cube:ALatticeofCuboidstime,itemtime,item,locationtime,item,location,supplieralltimeitemlocationsuppliertime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,item,suppliertime,location,supplieritem,location,supplier0-D(apex)cuboid1-Dcuboids2-Dcuboids3-Dcuboids4-D(base)cuboid2023/10/26AdvancedTopicsinDatabaseTechnologies233ConceptualModelingofDataWarehousesModelingdatawarehouses:dimensions&measuresStarschema:AfacttableinthemiddleconnectedtoasetofdimensiontablesSnowflakeschema:Arefinementofstarschemawheresomedimensionalhierarchyisnormalizedintoasetofsmallerdimensiontables,formingashapesimilartosnowflakeFactconstellations:Multiplefacttablessharedimensiontables,viewedasacollectionofstars,thereforecalledgalaxyschemaorfactconstellation

2023/10/26AdvancedTopicsinDatabaseTechnologies234ExampleofStarSchema

time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSalesFactTable

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranch2023/10/26AdvancedTopicsinDatabaseTechnologies235ExampleofSnowflakeSchematime_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTable

time_key

item_key

branch_key

location_key

units_sold

dollars_sold

avg_salesMeasuresitem_keyitem_namebrandtypesupplier_