計(jì)算機(jī)視覺(jué)01課件

1、計(jì)算機(jī)視覺(jué) computer vision中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系主講： 曹洋 博士辦公室：科技樓西樓303電話：63601595(Office)Mobile)助教： 李賢實(shí)驗(yàn)室：科技樓西樓316電話：63600634(Lab) 課程設(shè)置課程設(shè)置：計(jì)算機(jī)視覺(jué)視覺(jué)基礎(chǔ)底層處理中層處理高層處理視覺(jué)基礎(chǔ)理論： 神經(jīng)生理學(xué)、認(rèn)知科學(xué)； 色度學(xué)、光學(xué)； 射影幾何、矩陣?yán)碚?。圖像處理： 空域圖像處理； 頻域圖像處理； 圖像特征提取。 圖像分割； 相機(jī)標(biāo)定； 深度估計(jì)； 運(yùn)動(dòng)估計(jì)。 三維重建； 目標(biāo)識(shí)別。 Schedule3.20 (3 lectures)引言3.22 (2 le

2、ctures)視覺(jué)基本特性I生物特性3.27 (3 lectures)視覺(jué)基本特性II物理特性3.29 (2 lectures)視覺(jué)基本特性III幾何特性4.3 (3 lectures)圖像處理基礎(chǔ)I空域處理4.5 (2 lectures)圖像處理基礎(chǔ)II頻域處理4.10 (3 lectures)特征提取I點(diǎn)特征4.12 (2 lectures)特征提取II邊緣及線特征4.17(3 lectures)圖像分割I(lǐng)主動(dòng)輪廓線4.19 (2 lectures)圖像分割I(lǐng)IMean shift4.24(3 lectures)圖像對(duì)準(zhǔn)4.26(2 lectures)攝像機(jī)標(biāo)定5.1(3 lectures

3、)勞動(dòng)節(jié)放假5.3(2 lectures)運(yùn)動(dòng)估計(jì)深度I5.8(3 lectures)運(yùn)動(dòng)估計(jì)深度 II5.10(2 lectures)稠密運(yùn)動(dòng)估計(jì)光流Schedule考核方式閱讀報(bào)告：兩人一組，從30篇計(jì)算機(jī)視覺(jué)的經(jīng)典文獻(xiàn)中挑選一篇閱讀，并提交一份閱讀報(bào)告。項(xiàng)目報(bào)告：2-4人一組，從三個(gè)候選項(xiàng)目中任選一個(gè)，實(shí)現(xiàn)并提交項(xiàng)目報(bào)告，PPT以及源代碼。視覺(jué)計(jì)算機(jī)2.視覺(jué)的過(guò)程2.視覺(jué)的過(guò)程2.視覺(jué)的過(guò)程2.視覺(jué)的過(guò)程2.視覺(jué)的過(guò)程計(jì)算機(jī)視覺(jué)過(guò)程分為三個(gè)階段 特征提取和區(qū)域分割基于輪廓,紋理,顏色建模與模式表達(dá)基于各種物體的抽象化模型描述和理解基于景物的結(jié)構(gòu)知識(shí)2.視覺(jué)的過(guò)程底層處理中層處理高層處理知

4、識(shí)少多恢復(fù)場(chǎng)景的深度、表面法線方向、輪廓等有關(guān)場(chǎng)景的2.5維信息,并在此基礎(chǔ)上恢復(fù)物體的完整三維圖，建立物體三維描述. 根據(jù)機(jī)器預(yù)先存貯的模型知識(shí)以及形狀、色彩等特征,對(duì)于圖像中各種物體進(jìn)行識(shí)別,確定它們用于哪一類物體.建立各個(gè)圖像中物體的拓?fù)潢P(guān)系圖,給出圖像所反映景物的結(jié)構(gòu)描述.體系結(jié)構(gòu)（system architecture）,涉及一系列相關(guān)的課題,并行結(jié)構(gòu)、分層結(jié)構(gòu)、信息流結(jié)構(gòu)、拓?fù)浣Y(jié)構(gòu)以及從設(shè)計(jì)到實(shí)現(xiàn)的途徑3.計(jì)算機(jī)視覺(jué)的研究?jī)?nèi)容圖像多義性： 三維場(chǎng)景被投影為二維圖像，深度和不可見(jiàn)部分的信息被丟失，因而會(huì)出現(xiàn)不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像的問(wèn)題另外，在不同角度獲取同一物

5、體的圖像會(huì)有很大的差異環(huán)境因素影響：場(chǎng)景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對(duì)成像有影響.知識(shí)導(dǎo)引： 同樣的圖像在不同的知識(shí)導(dǎo)引下，將會(huì)產(chǎn)生不同的識(shí)別結(jié)果大量數(shù)據(jù)： 灰度圖像，彩色圖像，深度圖像的信息量十分巨大，巨大的數(shù)據(jù)量需要很大的存貯空間，同時(shí)不易實(shí)現(xiàn)快速處理4.視覺(jué)面臨的困難上世紀(jì)50年代，從統(tǒng)計(jì)模式識(shí)別開(kāi)始，主要集中在二維圖像分析與識(shí)別，主要應(yīng)用包括字符識(shí)別、工件表面檢測(cè)等等。上世紀(jì)60年代，拓展到三維結(jié)構(gòu)，對(duì)物體的形狀，物體的空間關(guān)系進(jìn)行描述。通過(guò)對(duì)積木世界的研究，引出了邊緣、角點(diǎn)等特征提取，圖像明暗、紋理、運(yùn)動(dòng)以及成像幾何等研究工作。上世紀(jì)70年代

6、，Marr計(jì)算視覺(jué)理論，建立一個(gè)十分重要的理論框架。5.計(jì)算機(jī)視覺(jué)的發(fā)展（before1970s）5.計(jì)算機(jī)視覺(jué)的發(fā)展（after1970s）5.計(jì)算機(jī)視覺(jué)的發(fā)展（1970s）(a) line labeling(Nalwa 1993), (b) pictorial structures (Fischler and Elschlager1973) (c) articulated body model (Marr 1982) (d) intrinsic images Barrow and Tenenbaum 1981) (e) stereo correspondence (Marr 1982 (f

7、) optical flow (Nagel and Enkelmann 1986)5.計(jì)算機(jī)視覺(jué)的發(fā)展（1980s）(a) pyramid blending (Burt and Adelson 1983) (b) shape from shading (Freeman and Adelson1991) (c) edge detection (Freeman and Adelson 1991) (d)physically based models (Terzopoulos and Witkin 1988) (e) regularization basedsurface reconstructio

8、n (Terzopoulos 1988) (f) range data acquisitionand merging (Banno, Masuda, Oishi et al. 2008Marr視覺(jué)計(jì)算理論三種層次計(jì)算理論，主要解決視覺(jué)系統(tǒng)的計(jì)算目的和策略是什么？輸入輸出是什么？用什么策略根據(jù)系統(tǒng)的輸入求出輸出？該層次的任務(wù)就是研究如何建立輸入輸出之間的約束和關(guān)系。 表示和算法，解決輸入輸出信息如何來(lái)表示？如何實(shí)現(xiàn)計(jì)算理論所對(duì)應(yīng)的功能的算法？以及如何由一種表示轉(zhuǎn)換成另一種表示？硬件實(shí)現(xiàn)，就是具體的計(jì)算裝置和一些細(xì)節(jié)配置5.計(jì)算機(jī)視覺(jué)的發(fā)展（1982）5.計(jì)算機(jī)視覺(jué)的發(fā)展（1990s）(a) fa

9、ctorization-based structure from motion (Tomasi and Kanade 1992), (b) dense stereo matching (Boykov, Veksler, and Zabih 2001), (c) multi-view reconstruction (Seitz and Dyer 1999) (d) face tracking (Matthews, Xiao, and Baker 2007), (e) image segmentation (Belongie, Fowlkes, Chung et al. 2002) (f) fac

10、e recognition (Turk and Pentland 1991a).5.計(jì)算機(jī)視覺(jué)的發(fā)展（2000s）(a) image stitching: merging different views (Szeliski and Shum 1997) (b) exposure bracketing: merging different exposures; (c) morphing: blending between two photographs (Gomes, Darsa, Costa et al. 1999 (d) turning a collection of photographs

11、 into a 3D model (Sinha, Steedly, Szeliski et al. 2008)圖像處理：圖像處理通常是把一幅圖像變換成另外一幅圖像，也就是說(shuō)，圖像處理系統(tǒng)的輸入是圖像，輸出仍然是圖像，信息恢復(fù)任務(wù)則留給人來(lái)完成計(jì)算機(jī)圖形學(xué)：通過(guò)幾何基元，如線、圓和自由曲面，來(lái)生成圖像，它在可視化（Visualization）和虛擬現(xiàn)實(shí)(Virtual Reality）中起著很重要的作用計(jì)算機(jī)視覺(jué)正好是解決相反的問(wèn)題，即從圖像中估計(jì)幾何基元和其它特征因此，計(jì)算機(jī)圖形學(xué)屬于圖像綜合，計(jì)算機(jī)視覺(jué)屬于圖像分析模式識(shí)別：模式一般指一類事物區(qū)別于其它事物所具有的共同特征。6.計(jì)算機(jī)視覺(jué)與其它學(xué)科領(lǐng)域的關(guān)系人工智能（AI）：涉及到智能系統(tǒng)的設(shè)計(jì)和智能計(jì)算的研究在經(jīng)過(guò)圖像處理和圖像特征提取過(guò)程后，接下來(lái)要用人工智能方法對(duì)場(chǎng)景特征進(jìn)行表示，并分析和理解場(chǎng)景人工智能有三個(gè)過(guò)程：感知、認(rèn)知和行動(dòng)神經(jīng)生理學(xué)與認(rèn)知科學(xué)：將人類視覺(jué)作為主要的研究對(duì)象計(jì)算機(jī)視覺(jué)中已有的許多方法與人類視覺(jué)極為相似許多計(jì)算機(jī)視覺(jué)研究者對(duì)研究人類視覺(jué)計(jì)算模型比研究計(jì)算機(jī)視覺(jué)系統(tǒng)更感興趣，希望計(jì)算機(jī)視覺(jué)更加自然化，更加接近生物視覺(jué)計(jì)算機(jī)視覺(jué)與其它學(xué)科領(lǐng)域的關(guān)系 零件識(shí)別與定位 產(chǎn)品檢驗(yàn) 移動(dòng)機(jī)器人導(dǎo)航 遙感圖像分析 醫(yī)學(xué)圖像分析 安全鑒別、監(jiān)視與跟蹤