chapter01第一章-引論(計(jì)算機(jī)視覺)

計(jì)算機(jī)視覺ComputerVisionComputerVision教師：陳黎

chenli77@辦公室：30214授課周次：

4～12周（9周）總學(xué)時(shí)：46理論學(xué)時(shí)：36

實(shí)踐學(xué)時(shí)：10考核方式:

考試（開卷）成績(jī)組成比例:

考試成績(jī)70%+平時(shí)成績(jī)30%

ComputerVision參考教材：賈云得編著，機(jī)器視覺，科學(xué)出版社，2002年。章毓晉，圖像處理和分析技術(shù)（第2版），高等教育出版社，2008年。岡薩雷斯編著，數(shù)字圖像處理（Matlab版），電子工業(yè)出版社，2004年。課程教材：ComputerVision第一章概論Chapter1IntroductionComputerVision1.引言

智能機(jī)器:能模擬人類的功能，能感知外部世界并有效地解決人所能解決問題．感知系統(tǒng)：人類感知外部世界主要是通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中約80%的信息是由視覺獲取的．因此,對(duì)于智能機(jī)器來說，賦予機(jī)器以人類視覺功能對(duì)發(fā)展智能機(jī)器是及其重要的，也由此形成了一門新的學(xué)科—計(jì)算機(jī)視覺(也稱機(jī)器視覺或圖像分析與理解等)．計(jì)算機(jī)視覺的發(fā)展不僅將大大推動(dòng)智能系統(tǒng)的發(fā)展，也將拓寬計(jì)算機(jī)與各種智能機(jī)器的研究范圍和應(yīng)用領(lǐng)域．

計(jì)算機(jī)視覺：研究用計(jì)算機(jī)來模擬生物外顯或宏觀視覺功能的科學(xué)和技術(shù)．計(jì)算機(jī)視覺系統(tǒng)的首要目標(biāo)是用圖像創(chuàng)建或恢復(fù)現(xiàn)實(shí)世界模型，然后認(rèn)知現(xiàn)實(shí)世界．ComputerVision?1950s：二維圖像分析和識(shí)別，如光學(xué)字符識(shí)別、工件表面、顯微圖片和航空?qǐng)D片的分析和解釋等。是模式識(shí)別的重要內(nèi)容。?1960s：MIT的Roberts通過計(jì)算機(jī)程序從數(shù)字圖像中提取出諸如立方體、楔形體、棱柱體等多面體的三維結(jié)構(gòu)，并對(duì)物體形狀及物體的空間關(guān)系進(jìn)行描述．這項(xiàng)研究開創(chuàng)了以理解三維場(chǎng)景為目的的三維計(jì)算機(jī)視覺的研究．Roberts對(duì)積木世界的創(chuàng)造性研究給人們以極大的啟發(fā)，許多人相信，一旦由白色積木玩具組成的三維世界可以被理解，則可以推廣到理解更復(fù)雜的三維場(chǎng)景．1.2計(jì)算機(jī)視覺發(fā)展簡(jiǎn)史ComputerVision?1970s：出現(xiàn)了一些視覺應(yīng)用系統(tǒng)．

70年代中期，麻省理工學(xué)院(MIT)人工智能(AI)實(shí)驗(yàn)室正式開設(shè)“計(jì)算機(jī)視覺”(

MachineVision)課程，由B．K．P．Horn教授講授．

DavidMarr教授于1973年應(yīng)邀在MITAI實(shí)驗(yàn)室領(lǐng)導(dǎo)一個(gè)以博士生為主體的研究小組，1977年提出了不同于“積木世界”分析方法的計(jì)算視覺理論.?1980s~Marr理論成為計(jì)算機(jī)視覺研究領(lǐng)域中的一個(gè)十分重要的理論框架．(ICCV,Marr獎(jiǎng))

計(jì)算機(jī)視覺獲得蓬勃發(fā)展，新概念、新方法、新理論、新應(yīng)用不斷涌現(xiàn)，比如，基于感知特征群的物體識(shí)別理論框架，主動(dòng)視覺理論框架，視覺集成理論框架等．ComputerVision主要學(xué)術(shù)會(huì)議

Int.Conf.onComputerVisionandPatternRecognition(CVPR);Int.Conf.onComputerVision(ICCV);EuropeanConf.onComputerVision(ECCV);AsianConf.onComputerVision(ACCV);．

Int.Conf.onPatternRecognition(ICPR);

主要學(xué)術(shù)期刊

Int.JonComputerVision(IJCV)IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI)IEEETrans.onImageProcessingPatternRecognitionImageandVisionComputingPatternRecognitionLetter如何了解最新進(jìn)展？ComputerVision3.Marr的視覺計(jì)算理論

Marr的視覺計(jì)算理論[Marr1982]立足于計(jì)算機(jī)科學(xué)，系統(tǒng)地概括了心理生理學(xué)、神經(jīng)生理學(xué)等方面取得的所有重要成果，是視覺研究中迄今為止最為完善的視覺理論．Marr建立的視覺計(jì)算理論，使計(jì)算機(jī)視覺研究有了一個(gè)比較明確的體系，并大大推動(dòng)了計(jì)算機(jī)視覺研究的發(fā)展．人們普遍認(rèn)為，計(jì)算機(jī)視覺這門學(xué)科的形成與Marr的視覺理論有著密切的關(guān)系．Marr的視覺理論中的哲學(xué)意義和方法論.信息處理三個(gè)層次ComputerVision3.1信息處理三個(gè)層次人腦不同于計(jì)算機(jī)是因?yàn)榍罢咝畔⑹遣⑿屑庸さ?，后者是串行加工的，這種觀點(diǎn)是錯(cuò)誤的。ComputerVision3.2視覺表示框架第一階段(也稱為早期階段)是將輸入的原始圖像進(jìn)行處理，抽取圖像中諸如角點(diǎn)、邊緣、紋理、線條、邊界等基本特征，這些特征的集合稱為基元圖(primitivesketch)；第二階段(中期階段)是指在以觀測(cè)者為中心的坐標(biāo)系中，由輸入圖像和基元圖恢復(fù)場(chǎng)景可見部分的深度、法線方向、輪廓等，這些信息的包含了深度信息，但不是真正的物體三維表示，因此，稱為二維半圖(2．5dimensionalsketch)；第三階段(后期階段)是在以物體為中心的坐標(biāo)系中，由輸入圖像、基元圖、二維半圖來恢復(fù)、表示和識(shí)別三維物體。ComputerVisionMarr理論是計(jì)算機(jī)視覺研究領(lǐng)域的劃時(shí)代成就，但該理論不是十分完善的，許多方面還有爭(zhēng)議．比如:視覺處理框架基本上是自下而上，沒有反饋;沒有足夠地重視知識(shí)的應(yīng)用．Marr理論給了我們研究計(jì)算機(jī)視覺許多珍貴的哲學(xué)思想和研究方法，同時(shí)也給計(jì)算機(jī)視覺研究領(lǐng)域創(chuàng)造了許多研究起點(diǎn)。視覺系統(tǒng)3.3Marr視覺理論的不足ComputerVisionComputerVision4.計(jì)算機(jī)視覺的應(yīng)用零件識(shí)別與定位（工業(yè)生產(chǎn)線）產(chǎn)品檢驗(yàn)（紡織工業(yè)棉花質(zhì)量檢驗(yàn)）移動(dòng)機(jī)器人導(dǎo)航（星球機(jī)器人）遙感圖像分析（植被分析）醫(yī)學(xué)圖像分析（骨骼定位）安全鑒別、監(jiān)視與跟蹤（門禁系統(tǒng)）國(guó)防系統(tǒng)（目標(biāo)自動(dòng)識(shí)別ATR與目標(biāo)跟蹤）其它（動(dòng)畫、體育、考古）ComputerVisionSojourner火星車前部圖，中部的兩個(gè)小突出是兩個(gè)黑白CCD攝像機(jī)ComputerVisionComputerVision勇氣號(hào)火星車Rocky7火星車ComputerVisionRocky7火星機(jī)器人ComputerVisionComputerVision

Rocky7視覺系統(tǒng)獲取的立體圖象對(duì)(a)深度圖象

(b)障礙物探測(cè)示意圖Rocky7視覺系統(tǒng)對(duì)場(chǎng)景的深度恢復(fù)

ComputerVision

FIDO漫游車，用于火星探測(cè)的地面實(shí)驗(yàn)，將于2003年和2005年發(fā)射，該計(jì)劃于1999年4月啟動(dòng)ComputerVisionCMU月球探測(cè)實(shí)驗(yàn)車Nomad漫游者ComputerVision月球探測(cè)實(shí)驗(yàn)車Nomad漫游者ComputerVision昆蟲機(jī)器人足球機(jī)器人足球機(jī)器人ComputerVision日本

Honda

仿人機(jī)器人ComputerVision具有立體視覺的機(jī)器人ComputerVision人頭部跟蹤演示ComputerVisionMITMediaLab，與虛擬生物交互演示ComputerVision基于恢復(fù)圖象序列的五角大樓三維重建ComputerVision基于圖象序列的三維人臉恢復(fù)ComputerVision物體建模與識(shí)別ComputerVision多目立體視覺機(jī)ComputerVision全像圖像魚眼圖像ComputerVisionComputerVision5.計(jì)算機(jī)視覺研究的五大研究?jī)?nèi)容一、輸入設(shè)備(inputdevice)

包括成像設(shè)備和數(shù)字化設(shè)備．成象設(shè)備是指通過光學(xué)攝像機(jī)或紅外、激光、超聲、X射線對(duì)周圍場(chǎng)景或物體進(jìn)行探測(cè)成象，得到關(guān)于場(chǎng)景或物體的二維或三維數(shù)字化圖像．二、低層視覺(lowlevel)

主要是對(duì)輸入的原始圖像進(jìn)行處理．這一過程借用了大量的圖像處理技術(shù)和算法，如圖像濾波、圖像增強(qiáng)、邊緣檢測(cè)等，以便從圖像中抽取諸如角點(diǎn)、邊緣、線條、邊界以及色彩等關(guān)于場(chǎng)景的基本特征；這一過程還包含了各種圖像變換（如校正）、圖像紋理檢測(cè)、圖像運(yùn)動(dòng)檢測(cè)等．ComputerVision6.計(jì)算機(jī)視覺研究的五大研究?jī)?nèi)容三、中層視覺（middlelevel）

主要任務(wù)是恢復(fù)場(chǎng)景的深度、表面法線方向、輪廓等有關(guān)場(chǎng)景的2．5維信息，實(shí)現(xiàn)的途徑有立體視覺（stereovision）、測(cè)距成像（rangefinder）運(yùn)動(dòng)估計(jì)（motionestimation）、明暗特征、紋理特征等所謂的從X恢復(fù)形狀的估計(jì)方法．系統(tǒng)標(biāo)定、系統(tǒng)成像模型等研究?jī)?nèi)容一般也是在這個(gè)層次上進(jìn)行的．四、高層視覺（highlevel）

主要任務(wù)是在以物體為中心的坐標(biāo)系中，在原始輸入圖像、圖像基本特征、2．5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體三維描述，識(shí)別三維物體并確定物體的位置和方向．ComputerVision7.計(jì)算機(jī)視覺研究的五大研究?jī)?nèi)容五、體系結(jié)構(gòu)（systemarchitecture）這一術(shù)語最通常的含義系指在高度抽象的層次上，根據(jù)系統(tǒng)模型而不是根據(jù)實(shí)現(xiàn)設(shè)計(jì)的具體例子來研究系統(tǒng)的結(jié)構(gòu)．為了說明這一點(diǎn)，可以考慮建筑設(shè)計(jì)中某一時(shí)期的建筑風(fēng)格（如清朝時(shí)期）和根據(jù)這一風(fēng)格設(shè)計(jì)出來的具體建筑之間的區(qū)別．體系結(jié)構(gòu)研究涉及一系列相關(guān)的課題：并行結(jié)構(gòu)、分層結(jié)構(gòu)、信息流結(jié)構(gòu)、拓?fù)浣Y(jié)構(gòu)以及從設(shè)計(jì)到實(shí)現(xiàn)的途徑．ComputerVision8.計(jì)算機(jī)視覺研究面臨的困難（1）圖像多義性：三維場(chǎng)景被投影為二維圖像，深度和不可見部分的信息被丟失，因而會(huì)出現(xiàn)不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像的問題．另外，在不同角度獲取同一物體的圖像會(huì)有很大的差異．（2）環(huán)境因素影響：場(chǎng)景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對(duì)成像有影響，（3）知識(shí)導(dǎo)引：同樣的圖像在不同的知識(shí)導(dǎo)引下，將會(huì)產(chǎn)生不同的識(shí)別結(jié)果．．（4）大量數(shù)據(jù)：灰度圖像，彩色圖像，深度圖像的信息量十分巨大，巨大的數(shù)據(jù)量需要很大的存貯空間，同時(shí)不易實(shí)現(xiàn)快速處理．ComputerVisionComputerVisionComputerVisionComputerVisionComputerVisionComputerVisionComputerVisionComputerVisionComputerVision9.計(jì)算機(jī)視覺與其它學(xué)科領(lǐng)域的關(guān)系（1）圖像處理：圖像處理通常是把一幅圖像變換成另外一幅圖像，也就是說，圖像處理系統(tǒng)的輸入是圖像，輸出仍然是圖像，信息恢復(fù)任務(wù)則留給人來完成（2）計(jì)算機(jī)圖形學(xué)：通過幾何基元，如線、圓和自由曲面，來生成圖像，它在可視化（Visualization）和虛擬現(xiàn)實(shí)(VirtualReality）中起著很重要的作用．計(jì)算機(jī)視覺正好是解決相反的問題，即從圖像中估計(jì)幾何基元和其它特征．因此，計(jì)算機(jī)圖形學(xué)屬于圖像綜合，計(jì)算機(jī)視覺屬于圖像分析．（3）模式識(shí)別：用于識(shí)別各種符號(hào)、圖畫等平面圖形．模式一般指一類事物區(qū)別于其它事物所具有的共同特征。模式識(shí)別方法有統(tǒng)計(jì)方法和句法方法兩種，統(tǒng)計(jì)方法是指從模式抽取一組特征值，并以劃分特征空間的方法來識(shí)別每一個(gè)模式ComputerVision10.計(jì)算機(jī)視覺與其它學(xué)科領(lǐng)域的關(guān)系（3）人工智能（AI）：涉及到智能系統(tǒng)的設(shè)計(jì)和智能計(jì)算的研究．在經(jīng)過圖像處理和圖像特征提取過程后，接下來要用人工智能方法對(duì)場(chǎng)景特征進(jìn)行表示，并分析和理解場(chǎng)景．人工智能有三個(gè)過程：感知、認(rèn)知和行動(dòng)．．（4）人工神經(jīng)網(wǎng)絡(luò)（AN