機(jī)器視覺(jué)應(yīng)用實(shí)例課件第一章

1、視 覺(jué) 測(cè) 量主講人：全燕鳴教授(jioshu) 博士生導(dǎo)師共三十一頁(yè)本章要點(diǎn)： 1.1計(jì)算機(jī)視覺(jué)的發(fā)展與系統(tǒng)構(gòu)成 1.2生物視覺(jué)簡(jiǎn)介 1.3Marr視覺(jué)理論框架(kun ji) 1.4計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域及面臨問(wèn)題 1.5視覺(jué)測(cè)量系統(tǒng)與關(guān)鍵技術(shù)第一章 引論(yn ln)共三十一頁(yè)什么(shn me)是計(jì)算機(jī)視覺(jué)呢？讓我們先來(lái)了解一些(yxi)基礎(chǔ)概 念，做好本課程學(xué)習(xí)的準(zhǔn)備工作！共三十一頁(yè)2、計(jì)算機(jī)視覺(jué)的研究目標(biāo) 計(jì)算機(jī)視覺(jué)的研究目標(biāo)是使計(jì)算機(jī)具有通過(guò)一幅或多幅圖像認(rèn)知 環(huán)境信息的能力。它不僅在于(ziy)模擬人眼能完成的功能，更重要的是它能完成人眼所不能勝任的。1、什么是計(jì)算機(jī)視覺(jué) 隨著信號(hào)

2、處理理論和計(jì)算機(jī)技術(shù)的發(fā)展，人們?cè)噲D用攝像機(jī)獲取(huq)環(huán)境圖像并將其轉(zhuǎn)換成數(shù)字信號(hào)，用計(jì)算機(jī)實(shí)現(xiàn)對(duì)視覺(jué)信息處理的全過(guò)程，這樣就形成了一門新興的學(xué)科計(jì)算機(jī)視覺(jué)。共三十一頁(yè)視覺(jué)測(cè)量(cling)廣泛應(yīng)用于產(chǎn)品在線質(zhì)量監(jiān)控、微電子器件的自動(dòng)檢測(cè)、各種磨具三維形狀的測(cè)量(cling)及生產(chǎn)線線中機(jī)械手的定位與瞄準(zhǔn)。在檢測(cè)領(lǐng)域有重要地位哦！3、視覺(jué)測(cè)量概念的提出從計(jì)算機(jī)視覺(jué)概念和方法出發(fā)，將計(jì)算機(jī)視覺(jué)應(yīng)用于空間幾何尺 寸的精確測(cè)量和定位，從而產(chǎn)生了一種新的計(jì)算機(jī)視覺(jué)應(yīng)用概念，視覺(jué)測(cè)量。視覺(jué)測(cè)量作為(zuwi)當(dāng)今高新技術(shù)之一，在電子學(xué)、光學(xué)探測(cè)、圖像處理和計(jì)算機(jī)技術(shù)不斷成熟和完善的基礎(chǔ)上得到了突飛猛

3、進(jìn)的 發(fā)展。共三十一頁(yè)看一些(yxi)實(shí)例吧美國(guó)Perceptron公司研制的用于轎車車身(ch shn)生產(chǎn)的Perceptron 1000型多傳感器視覺(jué)測(cè)量系統(tǒng) 美國(guó)Faro公司產(chǎn)品共三十一頁(yè) ATOS便攜式三維掃描儀共三十一頁(yè) 英國(guó)(yn u)3D Scanners公司的產(chǎn)品共三十一頁(yè) 很多大公司都給予視覺(jué)測(cè)量領(lǐng)域足夠的重視和資金支持，以上(yshng)是一些世界知名企業(yè)的視覺(jué)測(cè)量產(chǎn)品。通過(guò)本課程的學(xué)習(xí)，我們會(huì)學(xué)習(xí)視覺(jué)測(cè)量的理論基礎(chǔ)、當(dāng)今視覺(jué)測(cè)量領(lǐng)域的發(fā)展現(xiàn)狀、以及對(duì)視覺(jué)測(cè)量產(chǎn)品的運(yùn)用！共三十一頁(yè)1.1計(jì)算機(jī)視覺(jué)的發(fā)展與系統(tǒng)(xtng)構(gòu)成20世紀(jì)50年代開(kāi)始統(tǒng)計(jì)模式識(shí)別，工作主要集中在

4、二維圖像分析、識(shí)別和理解上。如：字符識(shí)別、工件表面、顯微圖片和航空照片的分析解釋60年代，Roberts開(kāi)創(chuàng)了以理解三維場(chǎng)景為目標(biāo)的三維計(jì)算機(jī)視覺(jué)的研究（Roberts提出了所謂的“積木世界”說(shuō)法）70年代，出現(xiàn)了一些計(jì)算機(jī)視覺(jué)應(yīng)用系統(tǒng)80年代，Marr教授提出了Marr視覺(jué)理論，該理論成為20世紀(jì)80年代計(jì)算機(jī)視覺(jué)研究領(lǐng)域中的一個(gè)十分重要的理論框架80年代中期，計(jì)算機(jī)視覺(jué)獲得了迅速發(fā)展，主動(dòng)視覺(jué)理論框架、給予感知特征群的物體識(shí)別理論框架等新概念、新方法、新理論不斷涌現(xiàn)90年代，計(jì)算機(jī)視覺(jué)在工業(yè)環(huán)境中得到廣泛應(yīng)用，同時(shí)基于多視幾何的視覺(jué)理論得到迅速發(fā)展共三十一頁(yè)計(jì)算機(jī)視覺(jué)系統(tǒng)(xtng)構(gòu)成計(jì)

5、算機(jī)視覺(jué)系統(tǒng)一般以計(jì)算機(jī)為中心，主要有視覺(jué)傳感器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊構(gòu)成，如圖所示：標(biāo)準(zhǔn)總線共三十一頁(yè)（1）視覺(jué)傳感器：視覺(jué)傳感器是整個(gè)計(jì)算機(jī)視覺(jué)系統(tǒng)信息(xnx)的直接來(lái)源，主要由一個(gè)或兩個(gè)圖像傳感器組成，有時(shí)還要配以光投射器及其它輔助設(shè)備。主要功能是獲取足夠的計(jì)算機(jī)視覺(jué)系統(tǒng)要處理的最原始圖像。常用的圖像傳感器：激光(jgung)傳感器、線陣和面陣CCD攝像機(jī)或TV攝像機(jī)、數(shù)字?jǐn)z相機(jī)。共三十一頁(yè)選擇合適的光源對(duì)于獲取(huq)清晰圖像非常重要，讓我們認(rèn)識(shí)一些常用的光源：共三十一頁(yè) （2）高速圖像采集系統(tǒng)：由專用視頻解碼器、圖像緩沖器以及控制接口電路組成。主要功能是適時(shí)地

6、將視覺(jué)傳感器獲取的模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)，并將圖像直接傳送給計(jì)算機(jī)進(jìn)行(jnxng)顯示和處理，或者將數(shù)字圖像傳送給專用圖像處理系統(tǒng)進(jìn)行(jnxng)視覺(jué)信號(hào)的實(shí)施前段處理。隨著邏輯門陣列FPGA芯片的出現(xiàn)，使得大多數(shù)高速圖像采集系統(tǒng)只需由幾個(gè)芯片就可以完成。 圖像采集系統(tǒng)與計(jì)算機(jī)的接口采用工業(yè)標(biāo)準(zhǔn)總線，如ISA、VME、PCI等。 共三十一頁(yè) (3)專用圖像處理系統(tǒng)：是計(jì)算機(jī)的輔助處理器，主要采用專用集成芯（ASIC)、數(shù)字信號(hào)處理器（DSP)或者FPGA等設(shè)計(jì)的全硬件處理器，可以實(shí)時(shí)高速完成各種低級(jí)圖像的處理算法，減輕后端計(jì)算機(jī)的處理負(fù)荷，提高整個(gè)視覺(jué)系統(tǒng)的速度。它與計(jì)算機(jī)之間的通

7、信可以采用標(biāo)準(zhǔn)總線(zn xin)接口、串行通信總線(zn xin)接口或者網(wǎng)絡(luò)通信等方式。共三十一頁(yè) （4）計(jì)算機(jī)：計(jì)算機(jī)是整個(gè)計(jì)算機(jī)視覺(jué)系統(tǒng)的核心，它除了控制整個(gè)系統(tǒng)的各個(gè)模塊的正常運(yùn)行外，還承擔(dān)著視覺(jué)系統(tǒng)的最后結(jié)果運(yùn)算和輸出。由圖像采集系統(tǒng)輸出的數(shù)字圖像可以直接傳送到計(jì)算機(jī)，有計(jì)算機(jī)采用(ciyng)純軟件方式完成所有的圖像處理和其他運(yùn)算。如果純軟件處理能夠滿足視覺(jué)系統(tǒng)的要求，就不需專用硬件處理系統(tǒng)出現(xiàn)在計(jì)算機(jī)視覺(jué)系統(tǒng)。共三十一頁(yè)小結(jié) 隨著計(jì)算機(jī)視覺(jué)的飛速發(fā)展，二維視覺(jué)處理(chl)已從二值視覺(jué)系統(tǒng)發(fā)展為灰度視覺(jué)系統(tǒng)，并達(dá)到實(shí)用。在三維視覺(jué)信息獲取上，也取得了巨大的進(jìn)步，并且由于實(shí)現(xiàn)思想

8、和條件的不同，產(chǎn)生了相應(yīng)的諸多方法，從一定程度上克服了自然環(huán)境的限制，進(jìn)一步擴(kuò)大了計(jì)算機(jī)視覺(jué)的應(yīng)用領(lǐng)域。共三十一頁(yè)1.2生物(shngw)視覺(jué)簡(jiǎn)介生物視覺(jué)(shju)通路如下圖所示：經(jīng)視網(wǎng)膜中的神經(jīng)節(jié)細(xì)胞加工后傳出視網(wǎng)膜上丘物體可見(jiàn)光光學(xué)系統(tǒng)在眼底視網(wǎng)膜上形成物象桿體和錐體感光細(xì)胞神經(jīng)信號(hào)視束丘腦外膝體視皮層1.2.1 生物視覺(jué)通路共三十一頁(yè)視覺(jué)第一通路：神經(jīng)節(jié)細(xì)胞軸突在外膝體患神經(jīng)元后，由外膝體神經(jīng)元直接經(jīng)到視放線到視皮層，這是視束的大部分纖維去向，稱為第一視覺(jué)通路。神經(jīng)信號(hào)主要是通過(guò)視覺(jué)第一視通路到達(dá)視皮層，在視覺(jué)過(guò)程中起著主要作用視覺(jué)第二通路：視束的一小部分纖維走向內(nèi)方，經(jīng)上丘臂到達(dá)上丘

9、和頂蓋前區(qū)。上丘淺層神經(jīng)元投射到丘腦枕?yè)Q元后，再投射到視皮層，上丘還有纖維直接透射到視皮層。由于(yuy)這條通路不經(jīng)過(guò)外膝體，故稱為視覺(jué)第二通路。第二視覺(jué)視通路的作用極其微小。共三十一頁(yè)由視覺(jué)視通路可以看到，眼、外膝體與視皮層構(gòu)成了對(duì)視覺(jué)信息處理的三個(gè)基本層次。進(jìn)一步分析表明，外膝體與視皮層有著更為復(fù)雜的分塊結(jié)構(gòu)（尤其是視皮層）。分塊表明了視覺(jué)信息處理的并行性，不同區(qū)域的是神經(jīng)細(xì)胞具有不同的功能；分層表明了視覺(jué)信息處理的串行性。因此，生物視覺(jué)系統(tǒng)(xtng)是一個(gè)串行并行處理相結(jié)合的復(fù)雜系統(tǒng)(xtng)。共三十一頁(yè)1.2.2 感受(gnshu)野的分層等級(jí)假設(shè)視覺(jué)通路上各層次的神經(jīng)細(xì)胞，由簡(jiǎn)

10、單到復(fù)雜(fz)，它們所處理的信息，分別對(duì)應(yīng)于視網(wǎng)膜上的一個(gè)局部區(qū)域，層次越深入，該區(qū)域就越大，這就是著名的感受野與感受野等級(jí)假設(shè)。感受野是支持視覺(jué)信息分層串行處理的最重要的生理學(xué)證據(jù)。以信息處理的第一級(jí)為例，視網(wǎng)膜上的神經(jīng)節(jié)細(xì)胞將感光細(xì)胞上接收到的光信號(hào)轉(zhuǎn)換成電信號(hào)再由它的軸突傳出，但每一個(gè)GC細(xì)胞只能接收視網(wǎng)膜上一個(gè)局部區(qū)域的信號(hào)，該區(qū)域就是GC的感受野。GC感受野及其對(duì)光信號(hào)的轉(zhuǎn)換作用分為：1、對(duì)空間亮度變化敏感的感受野。2、對(duì)時(shí)間變化敏感的Y型細(xì)胞。共三十一頁(yè)1.2.3 視覺(jué)(shju)信息的并行處理感受野的等級(jí)假設(shè)與局部性質(zhì)主要支持視覺(jué)信息處理的自下而上的分層次串行處理，然而視覺(jué)系統(tǒng)

11、的任務(wù)不是單一的，它要識(shí)別(shbi)物體的形狀和顏色，要得到三維物體的深度信息，要檢測(cè)物體的方位和運(yùn)動(dòng)參數(shù)等等。因此，視覺(jué)通路的各個(gè)層次上存在著基本互相獨(dú)立的并行通道，分別完成不同的視覺(jué)任務(wù)。共三十一頁(yè)視覺(jué)信息的處理是一個(gè)串行與并行相結(jié)合的復(fù)雜信息處理過(guò)程，但目前被人們認(rèn)知的僅僅是一小部分，從信息處理角度看，迄今對(duì)大多數(shù)的處理單元的知識(shí)(zh shi)還非常有限，只知道這個(gè)單元對(duì)某種信息“敏感”，而信息是如何表征的、如何變換的，則仍不清楚，尤其是較高層信息的處理。共三十一頁(yè)1.3 Marr視覺(jué)(shju)理論框架1.3.1 視覺(jué)(shju)系統(tǒng)研究的三個(gè)層次要素名稱含義和所解決的問(wèn)題1計(jì)算理

12、論什么是計(jì)算目的，為什么要這樣計(jì)算2表達(dá)和算法怎樣實(shí)現(xiàn)計(jì)算理論，什么是輸入輸出表達(dá)，用什么算法實(shí)現(xiàn)表搭建的轉(zhuǎn)換3硬件實(shí)現(xiàn)怎樣在物理上實(shí)現(xiàn)表達(dá)和算法，什么是計(jì)算結(jié)構(gòu)的具體細(xì)節(jié)共三十一頁(yè)1.3.2 視覺(jué)(shju)信息處理的三個(gè)階段早期視覺(jué)處理中期視覺(jué)處理后期視覺(jué)處理圖像3D描述要素圖2.5維圖由圖像恢復(fù)形狀信息的表達(dá)框架名稱目的基元圖像亮度表示圖像中每一點(diǎn)的亮度值基元圖表是二維圖像中的重要信息，主要是圖像中的亮度變化位置及其幾何分布和組織結(jié)構(gòu)零交叉，斑點(diǎn)，端點(diǎn)和不連續(xù)點(diǎn)，邊緣，有效線段，組合群，曲線組織，邊界2.5維圖在以觀測(cè)者為中心的坐標(biāo)中，表示可見(jiàn)表面的方向、深度值和不連續(xù)的輪廓局部表面朝向

13、（“針”基元）；離觀測(cè)者的距離；深度上的不連續(xù)點(diǎn)；表面朝向的不連續(xù)點(diǎn)3維模型表示在以物體為中心的坐標(biāo)中，用由體積基元和面積基元構(gòu)成的模塊化多層次表示，描述形狀及其空間組織形式分層次組成若干三維模型，每個(gè)三維模型都是在幾個(gè)軸線空間的基礎(chǔ)上構(gòu)成的，所有體積基元或面積形狀基元都附著在軸線上共三十一頁(yè)Marr視覺(jué)(shju)理論的不足之處：1、框架(kun ji)中輸入是被動(dòng)的，給什么圖像，系統(tǒng)就處理什么圖像；2、框架中加工目的不變，總是恢復(fù)場(chǎng)景中物體的位置和形狀等；3、框架缺乏或者說(shuō)為足夠重視高層知識(shí)的指導(dǎo)作用；4、整個(gè)框架中信息加工過(guò)程基本自下而上，單向流動(dòng)，沒(méi)有反饋。改進(jìn)的Marr框架：圖像獲取

14、早期處理中期處理后期處理高層知識(shí)視覺(jué)目的反饋共三十一頁(yè)1.4 計(jì)算機(jī)視覺(jué)(shju)應(yīng)用領(lǐng)域及面臨問(wèn)題1、工業(yè)自動(dòng)化生產(chǎn)線應(yīng)用：產(chǎn)品(chnpn)檢測(cè)、工業(yè)探傷、自動(dòng)焊接等；2、各類檢驗(yàn)和監(jiān)視應(yīng)用：標(biāo)簽文字標(biāo)記檢查，郵政自動(dòng)化，顯微醫(yī)學(xué)操作等；3、視覺(jué)導(dǎo)航應(yīng)用。巡航導(dǎo)彈制導(dǎo)、無(wú)人駕駛飛機(jī)飛行、自動(dòng)行駛車輛等；4、圖像自動(dòng)解釋應(yīng)用：對(duì)放射圖、顯微圖像、醫(yī)學(xué)圖像、遙感多波段圖 1 像等進(jìn)行自動(dòng)判讀理解；5、人機(jī)交互應(yīng)用：人臉識(shí)別、智能代理等；6、虛擬現(xiàn)實(shí)應(yīng)用：飛機(jī)駕駛員訓(xùn)練、醫(yī)學(xué)手術(shù)模擬、場(chǎng)景建模等。計(jì)算機(jī)視覺(jué)的優(yōu)點(diǎn)：1、最大優(yōu)點(diǎn)是與被測(cè)對(duì)象的無(wú)接觸2、所能觀測(cè)的對(duì)象十分廣泛3、計(jì)算機(jī)視覺(jué)不知疲勞

15、，始終如一觀測(cè)1.4.1計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域：共三十一頁(yè)建立人類視覺(jué)的計(jì)算理論，并進(jìn)而建成可與人類視覺(jué)系統(tǒng)(xtng)相比擬的通用視覺(jué)系統(tǒng)(xtng)是計(jì)算機(jī)視覺(jué)研究的最終目標(biāo)。1.4.2 計(jì)算機(jī)視覺(jué)面臨(minlng)的問(wèn)題：1、如何準(zhǔn)確、高速（實(shí)時(shí)）地識(shí)別出目標(biāo)；2、如何有效的增大存儲(chǔ)容量，以便容納下足夠細(xì)節(jié)的目標(biāo)圖像；3、如何有效的構(gòu)造和組織處可靠的識(shí)別算法，并且順利地實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)與人的視覺(jué)能力比較能力計(jì)算機(jī)視覺(jué)人的視覺(jué)測(cè)距能力有限定量估計(jì)定方向定量計(jì)算定量估計(jì)運(yùn)動(dòng)分析定量分析，但受限制定量分析檢測(cè)邊界區(qū)域?qū)υ肼暠容^敏感定量、定性分析圖像形狀受分割、噪聲制約高度發(fā)達(dá)圖像機(jī)構(gòu)需要專用軟件，

16、能力有限高度發(fā)達(dá)陰影初級(jí)水平高度發(fā)達(dá)二維解釋對(duì)分割完善的目標(biāo)能較好解釋高度發(fā)達(dá)三維解釋較為低級(jí)高度發(fā)達(dá)總的能力最適合于結(jié)構(gòu)環(huán)境的定量測(cè)量最適合于復(fù)雜的、非結(jié)構(gòu)化環(huán)境的定量解釋計(jì)算機(jī)視覺(jué)與人的視覺(jué)性能標(biāo)準(zhǔn)比較性能標(biāo)準(zhǔn)計(jì)算機(jī)視覺(jué)人的視覺(jué)分辨率能力有限定量估計(jì)處理速度零點(diǎn)幾秒/每幀圖像定量估計(jì)處理方式串行處理，部分并行處理每只眼睛每秒處理（實(shí)時(shí)）1010空間數(shù)據(jù)視覺(jué)功能二維、三維立體視覺(jué)有限自然形式三維立體視覺(jué)感光范圍紫外線、紅外線、可見(jiàn)光可見(jiàn)光共三十一頁(yè)1.5 視覺(jué)測(cè)量(cling)系統(tǒng)與關(guān)鍵技術(shù)視覺(jué)測(cè)量(cling)原理框圖工作時(shí)，被測(cè)工件處于生產(chǎn)線上，視覺(jué)測(cè)量系統(tǒng)安裝在生產(chǎn)線的固定工位；或者被

17、監(jiān)測(cè)工件靜止，而視覺(jué)測(cè)量系統(tǒng)集成在處于運(yùn)動(dòng)中的生產(chǎn)作業(yè)設(shè)備中。1.5.1 視覺(jué)測(cè)量系統(tǒng)：共三十一頁(yè)1.5.2 視覺(jué)測(cè)量關(guān)鍵技術(shù)1、視覺(jué)測(cè)量模型視覺(jué)測(cè)量模型對(duì)視覺(jué)測(cè)量系統(tǒng)的測(cè)量精度、測(cè)量范圍及測(cè)量速度有著直接的影響2、視覺(jué)傳感器結(jié)構(gòu)優(yōu)化雙目視覺(jué)傳感器、結(jié)構(gòu)光視覺(jué)傳感器在三維視覺(jué)測(cè)量系統(tǒng)匯總起著重要作用3、視覺(jué)視頻信號(hào)實(shí)時(shí)采集研究一種專用實(shí)時(shí)圖像采集系統(tǒng)是實(shí)現(xiàn)三維測(cè)量的條件之一4、視覺(jué)視頻信號(hào)前段實(shí)時(shí)處理視覺(jué)圖像信息數(shù)據(jù)量大，能夠完成視覺(jué)視頻信號(hào)前段實(shí)時(shí)處理非常重要5、攝像機(jī)內(nèi)部參數(shù)標(biāo)定減輕標(biāo)定勞動(dòng)強(qiáng)度、保持?jǐn)z像機(jī)的標(biāo)定狀態(tài)與使用狀態(tài)完全一致、降低對(duì)標(biāo)定設(shè)備的要求是攝像機(jī)技術(shù)的主要研究方向6、視覺(jué)傳感器結(jié)構(gòu)參數(shù)現(xiàn)場(chǎng)標(biāo)定視覺(jué)傳感器結(jié)構(gòu)參數(shù)現(xiàn)場(chǎng)標(biāo)定，是視覺(jué)傳感器能夠進(jìn)行三維測(cè)量的必要前提7、多傳感器視覺(jué)測(cè)量系統(tǒng)現(xiàn)場(chǎng)全局標(biāo)定多傳感器視覺(jué)測(cè)量系統(tǒng)現(xiàn)場(chǎng)全局標(biāo)定是建立多傳感器視覺(jué)測(cè)量系統(tǒng)的核心8、其他關(guān)鍵技術(shù)被測(cè)物體硬定位和軟定位、視覺(jué)測(cè)量系統(tǒng)小型化與可靠性設(shè)計(jì)、系統(tǒng)電器網(wǎng)絡(luò)控制、機(jī)械結(jié)構(gòu)設(shè)計(jì)、測(cè)量軟件編制及測(cè)量數(shù)據(jù)分析與質(zhì)量預(yù)測(cè)等共三十一頁(yè)內(nèi)容摘要視 覺(jué) 測(cè) 量。（2）高速圖像采集系統(tǒng)：