基于機(jī)器視覺的工件識別和定位文獻(xiàn)綜述

基于機(jī)器視覺的工件識別和定位文獻(xiàn)綜述技術(shù)一樣，在強(qiáng)化產(chǎn)業(yè)競爭力方面是極為重要的戰(zhàn)略高技術(shù)領(lǐng)域。培育未來機(jī)器人產(chǎn)業(yè)是支撐2l世紀(jì)日本產(chǎn)業(yè)競爭力的產(chǎn)業(yè)戰(zhàn)略之一，具有非常重要的意義?！毖邪l(fā)工業(yè)機(jī)器人的初衷是為了使工人能夠從單調(diào)重復(fù)作業(yè)、危險惡劣環(huán)境作業(yè)中解脫出來，但近些年來，工廠和企業(yè)引進(jìn)工業(yè)機(jī)器人的主要目的則更多地是為了提高生產(chǎn)效率和保證產(chǎn)品質(zhì)量。因為機(jī)器人的使用壽命很長，大都在10年以上，并且可以全天后不間斷的保工業(yè)機(jī)器人越來越被廣泛的應(yīng)用到現(xiàn)代化的生產(chǎn)中?，F(xiàn)在機(jī)器人的價格相比過去已經(jīng)下降很多，并且以后還會繼續(xù)下降，但目前全世界范圍的勞動力成本都有所上漲，個別國家和地區(qū)勞動力成本又很高，這就給工業(yè)機(jī)器人的需求提供了廣闊的市場空間，工業(yè)機(jī)器人銷量的保持著較快速度的增長。工業(yè)機(jī)器人在生產(chǎn)中主要有機(jī)器人工作單元和機(jī)器人工作生產(chǎn)線這兩種應(yīng)用方式，并且在國外，機(jī)器人工作生產(chǎn)線已經(jīng)成為工業(yè)機(jī)器人主要的應(yīng)用方式。以機(jī)器人為核心的自動化生產(chǎn)線適應(yīng)了現(xiàn)代制造業(yè)多品向汽車、電氣機(jī)械等行業(yè)的自動化成套裝備和生產(chǎn)線產(chǎn)品。在發(fā)達(dá)國家，機(jī)器人自動化生產(chǎn)瑞典的ABB、德國的KUKA、意大利的COMAU等都是國際上知名的被廣泛用于自動化生產(chǎn)我國的工業(yè)機(jī)器人前期發(fā)展比較緩慢。當(dāng)將被研發(fā)列入國家有關(guān)計劃后，發(fā)展速度就明顯加快。特別是在每次國家的五年規(guī)劃和“863”計劃的重點支持下，我國機(jī)器人技術(shù)的研實際工作中得到轉(zhuǎn)化。以沈陽新松機(jī)器人為代表的國內(nèi)機(jī)器人自主品牌已迅速崛起并逐步縮小與國際品牌的技術(shù)差距。術(shù)的內(nèi)涵已變?yōu)椤办`活應(yīng)用機(jī)器人技術(shù)的、具有實在動作功能的智能化系統(tǒng)。”重構(gòu)化；控制技術(shù)的開放化、PC化和網(wǎng)絡(luò)化；伺服驅(qū)動技術(shù)的數(shù)字化和分散化；多傳感器融合技術(shù)的實用化；工作環(huán)境設(shè)計的優(yōu)化和作業(yè)的柔性化以及系統(tǒng)的網(wǎng)絡(luò)化和智能化等方面。工業(yè)機(jī)器人是FMS（柔性加工）加工單元的主要組成部分，它的靈活性和柔性使其成世界有數(shù)以百萬的各種類型的工業(yè)機(jī)器人應(yīng)用不過這些應(yīng)用都是基于先精確的示教后運行，而且工作環(huán)境都是預(yù)先安排好的，所以機(jī)器人能成功地抓取物體。但是我們知道很多情況下特別是流水線的場合工件的位姿常常是不固定器人操作任務(wù)的失敗。這種由于環(huán)境的變化而導(dǎo)致機(jī)器人不能很好地完成任務(wù)的情況極大地被認(rèn)為是機(jī)器人最重要的感覺能力，從智能機(jī)器人的研究實例中，也能清除地看到這一點。視覺是人類觀察世界和認(rèn)知世界的重要手段。據(jù)統(tǒng)計表明，人類從外部世界獲得的信息約有視覺信息有較高的利用率，同時也體現(xiàn)了人類視覺功能的重要性。機(jī)器人視覺是模擬人類視覺在機(jī)器人上的體現(xiàn)。采用視覺傳感器比采用其他傳感器來獲取工作環(huán)境及工件信息還有以下幾方面的優(yōu)勢：首先，機(jī)器視覺系統(tǒng)可以快速獲取大量信息，而且易于自動處理，也易于同設(shè)計信息以及加工控制信息集成，在提高生產(chǎn)的柔性和自動化程度方面有著重要的作用；其次，即使在丟失了絕大部分的信息后，其所提供的關(guān)于周圍環(huán)境的信息仍然比激光雷達(dá)與覺的智能機(jī)器人具有廣闊的發(fā)展空間。因而使用視覺來提高機(jī)器人的智能水平，具有重要的現(xiàn)實意義和研究價值。機(jī)器人視覺技術(shù)是20世紀(jì)80年代發(fā)展起來的新興技術(shù)，它的產(chǎn)生和發(fā)展是與機(jī)器視覺和機(jī)器人技術(shù)的發(fā)展密不可分的。近年來，機(jī)器人視覺技術(shù)已成為高技術(shù)領(lǐng)域一個重要問題提供了技術(shù)基礎(chǔ)。它將使傳統(tǒng)的工業(yè)生產(chǎn)面貌發(fā)生巨大變化，對人類社會的生活和生產(chǎn)產(chǎn)生深遠(yuǎn)的影響。目前國內(nèi)外都在競相開展有關(guān)機(jī)器人視覺的基礎(chǔ)理論、基本技術(shù)以及應(yīng)用方面的研究工作。機(jī)器視覺是一個相當(dāng)新且發(fā)展十分迅速的研究領(lǐng)域，并成為計算機(jī)科學(xué)的重要研究領(lǐng)域之一。機(jī)器視覺是在50年代從統(tǒng)計模式識別開始的，當(dāng)時的工作主要集中在二維圖像的分析和識別上，如光學(xué)字符識別、工件表面、纖維圖片和航空圖片的棱柱體等多面體的三維結(jié)構(gòu)，并對物體形狀及物體的空間關(guān)系進(jìn)行描述。Roberts的研究工作開創(chuàng)了以理解三維場景為目的的三維機(jī)器視覺的研究。Roberts的創(chuàng)造性研究給人們以極1954年，美國的GeorgeC.Devol設(shè)計并制作了世界上第一臺機(jī)器人實驗裝置。60年代接觸傳感器的遙控操縱器的從動部分與一臺計算機(jī)連接起來，這樣形成的機(jī)器人可以憑觸覺感知物體的狀態(tài)。隨后，用電視攝像頭作為輸入，把計算機(jī)圖像處理和物體識別技術(shù)也引入70年代中期，麻省理工學(xué)院（MIT）人工智能（AI）實驗室正式開設(shè)“機(jī)器視覺”課，同時，MIT的AI實驗室吸引了國際上許多知名學(xué)者參與機(jī)器視覺的理論、算法、系統(tǒng)設(shè)計的研究。DavidMarr教授應(yīng)邀于1973年到該實驗室領(lǐng)導(dǎo)一個以博士生為主體的研究小組。1977年提出了不同于“積木世界”分析方法的計算視覺理論，該理論在80年代成為機(jī)器視覺研究領(lǐng)域中的一個十分重要的理論框架，可以說對機(jī)器視覺的全球性研究熱潮是從20世由于國外對視覺技術(shù)的研究以及將其和機(jī)器人相結(jié)合都起步比較早，因此發(fā)展的較好，并且已經(jīng)出現(xiàn)了一些商品化的計算機(jī)視覺系統(tǒng)。美國在這方面開展的較早，在20世紀(jì)70年代，美國GM公司試制了能識別傳送帶上機(jī)械零件的視覺檢查系統(tǒng)。到了80年代，由于其所使用的視覺算法允許在材料加工或裝配系統(tǒng)中對工件進(jìn)行檢測。視覺系統(tǒng)是通過示教訓(xùn)練得到的。以美國國家科學(xué)基金委員會為中心的實用視覺系統(tǒng)的研究飛速發(fā)展。在日本的國家產(chǎn)業(yè)政策中，也把大力發(fā)展實用視覺系統(tǒng)放在了首要地位，進(jìn)入90年代以后，在電子、到了人眼所不能起的作用，有力地保證了產(chǎn)品質(zhì)量。斯坦福研究所早期研制的機(jī)器人（Shkey）是一種典型的“眼－車”系統(tǒng)，它的主要功它可以穿行房間，搜索、識別指定的對象，并進(jìn)行“智能”的操作。通用汽車公司開發(fā)出可展，美國的智能機(jī)器人研究已經(jīng)走在了世界的前列。日本在借鑒其他國家研究智能機(jī)器人方面的經(jīng)驗之后，現(xiàn)在在這方面的研究已經(jīng)走在了世界的前列。日立中央研究所研制的具有自圖像處理方面擁有超過20年的經(jīng)驗積累，SIMATICVIDEOMAT是第一個高性能的單色和彩互式的、主動的以及被動的三種，典型的應(yīng)用是機(jī)械零件的分類、裝配以及質(zhì)量控制等。此到廣泛的關(guān)注，并且已經(jīng)出現(xiàn)一大批科技成果，并在實際生產(chǎn)中得到了很好的應(yīng)用。國外在對基于機(jī)器視覺的工業(yè)機(jī)器人的研究上已經(jīng)做了很多工作，并且已經(jīng)有很多突破并用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理以獲得焊縫的形狀數(shù)據(jù)，能有效地進(jìn)行焊縫跟蹤。澳大利亞Western大學(xué)研制的Australia’sTelerobot，它是一個帶有攝像機(jī)的具有六個不斷拍攝和更新圖像得到空間位置后，通過對位置信息的處理實現(xiàn)了基于空間坐標(biāo)系的積木抓取，并在包裝盒中按順序序擺放整齊。圖1.1為2007年日本機(jī)器人頂級榮譽(yù)獲得者—跟蹤功能的食品、藥品操作系統(tǒng)，它的每只手臂每分鐘可以精確的撿起120件物品且可以每天24小時不間斷的工作。瑞典ABB公司最新推出的“第二代”拾取機(jī)器人FlexPickerIRB360（圖1.2所示擁有有效載荷更大、操作速度更快、占地面積更小等優(yōu)勢，在簡單有效的2D視覺的幫助下，可以以高達(dá)2次/秒的速度快速撿取傳送帶上的物品。而芬蘭圖1.1Fanuc公司的超快雙臂工業(yè)機(jī)器人系統(tǒng)圖1.3生產(chǎn)線上的碼垛和卸垛工業(yè)機(jī)器人提出一種基于視覺引導(dǎo)和超聲測距的手眼機(jī)器人系統(tǒng)對運動目標(biāo)的跟蹤和抓取方法。北京航空航天大學(xué)孟偲等人提出一種基于手眼視覺的測量與定位方法，可以判斷未知目標(biāo)物體是否可抓持以及為進(jìn)行抓持規(guī)劃提供有效依據(jù)。在重復(fù)定位任務(wù)中，該方法可以先驗信息快速定位，從而避免頻繁移動手臂。東南大學(xué)席文明等人介紹了一種通過視覺引導(dǎo)的機(jī)器人跟蹤復(fù)雜焊接的應(yīng)用。利用雙攝像機(jī)拍攝的圖像求得焊縫上的空間點，然后根據(jù)焊接要求的速度對空間點進(jìn)行直線插補(bǔ)。華中理工大學(xué)劉延林研究了在零件設(shè)計信息指導(dǎo)下，利用CCD攝像機(jī)獲取的工件毛坯圖像識別工件毛坯及其安裝狀態(tài)，但其實驗系統(tǒng)識別精度不夠高，實驗方案在實際自動加工中也欠實用。華中科技大學(xué)王敏采合的方法，將二維圖像信息與超聲波傳感器獲取的深度信息進(jìn)行融合推斷，對待裝配工件進(jìn)行自動識別與空間定位，但采用梯度算子直接提取工件邊緣。汕頭大學(xué)的彭惠青等人利用分塊二值化處理對圖像進(jìn)行邊緣檢測時，可獲得較高質(zhì)量圖像，但需進(jìn)行遍歷式搜索，因此在線實時性不好。清華大學(xué)毛德柱等人利用遺傳算法進(jìn)行匹配獲取工件位姿，但未給出該匹配算法的實際效果。這些新的理論和算法都為視覺系統(tǒng)在柔性制造系統(tǒng)中的應(yīng)用打下了很好的盡管對三維計算機(jī)視覺技術(shù)的研究己有幾十年的歷史，人們確實已獲得很大的進(jìn)步。也的復(fù)雜性以及相關(guān)學(xué)科的滯后，工件的定位、識別算法，視覺控制算法都有待進(jìn)一步研究，具體實現(xiàn)過程中仍存在視覺信息處理瓶頸、適用范圍窄等實際問題。因此，研究機(jī)器視覺和會直接影響整個機(jī)器視覺系統(tǒng)的性能。因此還要去除噪聲，經(jīng)過前面的預(yù)處理之后，得到更好質(zhì)量的圖像。預(yù)處理之后就是對工件圖像的邊緣檢測，提取工件的邊緣特征。整個處理過程如圖2.2所示。圖2-2圖像預(yù)處理和邊緣特征提取過程框圖CCD）的快速發(fā)展，圖像獲取設(shè)備的成本已顯著降低。所以一幅圖像在用計算機(jī)進(jìn)行處理前必須先轉(zhuǎn)化為數(shù)字形式。圖像轉(zhuǎn)化為數(shù)字形式的方法是將物理圖像經(jīng)過采樣劃分為稱作圖像像素的小區(qū)域。最常見的劃分方案是方形采樣網(wǎng)格，圖素上的灰度值仍是一個連續(xù)量，必須進(jìn)行量化。所謂量化就是將每個像素的亮暗程度用一個整數(shù)值來表示，即像素的灰度離散化。完成上述轉(zhuǎn)化后，圖像被表示為一個整數(shù)矩陣。每個后，才能產(chǎn)生一張數(shù)字化的圖像。(0.2990.5870.114)|(R) （)()=|0.596（0.211度化是必須的?；叶然褪鞘共噬腞(0.2990.5870.114)|(R) （)()=|0.596（0.211彩色圖像中的各種顏色都是有R、G、B三種基色構(gòu)成。在數(shù)字化的圖像中，若R、G、可稱為灰度，即紅色灰度、綠色灰度、藍(lán)色灰度。（1）最大值法：使灰度圖像中的灰度值Gray等于原真彩圖中的RGB值中最大的一個即Gray=max(R，G，B)，最大值法會形成亮度很高的灰度圖像。另外，還有一種變形，不一（2）平均值法：使灰度圖象中的Gray值等于原真彩圖中的RGB值的平均值即:Gray=(R+G+B)/3，平均值法會形成較柔和的灰度圖像?？臻g表示。可以選擇YIQ彩色空間，YIQ為美國電是灰度信息和彩色信息是分離的。其中Y表示亮度分量，描述灰度信息，I表示色調(diào)，Q表-0.274-0.322-0.5230.312)用一個像素的R、G、B計算出Y的值，用亮度Y來代表此像素的灰度信息，從而得到即將被處理的灰度級圖像。最簡單的灰度圖像是0-1灰度圖像，即：每一點的灰度值只有2級，0、1在視覺上就是黑和白，沒有中間過渡顏色?，F(xiàn)在普遍應(yīng)用的灰度圖像量化級別是灰度化前后的圖像如下圖2.3所示?；叶然昂蟮膱D像在圖片中經(jīng)常會出現(xiàn)對比度不夠的情況，這可能是由于圖片記錄裝置的動態(tài)范圍大小所致，也可能是由于攝像過程中的原先曝光不足所造成的。顯示、觀察或進(jìn)一步分析與處理。對比度增強(qiáng)是增強(qiáng)技術(shù)中比較簡便但又十分重要的一種方法。這種處理只是逐點修改輸入圖像中的每一像素的灰度，圖像中各像素的位置并不改變，是一種輸入與輸出像素間一對一的運算。對比度增強(qiáng)又叫點運算，一般用來擴(kuò)大圖像的灰度g(x,y)=T(f(x,y))。圖像輸出與輸入灰度之間的映射關(guān)系完全由函數(shù)T確定。對比度增強(qiáng)常見有以下幾種：（1）直接對每個像素進(jìn)行操作。比較典型的是線性變換。（2）借助直方圖進(jìn)行變換。比較典型的是直方圖均衡化。（3）借助對一系列圖像間的操作進(jìn)行變換。線性變換可使圖像動態(tài)范圍增大，圖像對比度擴(kuò)展，圖像變清晰，特征明顯，是圖像增強(qiáng)的重要手段之一。令原圖像f(x,y)的灰度范圍為[a,b]，線性變換后圖像的灰度范圍為[a',b']，線性變換的原理示意圖如圖2.4所示，計算公式如式（2.1）所示。(|a'(G(x,y)=〈a'b'b''善圖像視覺效果。圖2.5為線性變換前后的圖像對比。2.4線性變換前后的圖像對比灰度直方圖反映了數(shù)字圖像中每一灰度級與其出現(xiàn)像素頻率間的統(tǒng)計關(guān)系。它能描述該圖像的概貌，例如圖像的灰度范圍、每個灰度級出現(xiàn)的頻率、灰度級的分布、整幅直方圖均衡化是通過對原圖像進(jìn)行某種變換，使原圖像的灰度直方圖修正為均勻布1然后統(tǒng)計原始圖像各灰度級的像素數(shù)nk；利用式（2.2）計算原始圖像的直方圖后再用（2.3）式計算原始圖像的累積直方圖：P(sk)=nk/nk=0,1,……,L-1（2.2）直方圖均衡化前后圖像的對比如圖2.5所示。2.5直方圖均衡化前后圖像的對比因素的影響而產(chǎn)生各種各樣的噪聲，此時就必須對圖像進(jìn)行平滑處理。圖像中比較常見的噪聲有椒鹽噪聲、高斯噪聲等。圖像平滑的目的是消除或盡量減少噪特征信息，或在下一步進(jìn)行的圖像處理過程中需要提取出的信息。因此，濾波處理目的是：該是既能消除圖像中存在的噪聲又不使圖像的邊緣輪廓和線條變模糊，這是圖像平滑處理要追求的主要目的。圖像平滑濾波的方法主要有空域法和頻域法兩大類。常用的平滑方法有低通濾波法、鄰域平均法、中值濾波法等。線性平滑濾波器去除高斯噪聲的效果很好，且在大權(quán)和來實現(xiàn)濾波。同一模式的權(quán)重因子可以作用在每一個窗口內(nèi)，也就意味著線性濾波器是重因子，且仍然可以用濾波器完成加權(quán)運算，那么線性濾波器就是空間可變的。所謂均值濾波實際上就是用均值替代原圖像中的各個像素值，是最簡單的線性濾波器。鄰域平均法是一種簡單的空域處理方法，這種方法的基本思想是用幾個像素的平均值g(x,y)=Σf(m,n)其中x,y=0,1,2,,N?1；S是(x,y)點鄰域中點的坐標(biāo)的集合，不包括(x,y)。點M是集合內(nèi)坐標(biāo)點的總數(shù)。這說明平滑化的圖像g(x,y)中的每個像素的灰度值均由包含在(x,y)預(yù)定鄰域的f(x,y)的幾個像素的灰度值的平均值來決定。大尺度濾波器也會導(dǎo)致圖像細(xì)節(jié)的損失。中值濾波是一種非線性濾波技術(shù)，由于實際計算過程中并不需要圖像的統(tǒng)計特性，所以像素數(shù)很少，而圖像則是由像素數(shù)較多、面積較大的小塊構(gòu)成。在一定條件下，可以克服線性濾波器所帶來的圖像細(xì)節(jié)模糊，而且對濾除脈沖干擾及圖像的掃描噪聲最為有效。但是對一些細(xì)節(jié)多，特別是點、線和尖頂多的圖像素灰度值，用窗口內(nèi)各像素灰度值的中值代替。例如若窗口長度為5，窗口中像素的灰度第三位的值是110，于是原來窗口正中的灰度值200就由110代替。如果200是一個噪聲的尖峰，則將被濾除。設(shè)有一個一維序列f1、f2…..fn,取窗口長度為奇數(shù)m,對此序列進(jìn)行中值濾波,就是從輸入序列中相繼抽出m個數(shù),fi-v…fi…fi+v,其中f為窗口的中心值,v=(m-1)/2,再將這m個點的數(shù)值按其數(shù)值大小排列，取其序號為正中間的那個數(shù)作為濾波輸出。中值濾波的表達(dá)式為：對數(shù)字圖像進(jìn)行中值濾波，實質(zhì)上對二維序列{XIJ}的中值濾波，濾波窗口也是二維的，但這種二維窗口可以有各種各樣的形狀，如線狀、方形、圓形、十字形和圓環(huán)形等。形窗口為宜；對于包含尖頂角的圖像，適宜用十字形窗口。了邊界不變，但是模板尺寸不宜取得過大。一般3×3模板中值濾波效果要比5×5模板中C.高斯濾波高斯平滑濾波器是一類根據(jù)高斯函數(shù)的形狀來選擇權(quán)值的線性平滑濾波器。高斯平滑濾波器對去除服從正態(tài)分布的噪聲是很有效的。對圖像處理來說，常用二維高斯函數(shù)做平滑濾波器。這種函數(shù)的表達(dá)式為：成圖像特征的過分模糊，一般取σ=1～10高斯濾波器具有很多良好性質(zhì)，如旋轉(zhuǎn)對稱性，高斯函數(shù)是單值函數(shù)，高斯函數(shù)的傅立葉變換頻譜是單瓣，高斯濾波器的寬度有參數(shù)σ表征，高斯函數(shù)具有可分離性。高斯濾波器的設(shè)計一般是直接從離散高斯分布中計算模板權(quán)值，把二維高斯函數(shù)變形選擇合適的分布參數(shù)σ,就可以在選定的窗口上評價該值，以便獲取模板。高斯卷積模糊程度越大。邊緣檢測是圖像分割、目標(biāo)區(qū)域分割、區(qū)域形狀提取等圖像分析領(lǐng)域十分重要的基礎(chǔ)，也是圖像識別中提取圖像特征的一個重要屬性。在進(jìn)行圖像理解和分析時，邊緣檢測往往是非常重要的一步，目前它已成為機(jī)器視覺研究領(lǐng)域最活躍的課題之一，在工程應(yīng)用中占有十分重要的地位。邊緣是以圖像的局部特征不連續(xù)的形式出現(xiàn)的，即是指圖像局部亮度變化最顯著的部分。關(guān)，梯度是函數(shù)變化的一種度量，而一幅圖像可以看作是圖像強(qiáng)度連續(xù)函數(shù)的取樣點陣列。（1）濾波：邊緣檢測算法主要是基于圖像強(qiáng)度的一階和二階導(dǎo)數(shù)，但導(dǎo)數(shù)的計算對噪聲很敏感，因此必須使用濾波器來改善與噪聲有關(guān)的邊緣檢測器的性能；（2）增強(qiáng)：增強(qiáng)邊緣的基礎(chǔ)是確定圖像各點鄰域強(qiáng)度的變化值；（3）檢測：在圖像中有許多點的梯度幅值比較大，而這些點在特定的應(yīng)用領(lǐng)域中并不都是梯度幅值閾值判決；（4）定位：如果某一應(yīng)用場合要求確定邊緣位置，則邊緣的位置可在子像素分辨率上來估計，邊緣的方位也可以被估計出來。算子、Canny算子等，這些算子各有優(yōu)缺點。下面就幾種經(jīng)典邊緣檢測算法作一介紹。Roberts交叉算子是一種利用局部差分算子尋找邊緣的算子，它對具有陡峭的低噪聲的圖像邊緣檢測效果較好。Roberts交叉算子為梯度幅值計算提供了一種簡單的近似方法：Gx=(Gx=(1)Gy=(1)梯度的近似值，而不是所預(yù)期點(i,j)處的近似值。Sobel算子對灰度漸變和噪聲較多的圖像處理得較好。其原理是對數(shù)字圖像f(i,j)的每個像素，考察它上、下、左、右八鄰點灰度的加權(quán)差，其中可設(shè)置四個四鄰域點的權(quán)最大。我們也可以用如下的卷積核，將圖像中的每個像素都用它們來進(jìn)行卷積，一個是水平邊(0|(0|1X1)(10201)(1020||22=Sobel算子通常用于水平和垂直邊緣的一個簡單檢測子，如果h1的響應(yīng)是y，h2的響應(yīng)邊緣算子一樣，圖像中的每個點都用這兩個模板進(jìn)行卷積。需要注意的是，與Sobel邊緣1)0-1)00011)0-1)00010||0YX-1（-1在介紹Log算子之前，先介紹拉普拉斯算子。在二維圖像中，拉普拉斯（Laplacian）算子是常用的二階微分邊緣檢測算子。對于一個連續(xù)函數(shù)f(x,y)，它在位置(x,y)的拉普它是以點[i,j]為中心的二階偏導(dǎo)數(shù)的近似式。心像素的系數(shù)應(yīng)是負(fù)的，而對應(yīng)中心像素鄰近像素的系數(shù)應(yīng)是正的，且它們的和應(yīng)該為1-1-410)10)Y4-2041)1)1)1)邊緣方向信息丟失，常產(chǎn)生雙像素的邊緣，對噪聲有雙倍加強(qiáng)作用。Log算子是在拉普拉斯算子的基礎(chǔ)上實現(xiàn)的，它是先用高斯低通濾波器將圖像進(jìn)行預(yù)先輪廓，消除所有內(nèi)部點。Canny算子是由高斯函數(shù)的一階導(dǎo)數(shù)構(gòu)成的，是對信噪比與定位之乘積的最優(yōu)化逼近算子。常用作邊緣檢測算子。Canny算子基本上滿足一般的邊緣檢測過程的四個步驟，其算法實現(xiàn)過程如下：（1）用高斯平滑器平滑圖像；（2）對平滑后的圖像使用一階導(dǎo)數(shù)算子檢測圖像的梯度幅值和方向；（4）用雙閾值算法檢測和連接邊緣。I[i,j]表示圖像，首先對圖像進(jìn)行高斯濾波，如式：幅值圖像陣列M[i,j]的值越大，其對應(yīng)的圖像梯度值也越大，這還不足以確定物體的邊緣。為確定邊緣，必須細(xì)化幅值圖像中的屋脊帶，即只保留圖像中的幅值變化最大的點。也就是進(jìn)行非極大值抑制。通過抑制梯度線上所有非屋脊值的幅值來細(xì)化M[i,j]中的梯度幅值屋脊。這一過程可以把M[i, j]可能在輪廓上有間斷。雙閾值算法要在T2[i,j]中把邊緣連接成輪廓，當(dāng)達(dá)到輪廓的端點時，除了噪聲點和偽邊緣點外，基本上組成一個一個的目標(biāo)區(qū)域。這些區(qū)域如果僅從視覺效果上解決的問題。圖像識別就是從圖像中找出與已知模式相似的目標(biāo)圖像，即識別出物體并確定出它在整幅圖像中的位置和方向，是計算機(jī)視覺系統(tǒng)中的關(guān)鍵和難點。檢測器和匹配、分類組成。第一部分是圖像信息的獲取。它相當(dāng)于對被研究對象的調(diào)查和了解，從中得到數(shù)據(jù)和材提取。它的作用在于把調(diào)查了解到的數(shù)據(jù)材料進(jìn)行加工、整理、分析、歸納抽出能反映事物進(jìn)行分類和辨識，得到識別結(jié)果。圖像識別的方法很多，大體上可以歸納為：統(tǒng)計圖像識別、結(jié)構(gòu)圖像識別、模糊集圖像蹤、遙感圖像識別、機(jī)器人視覺等領(lǐng)域都已得到了應(yīng)用。根據(jù)所使用的匹配特征可以大致分為兩類：要缺陷是計算量大、抗噪聲與抗干擾的能力比較差、只能適用于兩幅圖像具有相同的外界條件的情況下作精細(xì)的匹配。2.使用圖像的特征進(jìn)行匹配。這種匹配算法必須對原始圖像進(jìn)行一定的預(yù)處理來提取骨架線條、角點等物體的形狀特征。該算法使需要進(jìn)行相關(guān)計算的像素點數(shù)目有了明顯的減少，而且特征點的提取過程可以減少噪聲的影響，對灰度變化，圖像形變以及遮擋等都有較好的適應(yīng)能力。所以基于圖像特征的匹配在實際中的應(yīng)用越來越廣泛。Hausdorff距離，又稱最大最小距離（簡稱HD是描述兩組點集之間相似程度的一種個點，而沒有考慮到集合其他點的位置情況。Hausdorff距離只是測量一種相似程度，而非點對點的完全重合，在圖像識別中有著廣2基本形式的Hausdorff距離對于理想情況能很好的反映集合A和B之間的匹配程度，但實際中這種情況的出現(xiàn)是很低的。其所定義的距離依賴一個物體和另一個物體中最不匹配點的距離，這使得它對任何遠(yuǎn)離中心的噪聲點非常敏感；或者識別物體本身只有部分可見，表性的是部分Hausdorff距離（PHD）和平均Hausdorff距離（部分Hausdorff距離是由Huttenlocher在1993年提出來的，用來比較有嚴(yán)重的遮掩或退化的圖像中的部分圖像，產(chǎn)生了較好的匹配結(jié)果。其有向距離定義為：在如下3個缺陷：3）若待匹配圖像A中所含的目標(biāo)物體出現(xiàn)遮擋現(xiàn)象時，則很難得到正確的匹配結(jié)果。平均Hausdorff距離（MHD）是有Dubuission和Jain于1994年提出來的，這種匹配方法在有零均值高斯噪聲的圖像中可以估計出最佳的匹配位置，而且不需要參數(shù)。其有向以及探測算子本身的影響，沒有必要精確計算歐幾里德距離值。在保證運算結(jié)果準(zhǔn)確性的前距離變換在許多機(jī)器視覺應(yīng)用中是非常重要的。它被應(yīng)用在模式識別、形態(tài)學(xué)等方面。見的有街區(qū)距離變換、棋盤距離變換、切削距離變換、歐式距離變換。在機(jī)器視覺上的應(yīng)用中的物體立體特征匹配和地圖匹配）、機(jī)器人碰撞回避、路徑發(fā)現(xiàn)和空間圖像匹配。距離變換的相關(guān)性還被應(yīng)用在加速圖像物體的發(fā)現(xiàn)上，它將物體看作在任意位置和方向上的邊緣模式。此外，距離變換輔助的自適應(yīng)點匹配也被應(yīng)用在地圖匹配問題上。3.4.1遺傳算法圖像匹配原理遺傳算法(Geneticalgorithm，簡稱GA)是一種求解問題的高效并行全局搜索算法，其借鑒了自然界的自然選擇和自然遺傳機(jī)制，能夠快速到達(dá)最優(yōu)解90％的搜索范圍，從而得到運算變?yōu)殡S機(jī)生成數(shù)個點進(jìn)行相似度運算，并通過GA的進(jìn)化功能由適當(dāng)?shù)倪m應(yīng)度函數(shù)指導(dǎo)其搜索過程向最優(yōu)點進(jìn)化，進(jìn)而大大減少運算量，提高識別的快速性。遺傳算法的基本原理是在自然選擇和群體遺傳學(xué)機(jī)理基礎(chǔ)上通過隨機(jī)選擇、選代、進(jìn)化等步驟來模擬自然進(jìn)化過程以搜索全局最優(yōu)解。遺傳算法結(jié)合了達(dá)爾文適者生存和隨機(jī)信息計算個體適應(yīng)度、遺傳算子（選擇算子、交叉算子和變異算子）等步驟來實現(xiàn)。是對群體中的個體按優(yōu)勝劣汰的方式選取，并遺傳到下一代群體的運算操作。選擇操作的目的是為了從當(dāng)前群體中選出生命力強(qiáng)的染色體，使它有機(jī)會保留用以繁殖后代。判斷染色體同的問題，選擇的方法可采用適應(yīng)度比例選擇法（也稱輪盤賭方式）、最佳個體保存方法、算法有單點交叉、雙點交叉與多點交叉、均勻交叉和算術(shù)交叉等。變異操作模擬自然界生物體進(jìn)化中染色體上某位基因發(fā)生的突變現(xiàn)象，從而改變?nèi)旧w為了保證個體變異后不會與父輩產(chǎn)生太大的差異，變異概率一般取值較?。ㄒ话闳?.0001~0.1之間）。常用的變異算子有基本變異算子、均勻變異算子、非均勻變異算子、正態(tài)變異算子和自適應(yīng)變異算子等。遺傳算法提供了求解復(fù)雜系統(tǒng)優(yōu)化問題的通用框架，不依賴于問題的具體領(lǐng)域，對問題應(yīng)用研究表明，目前一些常規(guī)遺傳算法并不一定是針對某一問題的最佳求解方法，例如將常規(guī)的遺傳算法應(yīng)用到圖像匹配中往往不能有預(yù)想的效果，而將遺傳算法問題的特有知識集成到一起構(gòu)成的混合遺傳算法卻有可能產(chǎn)生出求解性能極佳的方法。Hausdorff距離圖像匹配的計算量是相當(dāng)大的，而遺傳算法的全局尋優(yōu)特點，能使計算將遺傳算法用于解決一個優(yōu)化問題，通常需要解決以下幾個問題：（1）構(gòu)造合適的適應(yīng)度函數(shù)，并用基因串把問題編碼；（2）遺傳算子設(shè)計以及確定控制遺傳算子操作的概率。對于我們要識別的工件，所采集的實時工件圖像與模板圖像相比可能發(fā)生平移、旋轉(zhuǎn)等（x,y）為模板在圖像中移動時的中心位置參考點坐標(biāo),θ為匹配過程中模板的旋轉(zhuǎn)因子的變與參考圖像匹配。具體的過程是：通過對串的參數(shù)解碼，獲得坐標(biāo)（x,y）及旋轉(zhuǎn)因子θ之‘和y’表示圖像中相應(yīng)點的位置。從而得到經(jīng)過旋轉(zhuǎn)變換后的新模板，均Hausdorff距離，最后求出該串的適應(yīng)度函數(shù)值。遺傳算法的收斂理論說明了遺傳算法以概率為1收斂的極限性成像攝像機(jī)的成像模型來決定的，而成像模型的各個參數(shù)要通過攝像機(jī)標(biāo)定來確定。攝像機(jī)標(biāo)定的概念首先來自于一門稱為攝影測量學(xué)Photogrammetry的技術(shù)學(xué)科。在標(biāo)部的成像參數(shù)稱為攝像機(jī)的內(nèi)參數(shù)，而攝像機(jī)在外部世界坐標(biāo)系中的安裝位置及其姿態(tài)參數(shù)稱為攝像機(jī)的外參數(shù)，攝像機(jī)標(biāo)定的目的就是要獲取這些內(nèi)外參數(shù)。系中的三維坐標(biāo)計算出來。但是采用視覺方法獲取的圖像本身是在二維平面上的，要根據(jù)圖像來認(rèn)識目標(biāo)，就需要從二維圖像中恢復(fù)三維空間信息，這正是立體視覺需要解決的問題。像機(jī)安裝在工作臺上方或側(cè)面，攝像機(jī)與物體的位置關(guān)系一定，而不隨機(jī)器人的運動變化，標(biāo)定方法簡單，但需要使用兩個攝像機(jī)來實現(xiàn)視差，設(shè)備成本高，目標(biāo)定位精度與其視場的制。在這個過程中，包括了兩個必要的標(biāo)定過程：機(jī)械手手眼關(guān)系標(biāo)定和攝像機(jī)標(biāo)定。），其實時的位置和姿態(tài)數(shù)據(jù)只能通過從機(jī)械手控制器讀取機(jī)械手手臂末端關(guān)節(jié)位移值來間接攝像機(jī)標(biāo)定要解決的問題是場景中工件上某一點在攝像機(jī)坐標(biāo)系中三維坐標(biāo)與該點在圖像平面上的對應(yīng)點之間的對應(yīng)關(guān)系。這不僅需要建立攝像機(jī)成像幾何模型，同時還要精確像機(jī)標(biāo)定包括內(nèi)部參數(shù)的標(biāo)定和外部參數(shù)的標(biāo)定。內(nèi)部參數(shù)的標(biāo)定是指標(biāo)定攝像機(jī)內(nèi)部幾何外部參數(shù)的標(biāo)定是指確定攝像機(jī)坐標(biāo)系相對于某一固定坐標(biāo)系（即世界坐標(biāo)系）的位置和姿態(tài)。攝像機(jī)內(nèi)部參數(shù)的標(biāo)定的復(fù)雜程度取決于攝像機(jī)模型的建立，攝像機(jī)建模是對攝像機(jī)光學(xué)特性的近似，模型應(yīng)能精確地反映攝像機(jī)光學(xué)特性的本質(zhì)。一般來說，模型中參數(shù)越多，攝像機(jī)越能真實地反映攝像機(jī)的光學(xué)特性，但同時也造成需要標(biāo)定的攝像機(jī)參數(shù)也越多，無疑增加了標(biāo)定過程的復(fù)雜性。當(dāng)計算機(jī)視覺應(yīng)用于機(jī)械手時，一般情況下是將攝像機(jī)安裝在機(jī)械手的手臂末端。在傳統(tǒng)的方法中不管采用哪種視覺系統(tǒng)都要對攝像機(jī)進(jìn)行內(nèi)外參數(shù)的標(biāo)定。由于攝像機(jī)系統(tǒng)具有顯著的非線性特性，因此需要獲得精確的目標(biāo)位置數(shù)據(jù)，就需要大量的標(biāo)定計算，這依賴于攝像機(jī)模型是否取得準(zhǔn)確。隨著環(huán)境因素的變化，如溫度，為保證測量精度，相機(jī)標(biāo)定需要反復(fù)進(jìn)行。許多學(xué)者在視覺系統(tǒng)標(biāo)定方面做出了努力并取得了一定的成果，但都是根據(jù)運行環(huán)境的不同應(yīng)將機(jī)器視覺系統(tǒng)分為不同的結(jié)構(gòu)組成，其可分為基于PLC效果。基于PC的系統(tǒng)其適用于各種復(fù)雜動作的環(huán)境，可以完成裝配、定位、校準(zhǔn)、識別等動作。利用了其開放性、高度的編程靈活性和良好的Windows界面集成，因此，為了實現(xiàn)自動化的目的，機(jī)器視覺系統(tǒng)正在廣泛地用于工況環(huán)境監(jiān)查、成品缺陷有無和質(zhì)量檢測等領(lǐng)域。為了滿足自動化生產(chǎn)要求，需要設(shè)計一套程序界面來完成工件的在線識別定位?；驹硎菍ιa(chǎn)線上的工件進(jìn)行特征提取，利用分類器對工件進(jìn)行識別，再利用坐標(biāo)變換得到工具備兩大處理單元：即圖像處理模塊和控制執(zhí)行模塊。(1)圖像處理模塊：是指通過工業(yè)攝像機(jī)對目標(biāo)圖像進(jìn)行采集，然后由經(jīng)圖像預(yù)處理單發(fā)送指令信號給執(zhí)行單元來完成最終的工作要求。(2)控制執(zhí)行模塊：其一般是指將中間單元得到的信號轉(zhuǎn)換為動作信號來控制執(zhí)行機(jī)構(gòu)關(guān)節(jié)使之進(jìn)行動作。若通過PLC程序控制，就是通過低壓電器來控制步進(jìn)電機(jī)來完成相應(yīng)系統(tǒng)總體結(jié)構(gòu)采用“PC機(jī)+圖像處理模塊+控制執(zhí)行模塊”的結(jié)構(gòu)方案，這一系統(tǒng)的關(guān)程序控制的重任，因此，PC機(jī)成為組建穩(wěn)健的工作平臺的核心組件，因此在PC機(jī)中安裝相關(guān)的處理軟件以及良好的程序開發(fā)軟件和主機(jī)中的圖像采集卡都是決定系統(tǒng)運行條件的重要因素。機(jī)器視覺的現(xiàn)場總線控制方案如圖5.1所示。此系統(tǒng)包括了圖像采集模塊、圖像處理模塊、控制執(zhí)行模塊。理想的硬件是機(jī)器視覺系統(tǒng)的基礎(chǔ)，檢測系統(tǒng)的基本組成如圖5.2所示。一般來說，圖像傳感器來完成目標(biāo)物體拍攝的觸發(fā)；圖像采集卡是對傳感器送達(dá)的信號進(jìn)行對拍攝的圖像的儲存工作。然后計算機(jī)處理軟件對得到的圖片進(jìn)行圖像處理，這一步驟在主運算中完成，行系統(tǒng)無不起著關(guān)鍵的作用，所以各個系統(tǒng)的優(yōu)劣直接影響實驗結(jié)果的優(yōu)劣。5.2視覺系統(tǒng)的信號基本流程框圖（1）系統(tǒng)組成：系統(tǒng)的主要任務(wù)是利用機(jī)器視覺技術(shù)對當(dāng)前時刻所拍攝的工件（如齒圖像采集裝置4、圖像處理及分析軟件7、控制子系統(tǒng)5、執(zhí)行機(jī)構(gòu)子系統(tǒng)6等組成。整個圖5.3機(jī)器視覺系統(tǒng)整體框架組成圖（2）工作原理：其原理是送料裝置應(yīng)該與傳送裝置應(yīng)協(xié)調(diào)動作，工件被不規(guī)則的放在像機(jī)對LED燈下方的工件進(jìn)行拍照，并然后將采集到的圖像經(jīng)采樣、量化后傳送給計算機(jī)的圖像分析軟件進(jìn)行處理和判斷，將得出的結(jié)果反饋給機(jī)械手執(zhí)行機(jī)構(gòu)進(jìn)行抓取和剔除。以CCD或者CMOS傳感器構(gòu)成的攝像機(jī)在使用過程中還涉及諸多工作參數(shù)。包括其靈敏度、解析度、分辨率以及數(shù)據(jù)處理方式等。CCD傳感器的數(shù)據(jù)傳輸是順序的轉(zhuǎn)移到寄