《傳感器及RFID技術應用》課件-項目九 圖像識別技術應用

項目九圖像識別技術[項目目標]1.知識要點掌握圖像識別技術的概念及應用，掌握圖像識別系統(tǒng)的組成。理解圖像、圖像采集、像素、圖像分辨率、色彩空間、灰度變換、二值化、圖像分割、邊緣檢測、降噪、模板匹配等概念。2.技能要點會使用辦公軟件中的調(diào)色板設置RGB/HSL模式下的顏色；會根據(jù)圖像識別的要求選用相機；會使用百度識圖識別一個歷史人物；會簡單的視覺系統(tǒng)設備選型。3.任務目標某型活塞零件需要進行視覺檢測和掃碼入庫，為機器人選擇機器人視覺系統(tǒng)。[項目知識]一、圖像識別基礎知識圖像識別（ImageRecognitionTechnology），是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技術。識別的發(fā)展經(jīng)歷了三個階段：文字識別、數(shù)字圖像處理與識別、物體識別。文字識別的研究是從1950年開始的，一般是識別字母、數(shù)字和符號，從印刷文字識別到手寫文字識別，應用非常廣泛。數(shù)字圖像處理和識別的研究開始于1965年。數(shù)字圖像與模擬圖像相比具有存儲，傳輸方便可壓縮、傳輸過程中不易失真、處理方便等巨大優(yōu)勢，這些都為圖像識別技術的發(fā)展提供了強大的動力。物體的識別主要指的是對三維世界的客體及環(huán)境的感知和認識，屬于高級的計算機視覺范疇。它以數(shù)字圖像處理與識別為基礎，結(jié)合人工智能、系統(tǒng)學等學科的研究方向，其研究成果被廣泛應用在各種工業(yè)機器人及探測機器人上。圖像識別技術的一個不足就是自適應性能差，一旦目標圖像被較強的噪聲污染或是目標圖像有較大殘缺往往就得不出理想的結(jié)果。圖像識別問題的數(shù)學本質(zhì)屬于模式空間到類別空間的映射問題。目前，圖像識別方法主要有三種：統(tǒng)計模式識別、結(jié)構(gòu)模式識別、模糊模式識別。圖像識別可應用于識別、定位、測量、檢驗等方面。1、識別在識別應用中，圖像識別系統(tǒng)可以識別條形碼（一維碼）、DataMatrix碼（二維碼如圖9.1（a）所示）；可以識別直接部件標識（DPM），如圖9.1（b）所示）；可以通過元件、標簽和包裝上印刷的字符來識別元件，如圖9.1（c）所示；應用光學字符識別（OCR）能夠讀取PDF文檔、圖片、掃描儀上的文字信息并轉(zhuǎn)換為WORD文檔、電子表格或PDF，如圖9.1（c）所示；而應用光學字符驗證（OCV）則能夠確認字符串的存在性。另外，圖像識別系統(tǒng)還可以通過定位獨特的圖案來識別元件，或者基于顏色、形狀或尺寸來識別元件。除工業(yè)及倉儲領域外，圖像識別功能還常用于人臉識別、遙感圖像分析（如植物學中的植被分析、考古專業(yè)的考古發(fā)掘等）、安全鑒別（門禁系統(tǒng)）、監(jiān)視與跟蹤（智能交通監(jiān)控）、國防系統(tǒng)（目標自動識別與目標跟蹤）等領域，可以說其應用領域非常廣泛。（a）識別二維碼（b）直接部件標識（DPM）（c）識別生產(chǎn)日期（d）識別文字（OCR）圖9.1圖像識別應用于字符識別2、定位定位主要應用于確定元件在二維或三維空間內(nèi)的位置和方向。如圖9.2（a）所示，也可以將定位和機器人連接，引導機器人動作，如圖9.2（b）所示。（a）設備、工件定位（b）引導機器人動作圖9.2圖像識別應用于定位3、測量圖像識別可以測量元件的外形尺寸，如圖9.3（a）所示。也可以進行3D檢測，如圖9.3（b）所示。基于測量結(jié)果，可以判斷產(chǎn)品是否合格。（a）尺寸檢測（b）3D檢測圖9.3圖像識別應用于字符識別4、外觀檢測圖像識別可以應用于元件外觀檢測。如可集中進行IC的各項外觀檢測，如圖9.4所示。圖9.4圖像識別應用于IC芯片外觀檢測如圖9.4所示，可以檢測IC的引腳數(shù)、IC的寬度、IC的位置偏移、測量IC引腳距離、測量IC字符缺損、檢測表面污跡等，功能強大。二、圖像識別系統(tǒng)組成典型的圖像識別系統(tǒng)由：照明光源、鏡頭、CCD相機、圖像采集卡、圖像處理系統(tǒng)及其它外部設備組成，如圖9.5所示。光源用于待測元件照明，讓元件的關鍵特征能夠凸顯出來，確保相機能夠清楚地看到這些特征，鏡頭用于采集圖像，并將圖像以光線的形式呈現(xiàn)給傳感器；相機中的傳感器將該光線轉(zhuǎn)換成數(shù)字圖像，然后將該數(shù)字圖像發(fā)送至處理器，通過圖像處理軟件進行分析；圖像采集卡是重要的輸入/輸出單元，用于圖像的高速傳輸及數(shù)字化處理。圖9.5圖像識別系統(tǒng)基本構(gòu)成下面將介紹其中的幾個重要組成部分，包含光源、相機和圖像采集卡。（一）光源1、光源的知識正在發(fā)光的物體稱為光源，而“正在”這個條件必須具備。光源可以是天然的或人造的，如今應用于圖像識別系統(tǒng)中的光源通常是LED光源。LED光源由多顆LED排列而成，可以設計成復雜的結(jié)構(gòu)，實現(xiàn)不同的光源照射角度。LED光源使用壽命長且反應快捷，能在10mS或更短時間內(nèi)達到最大亮度。在中國國家標準GB5698－85中，顏色定義為：“色是光作用于人眼引起除形象以外的視覺特性”。也就是說顏色是一種光學現(xiàn)象，是光刺激人眼的結(jié)果，有光才有色。彩色也是一種心理感覺，它與照明光源的輻射能力分布及觀看者的視覺生理結(jié)構(gòu)有關。人眼可以感知的光譜范圍為380nm~780nm，但人感知一個物體的顏色一般是指在日光照明的環(huán)境下所顯示的色彩，對于同一物體在不同光線的照射下人會感覺到不同的色彩，可見光源對于正確認知物體的色彩是至關重要的。人眼視網(wǎng)膜里存在著大量光敏細胞，按其形狀可分為桿狀和錐狀兩種。桿狀光敏細胞的靈敏度極高，主要靠它在低照度時辨別明暗，但它對彩色是不敏感的；而錐狀細胞既可辨別明暗，也可辨別彩色。白天的視覺過程主要靠錐狀細胞來完成，夜晚視覺則由桿狀細胞起作用。所以在較暗處無法辨別彩色。三原色學說認為在視網(wǎng)膜上分布有三種不同的視錐細胞，分別含有對紅（700nm）、綠（546.1nm）、藍（435.8nm）三種光敏感的視色素；當某一定波長的光線作用于視網(wǎng)膜時，以一定的比例使三種視錐細胞分別產(chǎn)生不同程度的興奮，這樣的信息傳至中樞，就產(chǎn)生某一種顏色的感覺。所以，當我們用某光源照明時，若光源只發(fā)出藍、綠、紅三條人眼最敏感的譜線時，就達到了人眼對照明的需求，可防止人眼無法察覺和有害射線對視力造成不良影響。2、照明光源的參數(shù)照明光源的主要參數(shù)如下：色溫，單位是開爾文（K）：當光源所發(fā)出的光的顏色與“黑體”在某一溫度下輻射的顏色相同時，“黑體的溫度就稱為該光源的色溫?！昂隗w”的溫度越高，光譜中藍色的成分則越多，而紅色的成分則越少。例如：白熾燈的光色是暖白色，其色溫為2700K左右，而日光色熒光燈的色溫則是6400K左右。白熾燈的色溫一般在2700K左右、日光燈的色溫在2700-6400K左右、鈉燈的色溫在2000K左右。照度，單位被照面上接收到的光通量稱為照度。如果每平方米被照面上接收到的光通量為1（lm），則照度為1（lx）。單位：勒克斯（lx或Lux）。1勒克斯（lx）相當于每平方米被照面上光通量為1流明（lm）時的照度。在高速運動條件下拍攝圖像，曝光時間很短，只有高亮度的光源才能得到足夠亮度的圖像。例如：夏日陽光下100000Lx；陰天室外10000Lx；電視臺演播室1000Lx；距60W臺燈60cm桌面300Lx；室內(nèi)日光燈100Lx；黃昏室內(nèi)10Lx；20cm處燭光10-15Lx；晴朗的月夜地面照度約0.2lx。壽命，光源的半衰期要長，且在半衰期內(nèi)，光譜穩(wěn)定，亮度衰減小。發(fā)熱特性，光源的工作溫度要低，避免高溫損壞被檢測物。信噪比，信噪比高，抗干擾能力強。閃爍頻率，在交流、直流供電下，光源的閃爍頻率。外形尺寸，便于安裝。3、常用的光源顏色光源的顏色也對圖像的成像有影響。LED光源有多種顏色可以選擇，包括紅、綠、藍、白，還有紅外、紫外。針對不同檢測物體的表面特征和材質(zhì)，選用不同顏色，也就是不同波長的光源，能夠達到更加理想的拍攝效果。每一種光源都有自己的光譜，而相機的圖像都會受到光譜的影響。不同波長的光對物體的穿透力（穿透率）不同，波長越長，光對物體的穿透力越強；波長越短，光在物體表面的擴散率越大。下面以白色光、紅色光、綠色光和藍色光為例，說明在單色相機成像時，光源顏色對成像結(jié)果的影響。白色光對成像結(jié)果的影響如圖9.6（a）所示，紅色光對成像結(jié)果的影響如圖9.6（b）所示，綠色光對成像結(jié)果的影響如圖9.6（c）所示，藍色光對成像結(jié)果的影響如圖9.6（d）所示。（a）白色光對成像結(jié)果的影響（b）紅色光對成像結(jié)果的影響（c）綠色光對成像結(jié)果的影響（d）藍色光對成像結(jié)果的影響圖9.6不同顏色光源對成像結(jié)果的影響從上面不同顏色光源的特征可以發(fā)現(xiàn)，某種顏色的光源照射在同種顏色的物體上，視野中的物體就是發(fā)亮的。應用此特征可以過濾掉檢測中的無用信息，如使用紅色光源可以過濾掉紅色文字。同時可以應用互補色增加圖像的對比度，如紅色背景使用綠色光源等。光源顏色的適用范圍見表9.1。表9.1光源顏色的適用范圍光源顏色適用范圍白色適用性廣，亮度高，拍攝彩色圖像時使用較多紅色可以透過一些比較暗的物體，如底材黑色的透明軟板孔、綠色電路板（線路檢測）、透光膜（厚度監(jiān)測）綠色紅色背景產(chǎn)品、銀色背景產(chǎn)品藍色銀色背景產(chǎn)品（鈑金、車加工件等）、薄膜上的金屬印制品4、照明方式（1）背光照明入射光照明是指光源在相機和被檢測物之間，而背光照明使用從被檢測物背面照射的照明方式，被檢測物在相機與光源之間，如圖9.7所示。（a）背光照明（b）入射光照明圖9.7背光照明與入射光照明由于圖像分析的是入射光而不是反射光，所以背光照明可以獲得穩(wěn)定的高對比度圖像，可以強烈凸顯物體的輪廓特征，卻無法辨別物體的表面特性。背光照明適合物體的形狀檢測和半透明物體的檢測。通常應用于：機械零件的外形尺寸測量，電子零件，IC芯片的形狀檢測，膠片的污跡檢測，透明物體的劃痕檢測等。（2）同軸光源同軸光源（也叫漫射同軸燈、金屬平面漫反射照明光源）從側(cè)面將光線發(fā)射到半反射鏡上，反射鏡再將光線反射到工件上，提供了幾近垂直角度的光線，從而能夠獲得比傳統(tǒng)光源更均勻、更明亮的照明，提高圖像識別的準確性。如圖9.8所示。（a）同軸光源（b）同軸光源的工作原理圖9.8同軸光源使用同軸光源照明時，光線照射到工件后進入相機，在工件表面凹凸不平的部分產(chǎn)生漫反射，可以從被測物的不光滑表面上獲得帶有少量陰影的穩(wěn)定圖像。同軸光源能夠凸顯物體表面的不平整，克服表面反光造成的干擾，主要用于檢測物體平整光滑表面的碰傷、劃傷、裂紋和異物。同軸光源最適宜用于反射度極高的物體，如金屬、玻璃、膠片、鏡片等表面的劃痕檢測，芯片和硅晶片的破損檢測，條碼包裝識別等，部分應用實例如圖9.9所示。標準照明下同軸照明下標準照明下同軸照明下邊緣不明顯，因為漫反射和鏡面反射光都被CCD接收凹陷區(qū)域的光發(fā)生擴散，顯得較暗，從而能夠輕松識別邊緣各種成分的光線向所有角度反射，造成各個部件的圖像不一從彎曲到平坦的變化能清楚地識別，平坦區(qū)域在CCD中被良好地突出（a）沖壓部件的檢測（b）螺絲頭的檢測圖9.9同軸光源的應用實例（3）環(huán)形光源環(huán)形光源是指LED陣列成圓錐狀以斜角照射在被測物體表面，通過漫反射方式照亮一小片區(qū)域。與檢測目標的距離恰當時，環(huán)形光源可以突出顯示被測物體的邊緣和高度變化，突出原本難以看清的部分，適合用于邊緣檢測、金屬表面的刻字和損傷檢測，也可用于電子零件、塑膠成型零件上的文字檢查，可有效去除因小型工件表面的局部反射造成的影響。（4）條形光源使用條形光源可以均勻照射寬廣區(qū)域，其方向性好，尺寸靈活多變，結(jié)構(gòu)可自由組合，角度也可自由調(diào)整，條形光源可應用于金屬表面檢測、表面裂紋檢測以及LCD面板檢測等。（5）圓頂光源圓頂光源（又叫穹頂光源、DOME光源、連續(xù)漫反射光源）是指LED環(huán)形光源安裝在碗狀表面內(nèi)且向圓頂內(nèi)照射，來自環(huán)形光源的光通過高反射率的擴散圓頂進行漫反射，實現(xiàn)均勻照明的照明方式。對于形狀復雜的工件，圓頂光源可以將工件各個角度照亮，從而消除反光不均勻的地方，獲得工件整體的無影圖像。圓頂光源適用于各種形狀復雜的工件，通?？捎糜谝韵虑闆r：飲料罐上的日期文字檢查，手機按鍵上的文字檢查，金屬、玻璃等反射較強的體表面的檢測，彈簧表面的裂縫測等。（二）相機相機可以分為模擬式相機和數(shù)字式相機，現(xiàn)階段相機以數(shù)碼相機為主。數(shù)碼相機集光學技術、傳感技術、微電子技術、計算機技術和機械技術于一體，采用光電陣列圖像傳感器，將光點圖像信息轉(zhuǎn)換為對應的電信息，再加特定處理并進行存儲，是一個典型的光機電一體化產(chǎn)品。相機分為民用相機和工業(yè)相機。如圖9.10（a）所示為便攜式卡片數(shù)碼相機，10.10（b）為專業(yè)級單反數(shù)碼相機。圖9.10數(shù)碼相機數(shù)碼相機通常由鏡頭、圖像傳感器、A/D模數(shù)轉(zhuǎn)換器、MPU微處理器、LCD液晶顯示器、存儲卡、輸出接口等部分組成。如圖9.11所示。圖9.11數(shù)碼相機的組成數(shù)碼相機的鏡頭是由一塊或者多塊光學玻璃或塑料組成的透鏡組，用于收集光線，產(chǎn)生銳利的圖像，數(shù)碼相機使用四種鏡頭：定焦鏡頭：價格便宜且適合抓拍，但使用很受局限。自動調(diào)焦的光學變焦鏡頭：類似于攝像機的鏡頭，具備“廣角”與“遠攝”選項和自動聚焦功能。數(shù)字變焦鏡頭：在圖像傳感器中獲取像素并進行軟件數(shù)字插補，以形成完整大小的圖像，這種方法形成的圖像可能有顆粒感或模糊?？筛鼡Q鏡頭：高級單反數(shù)碼相機可以使用35mm相機使用的鏡頭。圖像傳感器是數(shù)碼相機的核心部件，其像素決定了數(shù)碼相機的成像質(zhì)量。圖像傳感器的尺寸通常小于24mm×35mm，但包含了幾百萬乃至上千萬個具有感光特性的光敏元件-光電二極管，每個光敏元件為一個像素。當有光線照射時候，光敏二極管就會產(chǎn)生光電子形成電荷累積，光線越強，電荷的累積就越多，這些累積的電荷經(jīng)過后續(xù)電路轉(zhuǎn)換為相應的像素數(shù)據(jù)，從而構(gòu)成數(shù)字圖像。根據(jù)累積電荷轉(zhuǎn)換電路的不同，圖像傳感器分為電荷耦合器件（ChargeCoupledDevice，CCD）和互補金屬氧化物半導體（ComplementaryMetalOxideSemiconductor，CMOS）。CCD器件轉(zhuǎn)換電路復雜，需要在同步信號控制下逐位讀取，信息讀取復雜，速度慢；三組電源供電，耗電量大，但技術成熟，成像質(zhì)量好，因此，CCD主要占據(jù)圖像傳感器的高端市場。CMOS電路簡單，成像質(zhì)量比CCD要低一些，占據(jù)圖像傳感器的中低端市場。與民用相機相比，工業(yè)相機在圖像穩(wěn)定性、抗干擾能力和傳輸能力上有著更大的優(yōu)勢，是組成圖像識別系統(tǒng)的關鍵部件。圖9.12中列出了與工業(yè)相機相關的各個關鍵參數(shù)，圖中的硬件包括相機主機和鏡頭、圖像傳感器和被測對象。圖中幾個重要參數(shù)的定義見表9.2。下面將介紹工業(yè)相機的主要組成部分及重要參數(shù)。圖9.12有關工業(yè)相機的各種參數(shù)表9.2工業(yè)相機的相關參數(shù)標號定義注釋①圖像圖像傳感器接收到的內(nèi)容②視野物體在某一方向上可被檢測到的區(qū)域，是物體將傳感器某一方向填滿圖像的區(qū)城③工作距離從鏡頭前端到被測物體表面的距離④傳感器尺寸傳感器的有效面積，典型的指標是水平尺寸⑤景深在整個聚焦范圍內(nèi)，能夠維持清楚成像對應的最大物體深度1、工業(yè)相機的核心—CCD圖像傳感器根據(jù)前面的介紹，CCD的作用就像傳統(tǒng)的膠片一樣，用來承載圖像，但它能夠把光學影像轉(zhuǎn)換成數(shù)字信號。CCD的成像點呈XY縱橫矩陣排列，每個成像點由一個光電二極管和其控制的一個鄰近電荷存儲區(qū)組成。光電二極管將光線轉(zhuǎn)換為電荷，聚集的電荷量與光線強度成正比。在讀取這些電荷時，各行數(shù)據(jù)被移動到緩存器中。每行的電荷信息被連續(xù)讀出，再通過電荷/電壓轉(zhuǎn)換器和放大器傳至圖像采集卡。2、焦距焦距，也稱為焦長，是光學系統(tǒng)中衡量光的聚集或發(fā)散的度量方式，指從透鏡中心到光聚集焦點的距離；也是相機中從鏡片光學中心到底片或圖像傳感器成像平面的距離。短焦距的光學系統(tǒng)往往比長焦距的光學系統(tǒng)具有更佳的聚光能力。焦距的計算方法：焦距=傳感器尺寸×鏡頭到物體的距離÷視野例如，根據(jù)圖9.13所示尺寸計算焦距。圖9.13焦距計算示例焦距f=1500mm×4.8mm÷250mm=28.8mm在設計上，是將鏡頭透鏡的主平面與底片或圖像傳感器的距離調(diào)整為焦距的長度，然后遠距離的物體就能在底片或CCD上形成清晰的影像。當鏡頭要拍攝比較接近的物體時，使鏡頭的主平面與CCD或膠片的距離發(fā)生變化，有限距離內(nèi)的物體便得以清晰成像。在應用上，如果工作離不變，可選擇定焦鏡頭；如果工作距離時變，可選擇變焦鏡頭。如果需要測量的景深大，則根據(jù)物像最近、最遠端都可清晰成像選擇焦距范圍。3、光圈和景深對于已經(jīng)制造好的鏡頭，不能隨意改變鏡頭的直徑，但是可以通過在鏡頭內(nèi)部加入多邊形或者圓形并且面積可變的孔狀光柵來達到控制鏡頭進光量的目的，這個裝置就是光圈。光圈是照相機上用來控制鏡頭孔徑大小的部件，用以控制景深、鏡頭成像質(zhì)量，同時可以和快門速度協(xié)同控制進光量，光圈的大小（或稱光圈系數(shù)、光圈值）用f值表示，有光圈f值=鏡頭的焦距÷光圈孔徑從上面的公式能夠看出，在焦距不變的情況下，f值越小，光圈孔徑越大，進光量越多，畫面比較亮，主體背景虛化越大；f值越大，光圈孔徑越小，進光量越少，畫面比較暗，主體前后越清晰。用于調(diào)節(jié)光圈大小的光圈環(huán)位于鏡頭上，上面顯示可調(diào)光圈系數(shù)（f值范圍為2-16）如圖9.14所示。調(diào)節(jié)光圈環(huán)下面有光圈值，對焦環(huán)上有對應的景深刻度，光圈值的顏色對應焦環(huán)上的景深刻度顏色。例如把光圈調(diào)為黃色的11，對應的景深就是上方黃色刻度線指示的數(shù)值位置，用米和英尺兩種單位表示。在實際應用中，需要根據(jù)不同的檢測要求設定不同的光圈和景深。圖9.14調(diào)節(jié)光圈的光圈環(huán)圖9.15光圈大小與孔徑和進光量的關系事實上，我們在圖9.14上看到的光圈值是通過一定規(guī)律排列的，光圈系數(shù)序列中相鄰兩個光圈系數(shù)的平方比約為1：2。例如，2×22≈2.82，2×2.82≈42，…。光圈孔徑和f值成反比，進光量和光圈孔徑的平方成正比，也就是和f值的平方成反比，如圖9.15所示。因此，光圈環(huán)轉(zhuǎn)動格，進光量相差一倍。對于上文中提到的“主體背景虛化”、“主體前后清晰”，其實還有一個更加專業(yè)的名詞來形容這種圖像效果—景深，如圖9.16所示。圖9.16景深在光學中，尤其是錄影或是攝影，景深是一個描述在空間中可以清楚成像的距離范圍的術語。雖然鏡頭只能夠?qū)⒐饩奂侥骋还潭ǖ木嚯x（即焦距），遠離此點則會逐漸模糊，但是在某一段特定的距離內(nèi)，影像模糊的程度是肉眼無法察覺的，這段距離就是景深。景深之內(nèi)的影像比較清楚，景深之外的影像則比較模糊。景深通常由物距、鏡頭焦距以及鏡頭的光圈值所決定。如果固定光圈值，則增加放大率時，不論是更靠近拍攝物或是使用更長焦距的鏡頭，都會減少景深的距離；減少放大率時，則會增加景深。如果固定放大率，則增加光圈值會增加景深，減少光圈值會減少景深。4、快門速度快門速度是攝影中常用的用于表達曝光時間的專門術語，即相機快門開啟的有效時間長度。總的曝光量和曝光時間成正比，也可以說是和光到達膠片或圖像傳感器的持續(xù)時間成正比?？扉T速度和鏡頭的光圈大小一起決定光到達膠片或圖像傳感器的量。（三）圖像采集卡早期的相機多數(shù)使用CCD的線陣TTL工藝傳感器，這種傳感器成像后輸出的是模擬信號，想要傳輸?shù)接嬎銠C進行處理和存儲，就需要通過圖像采集卡進行A/D轉(zhuǎn)換，再通過計算機總線實時傳送到內(nèi)存和顯存?，F(xiàn)今使用的CCD相機能夠直接采集到數(shù)字圖像，這時圖像采集卡的作用就僅是將數(shù)字信號通過計算機總線傳輸?shù)接嬎銠C內(nèi)存或顯存，方便計算機對現(xiàn)場采集的圖像進行實時處理和存儲。圖像采集卡實際上是一塊板卡，如圖9.17所示為研華PCIe-1674PC/1672PC視頻采集卡，可以連接在計算機的PCIe擴展槽上（就是顯卡旁邊的插槽），其主要功能就是完成圖像數(shù)字化處理與傳輸。圖9.17研華視頻采集卡不同型號圖像采集卡的區(qū)別主要表現(xiàn)在輸入信號、圖像質(zhì)量、總線形式、處理功能等方面。在選擇圖像采集卡時，首先需要考慮的就是相機的輸出信號類型（模擬信號還是數(shù)字信號），據(jù)此來選擇不同的圖像采集卡。圖像質(zhì)量由于不同板卡使用的芯片及設計的不同有較大差異。同時，不同用途的圖像采集卡的圖像質(zhì)量及價格也有很大的差別。目前使用較多的總線有PCI、PC/104-Plus、PCI-E、MimiPCI及筆記本所用的PCMCIA總線。PCI總線使用最多，多數(shù)計算機及工控機均使用PCI總線，這種傳輸方式幾乎不占用CPU，留給CPU更多的時間去進行圖像的其他運算與處理。PCI總線的缺點是總線的抗震動能力不強，總線帶寬限133MB，圖像傳送速度平均50~90MB，對于大量數(shù)據(jù)無法傳輸。PCI-Express（（簡寫為PCI-E或PCIe）是繼PCI總線后新發(fā)展的計算機總線，由Intel公司開發(fā)并于2004年推出，其4.0版本于2017年發(fā)布，且計劃于2019年發(fā)布5.0版本。由于PCI-Express具有高帶寬的優(yōu)勢，因此支持PCI-Express總線的主板越來越多。三、圖像識別工作內(nèi)容（一）圖像和圖像采集1、圖像的概念圖像是人對視覺感知的物質(zhì)再現(xiàn)。這個詞匯是圖像識別技術的基礎，圖像采集、圖像處理和圖像分析都是與圖像相關的概念。圖像可以由光學設備獲取，如相機、鏡子、望遠鏡及顯微鏡等；也可以人為創(chuàng)作，如手工繪畫。圖像可以記錄、保存在紙質(zhì)媒介、膠片等對光信號敏感的介質(zhì)上；而隨著信號處理理論和數(shù)字采集技術的發(fā)展，越來越多的圖像以數(shù)字形式存儲。所以，本項目中“圖像”一詞實際上是指數(shù)字圖像。圖像分為靜態(tài)圖像（如圖片、照片等）和動態(tài)圖像（如視頻等）兩種。下面將對數(shù)字圖像的三個參數(shù)—像素、分辨率和色彩空間進行介紹，讓大家更加了解圖像。（1）像素像素是圖像顯示的基本單位，通常被視為圖像的最小完整采樣。像素的英文單詞是pixel，其中pi為英語單詞picture的常用簡寫，加上英語單詞element（元素），就得到了pixel，故“像素”表示“圖像元素”，有時也被稱為pel（pictureelement）。每個像素都承載著圖像中的信息，在很多情況下，它們采用點或者方塊顯示，如圖9.19所示。單從像素的概念來說，每個這樣的信息元素并不能簡單地看作一個點或者一個方塊，而是一個信息集合的抽象采樣。通常每個像素都含有以下信息：圖像中的位置（行，列）位置光強度黑白圖像的灰度值彩色圖像的RGB色彩值圖9.19像素圖像是一個個取樣點的集合，單位面積內(nèi)的像素越多代表分辨率越高，所顯示的圖像就會越接近于真實物體。這也是選購相機時人們關注的相機參數(shù)中通常會有分辨率的原因。兆像素（Megapixels，MP）是指“一百萬個像素”，通常用于表示數(shù)碼相機的分辨率。例如，一個相機可以使用2048×1536像素的分辨率，通常稱其有“310萬像素”（2048×1536=3145728，通常只取前兩位作有效數(shù)字）。（2）分辨率分辨率泛指圖像或顯示系統(tǒng)對細節(jié)的分辨能力。日常用語中的分辨率多用于表示圖像清晰度，分辨率越高，代表圖像質(zhì)量越好，越能表現(xiàn)出更多的細節(jié)。我們經(jīng)常接觸到的有屏幕分辨率和圖像分辨率。屏幕分辨率是屏幕每行的像素點數(shù)乘以每列的像素點數(shù)。每個屏幕都有自己的分辨率，屏幕分辨率越高，所呈現(xiàn)的色彩越多，清晰度越高。這個概念常常被用在計算機顯示器、電視、投影儀和手機上。比如人們?nèi)ミx購顯示器時所說的分辨率1920×1080，就是指這個顯示器能夠達到的最大分辨率。圖像分辨率是指每英寸圖像內(nèi)的像素點數(shù)。分辨率越高，像素的點密度越高，圖像越逼真；但相對的，因為記錄的信息過多，文件也就會越大。這就是為什么做大幅的噴繪時，要求圖片分辨率要盡可能高，就是為了保證每英寸的畫面上擁有更多的像素點。圖9.20所示為不同分辨率的圖像差別。1×12×25×510×1020×2050×50100×100圖9.20不同分辨率的圖像差別（圖中的N×N表示的是相鄰邊的像素數(shù)）本項目主要介紹圖像分辨率。描述圖像分辨率的單位有DPI（點每英寸）、LPI（線每英寸）PPI（像素每英寸）。LPI是描述光學分辨率的尺度的，雖然DPI和PPI也同屬于分率范疇內(nèi)的單位，但是它們的含義與LPI不同，而且LPI與DPI無法轉(zhuǎn)換，只能憑經(jīng)驗估算。另外，PPI和DPI經(jīng)常會出現(xiàn)混用現(xiàn)象，但是它們所用的領域也存在區(qū)別。從技術角度說，“像素“只存在于計算機顯示領城，而“點“只出現(xiàn)于打印或印刷領域。很顯然，適用于項目內(nèi)容的分辨率單位是PPI，其計算公式為式中，X表示長邊像素數(shù)，Y表示寬邊像素數(shù)，Z表示圖像對角線長度。根據(jù)此公式可知，如果保持圖像的尺寸不變，將圖像的分辨率提高一倍，則圖像的像素數(shù)變?yōu)樵瓉淼?倍，即圖像文件的大小也變?yōu)樵瓉淼?倍。（3）色彩空間我們知道在繪畫時可以使用紅色、黃色和藍色這三種原色生成色彩空間不同的顏色，而這些顏色就定義了一個色彩空間。將品紅色的量定義為X坐標軸、青色的量定義為Y坐標軸、黃色的量定義為Z坐標軸，這樣就得到一個三維空間，每種可能的顏色在這個三維空間中都有唯一的一個位置。但是，這并不是唯一的一個色彩空間。例如，在計算機監(jiān)視器上顯示顏色的時候，通常使用RGB（紅色、綠色、藍色）色彩空間進行定義，紅色、綠色，藍色被當作X、和z坐標軸。也就是說、任意種顏色在RGB空間中都能找到一個唯一的三維坐標值（R、G、B）。每個坐標值的范圍都是0~255，由8位二進制數(shù)保存（28=256）。如圖9.21（a）所示為顏色設置對話框中的RGB模式。當紅色、綠色、藍色取值均為0時，為黑色；紅色、綠色、藍色取值均為255時，為白色?？梢酝ㄟ^拖動圖中右側(cè)的滾動條觀察三種顏色取值的變化，體會顏色與R、G、B數(shù)值的對應關系。除了RGB色彩空間之外，常用的還有HSL色彩空間，其采用圓柱坐標系表示色調(diào)（Hue）、飽和度（Saturation）和亮度（Lightness）。如圖9.21（b）所示顏色設置對話框中的HSL模式。一樣可以通過調(diào)整色調(diào)、飽和度和亮度來獲取不同的顏色。（a）RGB顏色模式（b）HSL顏色模式圖9.21顏色設置對話框中不同的顏色模式2、數(shù)字圖像的獲取最初相機獲得的圖像由連續(xù)的、有不同色彩及亮度等屬性的顏色點組成，以模擬圖像的形式存在。如果想要利用數(shù)字計算機處理模擬圖像，就必須將模擬圖像轉(zhuǎn)換為用數(shù)字方式表示的數(shù)字圖像文件，即數(shù)字圖像。將模擬圖像轉(zhuǎn)換成數(shù)字圖像的過程稱為圖像數(shù)字化過程。數(shù)字圖像的采集過程可以概括為：首先，光經(jīng)過鏡頭聚焦在圖像傳感器上；然后，圖像傳感器將光信號轉(zhuǎn)變?yōu)殡娦盘枺瑐鬏斀oA/D轉(zhuǎn)換器，由A/D轉(zhuǎn)換器完成數(shù)字化變換；最后，由圖像采集卡輸出到圖像處理裝置。圖9.22所示為數(shù)字圖像采集過程示意圖。圖9.22數(shù)字圖像采集過程示意圖A/D轉(zhuǎn)換器的數(shù)字化過程又可以細分為采樣和量化兩個步驟。采樣就是將圖像在空間上離散化，通常是將在二維空間上連續(xù)的圖像在水平和垂直方向上等間隔地分割成矩形的網(wǎng)狀結(jié)構(gòu)，進而得到若干個被稱為像素的方形小區(qū)域。經(jīng)過采樣后，圖像在空間上離散為像素，但像素的顏色幅值仍為連續(xù)量。將采樣所得的各像素的顏色幅值進行離散化的過程，稱為量化。經(jīng)過采樣和量化后，每一幅圖像都被離散化為一個個像素，成為一個由像素組成的二維矩陣，矩陣中的每個元素對應了一個像素，如圖9.23所示。每一個像素里保存著該像素的顏色或亮度信息，其值可以為RCB圖像的向量，也可以為灰度圖像的0-255之間的某一個數(shù)值，或者是二值圖像的0或1。圖9.23像素矩陣化的圖像信息（二）圖像處理與其他類型的傳感器提供的信息不同，圖像信息豐富多樣，圖像處理需要從圖像中提取數(shù)字信息，從而得到用戶對場景中感興趣的目標。圖像處理，就是對圖像進行分析、加工和處理，使其滿足圖像識別以及其他要求的技術。圖像處理是信號處理在圖像領域上的一個應用，目前大多數(shù)的圖像是以數(shù)字形式存儲的，因而圖像處理在多數(shù)情況下指數(shù)字圖像處理。圖像處理是信號處理的子類，與計算機科學、人工智能等領域也有密切的關系。很多傳統(tǒng)的一維信號處理的方法和概念仍然可以直接應用在圖像處理上，比如降噪、量化等。然而，圖像屬于二維信號，和一維信號程比，它有自己特殊的一面，處理的方式和角度也有所不同。下面將介紹幾種基礎而典型的圖像處理方式，方便大家理解圖像都能做些什么，是如何方便后續(xù)圖像分析的。1、顏色處理（1）灰度變換灰度圖像是每個像素只有一個采樣顏色的圖像，得到灰度圖像的過程被稱為灰度變換。如圖9.24所示為九寨溝珍珠灘瀑布的標準圖像與灰度圖像的對比。圖9.24標準圖像與灰度圖像的對比灰度值為像素光強弱信息的表示，是真實世界圖像量化的表現(xiàn)方法。通?；叶戎祻淖詈诘阶畎诪?~255。光線進入CCD感光元件，如果光強達到CCD感應的極限，此像素為純白色，對應于內(nèi)存中該像素灰度值為255；如果完全沒有光線進入CCD，此像素為純黑色，對應于內(nèi)存中該像素灰度值為0?；叶葓D像的每個像素通常由8位二進制數(shù)來保存，這樣就可以有256種灰度表示（0~255）。這種精度剛剛能夠避免可見的條帶失真，并且非常易于編程。在介紹RGB色彩空間時提到過，每一種顏色都可以由個分別代表紅、綠、藍的三維向量表示，向量中每個分量都需要由8位存儲，那么每個像素點需要24位，因此彩色圖像的信息量較大。灰度圖像與RGB圖像相比，后續(xù)圖像處理的計算量大大減少。與黑白雙色圖像不同，灰度圖像中的不同像素在黑色與白色之間還有許多級的顏色深度，這些顏色深度經(jīng)常是在單個電磁波頻譜（如可見光）內(nèi)測量每個像素的亮度得到的。但要注意的是，在數(shù)字圖像領域之外，“黑白圖像”也表示“灰度圖像”，就如灰度的照片通常也稱為“黑白照片”。在醫(yī)學圖像與遙感圖像這些技術應用中，經(jīng)常采用更多的存儲級數(shù)以充分利用每個采樣10位或12位的傳感器精度，并且避免計算時的近似誤差。在這樣的應用領域流行使用16位即65536個灰度（或65536種顏色）。（2）二值化二值化是進行圖像分割前經(jīng)常使用的一種顏色處理方法。在二值化圖像時，會把大于某個臨界灰度值（閾值）的像素灰度設為灰度極大值（255，即白色），把小于這個值的像素灰度設為灰度極小值（0，即黑色），從而實現(xiàn)二值化。根據(jù)閾值選取的不同，二值化的算法分為固定閾值和自適應閾值。比較常用的二值化方法有雙峰法、P參數(shù)法、迭代法和OTSU法（最大類間方差法）等。二值圖像是圖像二值化的結(jié)果，每個像素只有黑色與白色兩個可能值而沒有中間顏色。也就是說，二值圖像是一個對比清晰、非黑即白的單色圖像，如圖9.25所示。人們經(jīng)常用黑白、B&W、單色圖像表示二值圖像。但是其他領域也用上述這些詞匯來表示每個像素只有一個采樣值的任何圖像，例如灰度圖像等。圖9.25灰度圖像與二值圖像的對比二值圖像經(jīng)常出現(xiàn)在數(shù)字圖像處理中，使用位圖格式存儲。一些輸人/輸出設備，如激光打印機、傳真機、單色計算機顯示器等都可以處理二值圖像。2、幾何變換幾何變換是指從具有幾何結(jié)構(gòu)的集合至其自身或其他此類集合的一種映射。具體來說，幾何變換是一個函數(shù)，其定義域與值域為點集合。幾何變換可以按其操作集合的維度來分類（可分為平面變換與空間變換），也可依據(jù)其保留的性質(zhì)來分類，如圖9.26所示。平移：保留距離與方向角度。歐氏：保留距離與角度。相似：保留距離間的比例。仿射：保留平行關系投影：保留共線性圖9.26各種幾何變換3、圖像分割與邊緣檢測圖像分割指的是將數(shù)字圖像細分為多個圖像子區(qū)域，并提取出感興趣目標的過程。它是由圖像處理到圖像分析的關鍵步驟，其目的是簡化或改變圖像的表示形式，使得圖像更容易被理解和分析。圖像分割通常用于定位圖像中的物體和邊界（線、曲線等），大量應用了上文中提到的灰度變換和二值化。更精確地說，圖像分割是對圖像中的每個像素加標簽的一個過程，這一過程使得具有相同標簽的像素具有某種共同特性。圖像分割的結(jié)果是圖像上子區(qū)域的集合，或是從圖像中提取的輪廓線的集合（例如邊緣檢測）。子區(qū)域中的每個像素在某種特性的度量下或是由計算得出的特性都是相似的，例如顏色、亮度、紋理；相鄰區(qū)域在此種特性的度量下則有很大的不同。前面提到圖像分割包含邊緣檢測，在介紹邊緣檢測前，先簡要說明下二者的聯(lián)系與區(qū)別，方便大家理解。圖像分割是將目標分割出來，針對的是目標對象；而邊緣檢測是通過圖像的梯度變化將圖像中梯度變化明顯的地方檢測出來，針對的是邊緣信息。二者雖然有包含關系，但針對的目標有所不同。邊緣檢測是圖像處理中，尤其是特征檢測中的一個研究領域，其目的是標識數(shù)字圖像中亮度變化明顯的點。未經(jīng)處理的灰度圖像如圖9.27（a）所示，經(jīng)過邊緣檢測處理后如圖9.27（b）所示。圖像屬性中的顯著變化通常反映了屬性的重要事件和變化，包括深度上的不連續(xù)、表面方向不連續(xù)、物質(zhì)屬性變化和場景照明變化。（a）灰度圖像（b）邊緣檢測（c）降噪處理圖9.26邊緣檢測與降噪處理圖像邊緣檢測大幅度減少了數(shù)據(jù)量，并且剔除了重要性較低的信息，保留了圖像重要的結(jié)構(gòu)屬性。實現(xiàn)邊緣檢測有許多方法，絕大部分可以劃分為兩類：基于查找和基于零穿越?；诓檎业姆椒ㄊ峭ㄟ^尋找圖像灰度值一階導數(shù)中的最大和最小值來檢測邊界，通常是將邊界定位在梯度最大的方向；基于零穿越的方法是通過尋找圖像二階導數(shù)零穿越來尋找邊界，通常是拉普拉斯算子過零點或者非線性差分表示的過零點。4、降噪圖像噪聲是圖像中一種亮度或顏色信息的隨機變化（被拍攝物體本身并沒有），通常是電子噪聲的表現(xiàn)，如圖9.26（c）所示。它一般是由相機的傳感器和電路產(chǎn)生的，也可能是受膠片顆粒或者圖像傳感器中不可避免的散粒噪聲影響產(chǎn)生的。圖像噪聲是圖像拍攝過程中不希望存在的副產(chǎn)品，給圖像帶來了錯誤和額外的信息。圖像噪聲的強度范圍可以小至具有良好光照條件的數(shù)字圖片中難以察覺的微小的噪點，大到光學天文學或射電天文學中幾乎滿畫面的噪聲，在這種情況下（圖像中的噪聲水平過高，以至于無法確定其中的目標是什么），只能通過非常復雜的手段獲取到一小部分有用信息。圖像降噪的目的是移除圖像中不必要的噪聲，保留圖像中較為重要的細節(jié)信息，使得到的圖像看起來清晰且干凈。不論是使用數(shù)碼相機是傳統(tǒng)的底片，拍攝出的圖像時常會產(chǎn)生各種不同的噪聲?，F(xiàn)今的生活中有大量的數(shù)字影像拍攝的品質(zhì)不盡良好，即便是使用了良好的數(shù)碼相機，圖像降噪等后制的影像重建技術仍被廣泛利用，占有重要的一席之地。（三）圖像分析1、圖像分析用途圖像分析和圖像處理關系密切，兩者有一定程度的交叉，但是又有所不同。圖像處理側(cè)重于信號處理方面的研究，如圖像對比度的調(diào)節(jié)、圖像編碼、降噪等。而圖像分析的側(cè)重點在于研究圖像的內(nèi)容，包括但不局限于使用圖像處理的各種技術，它更傾向于對圖像內(nèi)容的分析、解釋和識別。因而，圖像分析和計算機科學領域中的模式識別、計算機視覺關系更密切一些。圖像分析一般利用數(shù)學模型并結(jié)合圖像處理的技術來分析圖像的特征和結(jié)構(gòu)，從而提取特定的信息，達到識別的目標。2、模板匹配模板匹配的本質(zhì)是基于圖像內(nèi)容的檢索，屬于圖像分析領域最常用的技術之一。其目的是在給定查詢圖像的前提下，依據(jù)內(nèi)容信息或指定查詢標準，在圖像數(shù)據(jù)庫中搜索并查找出符合查詢條件的相應圖像。互聯(lián)網(wǎng)上傳統(tǒng)的搜索引擎，包括百度、Google都推出了相應的圖片搜素功能，但是這種搜索主要是基于圖片的文件名建立索引來實現(xiàn)查詢功能（或許也利用網(wǎng)頁上的文字信息）。這種從查詢文字、文件名，最后到圖片查詢的機制并不是基于圖像內(nèi)容的檢索。基于圖像內(nèi)容的檢索指的是查詢條件本身就是一個圖像，或者是對于圖像內(nèi)容的描述，其建立索引的方式是通過提取圖像的底層特征，然后計算比較這些特征和查詢條件之間的異同，來決定兩個圖片的相似程度。這里使用百度識圖來進行說明，百度識圖提供了人物、商品、建筑、藝術、影視、美食、游戲等圖片的識別功能。如圖9.28所示為植物識別功能。用戶想要在網(wǎng)上搜索某種不認識的植物，可以通過手機或相機拍攝該植物的相片，上傳到百度識圖。通過在軟件的內(nèi)部進行圖像特征提取，然后在網(wǎng)站的數(shù)據(jù)庫中跟眾多商品的圖像進行查詢和比對，即可找到符合特征條件的植物。圖9.28模板匹配搜索模板匹配的核心包括以下三部分。（1）特征提取從廣義上講，圖像特征包括基于文本的特征（如關鍵字、注釋等）和視覺特征（如色彩、紋理、形狀、對象表面等）兩類。視覺特征又可分為通用的視覺特征和領域相關的視覺特征。前者用于描述所有圖像共有的特征，與圖像的具體類型或內(nèi)容無關，主要包括色彩、紋理和形狀，這些特征又被稱為底層特征；后者則建立在對所描述圖像內(nèi)容的某些先驗知識（或假設）的基礎上，與具體應用緊密相關，如人的面部特征或指紋特征等?？商崛〉膱D像特征可以包括顏色、紋理、平面空間對應關系、外形或者其他統(tǒng)計特征。圖像特征的提取與表達是模板匹配的基礎。（2）相似度測量從圖像中提取的特征可以組成一個向量，兩個圖像之間可以通過定義一個距離或者相似性的測量度來計算相似度。（3）模板查詢模板查詢有著不同的查詢方式，典型的三個查詢方式如下。按例查詢：用戶提供一個查詢圖像，在數(shù)據(jù)庫中搜索相似圖像。按繪查詢：用戶在類似畫筆的接口上進行簡單的繪畫，以此為標準進行查詢。按描述查詢：例如指定條件可以是30%的黃色、70%的藍色等。3、其它功能（1）識別物體幾何中心位置在制造裝配等應用中、物體的位置起著十分重要的作用。工業(yè)應用中、物體通常出現(xiàn)在已知表面（如工作臺面）上，而且相機相對臺面的位置也是已知的。在這種情況下，圖像中物體的位置決定了其空間位置。確定物體中心位置的方法很多，如采用物體的外接矩形、物體矩心（區(qū)域質(zhì)心）等來表示物體的位置。當物體的邊球已知時，可用其外接矩形的尺寸來刻畫它的基本形狀圖9.29所示。求物體在坐標系方向上的外接矩形，只需計算物體邊限點的最大和最小坐標值，就可以得到物體的水平和重直跨度。圖9.29區(qū)域外接矩形在工件的分揀操作中，工件的位置信息通常采用質(zhì)心坐標來表示，從而方便機械手臂抓取目標工件。一般情況下，圖像中的物體并不是一個點，因此采用物體或區(qū)域面積的中心點作為物體的位置。區(qū)域質(zhì)心是通過對圖像進行“全局”運算得到的一個點，因此它對圖像中的噪聲相對來說是不敏感的。對于二值圖像，物體的中心位置與物體的質(zhì)心位置相同。（2）識別物體顏色顏色是彩色圖像的直特征之一，其描述方法與所采用的顏色模型有關，常用的顏色模型有RGB和HSL。為了更好地根據(jù)顏色特征實時檢測和識別生產(chǎn)線上的工件，可以先采用圖像處理軟件的檢測工具將工件圖像的顏色信息記錄下來。通常在同一背景下對工件進行判別。當相機定位好后，調(diào)用示教模塊先記錄下工件的顏色信息，然后在工作時調(diào)用顏色識別模塊對工件進行判別，示教的目的是讓程序記住工件的局部顏色信息以及工件的位置。在識別工件時，可以只對已經(jīng)示教過的區(qū)域進行求解，采用對比的檢測方法，以灰度或者色彩對比的方式獲取當前圖像和模型的相似程度，但采用這種方式時產(chǎn)品色彩細微的差異比較容易導致相似度的下降。（3）識別物體形狀形狀識別是指采用邊界輪廓對比的方式（邊緣檢測）獲取當前圖像和模型的相似程度，產(chǎn)品色彩細微的差異不容易導致相似度的下降。根據(jù)采用的方式不同，識別物體形狀大致可以分為以下幾類：基于局部圖像函數(shù)的算法、圖像濾波、多尺度算法、基于反應一擴散方程的方法、多分辨率方法、基于邊界曲線擬合的方法、主動輪廓線方法等。在實踐時，由于形狀檢測處理的數(shù)據(jù)量較小，因此可以高速地進行檢測。但若選中的模型（模板）太大，則檢測速度會下降。（4）識別旋轉(zhuǎn)角度角點是最適合計算工件旋轉(zhuǎn)角度的特征。角點檢測算法主要分為基于圖像邊緣和基于圖像灰度兩類。前者在圖像分割的基礎上提取邊界構(gòu)成鏈碼，并將邊界上轉(zhuǎn)折較大的點看作角點，該算法過于復雜，且計算量較大，而后者避開了這些缺陷。（四）結(jié)果輸出1、輸出對象和輸出內(nèi)容（1）結(jié)果輸出對象圖像識別的結(jié)果由視覺系統(tǒng)的存儲單元發(fā)出，結(jié)果輸出對象通常分為兩種：顯示設備（如顯示屏）和上位機。顯示屏顯示的內(nèi)容往往是軟件界面、相機捕捉畫面等內(nèi)容，以方便用戶操作和監(jiān)控識別系統(tǒng)。通常應用在工業(yè)機器人識別系統(tǒng)中的上位機有PLC、PC和機器人控制器。（2）輸出內(nèi)容圖像識別系統(tǒng)的輸出內(nèi)容見表9.3。表9.3圖像識別系統(tǒng)的輸出內(nèi)容種類內(nèi)容狀態(tài)信號由視覺控制器確認控制信號或命令輸入并開始測量后，利用狀態(tài)狀態(tài)信號（如常見的可檢測/正在檢測等）向外部裝置通知傳感器的狀態(tài)判定結(jié)果判定結(jié)果雖然是個Bool值，只有是或否（通過/不通過）兩種可判定結(jié)果能，卻可以代表多種內(nèi)容，如目標形狀是否匹配、顏色是否匹配、數(shù)量是否匹配等。在包含多個處理項目的判定結(jié)果中，只要有一個項目判定為不通過，就會輸出不通過的結(jié)果測量值測量值可根據(jù)用戶自己的設定，輸出不同的數(shù)值，如目標的位置測量值信息（X軸坐標、Y軸坐標、旋轉(zhuǎn)角度等）、數(shù)量信息、測量的長度等字符串輸出可以用于輸出從條形碼、二維碼中讀取的字符串或字符串輸出數(shù)字2、與上位機的通信方法對圖像識別系統(tǒng)而言，通信非常重要，它是共享數(shù)據(jù)、支持決策和實現(xiàn)高效率一體化流程的一種方式。圖像識別控制系統(tǒng)的上位機通常是PC、PLC或工業(yè)機器人控制器。聯(lián)網(wǎng)后，視覺系統(tǒng)可以向PC傳輸檢測結(jié)果以進行進一步分析。工業(yè)中更常見的是直接傳輸給集成過程控制系統(tǒng)的PLC、機器人和其他工廠自動化設備。不同品牌的圖像識別控制系統(tǒng)有其支持的不同通信方式，不同品牌的PLC及工業(yè)機器人控制器也有不同的接口。要把圖像識別系統(tǒng)集成到工廠的機器人成其他自動化裝置上需要找到一種二者相互支持的通信方式或協(xié)議。常見的通信方式和協(xié)議如下。（1）并行通信通過并行接口，在圖像識別系統(tǒng)和外部裝置之間進行通信。（2）串行通信通過RS-232或RS-485串行接口，可以與絕大多數(shù)的機器人控制器通信。（3）工業(yè)以太網(wǎng)協(xié)議允許通過以太網(wǎng)網(wǎng)線連接PC和其他裝置，無需復雜的接線方案和價格高昂的網(wǎng)絡網(wǎng)關。常見的以太網(wǎng)協(xié)議有以下幾種。①TCP/IP客戶機/服務器讓圖像識別系統(tǒng)能夠輕易通過以太網(wǎng)與其他系統(tǒng)和控制裝置共享數(shù)據(jù)，無須開發(fā)代碼。②現(xiàn)場總線網(wǎng)絡通常需要一個協(xié)議網(wǎng)關附件將圖像識別系統(tǒng)添加到現(xiàn)場總線網(wǎng)絡，往往不同品牌的產(chǎn)品會使用不同的網(wǎng)絡通信協(xié)議，但其本質(zhì)都是以太網(wǎng)通信如西門子常用的PROFINET，歐姆龍常用的EtherCAT，施耐德的ModbusTCP/IP等，可根據(jù)現(xiàn)場實際情況來選用合適的品牌。圖像識別控制器與上位機根據(jù)接口的不同通過不同的通信線纜連接，并根據(jù)各種通信協(xié)議進行通信。常用的幾種通信連接如圖9.30所示。圖9.30視覺系統(tǒng)的通信連接圖中三種道信方式的優(yōu)缺點見表9.4。表9.4圖像識別系統(tǒng)不同通信方式的優(yōu)缺點通信方式優(yōu)點缺點并行通信因為可以多位數(shù)據(jù)一起傳輸，所以傳輸速度很快內(nèi)存有多少位，就要用多少數(shù)據(jù)線，所以需要大量的數(shù)據(jù)線，成本很高。在高速傳輸狀態(tài)下，并行接口的幾根數(shù)據(jù)線之間存在串擾；而且并行接口需要信號同時發(fā)送同時接收，任何一根數(shù)據(jù)線的延遲都會引起問題串行通信使用的數(shù)據(jù)線少，在遠距離通信中可以節(jié)約通信成本。在高速傳輸狀態(tài)下，串行只有一根數(shù)據(jù)線，不存在信號線之間的串擾，而且串行通信還可以采用低壓差分信號，大大提高抗干擾性，實現(xiàn)更高的傳輸速率因為每次只能傳輸一位數(shù)據(jù)，所以傳輸速率比較低工業(yè)以太網(wǎng)通信實時性強。一定的時間內(nèi)發(fā)送一個指令一定要被處理，不然通信就會失敗區(qū)別于其他的運行環(huán)境，工業(yè)以太網(wǎng)對溫度、干擾要求會更高（五）圖像識別系統(tǒng)的應用1、圖像識別系統(tǒng)開發(fā)步驟圖像識別系統(tǒng)開發(fā)也是一個系統(tǒng)工程，需要按照以下步驟進行開發(fā)。（1）需求了解、分析、確認；（2）樣品準備、測試；（3）系統(tǒng)軟、硬件選型；（4）系統(tǒng)開發(fā)設計；（5）現(xiàn)場試運行、大量測試；（6）系統(tǒng)的局部修改和完善；（7）系統(tǒng)驗收；（8）人員培訓與系統(tǒng)維護。2、三角測量三角測量在三角學與幾何學上是一借由測量目標點與固定基準線的已知端點的角度，測量目標距離的方法。一個景像點和它在兩個相機中的成像點形成一個三角形，如果已知兩個相機之間的基線距離l和相機發(fā)射光線形成的夾角，則到物體的距離就可以計算出來，如圖9.31所示。圖9.31三角測量原理（9-1）或者（9-2）3、圖像識別系統(tǒng)應用案例工業(yè)生產(chǎn)中絕大多數(shù)機器人的圖像識別系統(tǒng)是配合輸送鏈搭建的，工業(yè)機器人只起到執(zhí)行工件取放的作用。輸送鏈面臨的問題：由于輸送鏈始終是運動的，且很多輸送鏈的速度可調(diào)，這就造成圖像識別系統(tǒng)如果在此時捕捉到的工件，在工業(yè)機器人動作的彼時位置就發(fā)生了變化。為了知道某一時刻待處理工件在輸送鏈上的準確位置，引入輸送鏈跟蹤系統(tǒng)的概念。顧名思義，輸送鏈跟蹤系統(tǒng)能夠跟蹤輸送鏈上的工件，使執(zhí)行裝置能夠知曉某一時刻輸送鏈上工件的準確位置。尤其是隨著工業(yè)機器人在物流、包裝等行業(yè)越來越多的應用，輸送鏈跟蹤系統(tǒng)與機器人系統(tǒng)的組合也成了一種常見的組合形式。在輸送鏈跟蹤的硬件組態(tài)中，首先需要一條輸送鏈，輸送鏈上需要固定一個同步開關。同步開關用于記錄工件通過同步開關的時刻，工件通過同步開關時即觸發(fā)一個同步信號，記錄工件初始位置，搭配增量式編碼器可以計算出工件與同步開關的相對位置。對于圖像識別伺服系統(tǒng)來說，多數(shù)采用的是相機觸發(fā)機制，這里可將相機當作同步開關。同步開關可以有不同的觸發(fā)方式，常見的同步開關還有紅外線觸發(fā)、手動觸發(fā)、連續(xù)觸發(fā)等。對于相機觸發(fā)機制，每當工件通過相機下方，即觸發(fā)一個信號，此信號就作為機器人的同步信號。編碼器安裝在輸送鏈的驅(qū)動單元上，以記錄輸送鏈的位移。輸送鏈跟蹤系統(tǒng)如圖9.32所示。圖9.32輸送鏈跟蹤系統(tǒng)[項目實踐]現(xiàn)有某型活塞零件需要進行視覺檢測和掃碼入庫，其工藝流程如下。（1）機器人將活塞零件移動至視覺檢測位置。（2）視覺檢測系統(tǒng)檢測活塞零件，頂部LOGO形狀。（3）如果檢測結(jié)果為零件合格，那么機器人在活塞零件上貼標簽，標簽信息通過掃碼記錄。（4）如果檢測結(jié)果為零件不合格，那么機器將活塞放入廢品。根據(jù)以上要求，選擇合適的機器人視覺系統(tǒng)。1、機器人視覺系統(tǒng)概述機器人視覺系統(tǒng)是指機器代替人眼的功能，實現(xiàn)對外界物體測量和判斷的系統(tǒng)，工業(yè)相機是機器視覺系統(tǒng)的重要組成部分和主要信息來源，其主要功能是獲取機器視覺系統(tǒng)所需處理的原始圖像，如圖9.33所示，機器視覺系統(tǒng)的工作流程為圖像輸入、圖像處理、圖像輸出三部分，其中視覺傳感器實現(xiàn)對外界物體的圖像采集，以完成圖像輸入。系統(tǒng)對原始圖像進行分析判斷后，將分析結(jié)果輸出到控制系統(tǒng)中上位機或某些執(zhí)行機構(gòu)（機器人），以完成后續(xù)作業(yè)。常見的與視覺系統(tǒng)結(jié)合使用的設備有PLC、計算機和工業(yè)機器人等。圖9.33機器人視覺系統(tǒng)工作原理在工業(yè)機器人與是機器視覺集成的伺服系統(tǒng)（即機器人視覺系統(tǒng)，也稱手眼系統(tǒng)）中，機器人通過工業(yè)相機獲取環(huán)境中的圖像，并經(jīng)視覺處理器進行處理和分析后，轉(zhuǎn)換為能讓機器人識別的信息，確定物體的位置和狀態(tài)。根據(jù)視覺傳感器安裝位置的不同，可分為Eye-in-Hand（EIH）系統(tǒng)和Eye-to-Hand（ETH）系統(tǒng)。EIH系統(tǒng)中的視覺傳感器安裝在機器人手部末端，能跟隨機器人運動，完成機器人運動過程中的圖像采集；而ETH視覺系統(tǒng)中的傳感器安裝在某一固定位置，對固定范圍內(nèi)的物體進行圖像采集。視覺及視覺傳感器在工業(yè)機器人視覺系統(tǒng)中充當機器人的眼與機器人密切合作，實現(xiàn)對物體位置的準確掌握和對物體的精確操作，工業(yè)機器人視覺系統(tǒng)可被應用于自動定位鎖緊螺釘、自動定位貼裝PCB元器件，汽車行業(yè)中自動定位裝配等需自動定位作業(yè)的場合。機器人視覺檢測系統(tǒng)主要包含相機、光源、控制器、顯示屏等，其組成如圖9.34所示。圖9.34機器人視覺系統(tǒng)2、機器人視覺系統(tǒng)的工作流程機器人視覺系統(tǒng)的工作流程如下。（1）相機將被攝取目標轉(zhuǎn)換成圖像信號，傳送給控制器的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息轉(zhuǎn)變成數(shù)字化信號。（2）圖像處理系統(tǒng)對這些信號進行各種運算來抽取目標的特征，例如面積、長度、數(shù)量、位置等。（3）根據(jù)預設的容許度和其他條件輸出結(jié)果，例如尺寸、角度、偏移量、個數(shù)、合格/不合格\有/無等。輸出結(jié)果由控制器輸出到上位機，同時顯示屏上也可顯示檢測結(jié)果供使用人員查看。（4）上位機（例如PC、PLC等）實時獲得檢測結(jié)果后，控制運動系統(tǒng)或I/O系統(tǒng)執(zhí)行相應的控制動作，例如定位/分類等。3、活塞零件視覺檢測系統(tǒng)選型視覺檢測設備的選型取決于檢測需求，并由成本控制。現(xiàn)分析生產(chǎn)設備的視覺檢測需求如下，根據(jù)這些需求可以基本確定對視覺檢測設備的相機、光源等的要求。（1）檢測對象根據(jù)前面的檢測需求，本系統(tǒng)檢測的信息為活塞零件頂部的LOGO形狀，即視覺檢測的對象是一個黑白色的形狀圖案，相機按照輸出色彩可分為單色（黑白）相機和彩色相機，單色相機已經(jīng)可以滿足以上檢測需求，且彩色相機的價格較高，因此在本案例中選取單色像機即可。（2）視野要求在一定的范圍內(nèi)（50~200mm，由安裝相機的結(jié)構(gòu)與活塞零件進行視覺檢測的位置設計決定）調(diào)整相機的安裝距離，可將完整的活塞LOGO（約40mm的正方形區(qū)域）置于相機視野中。（3）檢測精度要求由于只檢測LOGO圖案的有無，以及圖案是否完整，因此對檢測精度要求不高，達到0.1mm級即可。相機的像素要求可以用以下公式近似計算：精度=視野（長或?qū)挿较颍孪袼攸c數(shù)（長或?qū)挿较颍├绫景咐谢钊慵z測視野為40mm，精度要求為0.1mm，那么相機長或?qū)挼姆较虻南袼攸c數(shù)等于=40÷0.1=400，那就只需要30萬（640×480）像素的相機就可以了。（4）工作環(huán)境對工作環(huán)境無特殊要求，且要檢測的對象為黑白色（無其他干擾色），因此，視覺檢測系統(tǒng)光源選取最常用的白色環(huán)形光源。（5）輸入輸出由于需要將檢測結(jié)果輸出到外部（PLC），視覺檢測的處罰信號，尹來自于PLC，因此需要系統(tǒng)具有通信功能。4、活塞零件檢測視覺系統(tǒng)組成如圖9.35所示，活塞零件檢測視覺檢測系統(tǒng)由光源、相機、條碼掃描槍、條碼機、分度盤轉(zhuǎn)臺、暫存工裝及不合格品儲存臺組成。機器人將完成精加工的活塞零件吸取到分度盤轉(zhuǎn)臺上（在加工過程中，活塞零件需要在暫存工裝上做中轉(zhuǎn)），通過視覺檢測裝置對活塞零件進行檢測，合格品進行貼碼和掃碼處理，不合格品放至不合格品儲存臺。圖9.35活塞零件檢測視覺系統(tǒng)組成[項目小結(jié)]在本項目中，學習了圖像識別技術的概念、方法和應用。圖像識別系統(tǒng)由：照明光源、鏡頭、CCD相機、圖像采集卡、圖像處理系統(tǒng)及其它外部設備組成。圖像的基本知識和獲取方法。圖像處理主要涉及顏色處理、幾何變換、圖像分割與邊緣檢測、降噪等知識。圖像分析通過模板匹配達到圖像識別的目的，也能識別物體的幾何中心、顏色、形狀、旋轉(zhuǎn)角度等。圖像識別系統(tǒng)通過通信將識別結(jié)果傳送給上位機，完成基于圖像識別的智能控制。[思考練習]1.填空題1）圖像識別是指利用計算機對圖像進行（），以識別各種不同模式的目標和對象的技術。2）相機光圈孔徑和f值成反比，進光量和光圈孔徑的平方成（）。3）單位被照面上接收到的（）稱為照度。4）不同波長的光對物體的穿透力不同，波長越長，光對物體的（）越強；波長越短，光在物體表面的擴散率越大。5）相機是由（）和相機主機組成的。6）相機的核心是（）傳感器。7）焦距，也稱為焦長，是光學系統(tǒng)中衡量光的（）的度量方式，指從透鏡中心到光聚集焦點的距離。8）快門速度是攝影中常用的用于表達（）的專門術語。9）圖像顯示的基本單位是（），通常被視為圖像的最小完整采樣，其英文單詞是pixel。2.單項選擇題1）最適宜用于反射度極高的物體，如芯片和硅晶片的破損檢測的光源是（）。A同軸光源B背光照明C環(huán)形光源D條形光源2）對于半透明物體的檢測，宜選用哪種照明方式（）。A同軸光源B背光照明C環(huán)形光源D條形光源3）圖像識別的方法不包含（）。A統(tǒng)計模式識別B結(jié)構(gòu)模式識別C模糊模式識別D標簽識別模式4）選用下面四個光圈f值，拍攝的畫面哪一個最亮（）。Af/2Bf/2.8Cf/4Df/115）以下四種分辨率的圖片文件，文件最大的是（）。A10×10B20×20C50×50D100×1006）通?；叶戎捣秶鸀?~255，其中白色取值為（）。A0B127C128 D2557）以下圖像處理技術中屬于顏色處理的是（）。A幾何變換B降噪C灰度變換D邊緣檢測8）圖像模板匹配的本質(zhì)是基于圖像（）的檢索。A文件名B網(wǎng)頁文字C內(nèi)容D大小9）圖像分析主要研究（）。A圖像對比度調(diào)節(jié)B圖像編碼C圖像降噪D圖像特征提取及識別10）圖像識別系統(tǒng)集成到工廠的機器人成其他自動化裝置上需要的通信方式不包含（）。A并行通信B串行通信C藍牙D工業(yè)以太網(wǎng)通信3.判斷題1）圖像識別可以識別字母、數(shù)字、符號和所有的物體。（）2）二維碼的識別采用了圖像識別技術。（）3）圖像識別技術能檢測元件的尺寸和外觀。（）4）圖像識別系統(tǒng)包含光源、鏡頭、相機、圖像采集卡、圖像處理系統(tǒng)及其它外設等。（）5）不同波長的光對物體的穿透力（穿透率）不同，波長越長，光對物體的穿透力越強；波長越短，光在物體表面的擴散率越大。（）6）一般情況下，CCD數(shù)碼相機的成像質(zhì)量比CMOS數(shù)碼相機的高。（）7）在焦距不變的情況下，f值越小，光圈孔徑越大，進光量越多，畫面比較亮，主體背景虛化越大。（）8）圖像分辨率越高，像素點密度越高，圖像越逼真，圖像文件越大。（）4.簡答題1）想要過濾掉包裝上的紅色文字，應采用哪種顏色的光源?2）希望獲得淺景深的照片，應選用大光圈還是小光圈？3）舉例說明圖像識別可應用于哪些方面？4）典型的圖像識別系統(tǒng)由哪幾個部分組成？【閱讀材料】圖像傳感器產(chǎn)業(yè)發(fā)展情況一、圖像傳感器市場概述圖像傳感器作為攝像頭模組的核心部件，廣泛應用于智能手機、汽車、安防監(jiān)控、航空航天等領域。我國擁有全球最大的圖像傳感器市場，然而在高端消費類電子領域的市場份額幾乎被索尼和三星占據(jù)。隨著智能手機采用多攝方案的增加以及IoT、AI、ADAS等技術帶動攝像頭應用場景的拓展，市場對CIS需求日益旺盛。我國應緊抓市場機遇和我國巨大的市場優(yōu)勢，實現(xiàn)在圖像傳感器領域的騰飛。當前，全球圖像傳感器市場發(fā)展具有以下特點：1、CMOS圖像傳感器市場火熱作為電子設備的“眼睛”，圖像傳感器近年來成為市場的焦點，成為半導體行業(yè)最炙手可熱的領域之一。目前，CCD圖像傳感器和CMOS圖像傳感器（CIS）是被普遍采用的兩種圖像傳感器。CCD圖像傳感器具有量子效率高、噪聲低等優(yōu)點被應用于廣播電視和工業(yè)監(jiān)測等領域。隨著超大規(guī)模集成電路技術和CMOS制造工藝水平的提高，CIS由于尺寸小、低成本、功耗低、集成度高等諸多優(yōu)點在民用消費電子市場逐漸取代傳統(tǒng)的CCD圖像傳感器，帶動了圖像傳感器市場的發(fā)展。根據(jù)WSTS數(shù)據(jù)統(tǒng)計，2019年全球圖像傳感器銷售規(guī)模達到193.2億美元，其中，CIS貢獻188.1億美元，同比增長26.3%，CIS已成為半導體產(chǎn)業(yè)中增長最快的產(chǎn)品之一。2、索尼三星占據(jù)7成全球市場CIS產(chǎn)業(yè)鏈主要有兩種模式，一種是以索尼和三星為代表的IDM模式，另一種是以豪威科技、格科微等為代表的Fabless模式，豪威、格科微負責設計，芯片制造委托給臺積電、中芯國際生產(chǎn)，封測交給晶方、華天科技等企業(yè)。此外還存在安森美、意法半導體等輕晶圓廠（fab-lite）模式，其自己只生產(chǎn)特定