《傳感器及RFID技術(shù)應(yīng)用》課件-項(xiàng)目九 圖像識(shí)別技術(shù)應(yīng)用

項(xiàng)目九圖像識(shí)別技術(shù)[項(xiàng)目目標(biāo)]1.知識(shí)要點(diǎn)掌握?qǐng)D像識(shí)別技術(shù)的概念及應(yīng)用，掌握?qǐng)D像識(shí)別系統(tǒng)的組成。理解圖像、圖像采集、像素、圖像分辨率、色彩空間、灰度變換、二值化、圖像分割、邊緣檢測(cè)、降噪、模板匹配等概念。2.技能要點(diǎn)會(huì)使用辦公軟件中的調(diào)色板設(shè)置RGB/HSL模式下的顏色；會(huì)根據(jù)圖像識(shí)別的要求選用相機(jī)；會(huì)使用百度識(shí)圖識(shí)別一個(gè)歷史人物；會(huì)簡(jiǎn)單的視覺(jué)系統(tǒng)設(shè)備選型。3.任務(wù)目標(biāo)某型活塞零件需要進(jìn)行視覺(jué)檢測(cè)和掃碼入庫(kù)，為機(jī)器人選擇機(jī)器人視覺(jué)系統(tǒng)。[項(xiàng)目知識(shí)]一、圖像識(shí)別基礎(chǔ)知識(shí)圖像識(shí)別（ImageRecognitionTechnology），是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解，以識(shí)別各種不同模式的目標(biāo)和對(duì)象的技術(shù)。識(shí)別的發(fā)展經(jīng)歷了三個(gè)階段：文字識(shí)別、數(shù)字圖像處理與識(shí)別、物體識(shí)別。文字識(shí)別的研究是從1950年開(kāi)始的，一般是識(shí)別字母、數(shù)字和符號(hào)，從印刷文字識(shí)別到手寫文字識(shí)別，應(yīng)用非常廣泛。數(shù)字圖像處理和識(shí)別的研究開(kāi)始于1965年。數(shù)字圖像與模擬圖像相比具有存儲(chǔ)，傳輸方便可壓縮、傳輸過(guò)程中不易失真、處理方便等巨大優(yōu)勢(shì)，這些都為圖像識(shí)別技術(shù)的發(fā)展提供了強(qiáng)大的動(dòng)力。物體的識(shí)別主要指的是對(duì)三維世界的客體及環(huán)境的感知和認(rèn)識(shí)，屬于高級(jí)的計(jì)算機(jī)視覺(jué)范疇。它以數(shù)字圖像處理與識(shí)別為基礎(chǔ)，結(jié)合人工智能、系統(tǒng)學(xué)等學(xué)科的研究方向，其研究成果被廣泛應(yīng)用在各種工業(yè)機(jī)器人及探測(cè)機(jī)器人上。圖像識(shí)別技術(shù)的一個(gè)不足就是自適應(yīng)性能差，一旦目標(biāo)圖像被較強(qiáng)的噪聲污染或是目標(biāo)圖像有較大殘缺往往就得不出理想的結(jié)果。圖像識(shí)別問(wèn)題的數(shù)學(xué)本質(zhì)屬于模式空間到類別空間的映射問(wèn)題。目前，圖像識(shí)別方法主要有三種：統(tǒng)計(jì)模式識(shí)別、結(jié)構(gòu)模式識(shí)別、模糊模式識(shí)別。圖像識(shí)別可應(yīng)用于識(shí)別、定位、測(cè)量、檢驗(yàn)等方面。1、識(shí)別在識(shí)別應(yīng)用中，圖像識(shí)別系統(tǒng)可以識(shí)別條形碼（一維碼）、DataMatrix碼（二維碼如圖9.1（a）所示）；可以識(shí)別直接部件標(biāo)識(shí)（DPM），如圖9.1（b）所示）；可以通過(guò)元件、標(biāo)簽和包裝上印刷的字符來(lái)識(shí)別元件，如圖9.1（c）所示；應(yīng)用光學(xué)字符識(shí)別（OCR）能夠讀取PDF文檔、圖片、掃描儀上的文字信息并轉(zhuǎn)換為WORD文檔、電子表格或PDF，如圖9.1（c）所示；而應(yīng)用光學(xué)字符驗(yàn)證（OCV）則能夠確認(rèn)字符串的存在性。另外，圖像識(shí)別系統(tǒng)還可以通過(guò)定位獨(dú)特的圖案來(lái)識(shí)別元件，或者基于顏色、形狀或尺寸來(lái)識(shí)別元件。除工業(yè)及倉(cāng)儲(chǔ)領(lǐng)域外，圖像識(shí)別功能還常用于人臉識(shí)別、遙感圖像分析（如植物學(xué)中的植被分析、考古專業(yè)的考古發(fā)掘等）、安全鑒別（門禁系統(tǒng)）、監(jiān)視與跟蹤（智能交通監(jiān)控）、國(guó)防系統(tǒng)（目標(biāo)自動(dòng)識(shí)別與目標(biāo)跟蹤）等領(lǐng)域，可以說(shuō)其應(yīng)用領(lǐng)域非常廣泛。（a）識(shí)別二維碼（b）直接部件標(biāo)識(shí)（DPM）（c）識(shí)別生產(chǎn)日期（d）識(shí)別文字（OCR）圖9.1圖像識(shí)別應(yīng)用于字符識(shí)別2、定位定位主要應(yīng)用于確定元件在二維或三維空間內(nèi)的位置和方向。如圖9.2（a）所示，也可以將定位和機(jī)器人連接，引導(dǎo)機(jī)器人動(dòng)作，如圖9.2（b）所示。（a）設(shè)備、工件定位（b）引導(dǎo)機(jī)器人動(dòng)作圖9.2圖像識(shí)別應(yīng)用于定位3、測(cè)量圖像識(shí)別可以測(cè)量元件的外形尺寸，如圖9.3（a）所示。也可以進(jìn)行3D檢測(cè)，如圖9.3（b）所示。基于測(cè)量結(jié)果，可以判斷產(chǎn)品是否合格。（a）尺寸檢測(cè)（b）3D檢測(cè)圖9.3圖像識(shí)別應(yīng)用于字符識(shí)別4、外觀檢測(cè)圖像識(shí)別可以應(yīng)用于元件外觀檢測(cè)。如可集中進(jìn)行IC的各項(xiàng)外觀檢測(cè)，如圖9.4所示。圖9.4圖像識(shí)別應(yīng)用于IC芯片外觀檢測(cè)如圖9.4所示，可以檢測(cè)IC的引腳數(shù)、IC的寬度、IC的位置偏移、測(cè)量IC引腳距離、測(cè)量IC字符缺損、檢測(cè)表面污跡等，功能強(qiáng)大。二、圖像識(shí)別系統(tǒng)組成典型的圖像識(shí)別系統(tǒng)由：照明光源、鏡頭、CCD相機(jī)、圖像采集卡、圖像處理系統(tǒng)及其它外部設(shè)備組成，如圖9.5所示。光源用于待測(cè)元件照明，讓元件的關(guān)鍵特征能夠凸顯出來(lái)，確保相機(jī)能夠清楚地看到這些特征，鏡頭用于采集圖像，并將圖像以光線的形式呈現(xiàn)給傳感器；相機(jī)中的傳感器將該光線轉(zhuǎn)換成數(shù)字圖像，然后將該數(shù)字圖像發(fā)送至處理器，通過(guò)圖像處理軟件進(jìn)行分析；圖像采集卡是重要的輸入/輸出單元，用于圖像的高速傳輸及數(shù)字化處理。圖9.5圖像識(shí)別系統(tǒng)基本構(gòu)成下面將介紹其中的幾個(gè)重要組成部分，包含光源、相機(jī)和圖像采集卡。（一）光源1、光源的知識(shí)正在發(fā)光的物體稱為光源，而“正在”這個(gè)條件必須具備。光源可以是天然的或人造的，如今應(yīng)用于圖像識(shí)別系統(tǒng)中的光源通常是LED光源。LED光源由多顆LED排列而成，可以設(shè)計(jì)成復(fù)雜的結(jié)構(gòu)，實(shí)現(xiàn)不同的光源照射角度。LED光源使用壽命長(zhǎng)且反應(yīng)快捷，能在10mS或更短時(shí)間內(nèi)達(dá)到最大亮度。在中國(guó)國(guó)家標(biāo)準(zhǔn)GB5698－85中，顏色定義為：“色是光作用于人眼引起除形象以外的視覺(jué)特性”。也就是說(shuō)顏色是一種光學(xué)現(xiàn)象，是光刺激人眼的結(jié)果，有光才有色。彩色也是一種心理感覺(jué)，它與照明光源的輻射能力分布及觀看者的視覺(jué)生理結(jié)構(gòu)有關(guān)。人眼可以感知的光譜范圍為380nm~780nm，但人感知一個(gè)物體的顏色一般是指在日光照明的環(huán)境下所顯示的色彩，對(duì)于同一物體在不同光線的照射下人會(huì)感覺(jué)到不同的色彩，可見(jiàn)光源對(duì)于正確認(rèn)知物體的色彩是至關(guān)重要的。人眼視網(wǎng)膜里存在著大量光敏細(xì)胞，按其形狀可分為桿狀和錐狀兩種。桿狀光敏細(xì)胞的靈敏度極高，主要靠它在低照度時(shí)辨別明暗，但它對(duì)彩色是不敏感的；而錐狀細(xì)胞既可辨別明暗，也可辨別彩色。白天的視覺(jué)過(guò)程主要靠錐狀細(xì)胞來(lái)完成，夜晚視覺(jué)則由桿狀細(xì)胞起作用。所以在較暗處無(wú)法辨別彩色。三原色學(xué)說(shuō)認(rèn)為在視網(wǎng)膜上分布有三種不同的視錐細(xì)胞，分別含有對(duì)紅（700nm）、綠（546.1nm）、藍(lán)（435.8nm）三種光敏感的視色素；當(dāng)某一定波長(zhǎng)的光線作用于視網(wǎng)膜時(shí)，以一定的比例使三種視錐細(xì)胞分別產(chǎn)生不同程度的興奮，這樣的信息傳至中樞，就產(chǎn)生某一種顏色的感覺(jué)。所以，當(dāng)我們用某光源照明時(shí)，若光源只發(fā)出藍(lán)、綠、紅三條人眼最敏感的譜線時(shí)，就達(dá)到了人眼對(duì)照明的需求，可防止人眼無(wú)法察覺(jué)和有害射線對(duì)視力造成不良影響。2、照明光源的參數(shù)照明光源的主要參數(shù)如下：色溫，單位是開(kāi)爾文（K）：當(dāng)光源所發(fā)出的光的顏色與“黑體”在某一溫度下輻射的顏色相同時(shí)，“黑體的溫度就稱為該光源的色溫?！昂隗w”的溫度越高，光譜中藍(lán)色的成分則越多，而紅色的成分則越少。例如：白熾燈的光色是暖白色，其色溫為2700K左右，而日光色熒光燈的色溫則是6400K左右。白熾燈的色溫一般在2700K左右、日光燈的色溫在2700-6400K左右、鈉燈的色溫在2000K左右。照度，單位被照面上接收到的光通量稱為照度。如果每平方米被照面上接收到的光通量為1（lm），則照度為1（lx）。單位：勒克斯（lx或Lux）。1勒克斯（lx）相當(dāng)于每平方米被照面上光通量為1流明（lm）時(shí)的照度。在高速運(yùn)動(dòng)條件下拍攝圖像，曝光時(shí)間很短，只有高亮度的光源才能得到足夠亮度的圖像。例如：夏日陽(yáng)光下100000Lx；陰天室外10000Lx；電視臺(tái)演播室1000Lx；距60W臺(tái)燈60cm桌面300Lx；室內(nèi)日光燈100Lx；黃昏室內(nèi)10Lx；20cm處燭光10-15Lx；晴朗的月夜地面照度約0.2lx。壽命，光源的半衰期要長(zhǎng)，且在半衰期內(nèi)，光譜穩(wěn)定，亮度衰減小。發(fā)熱特性，光源的工作溫度要低，避免高溫?fù)p壞被檢測(cè)物。信噪比，信噪比高，抗干擾能力強(qiáng)。閃爍頻率，在交流、直流供電下，光源的閃爍頻率。外形尺寸，便于安裝。3、常用的光源顏色光源的顏色也對(duì)圖像的成像有影響。LED光源有多種顏色可以選擇，包括紅、綠、藍(lán)、白，還有紅外、紫外。針對(duì)不同檢測(cè)物體的表面特征和材質(zhì)，選用不同顏色，也就是不同波長(zhǎng)的光源，能夠達(dá)到更加理想的拍攝效果。每一種光源都有自己的光譜，而相機(jī)的圖像都會(huì)受到光譜的影響。不同波長(zhǎng)的光對(duì)物體的穿透力（穿透率）不同，波長(zhǎng)越長(zhǎng)，光對(duì)物體的穿透力越強(qiáng)；波長(zhǎng)越短，光在物體表面的擴(kuò)散率越大。下面以白色光、紅色光、綠色光和藍(lán)色光為例，說(shuō)明在單色相機(jī)成像時(shí)，光源顏色對(duì)成像結(jié)果的影響。白色光對(duì)成像結(jié)果的影響如圖9.6（a）所示，紅色光對(duì)成像結(jié)果的影響如圖9.6（b）所示，綠色光對(duì)成像結(jié)果的影響如圖9.6（c）所示，藍(lán)色光對(duì)成像結(jié)果的影響如圖9.6（d）所示。（a）白色光對(duì)成像結(jié)果的影響（b）紅色光對(duì)成像結(jié)果的影響（c）綠色光對(duì)成像結(jié)果的影響（d）藍(lán)色光對(duì)成像結(jié)果的影響圖9.6不同顏色光源對(duì)成像結(jié)果的影響從上面不同顏色光源的特征可以發(fā)現(xiàn)，某種顏色的光源照射在同種顏色的物體上，視野中的物體就是發(fā)亮的。應(yīng)用此特征可以過(guò)濾掉檢測(cè)中的無(wú)用信息，如使用紅色光源可以過(guò)濾掉紅色文字。同時(shí)可以應(yīng)用互補(bǔ)色增加圖像的對(duì)比度，如紅色背景使用綠色光源等。光源顏色的適用范圍見(jiàn)表9.1。表9.1光源顏色的適用范圍光源顏色適用范圍白色適用性廣，亮度高，拍攝彩色圖像時(shí)使用較多紅色可以透過(guò)一些比較暗的物體，如底材黑色的透明軟板孔、綠色電路板（線路檢測(cè)）、透光膜（厚度監(jiān)測(cè)）綠色紅色背景產(chǎn)品、銀色背景產(chǎn)品藍(lán)色銀色背景產(chǎn)品（鈑金、車加工件等）、薄膜上的金屬印制品4、照明方式（1）背光照明入射光照明是指光源在相機(jī)和被檢測(cè)物之間，而背光照明使用從被檢測(cè)物背面照射的照明方式，被檢測(cè)物在相機(jī)與光源之間，如圖9.7所示。（a）背光照明（b）入射光照明圖9.7背光照明與入射光照明由于圖像分析的是入射光而不是反射光，所以背光照明可以獲得穩(wěn)定的高對(duì)比度圖像，可以強(qiáng)烈凸顯物體的輪廓特征，卻無(wú)法辨別物體的表面特性。背光照明適合物體的形狀檢測(cè)和半透明物體的檢測(cè)。通常應(yīng)用于：機(jī)械零件的外形尺寸測(cè)量，電子零件，IC芯片的形狀檢測(cè)，膠片的污跡檢測(cè)，透明物體的劃痕檢測(cè)等。（2）同軸光源同軸光源（也叫漫射同軸燈、金屬平面漫反射照明光源）從側(cè)面將光線發(fā)射到半反射鏡上，反射鏡再將光線反射到工件上，提供了幾近垂直角度的光線，從而能夠獲得比傳統(tǒng)光源更均勻、更明亮的照明，提高圖像識(shí)別的準(zhǔn)確性。如圖9.8所示。（a）同軸光源（b）同軸光源的工作原理圖9.8同軸光源使用同軸光源照明時(shí)，光線照射到工件后進(jìn)入相機(jī)，在工件表面凹凸不平的部分產(chǎn)生漫反射，可以從被測(cè)物的不光滑表面上獲得帶有少量陰影的穩(wěn)定圖像。同軸光源能夠凸顯物體表面的不平整，克服表面反光造成的干擾，主要用于檢測(cè)物體平整光滑表面的碰傷、劃傷、裂紋和異物。同軸光源最適宜用于反射度極高的物體，如金屬、玻璃、膠片、鏡片等表面的劃痕檢測(cè)，芯片和硅晶片的破損檢測(cè)，條碼包裝識(shí)別等，部分應(yīng)用實(shí)例如圖9.9所示。標(biāo)準(zhǔn)照明下同軸照明下標(biāo)準(zhǔn)照明下同軸照明下邊緣不明顯，因?yàn)槁瓷浜顽R面反射光都被CCD接收凹陷區(qū)域的光發(fā)生擴(kuò)散，顯得較暗，從而能夠輕松識(shí)別邊緣各種成分的光線向所有角度反射，造成各個(gè)部件的圖像不一從彎曲到平坦的變化能清楚地識(shí)別，平坦區(qū)域在CCD中被良好地突出（a）沖壓部件的檢測(cè)（b）螺絲頭的檢測(cè)圖9.9同軸光源的應(yīng)用實(shí)例（3）環(huán)形光源環(huán)形光源是指LED陣列成圓錐狀以斜角照射在被測(cè)物體表面，通過(guò)漫反射方式照亮一小片區(qū)域。與檢測(cè)目標(biāo)的距離恰當(dāng)時(shí)，環(huán)形光源可以突出顯示被測(cè)物體的邊緣和高度變化，突出原本難以看清的部分，適合用于邊緣檢測(cè)、金屬表面的刻字和損傷檢測(cè)，也可用于電子零件、塑膠成型零件上的文字檢查，可有效去除因小型工件表面的局部反射造成的影響。（4）條形光源使用條形光源可以均勻照射寬廣區(qū)域，其方向性好，尺寸靈活多變，結(jié)構(gòu)可自由組合，角度也可自由調(diào)整，條形光源可應(yīng)用于金屬表面檢測(cè)、表面裂紋檢測(cè)以及LCD面板檢測(cè)等。（5）圓頂光源圓頂光源（又叫穹頂光源、DOME光源、連續(xù)漫反射光源）是指LED環(huán)形光源安裝在碗狀表面內(nèi)且向圓頂內(nèi)照射，來(lái)自環(huán)形光源的光通過(guò)高反射率的擴(kuò)散圓頂進(jìn)行漫反射，實(shí)現(xiàn)均勻照明的照明方式。對(duì)于形狀復(fù)雜的工件，圓頂光源可以將工件各個(gè)角度照亮，從而消除反光不均勻的地方，獲得工件整體的無(wú)影圖像。圓頂光源適用于各種形狀復(fù)雜的工件，通?？捎糜谝韵虑闆r：飲料罐上的日期文字檢查，手機(jī)按鍵上的文字檢查，金屬、玻璃等反射較強(qiáng)的體表面的檢測(cè)，彈簧表面的裂縫測(cè)等。（二）相機(jī)相機(jī)可以分為模擬式相機(jī)和數(shù)字式相機(jī)，現(xiàn)階段相機(jī)以數(shù)碼相機(jī)為主。數(shù)碼相機(jī)集光學(xué)技術(shù)、傳感技術(shù)、微電子技術(shù)、計(jì)算機(jī)技術(shù)和機(jī)械技術(shù)于一體，采用光電陣列圖像傳感器，將光點(diǎn)圖像信息轉(zhuǎn)換為對(duì)應(yīng)的電信息，再加特定處理并進(jìn)行存儲(chǔ)，是一個(gè)典型的光機(jī)電一體化產(chǎn)品。相機(jī)分為民用相機(jī)和工業(yè)相機(jī)。如圖9.10（a）所示為便攜式卡片數(shù)碼相機(jī)，10.10（b）為專業(yè)級(jí)單反數(shù)碼相機(jī)。圖9.10數(shù)碼相機(jī)數(shù)碼相機(jī)通常由鏡頭、圖像傳感器、A/D模數(shù)轉(zhuǎn)換器、MPU微處理器、LCD液晶顯示器、存儲(chǔ)卡、輸出接口等部分組成。如圖9.11所示。圖9.11數(shù)碼相機(jī)的組成數(shù)碼相機(jī)的鏡頭是由一塊或者多塊光學(xué)玻璃或塑料組成的透鏡組，用于收集光線，產(chǎn)生銳利的圖像，數(shù)碼相機(jī)使用四種鏡頭：定焦鏡頭：價(jià)格便宜且適合抓拍，但使用很受局限。自動(dòng)調(diào)焦的光學(xué)變焦鏡頭：類似于攝像機(jī)的鏡頭，具備“廣角”與“遠(yuǎn)攝”選項(xiàng)和自動(dòng)聚焦功能。數(shù)字變焦鏡頭：在圖像傳感器中獲取像素并進(jìn)行軟件數(shù)字插補(bǔ)，以形成完整大小的圖像，這種方法形成的圖像可能有顆粒感或模糊。可更換鏡頭：高級(jí)單反數(shù)碼相機(jī)可以使用35mm相機(jī)使用的鏡頭。圖像傳感器是數(shù)碼相機(jī)的核心部件，其像素決定了數(shù)碼相機(jī)的成像質(zhì)量。圖像傳感器的尺寸通常小于24mm×35mm，但包含了幾百萬(wàn)乃至上千萬(wàn)個(gè)具有感光特性的光敏元件-光電二極管，每個(gè)光敏元件為一個(gè)像素。當(dāng)有光線照射時(shí)候，光敏二極管就會(huì)產(chǎn)生光電子形成電荷累積，光線越強(qiáng)，電荷的累積就越多，這些累積的電荷經(jīng)過(guò)后續(xù)電路轉(zhuǎn)換為相應(yīng)的像素?cái)?shù)據(jù)，從而構(gòu)成數(shù)字圖像。根據(jù)累積電荷轉(zhuǎn)換電路的不同，圖像傳感器分為電荷耦合器件（ChargeCoupledDevice，CCD）和互補(bǔ)金屬氧化物半導(dǎo)體（ComplementaryMetalOxideSemiconductor，CMOS）。CCD器件轉(zhuǎn)換電路復(fù)雜，需要在同步信號(hào)控制下逐位讀取，信息讀取復(fù)雜，速度慢；三組電源供電，耗電量大，但技術(shù)成熟，成像質(zhì)量好，因此，CCD主要占據(jù)圖像傳感器的高端市場(chǎng)。CMOS電路簡(jiǎn)單，成像質(zhì)量比CCD要低一些，占據(jù)圖像傳感器的中低端市場(chǎng)。與民用相機(jī)相比，工業(yè)相機(jī)在圖像穩(wěn)定性、抗干擾能力和傳輸能力上有著更大的優(yōu)勢(shì)，是組成圖像識(shí)別系統(tǒng)的關(guān)鍵部件。圖9.12中列出了與工業(yè)相機(jī)相關(guān)的各個(gè)關(guān)鍵參數(shù)，圖中的硬件包括相機(jī)主機(jī)和鏡頭、圖像傳感器和被測(cè)對(duì)象。圖中幾個(gè)重要參數(shù)的定義見(jiàn)表9.2。下面將介紹工業(yè)相機(jī)的主要組成部分及重要參數(shù)。圖9.12有關(guān)工業(yè)相機(jī)的各種參數(shù)表9.2工業(yè)相機(jī)的相關(guān)參數(shù)標(biāo)號(hào)定義注釋①圖像圖像傳感器接收到的內(nèi)容②視野物體在某一方向上可被檢測(cè)到的區(qū)域，是物體將傳感器某一方向填滿圖像的區(qū)城③工作距離從鏡頭前端到被測(cè)物體表面的距離④傳感器尺寸傳感器的有效面積，典型的指標(biāo)是水平尺寸⑤景深在整個(gè)聚焦范圍內(nèi)，能夠維持清楚成像對(duì)應(yīng)的最大物體深度1、工業(yè)相機(jī)的核心—CCD圖像傳感器根據(jù)前面的介紹，CCD的作用就像傳統(tǒng)的膠片一樣，用來(lái)承載圖像，但它能夠把光學(xué)影像轉(zhuǎn)換成數(shù)字信號(hào)。CCD的成像點(diǎn)呈XY縱橫矩陣排列，每個(gè)成像點(diǎn)由一個(gè)光電二極管和其控制的一個(gè)鄰近電荷存儲(chǔ)區(qū)組成。光電二極管將光線轉(zhuǎn)換為電荷，聚集的電荷量與光線強(qiáng)度成正比。在讀取這些電荷時(shí)，各行數(shù)據(jù)被移動(dòng)到緩存器中。每行的電荷信息被連續(xù)讀出，再通過(guò)電荷/電壓轉(zhuǎn)換器和放大器傳至圖像采集卡。2、焦距焦距，也稱為焦長(zhǎng)，是光學(xué)系統(tǒng)中衡量光的聚集或發(fā)散的度量方式，指從透鏡中心到光聚集焦點(diǎn)的距離；也是相機(jī)中從鏡片光學(xué)中心到底片或圖像傳感器成像平面的距離。短焦距的光學(xué)系統(tǒng)往往比長(zhǎng)焦距的光學(xué)系統(tǒng)具有更佳的聚光能力。焦距的計(jì)算方法：焦距=傳感器尺寸×鏡頭到物體的距離÷視野例如，根據(jù)圖9.13所示尺寸計(jì)算焦距。圖9.13焦距計(jì)算示例焦距f=1500mm×4.8mm÷250mm=28.8mm在設(shè)計(jì)上，是將鏡頭透鏡的主平面與底片或圖像傳感器的距離調(diào)整為焦距的長(zhǎng)度，然后遠(yuǎn)距離的物體就能在底片或CCD上形成清晰的影像。當(dāng)鏡頭要拍攝比較接近的物體時(shí)，使鏡頭的主平面與CCD或膠片的距離發(fā)生變化，有限距離內(nèi)的物體便得以清晰成像。在應(yīng)用上，如果工作離不變，可選擇定焦鏡頭；如果工作距離時(shí)變，可選擇變焦鏡頭。如果需要測(cè)量的景深大，則根據(jù)物像最近、最遠(yuǎn)端都可清晰成像選擇焦距范圍。3、光圈和景深對(duì)于已經(jīng)制造好的鏡頭，不能隨意改變鏡頭的直徑，但是可以通過(guò)在鏡頭內(nèi)部加入多邊形或者圓形并且面積可變的孔狀光柵來(lái)達(dá)到控制鏡頭進(jìn)光量的目的，這個(gè)裝置就是光圈。光圈是照相機(jī)上用來(lái)控制鏡頭孔徑大小的部件，用以控制景深、鏡頭成像質(zhì)量，同時(shí)可以和快門速度協(xié)同控制進(jìn)光量，光圈的大小（或稱光圈系數(shù)、光圈值）用f值表示，有光圈f值=鏡頭的焦距÷光圈孔徑從上面的公式能夠看出，在焦距不變的情況下，f值越小，光圈孔徑越大，進(jìn)光量越多，畫(huà)面比較亮，主體背景虛化越大；f值越大，光圈孔徑越小，進(jìn)光量越少，畫(huà)面比較暗，主體前后越清晰。用于調(diào)節(jié)光圈大小的光圈環(huán)位于鏡頭上，上面顯示可調(diào)光圈系數(shù)（f值范圍為2-16）如圖9.14所示。調(diào)節(jié)光圈環(huán)下面有光圈值，對(duì)焦環(huán)上有對(duì)應(yīng)的景深刻度，光圈值的顏色對(duì)應(yīng)焦環(huán)上的景深刻度顏色。例如把光圈調(diào)為黃色的11，對(duì)應(yīng)的景深就是上方黃色刻度線指示的數(shù)值位置，用米和英尺兩種單位表示。在實(shí)際應(yīng)用中，需要根據(jù)不同的檢測(cè)要求設(shè)定不同的光圈和景深。圖9.14調(diào)節(jié)光圈的光圈環(huán)圖9.15光圈大小與孔徑和進(jìn)光量的關(guān)系事實(shí)上，我們?cè)趫D9.14上看到的光圈值是通過(guò)一定規(guī)律排列的，光圈系數(shù)序列中相鄰兩個(gè)光圈系數(shù)的平方比約為1：2。例如，2×22≈2.82，2×2.82≈42，…。光圈孔徑和f值成反比，進(jìn)光量和光圈孔徑的平方成正比，也就是和f值的平方成反比，如圖9.15所示。因此，光圈環(huán)轉(zhuǎn)動(dòng)格，進(jìn)光量相差一倍。對(duì)于上文中提到的“主體背景虛化”、“主體前后清晰”，其實(shí)還有一個(gè)更加專業(yè)的名詞來(lái)形容這種圖像效果—景深，如圖9.16所示。圖9.16景深在光學(xué)中，尤其是錄影或是攝影，景深是一個(gè)描述在空間中可以清楚成像的距離范圍的術(shù)語(yǔ)。雖然鏡頭只能夠?qū)⒐饩奂侥骋还潭ǖ木嚯x（即焦距），遠(yuǎn)離此點(diǎn)則會(huì)逐漸模糊，但是在某一段特定的距離內(nèi)，影像模糊的程度是肉眼無(wú)法察覺(jué)的，這段距離就是景深。景深之內(nèi)的影像比較清楚，景深之外的影像則比較模糊。景深通常由物距、鏡頭焦距以及鏡頭的光圈值所決定。如果固定光圈值，則增加放大率時(shí)，不論是更靠近拍攝物或是使用更長(zhǎng)焦距的鏡頭，都會(huì)減少景深的距離；減少放大率時(shí)，則會(huì)增加景深。如果固定放大率，則增加光圈值會(huì)增加景深，減少光圈值會(huì)減少景深。4、快門速度快門速度是攝影中常用的用于表達(dá)曝光時(shí)間的專門術(shù)語(yǔ)，即相機(jī)快門開(kāi)啟的有效時(shí)間長(zhǎng)度?？偟钠毓饬亢推毓鈺r(shí)間成正比，也可以說(shuō)是和光到達(dá)膠片或圖像傳感器的持續(xù)時(shí)間成正比?？扉T速度和鏡頭的光圈大小一起決定光到達(dá)膠片或圖像傳感器的量。（三）圖像采集卡早期的相機(jī)多數(shù)使用CCD的線陣TTL工藝傳感器，這種傳感器成像后輸出的是模擬信號(hào)，想要傳輸?shù)接?jì)算機(jī)進(jìn)行處理和存儲(chǔ)，就需要通過(guò)圖像采集卡進(jìn)行A/D轉(zhuǎn)換，再通過(guò)計(jì)算機(jī)總線實(shí)時(shí)傳送到內(nèi)存和顯存?，F(xiàn)今使用的CCD相機(jī)能夠直接采集到數(shù)字圖像，這時(shí)圖像采集卡的作用就僅是將數(shù)字信號(hào)通過(guò)計(jì)算機(jī)總線傳輸?shù)接?jì)算機(jī)內(nèi)存或顯存，方便計(jì)算機(jī)對(duì)現(xiàn)場(chǎng)采集的圖像進(jìn)行實(shí)時(shí)處理和存儲(chǔ)。圖像采集卡實(shí)際上是一塊板卡，如圖9.17所示為研華PCIe-1674PC/1672PC視頻采集卡，可以連接在計(jì)算機(jī)的PCIe擴(kuò)展槽上（就是顯卡旁邊的插槽），其主要功能就是完成圖像數(shù)字化處理與傳輸。圖9.17研華視頻采集卡不同型號(hào)圖像采集卡的區(qū)別主要表現(xiàn)在輸入信號(hào)、圖像質(zhì)量、總線形式、處理功能等方面。在選擇圖像采集卡時(shí)，首先需要考慮的就是相機(jī)的輸出信號(hào)類型（模擬信號(hào)還是數(shù)字信號(hào)），據(jù)此來(lái)選擇不同的圖像采集卡。圖像質(zhì)量由于不同板卡使用的芯片及設(shè)計(jì)的不同有較大差異。同時(shí)，不同用途的圖像采集卡的圖像質(zhì)量及價(jià)格也有很大的差別。目前使用較多的總線有PCI、PC/104-Plus、PCI-E、MimiPCI及筆記本所用的PCMCIA總線。PCI總線使用最多，多數(shù)計(jì)算機(jī)及工控機(jī)均使用PCI總線，這種傳輸方式幾乎不占用CPU，留給CPU更多的時(shí)間去進(jìn)行圖像的其他運(yùn)算與處理。PCI總線的缺點(diǎn)是總線的抗震動(dòng)能力不強(qiáng)，總線帶寬限133MB，圖像傳送速度平均50~90MB，對(duì)于大量數(shù)據(jù)無(wú)法傳輸。PCI-Express（（簡(jiǎn)寫為PCI-E或PCIe）是繼PCI總線后新發(fā)展的計(jì)算機(jī)總線，由Intel公司開(kāi)發(fā)并于2004年推出，其4.0版本于2017年發(fā)布，且計(jì)劃于2019年發(fā)布5.0版本。由于PCI-Express具有高帶寬的優(yōu)勢(shì)，因此支持PCI-Express總線的主板越來(lái)越多。三、圖像識(shí)別工作內(nèi)容（一）圖像和圖像采集1、圖像的概念圖像是人對(duì)視覺(jué)感知的物質(zhì)再現(xiàn)。這個(gè)詞匯是圖像識(shí)別技術(shù)的基礎(chǔ)，圖像采集、圖像處理和圖像分析都是與圖像相關(guān)的概念。圖像可以由光學(xué)設(shè)備獲取，如相機(jī)、鏡子、望遠(yuǎn)鏡及顯微鏡等；也可以人為創(chuàng)作，如手工繪畫(huà)。圖像可以記錄、保存在紙質(zhì)媒介、膠片等對(duì)光信號(hào)敏感的介質(zhì)上；而隨著信號(hào)處理理論和數(shù)字采集技術(shù)的發(fā)展，越來(lái)越多的圖像以數(shù)字形式存儲(chǔ)。所以，本項(xiàng)目中“圖像”一詞實(shí)際上是指數(shù)字圖像。圖像分為靜態(tài)圖像（如圖片、照片等）和動(dòng)態(tài)圖像（如視頻等）兩種。下面將對(duì)數(shù)字圖像的三個(gè)參數(shù)—像素、分辨率和色彩空間進(jìn)行介紹，讓大家更加了解圖像。（1）像素像素是圖像顯示的基本單位，通常被視為圖像的最小完整采樣。像素的英文單詞是pixel，其中pi為英語(yǔ)單詞picture的常用簡(jiǎn)寫，加上英語(yǔ)單詞element（元素），就得到了pixel，故“像素”表示“圖像元素”，有時(shí)也被稱為pel（pictureelement）。每個(gè)像素都承載著圖像中的信息，在很多情況下，它們采用點(diǎn)或者方塊顯示，如圖9.19所示。單從像素的概念來(lái)說(shuō)，每個(gè)這樣的信息元素并不能簡(jiǎn)單地看作一個(gè)點(diǎn)或者一個(gè)方塊，而是一個(gè)信息集合的抽象采樣。通常每個(gè)像素都含有以下信息：圖像中的位置（行，列）位置光強(qiáng)度黑白圖像的灰度值彩色圖像的RGB色彩值圖9.19像素圖像是一個(gè)個(gè)取樣點(diǎn)的集合，單位面積內(nèi)的像素越多代表分辨率越高，所顯示的圖像就會(huì)越接近于真實(shí)物體。這也是選購(gòu)相機(jī)時(shí)人們關(guān)注的相機(jī)參數(shù)中通常會(huì)有分辨率的原因。兆像素（Megapixels，MP）是指“一百萬(wàn)個(gè)像素”，通常用于表示數(shù)碼相機(jī)的分辨率。例如，一個(gè)相機(jī)可以使用2048×1536像素的分辨率，通常稱其有“310萬(wàn)像素”（2048×1536=3145728，通常只取前兩位作有效數(shù)字）。（2）分辨率分辨率泛指圖像或顯示系統(tǒng)對(duì)細(xì)節(jié)的分辨能力。日常用語(yǔ)中的分辨率多用于表示圖像清晰度，分辨率越高，代表圖像質(zhì)量越好，越能表現(xiàn)出更多的細(xì)節(jié)。我們經(jīng)常接觸到的有屏幕分辨率和圖像分辨率。屏幕分辨率是屏幕每行的像素點(diǎn)數(shù)乘以每列的像素點(diǎn)數(shù)。每個(gè)屏幕都有自己的分辨率，屏幕分辨率越高，所呈現(xiàn)的色彩越多，清晰度越高。這個(gè)概念常常被用在計(jì)算機(jī)顯示器、電視、投影儀和手機(jī)上。比如人們?nèi)ミx購(gòu)顯示器時(shí)所說(shuō)的分辨率1920×1080，就是指這個(gè)顯示器能夠達(dá)到的最大分辨率。圖像分辨率是指每英寸圖像內(nèi)的像素點(diǎn)數(shù)。分辨率越高，像素的點(diǎn)密度越高，圖像越逼真；但相對(duì)的，因?yàn)橛涗浀男畔⑦^(guò)多，文件也就會(huì)越大。這就是為什么做大幅的噴繪時(shí)，要求圖片分辨率要盡可能高，就是為了保證每英寸的畫(huà)面上擁有更多的像素點(diǎn)。圖9.20所示為不同分辨率的圖像差別。1×12×25×510×1020×2050×50100×100圖9.20不同分辨率的圖像差別（圖中的N×N表示的是相鄰邊的像素?cái)?shù)）本項(xiàng)目主要介紹圖像分辨率。描述圖像分辨率的單位有DPI（點(diǎn)每英寸）、LPI（線每英寸）PPI（像素每英寸）。LPI是描述光學(xué)分辨率的尺度的，雖然DPI和PPI也同屬于分率范疇內(nèi)的單位，但是它們的含義與LPI不同，而且LPI與DPI無(wú)法轉(zhuǎn)換，只能憑經(jīng)驗(yàn)估算。另外，PPI和DPI經(jīng)常會(huì)出現(xiàn)混用現(xiàn)象，但是它們所用的領(lǐng)域也存在區(qū)別。從技術(shù)角度說(shuō)，“像素“只存在于計(jì)算機(jī)顯示領(lǐng)城，而“點(diǎn)“只出現(xiàn)于打印或印刷領(lǐng)域。很顯然，適用于項(xiàng)目?jī)?nèi)容的分辨率單位是PPI，其計(jì)算公式為式中，X表示長(zhǎng)邊像素?cái)?shù)，Y表示寬邊像素?cái)?shù)，Z表示圖像對(duì)角線長(zhǎng)度。根據(jù)此公式可知，如果保持圖像的尺寸不變，將圖像的分辨率提高一倍，則圖像的像素?cái)?shù)變?yōu)樵瓉?lái)的4倍，即圖像文件的大小也變?yōu)樵瓉?lái)的4倍。（3）色彩空間我們知道在繪畫(huà)時(shí)可以使用紅色、黃色和藍(lán)色這三種原色生成色彩空間不同的顏色，而這些顏色就定義了一個(gè)色彩空間。將品紅色的量定義為X坐標(biāo)軸、青色的量定義為Y坐標(biāo)軸、黃色的量定義為Z坐標(biāo)軸，這樣就得到一個(gè)三維空間，每種可能的顏色在這個(gè)三維空間中都有唯一的一個(gè)位置。但是，這并不是唯一的一個(gè)色彩空間。例如，在計(jì)算機(jī)監(jiān)視器上顯示顏色的時(shí)候，通常使用RGB（紅色、綠色、藍(lán)色）色彩空間進(jìn)行定義，紅色、綠色，藍(lán)色被當(dāng)作X、和z坐標(biāo)軸。也就是說(shuō)、任意種顏色在RGB空間中都能找到一個(gè)唯一的三維坐標(biāo)值（R、G、B）。每個(gè)坐標(biāo)值的范圍都是0~255，由8位二進(jìn)制數(shù)保存（28=256）。如圖9.21（a）所示為顏色設(shè)置對(duì)話框中的RGB模式。當(dāng)紅色、綠色、藍(lán)色取值均為0時(shí)，為黑色；紅色、綠色、藍(lán)色取值均為255時(shí)，為白色?？梢酝ㄟ^(guò)拖動(dòng)圖中右側(cè)的滾動(dòng)條觀察三種顏色取值的變化，體會(huì)顏色與R、G、B數(shù)值的對(duì)應(yīng)關(guān)系。除了RGB色彩空間之外，常用的還有HSL色彩空間，其采用圓柱坐標(biāo)系表示色調(diào)（Hue）、飽和度（Saturation）和亮度（Lightness）。如圖9.21（b）所示顏色設(shè)置對(duì)話框中的HSL模式。一樣可以通過(guò)調(diào)整色調(diào)、飽和度和亮度來(lái)獲取不同的顏色。（a）RGB顏色模式（b）HSL顏色模式圖9.21顏色設(shè)置對(duì)話框中不同的顏色模式2、數(shù)字圖像的獲取最初相機(jī)獲得的圖像由連續(xù)的、有不同色彩及亮度等屬性的顏色點(diǎn)組成，以模擬圖像的形式存在。如果想要利用數(shù)字計(jì)算機(jī)處理模擬圖像，就必須將模擬圖像轉(zhuǎn)換為用數(shù)字方式表示的數(shù)字圖像文件，即數(shù)字圖像。將模擬圖像轉(zhuǎn)換成數(shù)字圖像的過(guò)程稱為圖像數(shù)字化過(guò)程。數(shù)字圖像的采集過(guò)程可以概括為：首先，光經(jīng)過(guò)鏡頭聚焦在圖像傳感器上；然后，圖像傳感器將光信號(hào)轉(zhuǎn)變?yōu)殡娦盘?hào)，傳輸給A/D轉(zhuǎn)換器，由A/D轉(zhuǎn)換器完成數(shù)字化變換；最后，由圖像采集卡輸出到圖像處理裝置。圖9.22所示為數(shù)字圖像采集過(guò)程示意圖。圖9.22數(shù)字圖像采集過(guò)程示意圖A/D轉(zhuǎn)換器的數(shù)字化過(guò)程又可以細(xì)分為采樣和量化兩個(gè)步驟。采樣就是將圖像在空間上離散化，通常是將在二維空間上連續(xù)的圖像在水平和垂直方向上等間隔地分割成矩形的網(wǎng)狀結(jié)構(gòu)，進(jìn)而得到若干個(gè)被稱為像素的方形小區(qū)域。經(jīng)過(guò)采樣后，圖像在空間上離散為像素，但像素的顏色幅值仍為連續(xù)量。將采樣所得的各像素的顏色幅值進(jìn)行離散化的過(guò)程，稱為量化。經(jīng)過(guò)采樣和量化后，每一幅圖像都被離散化為一個(gè)個(gè)像素，成為一個(gè)由像素組成的二維矩陣，矩陣中的每個(gè)元素對(duì)應(yīng)了一個(gè)像素，如圖9.23所示。每一個(gè)像素里保存著該像素的顏色或亮度信息，其值可以為RCB圖像的向量，也可以為灰度圖像的0-255之間的某一個(gè)數(shù)值，或者是二值圖像的0或1。圖9.23像素矩陣化的圖像信息（二）圖像處理與其他類型的傳感器提供的信息不同，圖像信息豐富多樣，圖像處理需要從圖像中提取數(shù)字信息，從而得到用戶對(duì)場(chǎng)景中感興趣的目標(biāo)。圖像處理，就是對(duì)圖像進(jìn)行分析、加工和處理，使其滿足圖像識(shí)別以及其他要求的技術(shù)。圖像處理是信號(hào)處理在圖像領(lǐng)域上的一個(gè)應(yīng)用，目前大多數(shù)的圖像是以數(shù)字形式存儲(chǔ)的，因而圖像處理在多數(shù)情況下指數(shù)字圖像處理。圖像處理是信號(hào)處理的子類，與計(jì)算機(jī)科學(xué)、人工智能等領(lǐng)域也有密切的關(guān)系。很多傳統(tǒng)的一維信號(hào)處理的方法和概念仍然可以直接應(yīng)用在圖像處理上，比如降噪、量化等。然而，圖像屬于二維信號(hào)，和一維信號(hào)程比，它有自己特殊的一面，處理的方式和角度也有所不同。下面將介紹幾種基礎(chǔ)而典型的圖像處理方式，方便大家理解圖像都能做些什么，是如何方便后續(xù)圖像分析的。1、顏色處理（1）灰度變換灰度圖像是每個(gè)像素只有一個(gè)采樣顏色的圖像，得到灰度圖像的過(guò)程被稱為灰度變換。如圖9.24所示為九寨溝珍珠灘瀑布的標(biāo)準(zhǔn)圖像與灰度圖像的對(duì)比。圖9.24標(biāo)準(zhǔn)圖像與灰度圖像的對(duì)比灰度值為像素光強(qiáng)弱信息的表示，是真實(shí)世界圖像量化的表現(xiàn)方法。通?；叶戎祻淖詈诘阶畎诪?~255。光線進(jìn)入CCD感光元件，如果光強(qiáng)達(dá)到CCD感應(yīng)的極限，此像素為純白色，對(duì)應(yīng)于內(nèi)存中該像素灰度值為255；如果完全沒(méi)有光線進(jìn)入CCD，此像素為純黑色，對(duì)應(yīng)于內(nèi)存中該像素灰度值為0。灰度圖像的每個(gè)像素通常由8位二進(jìn)制數(shù)來(lái)保存，這樣就可以有256種灰度表示（0~255）。這種精度剛剛能夠避免可見(jiàn)的條帶失真，并且非常易于編程。在介紹RGB色彩空間時(shí)提到過(guò)，每一種顏色都可以由個(gè)分別代表紅、綠、藍(lán)的三維向量表示，向量中每個(gè)分量都需要由8位存儲(chǔ)，那么每個(gè)像素點(diǎn)需要24位，因此彩色圖像的信息量較大?；叶葓D像與RGB圖像相比，后續(xù)圖像處理的計(jì)算量大大減少。與黑白雙色圖像不同，灰度圖像中的不同像素在黑色與白色之間還有許多級(jí)的顏色深度，這些顏色深度經(jīng)常是在單個(gè)電磁波頻譜（如可見(jiàn)光）內(nèi)測(cè)量每個(gè)像素的亮度得到的。但要注意的是，在數(shù)字圖像領(lǐng)域之外，“黑白圖像”也表示“灰度圖像”，就如灰度的照片通常也稱為“黑白照片”。在醫(yī)學(xué)圖像與遙感圖像這些技術(shù)應(yīng)用中，經(jīng)常采用更多的存儲(chǔ)級(jí)數(shù)以充分利用每個(gè)采樣10位或12位的傳感器精度，并且避免計(jì)算時(shí)的近似誤差。在這樣的應(yīng)用領(lǐng)域流行使用16位即65536個(gè)灰度（或65536種顏色）。（2）二值化二值化是進(jìn)行圖像分割前經(jīng)常使用的一種顏色處理方法。在二值化圖像時(shí)，會(huì)把大于某個(gè)臨界灰度值（閾值）的像素灰度設(shè)為灰度極大值（255，即白色），把小于這個(gè)值的像素灰度設(shè)為灰度極小值（0，即黑色），從而實(shí)現(xiàn)二值化。根據(jù)閾值選取的不同，二值化的算法分為固定閾值和自適應(yīng)閾值。比較常用的二值化方法有雙峰法、P參數(shù)法、迭代法和OTSU法（最大類間方差法）等。二值圖像是圖像二值化的結(jié)果，每個(gè)像素只有黑色與白色兩個(gè)可能值而沒(méi)有中間顏色。也就是說(shuō)，二值圖像是一個(gè)對(duì)比清晰、非黑即白的單色圖像，如圖9.25所示。人們經(jīng)常用黑白、B&W、單色圖像表示二值圖像。但是其他領(lǐng)域也用上述這些詞匯來(lái)表示每個(gè)像素只有一個(gè)采樣值的任何圖像，例如灰度圖像等。圖9.25灰度圖像與二值圖像的對(duì)比二值圖像經(jīng)常出現(xiàn)在數(shù)字圖像處理中，使用位圖格式存儲(chǔ)。一些輸人/輸出設(shè)備，如激光打印機(jī)、傳真機(jī)、單色計(jì)算機(jī)顯示器等都可以處理二值圖像。2、幾何變換幾何變換是指從具有幾何結(jié)構(gòu)的集合至其自身或其他此類集合的一種映射。具體來(lái)說(shuō)，幾何變換是一個(gè)函數(shù)，其定義域與值域?yàn)辄c(diǎn)集合。幾何變換可以按其操作集合的維度來(lái)分類（可分為平面變換與空間變換），也可依據(jù)其保留的性質(zhì)來(lái)分類，如圖9.26所示。平移：保留距離與方向角度。歐氏：保留距離與角度。相似：保留距離間的比例。仿射：保留平行關(guān)系投影：保留共線性圖9.26各種幾何變換3、圖像分割與邊緣檢測(cè)圖像分割指的是將數(shù)字圖像細(xì)分為多個(gè)圖像子區(qū)域，并提取出感興趣目標(biāo)的過(guò)程。它是由圖像處理到圖像分析的關(guān)鍵步驟，其目的是簡(jiǎn)化或改變圖像的表示形式，使得圖像更容易被理解和分析。圖像分割通常用于定位圖像中的物體和邊界（線、曲線等），大量應(yīng)用了上文中提到的灰度變換和二值化。更精確地說(shuō)，圖像分割是對(duì)圖像中的每個(gè)像素加標(biāo)簽的一個(gè)過(guò)程，這一過(guò)程使得具有相同標(biāo)簽的像素具有某種共同特性。圖像分割的結(jié)果是圖像上子區(qū)域的集合，或是從圖像中提取的輪廓線的集合（例如邊緣檢測(cè)）。子區(qū)域中的每個(gè)像素在某種特性的度量下或是由計(jì)算得出的特性都是相似的，例如顏色、亮度、紋理；相鄰區(qū)域在此種特性的度量下則有很大的不同。前面提到圖像分割包含邊緣檢測(cè)，在介紹邊緣檢測(cè)前，先簡(jiǎn)要說(shuō)明下二者的聯(lián)系與區(qū)別，方便大家理解。圖像分割是將目標(biāo)分割出來(lái)，針對(duì)的是目標(biāo)對(duì)象；而邊緣檢測(cè)是通過(guò)圖像的梯度變化將圖像中梯度變化明顯的地方檢測(cè)出來(lái)，針對(duì)的是邊緣信息。二者雖然有包含關(guān)系，但針對(duì)的目標(biāo)有所不同。邊緣檢測(cè)是圖像處理中，尤其是特征檢測(cè)中的一個(gè)研究領(lǐng)域，其目的是標(biāo)識(shí)數(shù)字圖像中亮度變化明顯的點(diǎn)。未經(jīng)處理的灰度圖像如圖9.27（a）所示，經(jīng)過(guò)邊緣檢測(cè)處理后如圖9.27（b）所示。圖像屬性中的顯著變化通常反映了屬性的重要事件和變化，包括深度上的不連續(xù)、表面方向不連續(xù)、物質(zhì)屬性變化和場(chǎng)景照明變化。（a）灰度圖像（b）邊緣檢測(cè)（c）降噪處理圖9.26邊緣檢測(cè)與降噪處理圖像邊緣檢測(cè)大幅度減少了數(shù)據(jù)量，并且剔除了重要性較低的信息，保留了圖像重要的結(jié)構(gòu)屬性。實(shí)現(xiàn)邊緣檢測(cè)有許多方法，絕大部分可以劃分為兩類：基于查找和基于零穿越?；诓檎业姆椒ㄊ峭ㄟ^(guò)尋找圖像灰度值一階導(dǎo)數(shù)中的最大和最小值來(lái)檢測(cè)邊界，通常是將邊界定位在梯度最大的方向；基于零穿越的方法是通過(guò)尋找圖像二階導(dǎo)數(shù)零穿越來(lái)尋找邊界，通常是拉普拉斯算子過(guò)零點(diǎn)或者非線性差分表示的過(guò)零點(diǎn)。4、降噪圖像噪聲是圖像中一種亮度或顏色信息的隨機(jī)變化（被拍攝物體本身并沒(méi)有），通常是電子噪聲的表現(xiàn)，如圖9.26（c）所示。它一般是由相機(jī)的傳感器和電路產(chǎn)生的，也可能是受膠片顆粒或者圖像傳感器中不可避免的散粒噪聲影響產(chǎn)生的。圖像噪聲是圖像拍攝過(guò)程中不希望存在的副產(chǎn)品，給圖像帶來(lái)了錯(cuò)誤和額外的信息。圖像噪聲的強(qiáng)度范圍可以小至具有良好光照條件的數(shù)字圖片中難以察覺(jué)的微小的噪點(diǎn)，大到光學(xué)天文學(xué)或射電天文學(xué)中幾乎滿畫(huà)面的噪聲，在這種情況下（圖像中的噪聲水平過(guò)高，以至于無(wú)法確定其中的目標(biāo)是什么），只能通過(guò)非常復(fù)雜的手段獲取到一小部分有用信息。圖像降噪的目的是移除圖像中不必要的噪聲，保留圖像中較為重要的細(xì)節(jié)信息，使得到的圖像看起來(lái)清晰且干凈。不論是使用數(shù)碼相機(jī)是傳統(tǒng)的底片，拍攝出的圖像時(shí)常會(huì)產(chǎn)生各種不同的噪聲?，F(xiàn)今的生活中有大量的數(shù)字影像拍攝的品質(zhì)不盡良好，即便是使用了良好的數(shù)碼相機(jī)，圖像降噪等后制的影像重建技術(shù)仍被廣泛利用，占有重要的一席之地。（三）圖像分析1、圖像分析用途圖像分析和圖像處理關(guān)系密切，兩者有一定程度的交叉，但是又有所不同。圖像處理側(cè)重于信號(hào)處理方面的研究，如圖像對(duì)比度的調(diào)節(jié)、圖像編碼、降噪等。而圖像分析的側(cè)重點(diǎn)在于研究圖像的內(nèi)容，包括但不局限于使用圖像處理的各種技術(shù)，它更傾向于對(duì)圖像內(nèi)容的分析、解釋和識(shí)別。因而，圖像分析和計(jì)算機(jī)科學(xué)領(lǐng)域中的模式識(shí)別、計(jì)算機(jī)視覺(jué)關(guān)系更密切一些。圖像分析一般利用數(shù)學(xué)模型并結(jié)合圖像處理的技術(shù)來(lái)分析圖像的特征和結(jié)構(gòu)，從而提取特定的信息，達(dá)到識(shí)別的目標(biāo)。2、模板匹配模板匹配的本質(zhì)是基于圖像內(nèi)容的檢索，屬于圖像分析領(lǐng)域最常用的技術(shù)之一。其目的是在給定查詢圖像的前提下，依據(jù)內(nèi)容信息或指定查詢標(biāo)準(zhǔn)，在圖像數(shù)據(jù)庫(kù)中搜索并查找出符合查詢條件的相應(yīng)圖像?；ヂ?lián)網(wǎng)上傳統(tǒng)的搜索引擎，包括百度、Google都推出了相應(yīng)的圖片搜素功能，但是這種搜索主要是基于圖片的文件名建立索引來(lái)實(shí)現(xiàn)查詢功能（或許也利用網(wǎng)頁(yè)上的文字信息）。這種從查詢文字、文件名，最后到圖片查詢的機(jī)制并不是基于圖像內(nèi)容的檢索?；趫D像內(nèi)容的檢索指的是查詢條件本身就是一個(gè)圖像，或者是對(duì)于圖像內(nèi)容的描述，其建立索引的方式是通過(guò)提取圖像的底層特征，然后計(jì)算比較這些特征和查詢條件之間的異同，來(lái)決定兩個(gè)圖片的相似程度。這里使用百度識(shí)圖來(lái)進(jìn)行說(shuō)明，百度識(shí)圖提供了人物、商品、建筑、藝術(shù)、影視、美食、游戲等圖片的識(shí)別功能。如圖9.28所示為植物識(shí)別功能。用戶想要在網(wǎng)上搜索某種不認(rèn)識(shí)的植物，可以通過(guò)手機(jī)或相機(jī)拍攝該植物的相片，上傳到百度識(shí)圖。通過(guò)在軟件的內(nèi)部進(jìn)行圖像特征提取，然后在網(wǎng)站的數(shù)據(jù)庫(kù)中跟眾多商品的圖像進(jìn)行查詢和比對(duì)，即可找到符合特征條件的植物。圖9.28模板匹配搜索模板匹配的核心包括以下三部分。（1）特征提取從廣義上講，圖像特征包括基于文本的特征（如關(guān)鍵字、注釋等）和視覺(jué)特征（如色彩、紋理、形狀、對(duì)象表面等）兩類。視覺(jué)特征又可分為通用的視覺(jué)特征和領(lǐng)域相關(guān)的視覺(jué)特征。前者用于描述所有圖像共有的特征，與圖像的具體類型或內(nèi)容無(wú)關(guān)，主要包括色彩、紋理和形狀，這些特征又被稱為底層特征；后者則建立在對(duì)所描述圖像內(nèi)容的某些先驗(yàn)知識(shí)（或假設(shè)）的基礎(chǔ)上，與具體應(yīng)用緊密相關(guān)，如人的面部特征或指紋特征等?？商崛〉膱D像特征可以包括顏色、紋理、平面空間對(duì)應(yīng)關(guān)系、外形或者其他統(tǒng)計(jì)特征。圖像特征的提取與表達(dá)是模板匹配的基礎(chǔ)。（2）相似度測(cè)量從圖像中提取的特征可以組成一個(gè)向量，兩個(gè)圖像之間可以通過(guò)定義一個(gè)距離或者相似性的測(cè)量度來(lái)計(jì)算相似度。（3）模板查詢模板查詢有著不同的查詢方式，典型的三個(gè)查詢方式如下。按例查詢：用戶提供一個(gè)查詢圖像，在數(shù)據(jù)庫(kù)中搜索相似圖像。按繪查詢：用戶在類似畫(huà)筆的接口上進(jìn)行簡(jiǎn)單的繪畫(huà)，以此為標(biāo)準(zhǔn)進(jìn)行查詢。按描述查詢：例如指定條件可以是30%的黃色、70%的藍(lán)色等。3、其它功能（1）識(shí)別物體幾何中心位置在制造裝配等應(yīng)用中、物體的位置起著十分重要的作用。工業(yè)應(yīng)用中、物體通常出現(xiàn)在已知表面（如工作臺(tái)面）上，而且相機(jī)相對(duì)臺(tái)面的位置也是已知的。在這種情況下，圖像中物體的位置決定了其空間位置。確定物體中心位置的方法很多，如采用物體的外接矩形、物體矩心（區(qū)域質(zhì)心）等來(lái)表示物體的位置。當(dāng)物體的邊球已知時(shí)，可用其外接矩形的尺寸來(lái)刻畫(huà)它的基本形狀圖9.29所示。求物體在坐標(biāo)系方向上的外接矩形，只需計(jì)算物體邊限點(diǎn)的最大和最小坐標(biāo)值，就可以得到物體的水平和重直跨度。圖9.29區(qū)域外接矩形在工件的分揀操作中，工件的位置信息通常采用質(zhì)心坐標(biāo)來(lái)表示，從而方便機(jī)械手臂抓取目標(biāo)工件。一般情況下，圖像中的物體并不是一個(gè)點(diǎn)，因此采用物體或區(qū)域面積的中心點(diǎn)作為物體的位置。區(qū)域質(zhì)心是通過(guò)對(duì)圖像進(jìn)行“全局”運(yùn)算得到的一個(gè)點(diǎn)，因此它對(duì)圖像中的噪聲相對(duì)來(lái)說(shuō)是不敏感的。對(duì)于二值圖像，物體的中心位置與物體的質(zhì)心位置相同。（2）識(shí)別物體顏色顏色是彩色圖像的直特征之一，其描述方法與所采用的顏色模型有關(guān)，常用的顏色模型有RGB和HSL。為了更好地根據(jù)顏色特征實(shí)時(shí)檢測(cè)和識(shí)別生產(chǎn)線上的工件，可以先采用圖像處理軟件的檢測(cè)工具將工件圖像的顏色信息記錄下來(lái)。通常在同一背景下對(duì)工件進(jìn)行判別。當(dāng)相機(jī)定位好后，調(diào)用示教模塊先記錄下工件的顏色信息，然后在工作時(shí)調(diào)用顏色識(shí)別模塊對(duì)工件進(jìn)行判別，示教的目的是讓程序記住工件的局部顏色信息以及工件的位置。在識(shí)別工件時(shí)，可以只對(duì)已經(jīng)示教過(guò)的區(qū)域進(jìn)行求解，采用對(duì)比的檢測(cè)方法，以灰度或者色彩對(duì)比的方式獲取當(dāng)前圖像和模型的相似程度，但采用這種方式時(shí)產(chǎn)品色彩細(xì)微的差異比較容易導(dǎo)致相似度的下降。（3）識(shí)別物體形狀形狀識(shí)別是指采用邊界輪廓對(duì)比的方式（邊緣檢測(cè)）獲取當(dāng)前圖像和模型的相似程度，產(chǎn)品色彩細(xì)微的差異不容易導(dǎo)致相似度的下降。根據(jù)采用的方式不同，識(shí)別物體形狀大致可以分為以下幾類：基于局部圖像函數(shù)的算法、圖像濾波、多尺度算法、基于反應(yīng)一擴(kuò)散方程的方法、多分辨率方法、基于邊界曲線擬合的方法、主動(dòng)輪廓線方法等。在實(shí)踐時(shí)，由于形狀檢測(cè)處理的數(shù)據(jù)量較小，因此可以高速地進(jìn)行檢測(cè)。但若選中的模型（模板）太大，則檢測(cè)速度會(huì)下降。（4）識(shí)別旋轉(zhuǎn)角度角點(diǎn)是最適合計(jì)算工件旋轉(zhuǎn)角度的特征。角點(diǎn)檢測(cè)算法主要分為基于圖像邊緣和基于圖像灰度兩類。前者在圖像分割的基礎(chǔ)上提取邊界構(gòu)成鏈碼，并將邊界上轉(zhuǎn)折較大的點(diǎn)看作角點(diǎn)，該算法過(guò)于復(fù)雜，且計(jì)算量較大，而后者避開(kāi)了這些缺陷。（四）結(jié)果輸出1、輸出對(duì)象和輸出內(nèi)容（1）結(jié)果輸出對(duì)象圖像識(shí)別的結(jié)果由視覺(jué)系統(tǒng)的存儲(chǔ)單元發(fā)出，結(jié)果輸出對(duì)象通常分為兩種：顯示設(shè)備（如顯示屏）和上位機(jī)。顯示屏顯示的內(nèi)容往往是軟件界面、相機(jī)捕捉畫(huà)面等內(nèi)容，以方便用戶操作和監(jiān)控識(shí)別系統(tǒng)。通常應(yīng)用在工業(yè)機(jī)器人識(shí)別系統(tǒng)中的上位機(jī)有PLC、PC和機(jī)器人控制器。（2）輸出內(nèi)容圖像識(shí)別系統(tǒng)的輸出內(nèi)容見(jiàn)表9.3。表9.3圖像識(shí)別系統(tǒng)的輸出內(nèi)容種類內(nèi)容狀態(tài)信號(hào)由視覺(jué)控制器確認(rèn)控制信號(hào)或命令輸入并開(kāi)始測(cè)量后，利用狀態(tài)狀態(tài)信號(hào)（如常見(jiàn)的可檢測(cè)/正在檢測(cè)等）向外部裝置通知傳感器的狀態(tài)判定結(jié)果判定結(jié)果雖然是個(gè)Bool值，只有是或否（通過(guò)/不通過(guò)）兩種可判定結(jié)果能，卻可以代表多種內(nèi)容，如目標(biāo)形狀是否匹配、顏色是否匹配、數(shù)量是否匹配等。在包含多個(gè)處理項(xiàng)目的判定結(jié)果中，只要有一個(gè)項(xiàng)目判定為不通過(guò)，就會(huì)輸出不通過(guò)的結(jié)果測(cè)量值測(cè)量值可根據(jù)用戶自己的設(shè)定，輸出不同的數(shù)值，如目標(biāo)的位置測(cè)量值信息（X軸坐標(biāo)、Y軸坐標(biāo)、旋轉(zhuǎn)角度等）、數(shù)量信息、測(cè)量的長(zhǎng)度等字符串輸出可以用于輸出從條形碼、二維碼中讀取的字符串或字符串輸出數(shù)字2、與上位機(jī)的通信方法對(duì)圖像識(shí)別系統(tǒng)而言，通信非常重要，它是共享數(shù)據(jù)、支持決策和實(shí)現(xiàn)高效率一體化流程的一種方式。圖像識(shí)別控制系統(tǒng)的上位機(jī)通常是PC、PLC或工業(yè)機(jī)器人控制器。聯(lián)網(wǎng)后，視覺(jué)系統(tǒng)可以向PC傳輸檢測(cè)結(jié)果以進(jìn)行進(jìn)一步分析。工業(yè)中更常見(jiàn)的是直接傳輸給集成過(guò)程控制系統(tǒng)的PLC、機(jī)器人和其他工廠自動(dòng)化設(shè)備。不同品牌的圖像識(shí)別控制系統(tǒng)有其支持的不同通信方式，不同品牌的PLC及工業(yè)機(jī)器人控制器也有不同的接口。要把圖像識(shí)別系統(tǒng)集成到工廠的機(jī)器人成其他自動(dòng)化裝置上需要找到一種二者相互支持的通信方式或協(xié)議。常見(jiàn)的通信方式和協(xié)議如下。（1）并行通信通過(guò)并行接口，在圖像識(shí)別系統(tǒng)和外部裝置之間進(jìn)行通信。（2）串行通信通過(guò)RS-232或RS-485串行接口，可以與絕大多數(shù)的機(jī)器人控制器通信。（3）工業(yè)以太網(wǎng)協(xié)議允許通過(guò)以太網(wǎng)網(wǎng)線連接PC和其他裝置，無(wú)需復(fù)雜的接線方案和價(jià)格高昂的網(wǎng)絡(luò)網(wǎng)關(guān)。常見(jiàn)的以太網(wǎng)協(xié)議有以下幾種。①TCP/IP客戶機(jī)/服務(wù)器讓圖像識(shí)別系統(tǒng)能夠輕易通過(guò)以太網(wǎng)與其他系統(tǒng)和控制裝置共享數(shù)據(jù)，無(wú)須開(kāi)發(fā)代碼。②現(xiàn)場(chǎng)總線網(wǎng)絡(luò)通常需要一個(gè)協(xié)議網(wǎng)關(guān)附件將圖像識(shí)別系統(tǒng)添加到現(xiàn)場(chǎng)總線網(wǎng)絡(luò)，往往不同品牌的產(chǎn)品會(huì)使用不同的網(wǎng)絡(luò)通信協(xié)議，但其本質(zhì)都是以太網(wǎng)通信如西門子常用的PROFINET，歐姆龍常用的EtherCAT，施耐德的ModbusTCP/IP等，可根據(jù)現(xiàn)場(chǎng)實(shí)際情況來(lái)選用合適的品牌。圖像識(shí)別控制器與上位機(jī)根據(jù)接口的不同通過(guò)不同的通信線纜連接，并根據(jù)各種通信協(xié)議進(jìn)行通信。常用的幾種通信連接如圖9.30所示。圖9.30視覺(jué)系統(tǒng)的通信連接圖中三種道信方式的優(yōu)缺點(diǎn)見(jiàn)表9.4。表9.4圖像識(shí)別系統(tǒng)不同通信方式的優(yōu)缺點(diǎn)通信方式優(yōu)點(diǎn)缺點(diǎn)并行通信因?yàn)榭梢远辔粩?shù)據(jù)一起傳輸，所以傳輸速度很快內(nèi)存有多少位，就要用多少數(shù)據(jù)線，所以需要大量的數(shù)據(jù)線，成本很高。在高速傳輸狀態(tài)下，并行接口的幾根數(shù)據(jù)線之間存在串?dāng)_；而且并行接口需要信號(hào)同時(shí)發(fā)送同時(shí)接收，任何一根數(shù)據(jù)線的延遲都會(huì)引起問(wèn)題串行通信使用的數(shù)據(jù)線少，在遠(yuǎn)距離通信中可以節(jié)約通信成本。在高速傳輸狀態(tài)下，串行只有一根數(shù)據(jù)線，不存在信號(hào)線之間的串?dāng)_，而且串行通信還可以采用低壓差分信號(hào)，大大提高抗干擾性，實(shí)現(xiàn)更高的傳輸速率因?yàn)槊看沃荒軅鬏斠晃粩?shù)據(jù)，所以傳輸速率比較低工業(yè)以太網(wǎng)通信實(shí)時(shí)性強(qiáng)。一定的時(shí)間內(nèi)發(fā)送一個(gè)指令一定要被處理，不然通信就會(huì)失敗區(qū)別于其他的運(yùn)行環(huán)境，工業(yè)以太網(wǎng)對(duì)溫度、干擾要求會(huì)更高（五）圖像識(shí)別系統(tǒng)的應(yīng)用1、圖像識(shí)別系統(tǒng)開(kāi)發(fā)步驟圖像識(shí)別系統(tǒng)開(kāi)發(fā)也是一個(gè)系統(tǒng)工程，需要按照以下步驟進(jìn)行開(kāi)發(fā)。（1）需求了解、分析、確認(rèn)；（2）樣品準(zhǔn)備、測(cè)試；（3）系統(tǒng)軟、硬件選型；（4）系統(tǒng)開(kāi)發(fā)設(shè)計(jì)；（5）現(xiàn)場(chǎng)試運(yùn)行、大量測(cè)試；（6）系統(tǒng)的局部修改和完善；（7）系統(tǒng)驗(yàn)收；（8）人員培訓(xùn)與系統(tǒng)維護(hù)。2、三角測(cè)量三角測(cè)量在三角學(xué)與幾何學(xué)上是一借由測(cè)量目標(biāo)點(diǎn)與固定基準(zhǔn)線的已知端點(diǎn)的角度，測(cè)量目標(biāo)距離的方法。一個(gè)景像點(diǎn)和它在兩個(gè)相機(jī)中的成像點(diǎn)形成一個(gè)三角形，如果已知兩個(gè)相機(jī)之間的基線距離l和相機(jī)發(fā)射光線形成的夾角，則到物體的距離就可以計(jì)算出來(lái)，如圖9.31所示。圖9.31三角測(cè)量原理（9-1）或者（9-2）3、圖像識(shí)別系統(tǒng)應(yīng)用案例工業(yè)生產(chǎn)中絕大多數(shù)機(jī)器人的圖像識(shí)別系統(tǒng)是配合輸送鏈搭建的，工業(yè)機(jī)器人只起到執(zhí)行工件取放的作用。輸送鏈面臨的問(wèn)題：由于輸送鏈?zhǔn)冀K是運(yùn)動(dòng)的，且很多輸送鏈的速度可調(diào)，這就造成圖像識(shí)別系統(tǒng)如果在此時(shí)捕捉到的工件，在工業(yè)機(jī)器人動(dòng)作的彼時(shí)位置就發(fā)生了變化。為了知道某一時(shí)刻待處理工件在輸送鏈上的準(zhǔn)確位置，引入輸送鏈跟蹤系統(tǒng)的概念。顧名思義，輸送鏈跟蹤系統(tǒng)能夠跟蹤輸送鏈上的工件，使執(zhí)行裝置能夠知曉某一時(shí)刻輸送鏈上工件的準(zhǔn)確位置。尤其是隨著工業(yè)機(jī)器人在物流、包裝等行業(yè)越來(lái)越多的應(yīng)用，輸送鏈跟蹤系統(tǒng)與機(jī)器人系統(tǒng)的組合也成了一種常見(jiàn)的組合形式。在輸送鏈跟蹤的硬件組態(tài)中，首先需要一條輸送鏈，輸送鏈上需要固定一個(gè)同步開(kāi)關(guān)。同步開(kāi)關(guān)用于記錄工件通過(guò)同步開(kāi)關(guān)的時(shí)刻，工件通過(guò)同步開(kāi)關(guān)時(shí)即觸發(fā)一個(gè)同步信號(hào)，記錄工件初始位置，搭配增量式編碼器可以計(jì)算出工件與同步開(kāi)關(guān)的相對(duì)位置。對(duì)于圖像識(shí)別伺服系統(tǒng)來(lái)說(shuō)，多數(shù)采用的是相機(jī)觸發(fā)機(jī)制，這里可將相機(jī)當(dāng)作同步開(kāi)關(guān)。同步開(kāi)關(guān)可以有不同的觸發(fā)方式，常見(jiàn)的同步開(kāi)關(guān)還有紅外線觸發(fā)、手動(dòng)觸發(fā)、連續(xù)觸發(fā)等。對(duì)于相機(jī)觸發(fā)機(jī)制，每當(dāng)工件通過(guò)相機(jī)下方，即觸發(fā)一個(gè)信號(hào)，此信號(hào)就作為機(jī)器人的同步信號(hào)。編碼器安裝在輸送鏈的驅(qū)動(dòng)單元上，以記錄輸送鏈的位移。輸送鏈跟蹤系統(tǒng)如圖9.32所示。圖9.32輸送鏈跟蹤系統(tǒng)[項(xiàng)目實(shí)踐]現(xiàn)有某型活塞零件需要進(jìn)行視覺(jué)檢測(cè)和掃碼入庫(kù)，其工藝流程如下。（1）機(jī)器人將活塞零件移動(dòng)至視覺(jué)檢測(cè)位置。（2）視覺(jué)檢測(cè)系統(tǒng)檢測(cè)活塞零件，頂部LOGO形狀。（3）如果檢測(cè)結(jié)果為零件合格，那么機(jī)器人在活塞零件上貼標(biāo)簽，標(biāo)簽信息通過(guò)掃碼記錄。（4）如果檢測(cè)結(jié)果為零件不合格，那么機(jī)器將活塞放入廢品。根據(jù)以上要求，選擇合適的機(jī)器人視覺(jué)系統(tǒng)。1、機(jī)器人視覺(jué)系統(tǒng)概述機(jī)器人視覺(jué)系統(tǒng)是指機(jī)器代替人眼的功能，實(shí)現(xiàn)對(duì)外界物體測(cè)量和判斷的系統(tǒng)，工業(yè)相機(jī)是機(jī)器視覺(jué)系統(tǒng)的重要組成部分和主要信息來(lái)源，其主要功能是獲取機(jī)器視覺(jué)系統(tǒng)所需處理的原始圖像，如圖9.33所示，機(jī)器視覺(jué)系統(tǒng)的工作流程為圖像輸入、圖像處理、圖像輸出三部分，其中視覺(jué)傳感器實(shí)現(xiàn)對(duì)外界物體的圖像采集，以完成圖像輸入。系統(tǒng)對(duì)原始圖像進(jìn)行分析判斷后，將分析結(jié)果輸出到控制系統(tǒng)中上位機(jī)或某些執(zhí)行機(jī)構(gòu)（機(jī)器人），以完成后續(xù)作業(yè)。常見(jiàn)的與視覺(jué)系統(tǒng)結(jié)合使用的設(shè)備有PLC、計(jì)算機(jī)和工業(yè)機(jī)器人等。圖9.33機(jī)器人視覺(jué)系統(tǒng)工作原理在工業(yè)機(jī)器人與是機(jī)器視覺(jué)集成的伺服系統(tǒng)（即機(jī)器人視覺(jué)系統(tǒng)，也稱手眼系統(tǒng)）中，機(jī)器人通過(guò)工業(yè)相機(jī)獲取環(huán)境中的圖像，并經(jīng)視覺(jué)處理器進(jìn)行處理和分析后，轉(zhuǎn)換為能讓機(jī)器人識(shí)別的信息，確定物體的位置和狀態(tài)。根據(jù)視覺(jué)傳感器安裝位置的不同，可分為Eye-in-Hand（EIH）系統(tǒng)和Eye-to-Hand（ETH）系統(tǒng)。EIH系統(tǒng)中的視覺(jué)傳感器安裝在機(jī)器人手部末端，能跟隨機(jī)器人運(yùn)動(dòng)，完成機(jī)器人運(yùn)動(dòng)過(guò)程中的圖像采集；而ETH視覺(jué)系統(tǒng)中的傳感器安裝在某一固定位置，對(duì)固定范圍內(nèi)的物體進(jìn)行圖像采集。視覺(jué)及視覺(jué)傳感器在工業(yè)機(jī)器人視覺(jué)系統(tǒng)中充當(dāng)機(jī)器人的眼與機(jī)器人密切合作，實(shí)現(xiàn)對(duì)物體位置的準(zhǔn)確掌握和對(duì)物體的精確操作，工業(yè)機(jī)器人視覺(jué)系統(tǒng)可被應(yīng)用于自動(dòng)定位鎖緊螺釘、自動(dòng)定位貼裝PCB元器件，汽車行業(yè)中自動(dòng)定位裝配等需自動(dòng)定位作業(yè)的場(chǎng)合。機(jī)器人視覺(jué)檢測(cè)系統(tǒng)主要包含相機(jī)、光源、控制器、顯示屏等，其組成如圖9.34所示。圖9.34機(jī)器人視覺(jué)系統(tǒng)2、機(jī)器人視覺(jué)系統(tǒng)的工作流程機(jī)器人視覺(jué)系統(tǒng)的工作流程如下。（1）相機(jī)將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給控制器的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息轉(zhuǎn)變成數(shù)字化信號(hào)。（2）圖像處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，例如面積、長(zhǎng)度、數(shù)量、位置等。（3）根據(jù)預(yù)設(shè)的容許度和其他條件輸出結(jié)果，例如尺寸、角度、偏移量、個(gè)數(shù)、合格/不合格\有/無(wú)等。輸出結(jié)果由控制器輸出到上位機(jī)，同時(shí)顯示屏上也可顯示檢測(cè)結(jié)果供使用人員查看。（4）上位機(jī)（例如PC、PLC等）實(shí)時(shí)獲得檢測(cè)結(jié)果后，控制運(yùn)動(dòng)系統(tǒng)或I/O系統(tǒng)執(zhí)行相應(yīng)的控制動(dòng)作，例如定位/分類等。3、活塞零件視覺(jué)檢測(cè)系統(tǒng)選型視覺(jué)檢測(cè)設(shè)備的選型取決于檢測(cè)需求，并由成本控制?，F(xiàn)分析生產(chǎn)設(shè)備的視覺(jué)檢測(cè)需求如下，根據(jù)這些需求可以基本確定對(duì)視覺(jué)檢測(cè)設(shè)備的相機(jī)、光源等的要求。（1）檢測(cè)對(duì)象根據(jù)前面的檢測(cè)需求，本系統(tǒng)檢測(cè)的信息為活塞零件頂部的LOGO形狀，即視覺(jué)檢測(cè)的對(duì)象是一個(gè)黑白色的形狀圖案，相機(jī)按照輸出色彩可分為單色（黑白）相機(jī)和彩色相機(jī)，單色相機(jī)已經(jīng)可以滿足以上檢測(cè)需求，且彩色相機(jī)的價(jià)格較高，因此在本案例中選取單色像機(jī)即可。（2）視野要求在一定的范圍內(nèi)（50~200mm，由安裝相機(jī)的結(jié)構(gòu)與活塞零件進(jìn)行視覺(jué)檢測(cè)的位置設(shè)計(jì)決定）調(diào)整相機(jī)的安裝距離，可將完整的活塞LOGO（約40mm的正方形區(qū)域）置于相機(jī)視野中。（3）檢測(cè)精度要求由于只檢測(cè)LOGO圖案的有無(wú)，以及圖案是否完整，因此對(duì)檢測(cè)精度要求不高，達(dá)到0.1mm級(jí)即可。相機(jī)的像素要求可以用以下公式近似計(jì)算：精度=視野（長(zhǎng)或?qū)挿较颍孪袼攸c(diǎn)數(shù)（長(zhǎng)或?qū)挿较颍├绫景咐谢钊慵z測(cè)視野為40mm，精度要求為0.1mm，那么相機(jī)長(zhǎng)或?qū)挼姆较虻南袼攸c(diǎn)數(shù)等于=40÷0.1=400，那就只需要30萬(wàn)（640×480）像素的相機(jī)就可以了。（4）工作環(huán)境對(duì)工作環(huán)境無(wú)特殊要求，且要檢測(cè)的對(duì)象為黑白色（無(wú)其他干擾色），因此，視覺(jué)檢測(cè)系統(tǒng)光源選取最常用的白色環(huán)形光源。（5）輸入輸出由于需要將檢測(cè)結(jié)果輸出到外部（PLC），視覺(jué)檢測(cè)的處罰信號(hào)，尹來(lái)自于PLC，因此需要系統(tǒng)具有通信功能。4、活塞零件檢測(cè)視覺(jué)系統(tǒng)組成如圖9.35所示，活塞零件檢測(cè)視覺(jué)檢測(cè)系統(tǒng)由光源、相機(jī)、條碼掃描槍、條碼機(jī)、分度盤轉(zhuǎn)臺(tái)、暫存工裝及不合格品儲(chǔ)存臺(tái)組成。機(jī)器人將完成精加工的活塞零件吸取到分度盤轉(zhuǎn)臺(tái)上（在加工過(guò)程中，活塞零件需要在暫存工裝上做中轉(zhuǎn)），通過(guò)視覺(jué)檢測(cè)裝置對(duì)活塞零件進(jìn)行檢測(cè)，合格品進(jìn)行貼碼和掃碼處理，不合格品放至不合格品儲(chǔ)存臺(tái)。圖9.35活塞零件檢測(cè)視覺(jué)系統(tǒng)組成[項(xiàng)目小結(jié)]在本項(xiàng)目中，學(xué)習(xí)了圖像識(shí)別技術(shù)的概念、方法和應(yīng)用。圖像識(shí)別系統(tǒng)由：照明光源、鏡頭、CCD相機(jī)、圖像采集卡、圖像處理系統(tǒng)及其它外部設(shè)備組成。圖像的基本知識(shí)和獲取方法。圖像處理主要涉及顏色處理、幾何變換、圖像分割與邊緣檢測(cè)、降噪等知識(shí)。圖像分析通過(guò)模板匹配達(dá)到圖像識(shí)別的目的，也能識(shí)別物體的幾何中心、顏色、形狀、旋轉(zhuǎn)角度等。圖像識(shí)別系統(tǒng)通過(guò)通信將識(shí)別結(jié)果傳送給上位機(jī)，完成基于圖像識(shí)別的智能控制。[思考練習(xí)]1.填空題1）圖像識(shí)別是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行（），以識(shí)別各種不同模式的目標(biāo)和對(duì)象的技術(shù)。2）相機(jī)光圈孔徑和f值成反比，進(jìn)光量和光圈孔徑的平方成（）。3）單位被照面上接收到的（）稱為照度。4）不同波長(zhǎng)的光對(duì)物體的穿透力不同，波長(zhǎng)越長(zhǎng)，光對(duì)物體的（）越強(qiáng)；波長(zhǎng)越短，光在物體表面的擴(kuò)散率越大。5）相機(jī)是由（）和相機(jī)主機(jī)組成的。6）相機(jī)的核心是（）傳感器。7）焦距，也稱為焦長(zhǎng)，是光學(xué)系統(tǒng)中衡量光的（）的度量方式，指從透鏡中心到光聚集焦點(diǎn)的距離。8）快門速度是攝影中常用的用于表達(dá)（）的專門術(shù)語(yǔ)。9）圖像顯示的基本單位是（），通常被視為圖像的最小完整采樣，其英文單詞是pixel。2.單項(xiàng)選擇題1）最適宜用于反射度極高的物體，如芯片和硅晶片的破損檢測(cè)的光源是（）。A同軸光源B背光照明C環(huán)形光源D條形光源2）對(duì)于半透明物體的檢測(cè)，宜選用哪種照明方式（）。A同軸光源B背光照明C環(huán)形光源D條形光源3）圖像識(shí)別的方法不包含（）。A統(tǒng)計(jì)模式識(shí)別B結(jié)構(gòu)模式識(shí)別C模糊模式識(shí)別D標(biāo)簽識(shí)別模式4）選用下面四個(gè)光圈f值，拍攝的畫(huà)面哪一個(gè)最亮（）。Af/2Bf/2.8Cf/4Df/115）以下四種分辨率的圖片文件，文件最大的是（）。A10×10B20×20C50×50D100×1006）通常灰度值范圍為0~255，其中白色取值為（）。A0B127C128 D2557）以下圖像處理技術(shù)中屬于顏色處理的是（）。A幾何變換B降噪C灰度變換D邊緣檢測(cè)8）圖像模板匹配的本質(zhì)是基于圖像（）的檢索。A文件名B網(wǎng)頁(yè)文字C內(nèi)容D大小9）圖像分析主要研究（）。A圖像對(duì)比度調(diào)節(jié)B圖像編碼C圖像降噪D圖像特征提取及識(shí)別10）圖像識(shí)別系統(tǒng)集成到工廠的機(jī)器人成其他自動(dòng)化裝置上需要的通信方式不包含（）。A并行通信B串行通信C藍(lán)牙D工業(yè)以太網(wǎng)通信3.判斷題1）圖像識(shí)別可以識(shí)別字母、數(shù)字、符號(hào)和所有的物體。（）2）二維碼的識(shí)別采用了圖像識(shí)別技術(shù)。（）3）圖像識(shí)別技術(shù)能檢測(cè)元件的尺寸和外觀。（）4）圖像識(shí)別系統(tǒng)包含光源、鏡頭、相機(jī)、圖像采集卡、圖像處理系統(tǒng)及其它外設(shè)等。（）5）不同波長(zhǎng)的光對(duì)物體的穿透力（穿透率）不同，波長(zhǎng)越長(zhǎng)，光對(duì)物體的穿透力越強(qiáng)；波長(zhǎng)越短，光在物體表面的擴(kuò)散率越大。（）6）一般情況下，CCD數(shù)碼相機(jī)的成像質(zhì)量比CMOS數(shù)碼相機(jī)的高。（）7）在焦距不變的情況下，f值越小，光圈孔徑越大，進(jìn)光量越多，畫(huà)面比較亮，主體背景虛化越大。（）8）圖像分辨率越高，像素點(diǎn)密度越高，圖像越逼真，圖像文件越大。（）4.簡(jiǎn)答題1）想要過(guò)濾掉包裝上的紅色文字，應(yīng)采用哪種顏色的光源?2）希望獲得淺景深的照片，應(yīng)選用大光圈還是小光圈？3）舉例說(shuō)明圖像識(shí)別可應(yīng)用于哪些方面？4）典型的圖像識(shí)別系統(tǒng)由哪幾個(gè)部分組成？【閱讀材料】圖像傳感器產(chǎn)業(yè)發(fā)展情況一、圖像傳感器市場(chǎng)概述圖像傳感器作為攝像頭模組的核心部件，廣泛應(yīng)用于智能手機(jī)、汽車、安防監(jiān)控、航空航天等領(lǐng)域。我國(guó)擁有全球最大的圖像傳感器市場(chǎng)，然而在高端消費(fèi)類電子領(lǐng)域的市場(chǎng)份額幾乎被索尼和三星占據(jù)。隨著智能手機(jī)采用多攝方案的增加以及IoT、AI、ADAS等技術(shù)帶動(dòng)攝像頭應(yīng)用場(chǎng)景的拓展，市場(chǎng)對(duì)CIS需求日益旺盛。我國(guó)應(yīng)緊抓市場(chǎng)機(jī)遇和我國(guó)巨大的市場(chǎng)優(yōu)勢(shì)，實(shí)現(xiàn)在圖像傳感器領(lǐng)域的騰飛。當(dāng)前，全球圖像傳感器市場(chǎng)發(fā)展具有以下特點(diǎn)：1、CMOS圖像傳感器市場(chǎng)火熱作為電子設(shè)備的“眼睛”，圖像傳感器近年來(lái)成為市場(chǎng)的焦點(diǎn)，成為半導(dǎo)體行業(yè)最炙手可熱的領(lǐng)域之一。目前，CCD圖像傳感器和CMOS圖像傳感器（CIS）是被普遍采用的兩種圖像傳感器。CCD圖像傳感器具有量子效率高、噪聲低等優(yōu)點(diǎn)被應(yīng)用于廣播電視和工業(yè)監(jiān)測(cè)等領(lǐng)域。隨著超大規(guī)模集成電路技術(shù)和CMOS制造工藝水平的提高，CIS由于尺寸小、低成本、功耗低、集成度高等諸多優(yōu)點(diǎn)在民用消費(fèi)電子市場(chǎng)逐漸取代傳統(tǒng)的CCD圖像傳感器，帶動(dòng)了圖像傳感器市場(chǎng)的發(fā)展。根據(jù)WSTS數(shù)據(jù)統(tǒng)計(jì)，2019年全球圖像傳感器銷售規(guī)模達(dá)到193.2億美元，其中，CIS貢獻(xiàn)188.1億美元，同比增長(zhǎng)26.3%，CIS已成為半導(dǎo)體產(chǎn)業(yè)中增長(zhǎng)最快的產(chǎn)品之一。2、索尼三星占據(jù)7成全球市場(chǎng)CIS產(chǎn)業(yè)鏈主要有兩種模式，一種是以索尼和三星為代表的IDM模式，另一種是以豪威科技、格科微等為代表的Fabless模式，豪威、格科微負(fù)責(zé)設(shè)計(jì)，芯片制造委托給臺(tái)積電、中芯國(guó)際生產(chǎn)，封測(cè)交給晶方、華天科技等企業(yè)。此外還存在安森美、意法半導(dǎo)體等輕晶圓廠（fab-lite）模式，其自己只生產(chǎn)特定