視覺檢測(cè)及其應(yīng)用

1、視覺檢測(cè)技術(shù)用其應(yīng)用視覺檢測(cè)技術(shù)用其應(yīng)用-利用攝像機(jī)替代人眼，圖像處理軟件替代大腦對(duì)產(chǎn)品進(jìn)行質(zhì)量檢驗(yàn)或識(shí)別的計(jì)算機(jī)檢測(cè)技術(shù)。組成：由光源、鏡頭、攝像機(jī)、圖像采集卡、圖像處理器/軟件以及必要的I/O等。具有極高的效率、重復(fù)性以及精度，在很多情況下是人眼無(wú)法替代的。機(jī)器視覺檢測(cè)技術(shù)機(jī)器視覺檢測(cè)技術(shù)一、視覺檢測(cè)技術(shù)一、視覺檢測(cè)技術(shù)1、視覺系統(tǒng)的一般構(gòu)成、視覺系統(tǒng)的一般構(gòu)成光源圖像卡場(chǎng)景攝像機(jī)計(jì)算機(jī)典型視覺系統(tǒng)典型視覺系統(tǒng)工作原理：工作原理： 光光 敏感元件敏感元件 電電 （光電元件）（光電元件） 光源光源光通路光通路光電元件光電元件測(cè)量電路測(cè)量電路光光光光電電電電yx1x2傳感器：傳感器：?jiǎn)文恳曈X：

2、一個(gè)攝像組件（鏡頭單目視覺：一個(gè)攝像組件（鏡頭+攝像機(jī)）攝像機(jī)）多目視覺：多個(gè)攝像組件（鏡頭多目視覺：多個(gè)攝像組件（鏡頭+ +攝像機(jī)）攝像機(jī)）圖像采集部分、圖像處理部分、通信和圖像采集部分、圖像處理部分、通信和I/O部分以及輸出和執(zhí)行機(jī)構(gòu)部分以及輸出和執(zhí)行機(jī)構(gòu)圖像采集系統(tǒng)：可視化圖像或特征圖像采集系統(tǒng)：可視化圖像或特征數(shù)據(jù)數(shù)據(jù)場(chǎng)景場(chǎng)景鏡頭鏡頭光源光源攝像機(jī)攝像機(jī)圖像存儲(chǔ)體圖像存儲(chǔ)體計(jì)算機(jī)計(jì)算機(jī)輸出輸出鏡頭鏡頭攝像機(jī)攝像機(jī)鏡頭鏡頭攝像機(jī)攝像機(jī)控制控制電纜電纜視覺系統(tǒng)流程圖視覺系統(tǒng)流程圖圖像質(zhì)量好圖像質(zhì)量好 圖像處理簡(jiǎn)單、結(jié)果理想圖像處理簡(jiǎn)單、結(jié)果理想圖像質(zhì)量差圖像質(zhì)量差 圖象處理麻煩、結(jié)果不理想

3、圖象處理麻煩、結(jié)果不理想由由光源、鏡頭、攝像機(jī)、圖像采集卡等構(gòu)成光源、鏡頭、攝像機(jī)、圖像采集卡等構(gòu)成(1) CCD(1) CCD的種類的種類：2 2、CCDCCD攝像機(jī)攝像機(jī)按成象器件分類：線陣按成象器件分類：線陣CCD、面陣、面陣CCD按顏色分類：黑白攝像機(jī)、彩色攝像機(jī)按顏色分類：黑白攝像機(jī)、彩色攝像機(jī)按輸出信號(hào)分類：模擬式、數(shù)字式按輸出信號(hào)分類：模擬式、數(shù)字式 黑白攝像機(jī)：信息量小，時(shí)間、空間少黑白攝像機(jī)：信息量小，時(shí)間、空間少彩色攝像機(jī)：信息量大，時(shí)間、空間彩色攝像機(jī)：信息量大，時(shí)間、空間多多線陣線陣CCD：一行，掃描；：一行，掃描；體積小，價(jià)格低；體積小，價(jià)格低；面面陣陣CCD: 整幅

4、圖像；直觀；價(jià)格高，體積大；整幅圖像；直觀；價(jià)格高，體積大；按掃描方式分類：逐行掃描、隔行掃描按掃描方式分類：逐行掃描、隔行掃描 逐行掃描：高速運(yùn)動(dòng)，避免邊緣模糊逐行掃描：高速運(yùn)動(dòng)，避免邊緣模糊 數(shù)字?jǐn)z像機(jī)數(shù)字?jǐn)z像機(jī) - 電子快門電子快門 曝光時(shí)間曝光時(shí)間: 1/50s1/50s、1/125s1/125s、1/250s1/250s、1/500s1/500s、1/1000s1/1000s、1/2000s1/2000s、1/4000s1/4000s、1/8000s1/8000s、1/16000s1/16000s、1/32000s1/32000s 按形狀分類：長(zhǎng)形、短形、方塊形、半球形、單板形按形狀

5、分類：長(zhǎng)形、短形、方塊形、半球形、單板形 (2)(2)攝像機(jī)的主要參數(shù)攝像機(jī)的主要參數(shù)：制式：制式：CCD芯片尺寸芯片尺寸 ：PALPAL制式制式 - - 標(biāo)準(zhǔn)為標(biāo)準(zhǔn)為625625行，行，5050場(chǎng)，中國(guó)采用隔行掃描（黑白為場(chǎng)，中國(guó)采用隔行掃描（黑白為CCIRCCIR） （西歐、亞洲、澳大利亞）（西歐、亞洲、澳大利亞） NTSCNTSC制式制式 - - 標(biāo)準(zhǔn)為標(biāo)準(zhǔn)為525525行，行，6060場(chǎng)（黑白為場(chǎng)（黑白為EIAEIA）（）（美加、日本美加、日本）非標(biāo)準(zhǔn)制式非標(biāo)準(zhǔn)制式 - - 只有醫(yī)療或其它專業(yè)領(lǐng)域才用到只有醫(yī)療或其它專業(yè)領(lǐng)域才用到 面陣面陣CCDCCD芯片芯片相位交替行（相位交替行（P

6、hase Alternating Line）- 逐行倒相逐行倒相國(guó)家電視委員會(huì)國(guó)家電視委員會(huì)（National Television Systems Committee)CCDCCD分辨率：分辨率：是是CCDCCD的主要性能指標(biāo)，它決定了顯示圖像的清晰程度，的主要性能指標(biāo)，它決定了顯示圖像的清晰程度，分辨率越高，圖像細(xì)節(jié)的表現(xiàn)越好。分辨率越高，圖像細(xì)節(jié)的表現(xiàn)越好。 像素像素 - CCD- CCD每一個(gè)元素，像素越多，圖像越清晰每一個(gè)元素，像素越多，圖像越清晰 4444萬(wàn)（萬(wàn)（768768* *576576）、）、100100萬(wàn)（萬(wàn)（10241024* *10241024） 200200萬(wàn)（萬(wàn)（

7、16001600* *12001200）、）、600600萬(wàn)（萬(wàn)（28322832* *21282128）電視線電視線 - - 簡(jiǎn)稱線簡(jiǎn)稱線(TV LINES)(TV LINES)，彩色攝像頭一般，彩色攝像頭一般330500330500線，線， 黑白可以達(dá)到黑白可以達(dá)到600600線。電視線與線。電視線與CCDCCD和鏡頭有關(guān)，和鏡頭有關(guān)， 還與攝像頭電路通道的頻帶寬度直接相關(guān)，通還與攝像頭電路通道的頻帶寬度直接相關(guān)，通 常規(guī)律是常規(guī)律是1MHz1MHz的頻帶寬度相當(dāng)于清晰度為的頻帶寬度相當(dāng)于清晰度為8080線。線。 頻帶越寬，圖像越清晰，線數(shù)值相對(duì)越大。頻帶越寬，圖像越清晰，線數(shù)值相對(duì)越大。

8、 灰度級(jí)灰度級(jí) - - 灰度分辨率、色彩分辨率，灰度分辨率、色彩分辨率， 1/21/2n 位數(shù)：位數(shù)：8 8位（位（bitbit）、）、1010位、位、1111位、位、1212位、位、 位數(shù)越多，圖像越清晰。位數(shù)越多，圖像越清晰。 二、信號(hào)處理技術(shù)二、信號(hào)處理技術(shù)1.1.信號(hào)處理電路信號(hào)處理電路光電元件光電元件信號(hào)處理信號(hào)處理圖像處理圖像處理光光電電電電圖像圖像3）電壓）電壓/電流（電流（V/A）轉(zhuǎn)換）轉(zhuǎn)換 - 需要電流輸出時(shí)；需要電流輸出時(shí)；1）信號(hào)放大）信號(hào)放大2）噪聲抑制）噪聲抑制 - 信號(hào)淹沒在噪聲中；信號(hào)淹沒在噪聲中；電壓（電壓（mV/ V）；電流（）；電流（ A/ mA）- 運(yùn)算放

9、大電路（運(yùn)算放大器）運(yùn)算放大電路（運(yùn)算放大器）相敏檢波：同步整流電路相敏檢波：同步整流電路模擬濾波：低通（模擬濾波：低通（LPF）、高通（）、高通（HPF）、帶通（）、帶通（BPF）、）、 帶阻（帶阻（BEF）、全通（）、全通（APF）濾波器）濾波器 4）模擬）模擬/數(shù)字（數(shù)字（A/D）轉(zhuǎn)換）轉(zhuǎn)換 - 需要輸出數(shù)字信號(hào)時(shí)需要輸出數(shù)字信號(hào)時(shí)2.2.圖像處理技術(shù)圖像處理技術(shù)成像成像 干擾等干擾等 圖像降質(zhì)圖像降質(zhì) 圖像預(yù)處理圖像預(yù)處理灰度校正灰度校正-突出特征突出特征 - 圖像增強(qiáng)（銳化）圖像增強(qiáng)（銳化）濾波降噪濾波降噪-去除噪聲去除噪聲 - 圖像濾波（平滑化）圖像濾波（平滑化） 灰度修正：改變灰

10、度分布灰度修正：改變灰度分布 -直方圖修正直方圖修正目標(biāo)（前景）：黑的更黑、白的更白目標(biāo)（前景）：黑的更黑、白的更白 - 直方圖拉伸直方圖拉伸 干擾（背景）：灰度模糊干擾（背景）：灰度模糊 - 直方圖壓縮直方圖壓縮 目的目的：感興趣特征感興趣特征 突出；不需要突出；不需要 衰減；不逼近衰減；不逼近預(yù)處理預(yù)處理+提取、識(shí)別、計(jì)算提取、識(shí)別、計(jì)算(70, 30)(180, 230)直方圖修正：直方圖修正： 圖像噪聲：強(qiáng)度隨機(jī)信號(hào)圖像噪聲：強(qiáng)度隨機(jī)信號(hào)高斯噪聲高斯噪聲椒鹽（椒鹽（Salt & pepper)噪聲：噪聲： 隨機(jī)出現(xiàn)黑白亮度值隨機(jī)出現(xiàn)黑白亮度值高斯噪聲：高斯高斯噪聲：高斯/正態(tài)分布正態(tài)分

11、布 傳感器噪聲模型（攝像機(jī)電子干擾噪聲等）傳感器噪聲模型（攝像機(jī)電子干擾噪聲等）- 濾波器濾波器原始圖像原始圖像 高斯濾波高斯濾波 3) 邊緣檢測(cè)邊緣檢測(cè)(1) 邊緣定義邊緣定義 邊緣：圖像局部亮度變化最顯著的部分邊緣：圖像局部亮度變化最顯著的部分 分布：目標(biāo)分布：目標(biāo)-目標(biāo)、目標(biāo)目標(biāo)、目標(biāo)-背景、區(qū)域背景、區(qū)域-區(qū)域區(qū)域 、 色彩色彩-色彩色彩(2) (2) 邊緣檢測(cè)算子邊緣檢測(cè)算子 梯度算子、梯度算子、 Roberts算子算子 、 Sobel算子、算子、 Prewitt算子算子 、拉普拉斯算子、拉普拉斯算子、 LoG算子、算子、 Canny算子算子4) 圖像描述與識(shí)別圖像描述與識(shí)別- 提取

12、特征參量，識(shí)別物體提取特征參量，識(shí)別物體原始圖像原始圖像LOG 算子算子Prewitt 算子算子Roberts 算子算子Sobel 算子算子Canny 算子算子 離焦離焦 不清晰、對(duì)比度不好不清晰、對(duì)比度不好 聚焦聚焦 清晰、對(duì)比度好清晰、對(duì)比度好夜晚景物圖像對(duì)比夜晚景物圖像對(duì)比夜間模式夜間模式延長(zhǎng)曝光時(shí)間延長(zhǎng)曝光時(shí)間光積分時(shí)間短光積分時(shí)間短 - 曝光量小曝光量小 - 景物亮度低景物亮度低 - 對(duì)比度差對(duì)比度差光積分時(shí)間長(zhǎng)光積分時(shí)間長(zhǎng) - 曝光量大曝光量大 - 景物亮度高景物亮度高 - 對(duì)比度好對(duì)比度好F=8傍晚景物圖像對(duì)比傍晚景物圖像對(duì)比F=5.6陰天景物圖像對(duì)比陰天景物圖像對(duì)比F=11F=

13、5.6(1) (1) 零件的識(shí)別與定位零件的識(shí)別與定位領(lǐng)域：工業(yè)、醫(yī)療、領(lǐng)域：工業(yè)、醫(yī)療、 航天、軍事、農(nóng)業(yè)等航天、軍事、農(nóng)業(yè)等1 1、工業(yè)檢測(cè)、工業(yè)檢測(cè)例：雙目立體視覺檢測(cè)系統(tǒng)例：雙目立體視覺檢測(cè)系統(tǒng) 簡(jiǎn)單視覺的機(jī)器人系統(tǒng)簡(jiǎn)單視覺的機(jī)器人系統(tǒng) 自動(dòng)連接引線、對(duì)準(zhǔn)自動(dòng)連接引線、對(duì)準(zhǔn)芯片和封裝；芯片和封裝； 自動(dòng)安裝部件，自動(dòng)焊自動(dòng)安裝部件，自動(dòng)焊接或自動(dòng)切割加工、自接或自動(dòng)切割加工、自動(dòng)澆注系統(tǒng)等。動(dòng)澆注系統(tǒng)等。 三、視覺檢測(cè)技術(shù)的應(yīng)用三、視覺檢測(cè)技術(shù)的應(yīng)用(2) (2) 零件尺寸的在線測(cè)量零件尺寸的在線測(cè)量(3) (3) 零件外觀及內(nèi)部缺陷檢測(cè)零件外觀及內(nèi)部缺陷檢測(cè)芯片定位芯片定位芯片管腳檢

14、測(cè)芯片管腳檢測(cè)鋼板厚度的在線測(cè)量鋼板厚度的在線測(cè)量 木料檢測(cè)原理木料檢測(cè)原理例：木料檢測(cè)：缺陷、體積例：木料檢測(cè)：缺陷、體積 (4) (4) 產(chǎn)品分類、分組產(chǎn)品分類、分組(5) (5) 產(chǎn)品標(biāo)識(shí)、編碼識(shí)別產(chǎn)品標(biāo)識(shí)、編碼識(shí)別蘋果分級(jí)、分色、配色蘋果分級(jí)、分色、配色商品條碼、印鑒、標(biāo)簽商品條碼、印鑒、標(biāo)簽“手手-眼眼”定位：定位： 兩個(gè)攝像機(jī)兩個(gè)攝像機(jī) - 兩幅平面圖像兩幅平面圖像 - 三維場(chǎng)景信息三維場(chǎng)景信息 用于：目標(biāo)識(shí)別、道路識(shí)別、障礙物判斷、主動(dòng)導(dǎo)航、自動(dòng)視覺導(dǎo)航用于：目標(biāo)識(shí)別、道路識(shí)別、障礙物判斷、主動(dòng)導(dǎo)航、自動(dòng)視覺導(dǎo)航 無(wú)人駕駛汽車、無(wú)人駕駛飛機(jī)、無(wú)人戰(zhàn)車、探測(cè)機(jī)器人無(wú)人駕駛汽車、無(wú)人

15、駕駛飛機(jī)、無(wú)人戰(zhàn)車、探測(cè)機(jī)器人實(shí)例：美國(guó)實(shí)例：美國(guó)Sojourner系列和系列和Rocky系列火星探測(cè)移動(dòng)機(jī)器人系列火星探測(cè)移動(dòng)機(jī)器人2 2、機(jī)器人導(dǎo)航、機(jī)器人導(dǎo)航“機(jī)遇機(jī)遇”號(hào)火星車拍攝號(hào)火星車拍攝火星土壤的顯微照片火星土壤的顯微照片 “勇氣勇氣”號(hào)火星車號(hào)火星車發(fā)回的彩色照片發(fā)回的彩色照片美國(guó)勇氣號(hào)和機(jī)遇號(hào)火星探測(cè)移動(dòng)機(jī)器人美國(guó)勇氣號(hào)和機(jī)遇號(hào)火星探測(cè)移動(dòng)機(jī)器人3、生物醫(yī)學(xué)圖像分析、生物醫(yī)學(xué)圖像分析（1）醫(yī)學(xué)臨床診斷）醫(yī)學(xué)臨床診斷 ： X射線、射線、B超、超、CT、核磁共振（、核磁共振（MRI）醫(yī)學(xué)影像融合分析醫(yī)學(xué)影像融合分析 細(xì)胞個(gè)數(shù)統(tǒng)計(jì)細(xì)胞個(gè)數(shù)統(tǒng)計(jì) CT圖像圖像 自動(dòng)檢測(cè)：染色體切片、癌

16、細(xì)胞切片、超聲波圖象自動(dòng)檢測(cè)：染色體切片、癌細(xì)胞切片、超聲波圖象三維人體掃描三維人體掃描（2）生物圖像分析：形狀、組織切片、染色體配對(duì)、細(xì)菌、病毒、）生物圖像分析：形狀、組織切片、染色體配對(duì)、細(xì)菌、病毒、 病原體外形尺寸檢測(cè)、顏色識(shí)別、表面損傷檢測(cè)以及組織分析病原體外形尺寸檢測(cè)、顏色識(shí)別、表面損傷檢測(cè)以及組織分析葉片細(xì)胞顯微放大圖片葉片細(xì)胞顯微放大圖片 轉(zhuǎn)基因大豆孢子轉(zhuǎn)基因大豆孢子例：水果分類；發(fā)芽土豆；雜草識(shí)別例：水果分類；發(fā)芽土豆；雜草識(shí)別 4 4、遙感圖像分析：、遙感圖像分析：衛(wèi)星遙感圖像衛(wèi)星遙感圖像 - 氣象衛(wèi)星（紅外成象氣象衛(wèi)星（紅外成象 - 云圖云圖 - 氣象狀況）氣象狀況） 資源

17、衛(wèi)星（多光譜成象資源衛(wèi)星（多光譜成象 - 地質(zhì)、礦藏、森林、災(zāi)害）地質(zhì)、礦藏、森林、災(zāi)害） 海洋衛(wèi)星（合成孔徑雷達(dá)成象海洋衛(wèi)星（合成孔徑雷達(dá)成象 - 海洋、海浪、海灘）海洋、海浪、海灘） 航空攝影圖像航空攝影圖像 - （多目成象（多目成象 - 大地測(cè)量、測(cè)繪）大地測(cè)量、測(cè)繪）交通交通 - 車輛識(shí)別、牌照識(shí)別、車型判斷、車輛監(jiān)視、交通流量檢測(cè)車輛識(shí)別、牌照識(shí)別、車型判斷、車輛監(jiān)視、交通流量檢測(cè)安全安全 - 指紋判別與匹配、面孔與眼底識(shí)別、安全檢查（飛機(jī)、海關(guān)）指紋判別與匹配、面孔與眼底識(shí)別、安全檢查（飛機(jī)、海關(guān)）監(jiān)視監(jiān)視 - 超市、商店防盜、銀行監(jiān)控，停車場(chǎng)、電梯閉路電視超市、商店防盜、銀行監(jiān)控

18、，停車場(chǎng)、電梯閉路電視6、軍事與國(guó)防：軍事與國(guó)防：5、監(jiān)控、安防、交通管理：監(jiān)控、安防、交通管理：超低空雷達(dá)、超視距雷達(dá)、導(dǎo)彈制導(dǎo)、導(dǎo)彈導(dǎo)航、地形匹配、超低空雷達(dá)、超視距雷達(dá)、導(dǎo)彈制導(dǎo)、導(dǎo)彈導(dǎo)航、地形匹配、單兵作戰(zhàn)系統(tǒng)、戰(zhàn)場(chǎng)遙測(cè)、夜視儀、聲納成象單兵作戰(zhàn)系統(tǒng)、戰(zhàn)場(chǎng)遙測(cè)、夜視儀、聲納成象7、辦公與家電：辦公與家電：辦公設(shè)備辦公設(shè)備 - 數(shù)碼復(fù)印機(jī)、掃描儀、傳真機(jī)、繪圖儀數(shù)碼復(fù)印機(jī)、掃描儀、傳真機(jī)、繪圖儀家用電器家用電器 - 數(shù)碼攝像機(jī)、數(shù)碼照相機(jī)、可視電話、可視門鈴數(shù)碼攝像機(jī)、數(shù)碼照相機(jī)、可視電話、可視門鈴優(yōu)點(diǎn)：便宜，檢測(cè)能力強(qiáng)優(yōu)點(diǎn)：便宜，檢測(cè)能力強(qiáng)缺點(diǎn)：產(chǎn)能低，不適合檢測(cè)外層板缺點(diǎn)：產(chǎn)能低，不

19、適合檢測(cè)外層板OrionOptical Head光頭光頭Scan Line掃描線掃描線Scanning slice掃描片段掃描片段 (variable width可變寬度可變寬度)Scanned Panel被掃描的板被掃描的板Scanning Path-掃描路徑掃描路徑Image Processing-圖像處理圖像處理CCDAnalogto DigitalCircuitry模擬模擬 數(shù)字信號(hào)數(shù)字信號(hào)Digital toBinary Circuitry數(shù)字信號(hào)數(shù)字信號(hào) 二進(jìn)制數(shù)字信號(hào)二進(jìn)制數(shù)字信號(hào)Analog模擬信號(hào)模擬信號(hào)Digital數(shù)字信號(hào)數(shù)字信號(hào)Binary二進(jìn)制二進(jìn)制Original PanelBinary “strips”