視覺檢測及其應(yīng)用

1、視覺檢測技術(shù)用其應(yīng)用視覺檢測技術(shù)用其應(yīng)用-利用攝像機替代人眼，圖像處理軟件替代大腦對產(chǎn)品進行質(zhì)量檢驗或識別的計算機檢測技術(shù)。組成：由光源、鏡頭、攝像機、圖像采集卡、圖像處理器/軟件以及必要的I/O等。具有極高的效率、重復(fù)性以及精度，在很多情況下是人眼無法替代的。機器視覺檢測技術(shù)機器視覺檢測技術(shù)一、視覺檢測技術(shù)一、視覺檢測技術(shù)1、視覺系統(tǒng)的一般構(gòu)成、視覺系統(tǒng)的一般構(gòu)成光源圖像卡場景攝像機計算機典型視覺系統(tǒng)典型視覺系統(tǒng)工作原理：工作原理： 光光 敏感元件敏感元件 電電 （光電元件）（光電元件） 光源光源光通路光通路光電元件光電元件測量電路測量電路光光光光電電電電yx1x2傳感器：傳感器：單目視覺：

2、一個攝像組件（鏡頭單目視覺：一個攝像組件（鏡頭+攝像機）攝像機）多目視覺：多個攝像組件（鏡頭多目視覺：多個攝像組件（鏡頭+ +攝像機）攝像機）圖像采集部分、圖像處理部分、通信和圖像采集部分、圖像處理部分、通信和I/O部分以及輸出和執(zhí)行機構(gòu)部分以及輸出和執(zhí)行機構(gòu)圖像采集系統(tǒng)：可視化圖像或特征圖像采集系統(tǒng)：可視化圖像或特征數(shù)據(jù)數(shù)據(jù)場景場景鏡頭鏡頭光源光源攝像機攝像機圖像存儲體圖像存儲體計算機計算機輸出輸出鏡頭鏡頭攝像機攝像機鏡頭鏡頭攝像機攝像機控制控制電纜電纜視覺系統(tǒng)流程圖視覺系統(tǒng)流程圖圖像質(zhì)量好圖像質(zhì)量好 圖像處理簡單、結(jié)果理想圖像處理簡單、結(jié)果理想圖像質(zhì)量差圖像質(zhì)量差 圖象處理麻煩、結(jié)果不理想

3、圖象處理麻煩、結(jié)果不理想由由光源、鏡頭、攝像機、圖像采集卡等構(gòu)成光源、鏡頭、攝像機、圖像采集卡等構(gòu)成(1) CCD(1) CCD的種類的種類：2 2、CCDCCD攝像機攝像機按成象器件分類：線陣按成象器件分類：線陣CCD、面陣、面陣CCD按顏色分類：黑白攝像機、彩色攝像機按顏色分類：黑白攝像機、彩色攝像機按輸出信號分類：模擬式、數(shù)字式按輸出信號分類：模擬式、數(shù)字式 黑白攝像機：信息量小，時間、空間少黑白攝像機：信息量小，時間、空間少彩色攝像機：信息量大，時間、空間彩色攝像機：信息量大，時間、空間多多線陣線陣CCD：一行，掃描；：一行，掃描；體積小，價格低；體積小，價格低；面面陣陣CCD: 整幅

4、圖像；直觀；價格高，體積大；整幅圖像；直觀；價格高，體積大；按掃描方式分類：逐行掃描、隔行掃描按掃描方式分類：逐行掃描、隔行掃描 逐行掃描：高速運動，避免邊緣模糊逐行掃描：高速運動，避免邊緣模糊 數(shù)字攝像機數(shù)字攝像機 - 電子快門電子快門 曝光時間曝光時間: 1/50s1/50s、1/125s1/125s、1/250s1/250s、1/500s1/500s、1/1000s1/1000s、1/2000s1/2000s、1/4000s1/4000s、1/8000s1/8000s、1/16000s1/16000s、1/32000s1/32000s 按形狀分類：長形、短形、方塊形、半球形、單板形按形狀

5、分類：長形、短形、方塊形、半球形、單板形 (2)(2)攝像機的主要參數(shù)攝像機的主要參數(shù)：制式：制式：CCD芯片尺寸芯片尺寸 ：PALPAL制式制式 - - 標準為標準為625625行，行，5050場，中國采用隔行掃描（黑白為場，中國采用隔行掃描（黑白為CCIRCCIR） （西歐、亞洲、澳大利亞）（西歐、亞洲、澳大利亞） NTSCNTSC制式制式 - - 標準為標準為525525行，行，6060場（黑白為場（黑白為EIAEIA）（）（美加、日本美加、日本）非標準制式非標準制式 - - 只有醫(yī)療或其它專業(yè)領(lǐng)域才用到只有醫(yī)療或其它專業(yè)領(lǐng)域才用到 面陣面陣CCDCCD芯片芯片相位交替行（相位交替行（P

6、hase Alternating Line）- 逐行倒相逐行倒相國家電視委員會國家電視委員會（National Television Systems Committee)CCDCCD分辨率：分辨率：是是CCDCCD的主要性能指標，它決定了顯示圖像的清晰程度，的主要性能指標，它決定了顯示圖像的清晰程度，分辨率越高，圖像細節(jié)的表現(xiàn)越好。分辨率越高，圖像細節(jié)的表現(xiàn)越好。 像素像素 - CCD- CCD每一個元素，像素越多，圖像越清晰每一個元素，像素越多，圖像越清晰 4444萬（萬（768768* *576576）、）、100100萬（萬（10241024* *10241024） 200200萬（萬（

7、16001600* *12001200）、）、600600萬（萬（28322832* *21282128）電視線電視線 - - 簡稱線簡稱線(TV LINES)(TV LINES)，彩色攝像頭一般，彩色攝像頭一般330500330500線，線， 黑白可以達到黑白可以達到600600線。電視線與線。電視線與CCDCCD和鏡頭有關(guān)，和鏡頭有關(guān)， 還與攝像頭電路通道的頻帶寬度直接相關(guān)，通還與攝像頭電路通道的頻帶寬度直接相關(guān)，通 常規(guī)律是常規(guī)律是1MHz1MHz的頻帶寬度相當于清晰度為的頻帶寬度相當于清晰度為8080線。線。 頻帶越寬，圖像越清晰，線數(shù)值相對越大。頻帶越寬，圖像越清晰，線數(shù)值相對越大。

8、 灰度級灰度級 - - 灰度分辨率、色彩分辨率，灰度分辨率、色彩分辨率， 1/21/2n 位數(shù)：位數(shù)：8 8位（位（bitbit）、）、1010位、位、1111位、位、1212位、位、 位數(shù)越多，圖像越清晰。位數(shù)越多，圖像越清晰。 二、信號處理技術(shù)二、信號處理技術(shù)1.1.信號處理電路信號處理電路光電元件光電元件信號處理信號處理圖像處理圖像處理光光電電電電圖像圖像3）電壓）電壓/電流（電流（V/A）轉(zhuǎn)換）轉(zhuǎn)換 - 需要電流輸出時；需要電流輸出時；1）信號放大）信號放大2）噪聲抑制）噪聲抑制 - 信號淹沒在噪聲中；信號淹沒在噪聲中；電壓（電壓（mV/ V）；電流（）；電流（ A/ mA）- 運算放

9、大電路（運算放大器）運算放大電路（運算放大器）相敏檢波：同步整流電路相敏檢波：同步整流電路模擬濾波：低通（模擬濾波：低通（LPF）、高通（）、高通（HPF）、帶通（）、帶通（BPF）、）、 帶阻（帶阻（BEF）、全通（）、全通（APF）濾波器）濾波器 4）模擬）模擬/數(shù)字（數(shù)字（A/D）轉(zhuǎn)換）轉(zhuǎn)換 - 需要輸出數(shù)字信號時需要輸出數(shù)字信號時2.2.圖像處理技術(shù)圖像處理技術(shù)成像成像 干擾等干擾等 圖像降質(zhì)圖像降質(zhì) 圖像預(yù)處理圖像預(yù)處理灰度校正灰度校正-突出特征突出特征 - 圖像增強（銳化）圖像增強（銳化）濾波降噪濾波降噪-去除噪聲去除噪聲 - 圖像濾波（平滑化）圖像濾波（平滑化） 灰度修正：改變灰

10、度分布灰度修正：改變灰度分布 -直方圖修正直方圖修正目標（前景）：黑的更黑、白的更白目標（前景）：黑的更黑、白的更白 - 直方圖拉伸直方圖拉伸 干擾（背景）：灰度模糊干擾（背景）：灰度模糊 - 直方圖壓縮直方圖壓縮 目的目的：感興趣特征感興趣特征 突出；不需要突出；不需要 衰減；不逼近衰減；不逼近預(yù)處理預(yù)處理+提取、識別、計算提取、識別、計算(70, 30)(180, 230)直方圖修正：直方圖修正： 圖像噪聲：強度隨機信號圖像噪聲：強度隨機信號高斯噪聲高斯噪聲椒鹽（椒鹽（Salt & pepper)噪聲：噪聲： 隨機出現(xiàn)黑白亮度值隨機出現(xiàn)黑白亮度值高斯噪聲：高斯高斯噪聲：高斯/正態(tài)分布正態(tài)分

11、布 傳感器噪聲模型（攝像機電子干擾噪聲等）傳感器噪聲模型（攝像機電子干擾噪聲等）- 濾波器濾波器原始圖像原始圖像 高斯濾波高斯濾波 3) 邊緣檢測邊緣檢測(1) 邊緣定義邊緣定義 邊緣：圖像局部亮度變化最顯著的部分邊緣：圖像局部亮度變化最顯著的部分 分布：目標分布：目標-目標、目標目標、目標-背景、區(qū)域背景、區(qū)域-區(qū)域區(qū)域 、 色彩色彩-色彩色彩(2) (2) 邊緣檢測算子邊緣檢測算子 梯度算子、梯度算子、 Roberts算子算子 、 Sobel算子、算子、 Prewitt算子算子 、拉普拉斯算子、拉普拉斯算子、 LoG算子、算子、 Canny算子算子4) 圖像描述與識別圖像描述與識別- 提取

12、特征參量，識別物體提取特征參量，識別物體原始圖像原始圖像LOG 算子算子Prewitt 算子算子Roberts 算子算子Sobel 算子算子Canny 算子算子 離焦離焦 不清晰、對比度不好不清晰、對比度不好 聚焦聚焦 清晰、對比度好清晰、對比度好夜晚景物圖像對比夜晚景物圖像對比夜間模式夜間模式延長曝光時間延長曝光時間光積分時間短光積分時間短 - 曝光量小曝光量小 - 景物亮度低景物亮度低 - 對比度差對比度差光積分時間長光積分時間長 - 曝光量大曝光量大 - 景物亮度高景物亮度高 - 對比度好對比度好F=8傍晚景物圖像對比傍晚景物圖像對比F=5.6陰天景物圖像對比陰天景物圖像對比F=11F=

13、5.6(1) (1) 零件的識別與定位零件的識別與定位領(lǐng)域：工業(yè)、醫(yī)療、領(lǐng)域：工業(yè)、醫(yī)療、 航天、軍事、農(nóng)業(yè)等航天、軍事、農(nóng)業(yè)等1 1、工業(yè)檢測、工業(yè)檢測例：雙目立體視覺檢測系統(tǒng)例：雙目立體視覺檢測系統(tǒng) 簡單視覺的機器人系統(tǒng)簡單視覺的機器人系統(tǒng) 自動連接引線、對準自動連接引線、對準芯片和封裝；芯片和封裝； 自動安裝部件，自動焊自動安裝部件，自動焊接或自動切割加工、自接或自動切割加工、自動澆注系統(tǒng)等。動澆注系統(tǒng)等。 三、視覺檢測技術(shù)的應(yīng)用三、視覺檢測技術(shù)的應(yīng)用(2) (2) 零件尺寸的在線測量零件尺寸的在線測量(3) (3) 零件外觀及內(nèi)部缺陷檢測零件外觀及內(nèi)部缺陷檢測芯片定位芯片定位芯片管腳檢

14、測芯片管腳檢測鋼板厚度的在線測量鋼板厚度的在線測量 木料檢測原理木料檢測原理例：木料檢測：缺陷、體積例：木料檢測：缺陷、體積 (4) (4) 產(chǎn)品分類、分組產(chǎn)品分類、分組(5) (5) 產(chǎn)品標識、編碼識別產(chǎn)品標識、編碼識別蘋果分級、分色、配色蘋果分級、分色、配色商品條碼、印鑒、標簽商品條碼、印鑒、標簽“手手-眼眼”定位：定位： 兩個攝像機兩個攝像機 - 兩幅平面圖像兩幅平面圖像 - 三維場景信息三維場景信息 用于：目標識別、道路識別、障礙物判斷、主動導(dǎo)航、自動視覺導(dǎo)航用于：目標識別、道路識別、障礙物判斷、主動導(dǎo)航、自動視覺導(dǎo)航 無人駕駛汽車、無人駕駛飛機、無人戰(zhàn)車、探測機器人無人駕駛汽車、無人

15、駕駛飛機、無人戰(zhàn)車、探測機器人實例：美國實例：美國Sojourner系列和系列和Rocky系列火星探測移動機器人系列火星探測移動機器人2 2、機器人導(dǎo)航、機器人導(dǎo)航“機遇機遇”號火星車拍攝號火星車拍攝火星土壤的顯微照片火星土壤的顯微照片 “勇氣勇氣”號火星車號火星車發(fā)回的彩色照片發(fā)回的彩色照片美國勇氣號和機遇號火星探測移動機器人美國勇氣號和機遇號火星探測移動機器人3、生物醫(yī)學圖像分析、生物醫(yī)學圖像分析（1）醫(yī)學臨床診斷）醫(yī)學臨床診斷 ： X射線、射線、B超、超、CT、核磁共振（、核磁共振（MRI）醫(yī)學影像融合分析醫(yī)學影像融合分析 細胞個數(shù)統(tǒng)計細胞個數(shù)統(tǒng)計 CT圖像圖像 自動檢測：染色體切片、癌

16、細胞切片、超聲波圖象自動檢測：染色體切片、癌細胞切片、超聲波圖象三維人體掃描三維人體掃描（2）生物圖像分析：形狀、組織切片、染色體配對、細菌、病毒、）生物圖像分析：形狀、組織切片、染色體配對、細菌、病毒、 病原體外形尺寸檢測、顏色識別、表面損傷檢測以及組織分析病原體外形尺寸檢測、顏色識別、表面損傷檢測以及組織分析葉片細胞顯微放大圖片葉片細胞顯微放大圖片 轉(zhuǎn)基因大豆孢子轉(zhuǎn)基因大豆孢子例：水果分類；發(fā)芽土豆；雜草識別例：水果分類；發(fā)芽土豆；雜草識別 4 4、遙感圖像分析：、遙感圖像分析：衛(wèi)星遙感圖像衛(wèi)星遙感圖像 - 氣象衛(wèi)星（紅外成象氣象衛(wèi)星（紅外成象 - 云圖云圖 - 氣象狀況）氣象狀況） 資源

17、衛(wèi)星（多光譜成象資源衛(wèi)星（多光譜成象 - 地質(zhì)、礦藏、森林、災(zāi)害）地質(zhì)、礦藏、森林、災(zāi)害） 海洋衛(wèi)星（合成孔徑雷達成象海洋衛(wèi)星（合成孔徑雷達成象 - 海洋、海浪、海灘）海洋、海浪、海灘） 航空攝影圖像航空攝影圖像 - （多目成象（多目成象 - 大地測量、測繪）大地測量、測繪）交通交通 - 車輛識別、牌照識別、車型判斷、車輛監(jiān)視、交通流量檢測車輛識別、牌照識別、車型判斷、車輛監(jiān)視、交通流量檢測安全安全 - 指紋判別與匹配、面孔與眼底識別、安全檢查（飛機、海關(guān)）指紋判別與匹配、面孔與眼底識別、安全檢查（飛機、海關(guān)）監(jiān)視監(jiān)視 - 超市、商店防盜、銀行監(jiān)控，停車場、電梯閉路電視超市、商店防盜、銀行監(jiān)控

18、，停車場、電梯閉路電視6、軍事與國防：軍事與國防：5、監(jiān)控、安防、交通管理：監(jiān)控、安防、交通管理：超低空雷達、超視距雷達、導(dǎo)彈制導(dǎo)、導(dǎo)彈導(dǎo)航、地形匹配、超低空雷達、超視距雷達、導(dǎo)彈制導(dǎo)、導(dǎo)彈導(dǎo)航、地形匹配、單兵作戰(zhàn)系統(tǒng)、戰(zhàn)場遙測、夜視儀、聲納成象單兵作戰(zhàn)系統(tǒng)、戰(zhàn)場遙測、夜視儀、聲納成象7、辦公與家電：辦公與家電：辦公設(shè)備辦公設(shè)備 - 數(shù)碼復(fù)印機、掃描儀、傳真機、繪圖儀數(shù)碼復(fù)印機、掃描儀、傳真機、繪圖儀家用電器家用電器 - 數(shù)碼攝像機、數(shù)碼照相機、可視電話、可視門鈴數(shù)碼攝像機、數(shù)碼照相機、可視電話、可視門鈴優(yōu)點：便宜，檢測能力強優(yōu)點：便宜，檢測能力強缺點：產(chǎn)能低，不適合檢測外層板缺點：產(chǎn)能低，不

19、適合檢測外層板OrionOptical Head光頭光頭Scan Line掃描線掃描線Scanning slice掃描片段掃描片段 (variable width可變寬度可變寬度)Scanned Panel被掃描的板被掃描的板Scanning Path-掃描路徑掃描路徑Image Processing-圖像處理圖像處理CCDAnalogto DigitalCircuitry模擬模擬 數(shù)字信號數(shù)字信號Digital toBinary Circuitry數(shù)字信號數(shù)字信號 二進制數(shù)字信號二進制數(shù)字信號Analog模擬信號模擬信號Digital數(shù)字信號數(shù)字信號Binary二進制二進制Original PanelBinary “strips”