機器視覺基礎(chǔ)知識

1、中國大恒（集團）有限公司北京圖像視覺技中國大恒（集團）有限公司北京圖像視覺技術(shù)分公司術(shù)分公司主講人：陳欣機器視覺系統(tǒng)概述提綱提綱n機器視覺系統(tǒng)概述機器視覺系統(tǒng)概述n照明光源照明光源n鏡頭鏡頭n工業(yè)攝像機工業(yè)攝像機機器視覺系統(tǒng)機器視覺系統(tǒng)機器視覺是一門技術(shù)，該技術(shù)被廣泛應(yīng)用在生產(chǎn)制造等行業(yè)?？捎脕肀ＷC產(chǎn)品質(zhì)量、控制生產(chǎn)流程、感知環(huán)境等。機器視覺系統(tǒng)是基于機器視覺技術(shù)為機器或自動化生產(chǎn)線建立的一套視覺系統(tǒng)。機器視覺機器視覺 vsvs 人類視覺人類視覺人類視覺機器視覺適應(yīng)性適應(yīng)性強，可在復(fù)雜及變化的環(huán)境中識別目標適應(yīng)性差，容易受復(fù)雜背景及環(huán)境變化的影響智能具有高級智能，可運用邏輯分析及推理能力識別變

2、化的目標，并能總結(jié)規(guī)律雖然可利用人工智能及神經(jīng)網(wǎng)絡(luò)技術(shù)，但智能很差，不能很好地識別變化的目標彩色識別能力對色彩的分辨能力強，但容易受人的心理影響，不能量化受硬件條件的制約，目前一般的圖像采集系統(tǒng)對色彩的分辨能力較差，但具有可量化的優(yōu)點灰度分辨力差，一般只能分辨64個灰度級強，目前一般使用256灰度級，采集系統(tǒng)可具有10bit、12bit、16bit等灰度級機器視覺機器視覺 vsvs 人類視覺人類視覺人類視覺機器視覺空間分辨力分辨率較差，不能觀看微小的目標目前有4K4K的面陣攝像機和12K的線陣攝像機，通過備置各種光學(xué)鏡頭，可以觀測小到微米大到天體的目標速度0.1秒的視覺暫留使人眼無法看清較快速

3、運動的目標快門時間可達到10微妙左右，高速像機幀率可達到1000以上，處理器的速度越來越快感光范圍400nm-750nm范圍的可見光從紫外到紅外的較寬光譜范圍，另外有X光等特殊攝像機環(huán)境要求對環(huán)境溫度、濕度的適應(yīng)性差，另外有許多場合對人有損害對環(huán)境適應(yīng)性強，另外可加防護裝置機器視覺系統(tǒng)作用機器視覺技術(shù)機器視覺技術(shù)功能功能縮短產(chǎn)品縮短產(chǎn)品進入市場時間進入市場時間100%100%檢測檢測100%100%質(zhì)量保證質(zhì)量保證提高產(chǎn)量提高產(chǎn)量集成化生產(chǎn)集成化生產(chǎn)精確測量精確測量改進生產(chǎn)流程改進生產(chǎn)流程及時過程監(jiān)控及時過程監(jiān)控機器視覺應(yīng)用領(lǐng)域n高速檢測高速檢測n精確機器人導(dǎo)航精確機器人導(dǎo)航n定位及配準定位及

4、配準n裝配檢測裝配檢測nPCBPCB檢測檢測n表面檢測表面檢測n紋理分析紋理分析n遙感遙感醫(yī)學(xué)圖像分析醫(yī)學(xué)圖像分析測量測量一維碼讀取一維碼讀取OCR&OCVOCR&OCV匹配匹配印刷檢測印刷檢測BlobBlob分析分析機器視覺應(yīng)用領(lǐng)域光學(xué)行業(yè)光學(xué)行業(yè)紙制品紙制品藥物藥物照相學(xué)和遙感照相學(xué)和遙感印刷印刷鐵路運輸鐵路運輸監(jiān)控監(jiān)控航空宇航航空宇航造船造船無線通信無線通信交通交通木材木材等等等等半導(dǎo)體半導(dǎo)體汽車制造汽車制造制陶業(yè)制陶業(yè)化學(xué)業(yè)化學(xué)業(yè)電子部件及設(shè)備電子部件及設(shè)備食品業(yè)食品業(yè)玻璃業(yè)玻璃業(yè)生命科學(xué)生命科學(xué)醫(yī)學(xué)醫(yī)學(xué)鋼鐵鋼鐵礦業(yè)礦業(yè)機器視覺系統(tǒng)構(gòu)成機器視覺系統(tǒng)構(gòu)成模擬相機模擬相機光

5、源CCD/CMOS圖像傳感器鏡頭被測物體模擬視頻流攝像機圖像采集卡圖像內(nèi)存中數(shù)字圖像應(yīng)用結(jié)果 孔半徑1233.147 mm3.052 mm2.785 mm 機器視覺軟件FGI/O機器視覺系統(tǒng)構(gòu)成機器視覺系統(tǒng)構(gòu)成數(shù)字攝像機數(shù)字攝像機光源CCD/CMOS圖像傳感器鏡頭被測物體圖像數(shù)據(jù)數(shù)字攝像機（USB/1394a/1394b/GigE/CameraLink）圖像內(nèi)存中數(shù)字圖像應(yīng)用結(jié)果 孔半徑1233.147 mm3.052 mm2.785 mm 機器視覺軟件FGI/O機器視覺系統(tǒng)構(gòu)成機器視覺系統(tǒng)構(gòu)成智能攝像機智能攝像機光源CCD/CMOS圖像傳感器鏡頭被測物體模擬圖像數(shù)據(jù)智能攝像機圖像內(nèi)存中數(shù)字圖

6、像應(yīng)用結(jié)果 孔半徑1233.147 mm3.052 mm2.785 mm 機器視覺軟件FGI/O機器視覺市場n機器視覺系統(tǒng)中部件包括：光源、工業(yè)攝像機、圖像采集卡、鏡頭、圖像處理設(shè)備等。n機器視覺市場包括:部件生產(chǎn)商代理商系統(tǒng)集成商機器視覺系統(tǒng)機器視覺系統(tǒng)組件組件照明光源照明光源照明光源照明光源機器視覺系統(tǒng)機器視覺系統(tǒng)照明光源分類照明光源分類高頻熒光燈鹵素?zé)鬖ED燈機器視覺系統(tǒng)機器視覺系統(tǒng)照明光源對比照明光源對比LEDLED光源特點光源特點n可制成各種形狀、尺寸及各種照射角度；n可根據(jù)需要制成各種顏色，并可以隨時調(diào)節(jié)亮度；n通過散熱裝置，散熱效果更好，光亮度更穩(wěn)定；n使用壽命長（約3萬小時，間

7、斷使用壽命更長）；n反應(yīng)快捷，可在10us或更短的時間內(nèi)達到最大亮度；n電源帶有外觸發(fā)，可以通過計算機控制，起動速度快，可以用作頻閃燈；n運行成本低、壽命長的LED，會在綜合成本和性能方面體現(xiàn)出更大的優(yōu)勢；n可根據(jù)客戶的需要，進行特殊設(shè)計。光源選型對成像影響實例光源選型對成像影響實例照明技術(shù)：亮視野與暗視野照明技術(shù)：亮視野與暗視野暗視野暗視野亮視野亮視野雜散光雜散光直射光直射光照明技術(shù)：低角度照明照明技術(shù)：低角度照明常應(yīng)用于檢測平滑表面上變化的部分如：劃痕、刀痕、邊緣低角度照明應(yīng)用實例低角度照明應(yīng)用實例照明技術(shù)：前向光直射照明照明技術(shù)：前向光直射照明前向光直射照明示例前向光直射照明示例照明技術(shù)

8、：前向光漫射照明照明技術(shù)：前向光漫射照明前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例照明技術(shù)：背光照明照明技術(shù)：背光照明背光照明示例背光照明示例TCLTCLTCI照明技術(shù)：顏色與補色照明技術(shù)：顏色與補色照射物照射物白色光白色光(混合色混合色)藍色藍色其它顏色其它顏色被吸收被吸收顏色與補色示例顏色與補色示例白光白光紅紅光光藍光藍光綠光綠光照明技術(shù)：偏光技術(shù)應(yīng)用照明技術(shù)：偏光技術(shù)應(yīng)用偏光板偏光板偏光鏡片偏光鏡片光源光源A光源光源B偏光技術(shù)應(yīng)用實例偏光技術(shù)應(yīng)用實例照明技術(shù)：防外亂光技術(shù)應(yīng)用照明技術(shù)：防外亂光技術(shù)應(yīng)用機器視覺系統(tǒng)組件機器視覺系統(tǒng)組件鏡頭鏡頭鏡頭成像尺寸成像尺

9、寸焦距與視場角焦距與視場角焦距與視場角焦距與視場角例如：使用HV1303UM拍攝視野為440mm*330mm拍攝距離為2500mm常用公式常用公式放大率物距像距焦距物高像高LLhhm/ / )/11 (mfL)1 (mfL)/11/(mLfffLhmhh/ )( / ffLhmhh/ )(鏡頭分辨率鏡頭分辨率分辨率單位：lp/mm影響因素：鏡頭結(jié)構(gòu)、材質(zhì)、加工精度鏡頭的相對孔徑越大，分辨率越高光波長度，波長越短分辨率越高視場中心較邊緣分辨率高同檔次的固定焦距鏡頭較變焦鏡頭分辨率高短焦鏡頭一般邊緣分辨率較中心低，長焦鏡頭一般中心較邊緣分辨率低。理想光學(xué)系統(tǒng)的最小分辨距離 b = (0.61)/n

10、sinmax其中，為光的波長 n為像空間介質(zhì)折射率 max為像方孔徑角當鏡頭對無限遠成像，且像方為空氣時（近似計算公式） b = 1.22 F 其中，F(xiàn)為光圈數(shù)遠心鏡頭遠心鏡頭鏡頭選型鏡頭選型分辨率焦距光圈景深成像尺寸視場角遠心畸變機器視覺系統(tǒng)組件機器視覺系統(tǒng)組件工業(yè)攝像機工業(yè)攝像機工業(yè)攝像機工業(yè)攝像機工業(yè)攝像機分類工業(yè)攝像機分類 CCD SensorFull Frame Array Sensor CCD SensorFull Frame Array SensorOutput(Amplifier)Serial readout register優(yōu)點：填充因子(fill factor)可以達到非常

11、高，甚至達到100%。這樣Sensor靈敏度非常大。缺點：由于傳輸和讀出使用的時鐘相同，因此Sensor上面的部分曝光時間比下面的長，這會造成Smear現(xiàn)象。為了解決這個問題，必須使用機械快門或閃光燈。 CCD SensorFrame Transfer Sensor CCD SensorFrame Transfer Sensor解決了Full Frame Array Sensor發(fā)生Smear現(xiàn)象的問題從感光部分轉(zhuǎn)移到屏蔽存儲區(qū)域的時間約為500us優(yōu)點：在曝光時間較長的情況下，Smear現(xiàn)象比Full Frame Array Sensor小很多缺點：由于需要兩個Sensor，因此成本非常高L

12、ight sensitiveCCD-sensorShieldedmemory areaReadout register. CCD SensorInterline Transfer CCD SensorInterline Transfer SensorsSensors轉(zhuǎn)移時間約為1us，因此完全不存在Smear現(xiàn)象。優(yōu)點：由于轉(zhuǎn)移時間非常短，因此不需要使用機械快門或閃光燈缺點：由于屏蔽區(qū)占用了Sensor的部分面積，因此使得此種傳感器填充因子只能在20%70%添加微鏡頭可以增加填充因子Horizontal shift registersvertical shift registerShielde

13、d(Photo diodes)Sensor elementsOutput(Amplifier) Electronic shutter & Micro Lenses Electronic shutter & Micro Lenses Overflow Drain主要用來消除CCD Sensor的Blooming現(xiàn)象它也被用來實現(xiàn)電子快門通過Micro Lenses可以將傳感器的填充因子提高。CCD可以從80%提高到約100%CMOS可以從30%提高到約80% CMOS Sensor CMOS SensorAOIAOI由于CMOS可直接訪問單個像素，因此在AOI非常小的情況下，CM

14、OS與CCD相比，幀率上有較大的優(yōu)勢。CMOS Sensor甚至可以將A/D轉(zhuǎn)換集成到每個像素中去，在不使用AOI時幀率上也有優(yōu)勢 CCD CCD vsvs CMOS CMOSCCDCMOS優(yōu)1.圖像質(zhì)量高2.靈敏度高3.對比度高1.體積小2.片上數(shù)字化3.很多片上處理功能4.低功耗5.沒有Blooming現(xiàn)象6.直接訪問單個像素7.高動態(tài)范圍（120dB）8.幀率可以更高劣1.Blooming2.不能直接訪問每個像素3.沒有片上處理功能1.一致性較差2.光靈敏度差3.噪聲大 CCD CCD vsvs CMOS CMOSCCDCMOS串行處理并行處理，可直接訪問單像素線性度好高動態(tài)范圍低噪聲存

15、在固定模式噪聲功耗一般功耗較低集成度較低高集成度，芯片上集成了很多功能 Interlaced Scan Interlaced Scan vsvs Progressive Scan Progressive ScanInterlaced ScanProgressive Scan Rolling Shutter Rolling Shutter vsvs Global Shutter Global ShutterRolling ShutterGlobal Shutter 彩色攝像機彩色攝像機1.Bayer2.3CCD3.3Lines4. 彩色攝像機效果對比彩色攝像機效果對比3CCDRaw ImageB

16、ayerDifference工業(yè)攝像機接口類型工業(yè)攝像機接口類型工業(yè)攝像機接口類型工業(yè)攝像機接口類型CameraLinkCameraLinkUsb2.0Usb2.01394a1394a1394b1394bGigEGigE速度Base: 1.5GbpsMedium: 3.8GbpsFull: 5.1 Gbps480Mbps400Mbps800Mbps1000Gbps100Mbps距離10m5m4.5m4.5m100m100m優(yōu)勢1.帶寬高2.有帶預(yù)處理功能的采集設(shè)備3.抗干擾能力強1.易用2.價格低3.多相機1.易用，價格低，多相機2.傳輸距離遠，實際線纜可達到17.5m，光纖傳輸可達100m3

17、.有標準DCAM協(xié)議4.CPU占用最低1.易用，價格低，多相機2.傳輸距離遠，線纜價格低3.標準GigE Vision協(xié)議1.易用，價格低2.傳輸距離遠，線纜價格低缺點1.價格高2.線中不帶供電1.無標準協(xié)議2.CPU占用高1.長距離傳輸線纜價格稍貴1.CPU占用高2.對主機配置要求高3.有時存在丟包現(xiàn)象1.無標準協(xié)議2.帶寬過低3.CPU占用過高PCI PCI vsvs PCI-E PCI-EPCI-32PCI-32PCI-64PCI-64PCI-ExpressPCI-Express速度133MBps266MBps1x 266MBps2x 266*2 MBps4x 266*4 MBps8x1

18、6x32x 8.25GBpsPCI Express采用的是點對點通信機制，各個插槽都將通過各自獨享的通道發(fā)送和接受數(shù)據(jù)，這樣就可以避免出現(xiàn)不同設(shè)備同時爭搶系統(tǒng)和CPU資 源的情況。同步采集同步采集 vsvs 異步采集異步采集工業(yè)攝像機選型工業(yè)攝像機選型1.根據(jù)攝像機拍攝的視野以及系統(tǒng)需要達到的精度選擇分辨率2.根據(jù)拍攝對象運動與否選擇合適相機3.根據(jù)生產(chǎn)線速度選擇合適幀率4.根據(jù)相機接口類型以及相機數(shù)量選擇合適的采集卡例如：某視覺檢測系統(tǒng)需要兩個檢測工位拍攝過程中工件不停止。兩個工位視野相同，均為400mm*300mm。要求檢測精度達到0.4mm以上。檢測速度大于每分鐘1000工件?；仡櫥仡櫤?/p>