機(jī)器視覺基礎(chǔ)知識(shí)

1、中國大恒（集團(tuán)）有限公司北京圖像視覺技中國大恒（集團(tuán)）有限公司北京圖像視覺技術(shù)分公司術(shù)分公司主講人：陳欣機(jī)器視覺系統(tǒng)概述提綱提綱n機(jī)器視覺系統(tǒng)概述機(jī)器視覺系統(tǒng)概述n照明光源照明光源n鏡頭鏡頭n工業(yè)攝像機(jī)工業(yè)攝像機(jī)機(jī)器視覺系統(tǒng)機(jī)器視覺系統(tǒng)機(jī)器視覺是一門技術(shù)，該技術(shù)被廣泛應(yīng)用在生產(chǎn)制造等行業(yè)?？捎脕肀ＷC產(chǎn)品質(zhì)量、控制生產(chǎn)流程、感知環(huán)境等。機(jī)器視覺系統(tǒng)是基于機(jī)器視覺技術(shù)為機(jī)器或自動(dòng)化生產(chǎn)線建立的一套視覺系統(tǒng)。機(jī)器視覺機(jī)器視覺 vsvs 人類視覺人類視覺人類視覺機(jī)器視覺適應(yīng)性適應(yīng)性強(qiáng)，可在復(fù)雜及變化的環(huán)境中識(shí)別目標(biāo)適應(yīng)性差，容易受復(fù)雜背景及環(huán)境變化的影響智能具有高級(jí)智能，可運(yùn)用邏輯分析及推理能力識(shí)別變

2、化的目標(biāo)，并能總結(jié)規(guī)律雖然可利用人工智能及神經(jīng)網(wǎng)絡(luò)技術(shù)，但智能很差，不能很好地識(shí)別變化的目標(biāo)彩色識(shí)別能力對(duì)色彩的分辨能力強(qiáng)，但容易受人的心理影響，不能量化受硬件條件的制約，目前一般的圖像采集系統(tǒng)對(duì)色彩的分辨能力較差，但具有可量化的優(yōu)點(diǎn)灰度分辨力差，一般只能分辨64個(gè)灰度級(jí)強(qiáng)，目前一般使用256灰度級(jí)，采集系統(tǒng)可具有10bit、12bit、16bit等灰度級(jí)機(jī)器視覺機(jī)器視覺 vsvs 人類視覺人類視覺人類視覺機(jī)器視覺空間分辨力分辨率較差，不能觀看微小的目標(biāo)目前有4K4K的面陣攝像機(jī)和12K的線陣攝像機(jī)，通過備置各種光學(xué)鏡頭，可以觀測(cè)小到微米大到天體的目標(biāo)速度0.1秒的視覺暫留使人眼無法看清較快速

3、運(yùn)動(dòng)的目標(biāo)快門時(shí)間可達(dá)到10微妙左右，高速像機(jī)幀率可達(dá)到1000以上，處理器的速度越來越快感光范圍400nm-750nm范圍的可見光從紫外到紅外的較寬光譜范圍，另外有X光等特殊攝像機(jī)環(huán)境要求對(duì)環(huán)境溫度、濕度的適應(yīng)性差，另外有許多場(chǎng)合對(duì)人有損害對(duì)環(huán)境適應(yīng)性強(qiáng)，另外可加防護(hù)裝置機(jī)器視覺系統(tǒng)作用機(jī)器視覺技術(shù)機(jī)器視覺技術(shù)功能功能縮短產(chǎn)品縮短產(chǎn)品進(jìn)入市場(chǎng)時(shí)間進(jìn)入市場(chǎng)時(shí)間100%100%檢測(cè)檢測(cè)100%100%質(zhì)量保證質(zhì)量保證提高產(chǎn)量提高產(chǎn)量集成化生產(chǎn)集成化生產(chǎn)精確測(cè)量精確測(cè)量改進(jìn)生產(chǎn)流程改進(jìn)生產(chǎn)流程及時(shí)過程監(jiān)控及時(shí)過程監(jiān)控機(jī)器視覺應(yīng)用領(lǐng)域n高速檢測(cè)高速檢測(cè)n精確機(jī)器人導(dǎo)航精確機(jī)器人導(dǎo)航n定位及配準(zhǔn)定位及

4、配準(zhǔn)n裝配檢測(cè)裝配檢測(cè)nPCBPCB檢測(cè)檢測(cè)n表面檢測(cè)表面檢測(cè)n紋理分析紋理分析n遙感遙感醫(yī)學(xué)圖像分析醫(yī)學(xué)圖像分析測(cè)量測(cè)量一維碼讀取一維碼讀取OCR&OCVOCR&OCV匹配匹配印刷檢測(cè)印刷檢測(cè)BlobBlob分析分析機(jī)器視覺應(yīng)用領(lǐng)域光學(xué)行業(yè)光學(xué)行業(yè)紙制品紙制品藥物藥物照相學(xué)和遙感照相學(xué)和遙感印刷印刷鐵路運(yùn)輸鐵路運(yùn)輸監(jiān)控監(jiān)控航空宇航航空宇航造船造船無線通信無線通信交通交通木材木材等等等等半導(dǎo)體半導(dǎo)體汽車制造汽車制造制陶業(yè)制陶業(yè)化學(xué)業(yè)化學(xué)業(yè)電子部件及設(shè)備電子部件及設(shè)備食品業(yè)食品業(yè)玻璃業(yè)玻璃業(yè)生命科學(xué)生命科學(xué)醫(yī)學(xué)醫(yī)學(xué)鋼鐵鋼鐵礦業(yè)礦業(yè)機(jī)器視覺系統(tǒng)構(gòu)成機(jī)器視覺系統(tǒng)構(gòu)成模擬相機(jī)模擬相機(jī)光

5、源CCD/CMOS圖像傳感器鏡頭被測(cè)物體模擬視頻流攝像機(jī)圖像采集卡圖像內(nèi)存中數(shù)字圖像應(yīng)用結(jié)果 孔半徑1233.147 mm3.052 mm2.785 mm 機(jī)器視覺軟件FGI/O機(jī)器視覺系統(tǒng)構(gòu)成機(jī)器視覺系統(tǒng)構(gòu)成數(shù)字?jǐn)z像機(jī)數(shù)字?jǐn)z像機(jī)光源CCD/CMOS圖像傳感器鏡頭被測(cè)物體圖像數(shù)據(jù)數(shù)字?jǐn)z像機(jī)（USB/1394a/1394b/GigE/CameraLink）圖像內(nèi)存中數(shù)字圖像應(yīng)用結(jié)果 孔半徑1233.147 mm3.052 mm2.785 mm 機(jī)器視覺軟件FGI/O機(jī)器視覺系統(tǒng)構(gòu)成機(jī)器視覺系統(tǒng)構(gòu)成智能攝像機(jī)智能攝像機(jī)光源CCD/CMOS圖像傳感器鏡頭被測(cè)物體模擬圖像數(shù)據(jù)智能攝像機(jī)圖像內(nèi)存中數(shù)字圖

6、像應(yīng)用結(jié)果 孔半徑1233.147 mm3.052 mm2.785 mm 機(jī)器視覺軟件FGI/O機(jī)器視覺市場(chǎng)n機(jī)器視覺系統(tǒng)中部件包括：光源、工業(yè)攝像機(jī)、圖像采集卡、鏡頭、圖像處理設(shè)備等。n機(jī)器視覺市場(chǎng)包括:部件生產(chǎn)商代理商系統(tǒng)集成商機(jī)器視覺系統(tǒng)機(jī)器視覺系統(tǒng)組件組件照明光源照明光源照明光源照明光源機(jī)器視覺系統(tǒng)機(jī)器視覺系統(tǒng)照明光源分類照明光源分類高頻熒光燈鹵素?zé)鬖ED燈機(jī)器視覺系統(tǒng)機(jī)器視覺系統(tǒng)照明光源對(duì)比照明光源對(duì)比LEDLED光源特點(diǎn)光源特點(diǎn)n可制成各種形狀、尺寸及各種照射角度；n可根據(jù)需要制成各種顏色，并可以隨時(shí)調(diào)節(jié)亮度；n通過散熱裝置，散熱效果更好，光亮度更穩(wěn)定；n使用壽命長(zhǎng)（約3萬小時(shí)，間

7、斷使用壽命更長(zhǎng)）；n反應(yīng)快捷，可在10us或更短的時(shí)間內(nèi)達(dá)到最大亮度；n電源帶有外觸發(fā)，可以通過計(jì)算機(jī)控制，起動(dòng)速度快，可以用作頻閃燈；n運(yùn)行成本低、壽命長(zhǎng)的LED，會(huì)在綜合成本和性能方面體現(xiàn)出更大的優(yōu)勢(shì)；n可根據(jù)客戶的需要，進(jìn)行特殊設(shè)計(jì)。光源選型對(duì)成像影響實(shí)例光源選型對(duì)成像影響實(shí)例照明技術(shù)：亮視野與暗視野照明技術(shù)：亮視野與暗視野暗視野暗視野亮視野亮視野雜散光雜散光直射光直射光照明技術(shù)：低角度照明照明技術(shù)：低角度照明常應(yīng)用于檢測(cè)平滑表面上變化的部分如：劃痕、刀痕、邊緣低角度照明應(yīng)用實(shí)例低角度照明應(yīng)用實(shí)例照明技術(shù)：前向光直射照明照明技術(shù)：前向光直射照明前向光直射照明示例前向光直射照明示例照明技術(shù)

8、：前向光漫射照明照明技術(shù)：前向光漫射照明前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例照明技術(shù)：背光照明照明技術(shù)：背光照明背光照明示例背光照明示例TCLTCLTCI照明技術(shù)：顏色與補(bǔ)色照明技術(shù)：顏色與補(bǔ)色照射物照射物白色光白色光(混合色混合色)藍(lán)色藍(lán)色其它顏色其它顏色被吸收被吸收顏色與補(bǔ)色示例顏色與補(bǔ)色示例白光白光紅紅光光藍(lán)光藍(lán)光綠光綠光照明技術(shù)：偏光技術(shù)應(yīng)用照明技術(shù)：偏光技術(shù)應(yīng)用偏光板偏光板偏光鏡片偏光鏡片光源光源A光源光源B偏光技術(shù)應(yīng)用實(shí)例偏光技術(shù)應(yīng)用實(shí)例照明技術(shù)：防外亂光技術(shù)應(yīng)用照明技術(shù)：防外亂光技術(shù)應(yīng)用機(jī)器視覺系統(tǒng)組件機(jī)器視覺系統(tǒng)組件鏡頭鏡頭鏡頭成像尺寸成像尺

9、寸焦距與視場(chǎng)角焦距與視場(chǎng)角焦距與視場(chǎng)角焦距與視場(chǎng)角例如：使用HV1303UM拍攝視野為440mm*330mm拍攝距離為2500mm常用公式常用公式放大率物距像距焦距物高像高LLhhm/ / )/11 (mfL)1 (mfL)/11/(mLfffLhmhh/ )( / ffLhmhh/ )(鏡頭分辨率鏡頭分辨率分辨率單位：lp/mm影響因素：鏡頭結(jié)構(gòu)、材質(zhì)、加工精度鏡頭的相對(duì)孔徑越大，分辨率越高光波長(zhǎng)度，波長(zhǎng)越短分辨率越高視場(chǎng)中心較邊緣分辨率高同檔次的固定焦距鏡頭較變焦鏡頭分辨率高短焦鏡頭一般邊緣分辨率較中心低，長(zhǎng)焦鏡頭一般中心較邊緣分辨率低。理想光學(xué)系統(tǒng)的最小分辨距離 b = (0.61)/n

10、sinmax其中，為光的波長(zhǎng) n為像空間介質(zhì)折射率 max為像方孔徑角當(dāng)鏡頭對(duì)無限遠(yuǎn)成像，且像方為空氣時(shí)（近似計(jì)算公式） b = 1.22 F 其中，F(xiàn)為光圈數(shù)遠(yuǎn)心鏡頭遠(yuǎn)心鏡頭鏡頭選型鏡頭選型分辨率焦距光圈景深成像尺寸視場(chǎng)角遠(yuǎn)心畸變機(jī)器視覺系統(tǒng)組件機(jī)器視覺系統(tǒng)組件工業(yè)攝像機(jī)工業(yè)攝像機(jī)工業(yè)攝像機(jī)工業(yè)攝像機(jī)工業(yè)攝像機(jī)分類工業(yè)攝像機(jī)分類 CCD SensorFull Frame Array Sensor CCD SensorFull Frame Array SensorOutput(Amplifier)Serial readout register優(yōu)點(diǎn)：填充因子(fill factor)可以達(dá)到非常

11、高，甚至達(dá)到100%。這樣Sensor靈敏度非常大。缺點(diǎn)：由于傳輸和讀出使用的時(shí)鐘相同，因此Sensor上面的部分曝光時(shí)間比下面的長(zhǎng)，這會(huì)造成Smear現(xiàn)象。為了解決這個(gè)問題，必須使用機(jī)械快門或閃光燈。 CCD SensorFrame Transfer Sensor CCD SensorFrame Transfer Sensor解決了Full Frame Array Sensor發(fā)生Smear現(xiàn)象的問題從感光部分轉(zhuǎn)移到屏蔽存儲(chǔ)區(qū)域的時(shí)間約為500us優(yōu)點(diǎn)：在曝光時(shí)間較長(zhǎng)的情況下，Smear現(xiàn)象比Full Frame Array Sensor小很多缺點(diǎn)：由于需要兩個(gè)Sensor，因此成本非常高L

12、ight sensitiveCCD-sensorShieldedmemory areaReadout register. CCD SensorInterline Transfer CCD SensorInterline Transfer SensorsSensors轉(zhuǎn)移時(shí)間約為1us，因此完全不存在Smear現(xiàn)象。優(yōu)點(diǎn)：由于轉(zhuǎn)移時(shí)間非常短，因此不需要使用機(jī)械快門或閃光燈缺點(diǎn)：由于屏蔽區(qū)占用了Sensor的部分面積，因此使得此種傳感器填充因子只能在20%70%添加微鏡頭可以增加填充因子Horizontal shift registersvertical shift registerShielde

13、d(Photo diodes)Sensor elementsOutput(Amplifier) Electronic shutter & Micro Lenses Electronic shutter & Micro Lenses Overflow Drain主要用來消除CCD Sensor的Blooming現(xiàn)象它也被用來實(shí)現(xiàn)電子快門通過Micro Lenses可以將傳感器的填充因子提高。CCD可以從80%提高到約100%CMOS可以從30%提高到約80% CMOS Sensor CMOS SensorAOIAOI由于CMOS可直接訪問單個(gè)像素，因此在AOI非常小的情況下，CM

14、OS與CCD相比，幀率上有較大的優(yōu)勢(shì)。CMOS Sensor甚至可以將A/D轉(zhuǎn)換集成到每個(gè)像素中去，在不使用AOI時(shí)幀率上也有優(yōu)勢(shì) CCD CCD vsvs CMOS CMOSCCDCMOS優(yōu)1.圖像質(zhì)量高2.靈敏度高3.對(duì)比度高1.體積小2.片上數(shù)字化3.很多片上處理功能4.低功耗5.沒有Blooming現(xiàn)象6.直接訪問單個(gè)像素7.高動(dòng)態(tài)范圍（120dB）8.幀率可以更高劣1.Blooming2.不能直接訪問每個(gè)像素3.沒有片上處理功能1.一致性較差2.光靈敏度差3.噪聲大 CCD CCD vsvs CMOS CMOSCCDCMOS串行處理并行處理，可直接訪問單像素線性度好高動(dòng)態(tài)范圍低噪聲存

15、在固定模式噪聲功耗一般功耗較低集成度較低高集成度，芯片上集成了很多功能 Interlaced Scan Interlaced Scan vsvs Progressive Scan Progressive ScanInterlaced ScanProgressive Scan Rolling Shutter Rolling Shutter vsvs Global Shutter Global ShutterRolling ShutterGlobal Shutter 彩色攝像機(jī)彩色攝像機(jī)1.Bayer2.3CCD3.3Lines4. 彩色攝像機(jī)效果對(duì)比彩色攝像機(jī)效果對(duì)比3CCDRaw ImageB

16、ayerDifference工業(yè)攝像機(jī)接口類型工業(yè)攝像機(jī)接口類型工業(yè)攝像機(jī)接口類型工業(yè)攝像機(jī)接口類型CameraLinkCameraLinkUsb2.0Usb2.01394a1394a1394b1394bGigEGigE速度Base: 1.5GbpsMedium: 3.8GbpsFull: 5.1 Gbps480Mbps400Mbps800Mbps1000Gbps100Mbps距離10m5m4.5m4.5m100m100m優(yōu)勢(shì)1.帶寬高2.有帶預(yù)處理功能的采集設(shè)備3.抗干擾能力強(qiáng)1.易用2.價(jià)格低3.多相機(jī)1.易用，價(jià)格低，多相機(jī)2.傳輸距離遠(yuǎn)，實(shí)際線纜可達(dá)到17.5m，光纖傳輸可達(dá)100m3

17、.有標(biāo)準(zhǔn)DCAM協(xié)議4.CPU占用最低1.易用，價(jià)格低，多相機(jī)2.傳輸距離遠(yuǎn)，線纜價(jià)格低3.標(biāo)準(zhǔn)GigE Vision協(xié)議1.易用，價(jià)格低2.傳輸距離遠(yuǎn)，線纜價(jià)格低缺點(diǎn)1.價(jià)格高2.線中不帶供電1.無標(biāo)準(zhǔn)協(xié)議2.CPU占用高1.長(zhǎng)距離傳輸線纜價(jià)格稍貴1.CPU占用高2.對(duì)主機(jī)配置要求高3.有時(shí)存在丟包現(xiàn)象1.無標(biāo)準(zhǔn)協(xié)議2.帶寬過低3.CPU占用過高PCI PCI vsvs PCI-E PCI-EPCI-32PCI-32PCI-64PCI-64PCI-ExpressPCI-Express速度133MBps266MBps1x 266MBps2x 266*2 MBps4x 266*4 MBps8x1

18、6x32x 8.25GBpsPCI Express采用的是點(diǎn)對(duì)點(diǎn)通信機(jī)制，各個(gè)插槽都將通過各自獨(dú)享的通道發(fā)送和接受數(shù)據(jù)，這樣就可以避免出現(xiàn)不同設(shè)備同時(shí)爭(zhēng)搶系統(tǒng)和CPU資 源的情況。同步采集同步采集 vsvs 異步采集異步采集工業(yè)攝像機(jī)選型工業(yè)攝像機(jī)選型1.根據(jù)攝像機(jī)拍攝的視野以及系統(tǒng)需要達(dá)到的精度選擇分辨率2.根據(jù)拍攝對(duì)象運(yùn)動(dòng)與否選擇合適相機(jī)3.根據(jù)生產(chǎn)線速度選擇合適幀率4.根據(jù)相機(jī)接口類型以及相機(jī)數(shù)量選擇合適的采集卡例如：某視覺檢測(cè)系統(tǒng)需要兩個(gè)檢測(cè)工位拍攝過程中工件不停止。兩個(gè)工位視野相同，均為400mm*300mm。要求檢測(cè)精度達(dá)到0.4mm以上。檢測(cè)速度大于每分鐘1000工件?；仡櫥仡櫤?jiǎn)