機(jī)器視覺基礎(chǔ)知識

機(jī)器視覺系統(tǒng)概述2021/5/91提綱機(jī)器視覺系統(tǒng)概述照明光源鏡頭工業(yè)攝像機(jī)2021/5/92機(jī)器視覺系統(tǒng)機(jī)器視覺是一門技術(shù)，該技術(shù)被廣泛應(yīng)用在生產(chǎn)制造等行業(yè)。可用來保證產(chǎn)品質(zhì)量、控制生產(chǎn)流程、感知環(huán)境等。機(jī)器視覺系統(tǒng)是基于機(jī)器視覺技術(shù)為機(jī)器或自動(dòng)化生產(chǎn)線建立的一套視覺系統(tǒng)。2021/5/93機(jī)器視覺vs人類視覺人類視覺機(jī)器視覺適應(yīng)性適應(yīng)性強(qiáng)，可在復(fù)雜及變化的環(huán)境中識別目標(biāo)適應(yīng)性差，容易受復(fù)雜背景及環(huán)境變化的影響智能具有高級智能，可運(yùn)用邏輯分析及推理能力識別變化的目標(biāo)，并能總結(jié)規(guī)律雖然可利用人工智能及神經(jīng)網(wǎng)絡(luò)技術(shù)，但智能很差，不能很好地識別變化的目標(biāo)彩色識別能力對色彩的分辨能力強(qiáng)，但容易受人的心理影響，不能量化受硬件條件的制約，目前一般的圖像采集系統(tǒng)對色彩的分辨能力較差，但具有可量化的優(yōu)點(diǎn)灰度分辨力差，一般只能分辨64個(gè)灰度級強(qiáng)，目前一般使用256灰度級，采集系統(tǒng)可具有10bit、12bit、16bit等灰度級2021/5/94機(jī)器視覺vs人類視覺人類視覺機(jī)器視覺空間分辨力分辨率較差，不能觀看微小的目標(biāo)目前有4K×4K的面陣攝像機(jī)和12K的線陣攝像機(jī)，通過備置各種光學(xué)鏡頭，可以觀測小到微米大到天體的目標(biāo)速度0.1秒的視覺暫留使人眼無法看清較快速運(yùn)動(dòng)的目標(biāo)快門時(shí)間可達(dá)到10微妙左右，高速像機(jī)幀率可達(dá)到1000以上，處理器的速度越來越快感光范圍400nm-750nm范圍的可見光從紫外到紅外的較寬光譜范圍，另外有X光等特殊攝像機(jī)環(huán)境要求對環(huán)境溫度、濕度的適應(yīng)性差，另外有許多場合對人有損害對環(huán)境適應(yīng)性強(qiáng)，另外可加防護(hù)裝置2021/5/95機(jī)器視覺系統(tǒng)作用機(jī)器視覺技術(shù)功能縮短產(chǎn)品進(jìn)入市場時(shí)間100%檢測100%質(zhì)量保證提高產(chǎn)量集成化生產(chǎn)精確測量改進(jìn)生產(chǎn)流程及時(shí)過程監(jiān)控2021/5/96機(jī)器視覺應(yīng)用領(lǐng)域高速檢測精確機(jī)器人導(dǎo)航定位及配準(zhǔn)裝配檢測PCB檢測表面檢測紋理分析遙感醫(yī)學(xué)圖像分析測量一維碼讀取OCR&OCV匹配印刷檢測Blob分析2021/5/97機(jī)器視覺應(yīng)用領(lǐng)域光學(xué)行業(yè)紙制品藥物照相學(xué)和遙感印刷鐵路運(yùn)輸監(jiān)控航空宇航造船無線通信交通木材等等半導(dǎo)體汽車制造制陶業(yè)化學(xué)業(yè)電子部件及設(shè)備食品業(yè)玻璃業(yè)生命科學(xué)醫(yī)學(xué)鋼鐵礦業(yè)2021/5/98機(jī)器視覺系統(tǒng)構(gòu)成——模擬相機(jī)光源CCD/CMOS圖像傳感器鏡頭被測物體模擬視頻流攝像機(jī)圖像采集卡圖像內(nèi)存中數(shù)字圖像應(yīng)用結(jié)果孔半徑1233.147mm3.052mm2.785mm機(jī)器視覺軟件FGI/O2021/5/99機(jī)器視覺系統(tǒng)構(gòu)成——數(shù)字?jǐn)z像機(jī)光源CCD/CMOS圖像傳感器鏡頭被測物體圖像數(shù)據(jù)數(shù)字?jǐn)z像機(jī)（USB/1394a/1394b/GigE/CameraLink）圖像內(nèi)存中數(shù)字圖像應(yīng)用結(jié)果孔半徑1233.147mm3.052mm2.785mm機(jī)器視覺軟件FGI/O2021/5/910機(jī)器視覺系統(tǒng)構(gòu)成——智能攝像機(jī)光源CCD/CMOS圖像傳感器鏡頭被測物體模擬圖像數(shù)據(jù)智能攝像機(jī)圖像內(nèi)存中數(shù)字圖像應(yīng)用結(jié)果孔半徑1233.147mm3.052mm2.785mm機(jī)器視覺軟件FGI/O2021/5/911機(jī)器視覺市場機(jī)器視覺系統(tǒng)中部件包括：光源、工業(yè)攝像機(jī)、圖像采集卡、鏡頭、圖像處理設(shè)備等。機(jī)器視覺市場包括:部件生產(chǎn)商代理商系統(tǒng)集成商2021/5/912機(jī)器視覺系統(tǒng)組件——照明光源照明光源2021/5/913機(jī)器視覺系統(tǒng)——照明光源分類高頻熒光燈鹵素?zé)鬖ED燈2021/5/914機(jī)器視覺系統(tǒng)——照明光源對比2021/5/915LED光源特點(diǎn)可制成各種形狀、尺寸及各種照射角度；可根據(jù)需要制成各種顏色，并可以隨時(shí)調(diào)節(jié)亮度；通過散熱裝置，散熱效果更好，光亮度更穩(wěn)定；使用壽命長（約3萬小時(shí)，間斷使用壽命更長）；反應(yīng)快捷，可在10us或更短的時(shí)間內(nèi)達(dá)到最大亮度；電源帶有外觸發(fā)，可以通過計(jì)算機(jī)控制，起動(dòng)速度快，可以用作頻閃燈；運(yùn)行成本低、壽命長的LED，會在綜合成本和性能方面體現(xiàn)出更大的優(yōu)勢；可根據(jù)客戶的需要，進(jìn)行特殊設(shè)計(jì)。2021/5/916光源選型對成像影響實(shí)例2021/5/917照明技術(shù)：亮視野與暗視野暗視野亮視野雜散光雜散光直射光直射光2021/5/918照明技術(shù)：低角度照明常應(yīng)用于檢測平滑表面上變化的部分

如：劃痕、刀痕、邊緣2021/5/919低角度照明應(yīng)用實(shí)例2021/5/920照明技術(shù)：前向光直射照明2021/5/921前向光直射照明示例2021/5/922照明技術(shù)：前向光漫射照明2021/5/923前向光漫射照明示例2021/5/924前向光漫射照明示例2021/5/925照明技術(shù)：背光照明2021/5/926背光照明示例TCLTCLTCI2021/5/927照明技術(shù)：顏色與補(bǔ)色照射物白色光(混合色)藍(lán)色其它顏色被吸收2021/5/928顏色與補(bǔ)色示例白光紅光藍(lán)光綠光2021/5/929照明技術(shù)：偏光技術(shù)應(yīng)用偏光板偏光鏡片光源A光源B2021/5/930偏光技術(shù)應(yīng)用實(shí)例2021/5/931照明技術(shù)：防外亂光技術(shù)應(yīng)用2021/5/932機(jī)器視覺系統(tǒng)組件——鏡頭鏡頭2021/5/933成像尺寸2021/5/934焦距與視場角2021/5/935焦距與視場角例如：使用HV1303UM拍攝視野為440mm*330mm拍攝距離為2500mm2021/5/936常用公式放大率物距像距焦距物高像高2021/5/937鏡頭分辨率分辨率單位：lp/mm影響因素：

鏡頭結(jié)構(gòu)、材質(zhì)、加工精度

鏡頭的相對孔徑越大，分辨率越高

光波長度，波長越短分辨率越高

視場中心較邊緣分辨率高

同檔次的固定焦距鏡頭較變焦鏡頭分辨率高

短焦鏡頭一般邊緣分辨率較中心低，長焦鏡頭一般中

心較邊緣分辨率低。理想光學(xué)系統(tǒng)的最小分辨距離b=(0.61λ)/nsinωmax其中，λ為光的波長n為像空間介質(zhì)折射率ωmax為像方孔徑角當(dāng)鏡頭對無限遠(yuǎn)成像，且像方為空氣時(shí)（近似計(jì)算公式）

b=1.22λF其中，F(xiàn)為光圈數(shù)2021/5/938遠(yuǎn)心鏡頭2021/5/939鏡頭選型分辨率焦距光圈景深成像尺寸視場角遠(yuǎn)心畸變2021/5/940機(jī)器視覺系統(tǒng)組件——工業(yè)攝像機(jī)工業(yè)攝像機(jī)2021/5/941工業(yè)攝像機(jī)分類按不同芯片類型劃分：1、CCD攝像機(jī)2、CMOS攝像機(jī)2021/5/942CCDSensor—FullFrameArraySensorOutput(Amplifier)Serialreadoutregister優(yōu)點(diǎn)：填充因子(fillfactor)可以達(dá)到非常高，甚至達(dá)到100%。這樣Sensor靈敏度非常大。缺點(diǎn)：由于傳輸和讀出使用的時(shí)鐘相同，因此Sensor上面的部分曝光時(shí)間比下面的長，這會造成Smear現(xiàn)象。為了解決這個(gè)問題，必須使用機(jī)械快門或閃光燈。2021/5/943CCDSensor—FrameTransferSensor解決了FullFrameArraySensor發(fā)生Smear現(xiàn)象的問題從感光部分轉(zhuǎn)移到屏蔽存儲區(qū)域的時(shí)間約為500us優(yōu)點(diǎn)：在曝光時(shí)間較長的情況下，Smear現(xiàn)象比FullFrameArraySensor小很多缺點(diǎn)：由于需要兩個(gè)Sensor，因此成本非常高LightsensitiveCCD-sensorShieldedmemoryareaReadoutregister...............................2021/5/944CCDSensor—InterlineTransferSensors轉(zhuǎn)移時(shí)間約為1us，因此完全不存在Smear現(xiàn)象。優(yōu)點(diǎn)：由于轉(zhuǎn)移時(shí)間非常短，因此不需要使用機(jī)械快門或閃光燈缺點(diǎn)：由于屏蔽區(qū)占用了Sensor的部分面積，因此使得此種傳感器填充因子只能在20%~70%添加微鏡頭可以增加填充因子HorizontalshiftregistersverticalshiftregisterShielded(Photodiodes)SensorelementsOutput(Amplifier)2021/5/945Electronicshutter&MicroLensesOverflowDrain主要用來消除CCDSensor的Blooming現(xiàn)象它也被用來實(shí)現(xiàn)電子快門通過MicroLenses可以將傳感器的填充因子提高。CCD可以從80%提高到約100%CMOS可以從30%提高到約80%2021/5/946CMOSSensor2021/5/947AOI由于CMOS可直接訪問單個(gè)像素，因此在AOI非常小的情況下，CMOS與CCD相比，幀率上有較大的優(yōu)勢。CMOS

Sensor甚至可以將A/D轉(zhuǎn)換集成到每個(gè)像素中去，在不使用AOI時(shí)幀率上也有優(yōu)勢2021/5/948CCDvsCMOSCCDCMOS優(yōu)1.圖像質(zhì)量高2.靈敏度高3.對比度高1.體積小2.片上數(shù)字化3.很多片上處理功能4.低功耗5.沒有Blooming現(xiàn)象6.直接訪問單個(gè)像素7.高動(dòng)態(tài)范圍（120dB）8.幀率可以更高劣1.Blooming2.不能直接訪問每個(gè)像素3.沒有片上處理功能1.一致性較差2.光靈敏度差3.噪聲大2021/5/949CCDvsCMOSCCDCMOS串行處理并行處理，可直接訪問單像素線性度好高動(dòng)態(tài)范圍低噪聲存在固定模式噪聲功耗一般功耗較低集成度較低高集成度，芯片上集成了很多功能2021/5/950InterlacedScanvsProgressiveScanInterlacedScanProgressiveScan2021/5/951RollingShuttervsGlobalShutterRollingShutterGlobalShutter2021/5/952

彩色攝像機(jī)1.Bayer2.3CCD3.3Lines4.…………2021/5/953

彩色攝像機(jī)效果對比3CCDRawImageBayerDifference2021/5/954工業(yè)攝像機(jī)接口類型模擬接口CameraLink1394a1394bUsb2.0GigEEthernet……2021/5/955工業(yè)攝像機(jī)接口類型CameraLinkUsb2.01394a1394bGigEEthernet速度Base:1.5GbpsMedium:3.8GbpsFull:5.1Gbps480Mbps400Mbps800Mbps1000Gbps100Mbps距離10m5m4.5m4.5m100m100m優(yōu)勢1.帶寬高2.有帶預(yù)處理功能的采集設(shè)備3.抗干擾能力強(qiáng)1.易用2.價(jià)格低3.多相機(jī)1.易用，價(jià)格低，多相機(jī)2.傳輸距離遠(yuǎn)，實(shí)際線纜可達(dá)到17.5m，光纖傳輸可達(dá)100m3.有標(biāo)準(zhǔn)DCAM協(xié)議4.CPU占用最低1.易用，價(jià)格低，多相機(jī)2.傳輸距離遠(yuǎn)，線纜價(jià)格低3.標(biāo)準(zhǔn)GigEVision協(xié)議1.易用，價(jià)格低2.傳輸距離遠(yuǎn)，線纜價(jià)格低缺點(diǎn)1.價(jià)格高2.線中不帶供電1.無標(biāo)準(zhǔn)協(xié)議2.CPU占用高1.長距離傳輸線纜價(jià)格稍貴1.CPU占用高2.對主機(jī)配置要求高3.有時(shí)存在丟包現(xiàn)象1.無標(biāo)準(zhǔn)協(xié)議2.帶寬過低3.CPU占用過高2021/5/956PCIvsPCI-EPCI-32PCI-64PCI