機(jī)器視覺(jué)筆記

1、機(jī)器視覺(jué)入門及應(yīng)用硬件篇1）相機(jī)按芯片類型：CCD相機(jī)、CMOS相機(jī)按掃描方式：隔行掃描相機(jī)、逐行掃描相機(jī) 按傳感器結(jié)構(gòu)特性：線陣相機(jī)、面陣相機(jī)1. 相機(jī)基本參數(shù)分辨率：相機(jī)每次采集圖像的像素點(diǎn)（Pixels）,對(duì)于數(shù)字相機(jī)一是直接與光 電傳感器的像元數(shù)對(duì)應(yīng)的，對(duì)于模擬相機(jī)則是取決于視屏制式， PAL 制為 768*576，NTSC制為 640*480 ；像素深度：即每個(gè)像素?cái)?shù)據(jù)的位數(shù)，一般常用的是 8Bit，對(duì)于數(shù)字工業(yè)相機(jī) 一般還有 10Bit、12Bit 等；像元尺寸（pixel Size）像元大小和像元數(shù)（分辨率）共同決定了相機(jī)機(jī)靶面 的大小。目前數(shù)字相機(jī)像元尺寸一般為 3um-10u

2、m； 幀率：相機(jī)采集傳輸圖像的速率，對(duì)于面陣相機(jī)一般為每秒采集的幀數(shù)（Frames/SeC對(duì)于線陣相機(jī)為每秒采集的行數(shù)（Hz）2. CCD相機(jī)CCD是目前機(jī)器視覺(jué)最為常用的圖像傳感器。 它集光電轉(zhuǎn)換及電荷存貯、電荷轉(zhuǎn) 移、信號(hào)讀取于一體，是典型的固體成像器件。CCD的突出特點(diǎn)是以電荷作為信 號(hào)，而不同于其他器件是以電流或者電壓為信號(hào)。 這類成像器件通過(guò)光電轉(zhuǎn)換成 電荷包，而后在脈沖的作用下轉(zhuǎn)移、放大輸出圖像信號(hào)。典型的CCD相機(jī)由光學(xué)鏡頭、時(shí)序及同步信號(hào)發(fā)生器、垂直驅(qū)動(dòng)器、模擬 / 數(shù)字信號(hào)處理電路組成。CCD作為一種功能器件，與真空管相比具有無(wú)灼傷、無(wú) 滯后、低電壓工作、低功耗等優(yōu)點(diǎn)。3.S

3、MOS相機(jī)CMOS圖像傳感器將光敏元陣列、圖像信號(hào)放大器、信號(hào)讀取電路、模數(shù)轉(zhuǎn) 換電路、圖像信號(hào)處理器及控制集成在一塊芯片上。CMOS相機(jī)具有局部像素的編程隨機(jī)訪問(wèn)的優(yōu)點(diǎn)，目前， CMOS相機(jī)以其良 好的集成性、 低功耗、 高速傳輸和寬動(dòng)態(tài)范圍特點(diǎn)在高分辨率和高速場(chǎng)合得到了 廣泛應(yīng)用。4. 工業(yè)相機(jī)與普通相機(jī)的區(qū)別A. 工業(yè)相機(jī)性能可靠易于安裝，相機(jī)結(jié)構(gòu)緊湊結(jié)實(shí)不易損壞，連續(xù)工作時(shí) 間長(zhǎng)，可以在較差的環(huán)境下使用，普通相機(jī)是做不到這些的，例如：讓普通相機(jī) 連續(xù)工作一天或幾天肯定會(huì)受不了的；B. 工業(yè)相機(jī)的快門（曝光）時(shí)間非常短，可以抓拍高速運(yùn)動(dòng)的物體；C. 工業(yè)相機(jī)幀率遠(yuǎn)高于普通相機(jī)；D. 工業(yè)

4、相機(jī)輸出的是裸數(shù)據(jù)，光譜范圍較寬。比較適合進(jìn)行高質(zhì)量的圖像 處理算法，普通相機(jī)的光譜范圍只適合人眼視覺(jué)， 圖像質(zhì)量較差， 不利于進(jìn)行分 析處理。E. 工業(yè)相機(jī)價(jià)格貴。5. 相機(jī)選取方法A. 根據(jù)應(yīng)用的不同選取CCD或CMOS相機(jī)。CCD相機(jī)主要應(yīng)用在運(yùn)動(dòng)物體 的圖像攝取，如貼片機(jī)機(jī)器視覺(jué)，。用在視覺(jué)自動(dòng)檢查的方案或行業(yè)中一般用 CCD 相機(jī)比較多，CMOS相機(jī)成本低，功耗低也越來(lái)越廣泛；B. 分辨率的選擇。首先考慮待觀察或待測(cè)量物體的精度，根據(jù)精度選擇分 辨率。相機(jī)像素精度 =單方向視野范圍大小 / 相機(jī)單方向分辨率。 則相機(jī)單方向分 辨率=單方向視野范圍大小/理論精度。若單視野為 5mm,理

5、論精度為0.02mm, 則單方向分辨率 =5/0.02=250。然而為增加系統(tǒng)穩(wěn)定性，不會(huì)只用一個(gè)像素單位 對(duì)應(yīng)一個(gè)測(cè)量 /觀察精度值，一般可以選擇倍數(shù) 4 或更高。這樣改相機(jī)需求單方 向分辨率為 1000，選用 130 萬(wàn)像素已經(jīng)足夠。C其次看相機(jī)的輸出，若是體式觀察或機(jī)器視覺(jué)軟件分析識(shí)別，分辨率高是 有幫助的；若是VGA輸出或USB輸出，再顯示器上觀察，則還依賴顯示器的分 辨率，相機(jī)的分辨率再高，顯示器分辨率不夠，也是沒(méi)有意義的；利用存儲(chǔ)卡或 拍照功能，相機(jī)的分辨率高也是很有幫助的。D.考慮與鏡頭的匹配。傳感器芯片尺寸需要小于或等于鏡頭尺寸，C或CS安裝座也要匹配（或者增加轉(zhuǎn)接口） ；E考

6、慮相機(jī)幀數(shù)選擇。當(dāng)被測(cè)物體有運(yùn)動(dòng)要求時(shí)，要選擇幀數(shù)高的工業(yè)相機(jī)。 但一般來(lái)說(shuō)分辨率越高，幀數(shù)越低。2）鏡頭鏡頭的基本功能就是實(shí)現(xiàn)光束變換，在機(jī)器視覺(jué)系統(tǒng)中，鏡頭的主要作用是將目 標(biāo)圖像成像在圖像傳感器的光敏面上。鏡頭的質(zhì)量直接影響到機(jī)器視覺(jué)系統(tǒng)的整 體性能，合理地選擇和安裝鏡頭，是機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)的重要環(huán)節(jié)。1. 鏡頭分類按功能：定焦鏡頭、變焦鏡頭、定光圈鏡頭按視角：普通鏡頭、廣角鏡頭、遠(yuǎn)攝鏡頭按用途：微距鏡頭、遠(yuǎn)心鏡頭、 CCTVB頭2. 鏡頭基本參數(shù)1）鏡頭的相關(guān)參數(shù)：視場(chǎng)（FOV鄴城視野范圍）：指觀測(cè)物體的可視范圍，也就是相機(jī)采集芯 片的物體部分。（視場(chǎng)范圍是選型中必須了解的）工作距離（

7、WD）:指從鏡頭前部到受檢驗(yàn)物體的距離。即清晰成像的表面距 離。（選型必須了解的問(wèn)題，工作問(wèn)題是否可調(diào)？包括是否有安裝空間等） 分辨率：圖像系統(tǒng)可以測(cè)到的手檢驗(yàn)物體上的最小可分辨特征尺寸。在多數(shù) 情況下，視野越小，分辨率越好；景深（DOF）：物體離最佳焦點(diǎn)較近或較遠(yuǎn)時(shí)，鏡頭保持所需分辨率的能力。 （需要了解客戶對(duì)景深是否有特殊要求）im（）3.景深計(jì)算公式F8L2f2 + F6LAA 二 AA, +AL 二S -容許彌散圓直徑；f-鏡頭焦距；F -鏡頭的拍攝光圈值；L-對(duì)焦距離；L1 -前景深； L2 -后景深； L -景深4.景深計(jì)算公式（2）:可看出，后景深 前景深，且景深與鏡頭使用的光圈

8、，鏡頭焦距與拍攝距離等有 關(guān)系：鏡頭光圈：光圈越大，景深越小；光圈越小，景深越大； 鏡頭焦距：鏡頭焦距越長(zhǎng)，景深越小；鏡頭焦距越短，景深越大； 拍攝距離：距離越遠(yuǎn)，景深越大；距離越近，景深越小。low f* (tvgt AxifwnlHigh fr D 爐伽*呻*Ta Ohlnfl OewM iKaitan5.鏡頭的其他參數(shù)感光芯片尺寸：相機(jī)感光芯片的有效區(qū)域尺寸，一般指水平尺寸。這個(gè)參數(shù) 對(duì)于決定合適的鏡頭縮放比例以獲取想要的視野范圍（FOV非常重要。鏡頭光學(xué)放大倍數(shù)（PMAG）由感光芯片的尺寸和視場(chǎng)的比率來(lái)定義。雖然基本 參數(shù)包括感光芯片的尺寸，但 PMAG卻不屬于基本參數(shù)；焦距：是光學(xué)系

9、統(tǒng)中衡量光的聚集或發(fā)散的度量方式，指從透鏡的光心到 光聚集之焦點(diǎn)的距離。亦是相機(jī)中，從鏡頭中心到底片或CCD等成像平面的 距離。鏡頭接口C型：C型接口鏡頭與攝像機(jī)接觸面至鏡頭焦平面（攝像機(jī)CCD光電感應(yīng)器處的位置）的距離為17.5mm;CS型: CS型接口此距離為12.5mmC型鏡頭與CS型相機(jī)之間增加一個(gè)5mm 的C/CS接圈可以配合使用。CS鏡頭與C型鏡頭無(wú)法配合使用；F型：通用型接口，一般適用于大于 25mm的鏡頭?；儯阂曇爸芯植糠糯蟊稊?shù)不一定造成的圖像扭曲， 由于受制作工藝的影響， 鏡頭越好畸變?cè)叫?。廣角鏡頭的畸變比較大，比如直線彎曲、矩形變成桶形 或者枕型。因此在精密測(cè)量系統(tǒng)等精度

10、要求高的情況下必須考慮鏡頭的畸變。桶形失真枕形失莫6. 鏡頭選取方法例如在鏡頭與工件之前根據(jù)客戶要求。一般先考慮客戶對(duì)鏡頭的特殊要求，有沒(méi)有加入其他器件（透鏡、反光鏡片、玻璃）、鏡頭的工作環(huán)境等。 是否需要用遠(yuǎn)心鏡頭。精密測(cè)量系統(tǒng)需要選用遠(yuǎn)心鏡頭，遠(yuǎn)心鏡頭最主要的 功能就是克服透視相差（成像時(shí)由于距離的不同而導(dǎo)致的放大倍數(shù)不一致現(xiàn) 象）的影響，使得檢測(cè)目標(biāo)在一定范圍內(nèi)運(yùn)動(dòng)時(shí)得到的尺寸數(shù)據(jù)幾乎不變。 一般情況下，遠(yuǎn)心鏡頭都是固定焦距和工作距離的，而且有些遠(yuǎn)心鏡頭的體 積很大，有的超過(guò)十斤，需要詳細(xì)了解客戶對(duì)視場(chǎng)大小、工作距離、空間限 制和運(yùn)動(dòng)控制的要求。一般的表面缺陷、有無(wú)判斷等對(duì)物體成像沒(méi)有嚴(yán)

11、格要 求時(shí)，選用畸變小的鏡頭就可以。鏡頭的接口。鏡頭接口和相機(jī)接口都分為 C CS F和其他更大尺寸的接口 類型。相機(jī)和鏡頭時(shí)互補(bǔ)的，即C接口的相機(jī)只能用C 口接的鏡頭，CS接口 的相機(jī)可以使用CS接口的鏡頭或者加上5mm接圈，其他接口的只能對(duì)應(yīng)，如果相機(jī)的芯片尺寸超過(guò)1英尺，盡量選用F或者更大的接口，避免圖 像周圍成像質(zhì)量差。3）光源機(jī)器視覺(jué)系統(tǒng)中最關(guān)鍵的一個(gè)方面就是選擇正確的照明，機(jī)器視覺(jué)光源直接影響到圖像的質(zhì)量，進(jìn)而影響到系統(tǒng)的性能。所以我們經(jīng)常說(shuō)光源起到的作用就是獲 得對(duì)比鮮明的圖像。1. 光源的作用選擇合適的光源，可突顯良好的圖像效果（特征點(diǎn)），可以簡(jiǎn)化算法，提高 檢測(cè)精度，保證檢測(cè)

12、系統(tǒng)的穩(wěn)定性。2. 光源類型A. 環(huán)形光源：提供不同的照射角度、不同顏色組合，更能突出物體的三維信息； 高密度LED列陣，高亮度；多種緊湊設(shè)計(jì)，節(jié)省安裝空間；解決對(duì)角照射陰影問(wèn) 題；可選配漫射板導(dǎo)光，光線均勻擴(kuò)散。（PCB基板檢測(cè)，IC元件檢測(cè)，顯微鏡 照明，液晶校正，塑膠容器檢測(cè)，集成電路印字檢查 ）B. 背光源：用高密度LED列陣面提供高強(qiáng)度背光照明，能突出物體的外形輪廓 特征，尤其適合作為顯微鏡的載物臺(tái)。紅白兩用背光源、紅藍(lán)多用背光源，能調(diào) 配出不同顏色，滿足不同被測(cè)物多色要求。（機(jī)械零件尺寸的測(cè)量，電子元件、 IC的外型檢測(cè)、膠片污點(diǎn)檢測(cè)，透明物體劃痕檢測(cè) ）C. 條形光源：條形光源是

13、較大方形結(jié)構(gòu)被測(cè)物體的首選光源；顏色可根據(jù)需求 搭配，自由組合；照射角度與安裝隨意可調(diào)。（金屬表面檢查，圖像掃描，表面 裂縫檢測(cè)，LCD面板檢測(cè)）D. 組合條形光源：四邊配置條形光，每邊照明獨(dú)立可控；可根據(jù)被測(cè)物體要求 調(diào)整所需照明角度，使用性廣。（PCB基板檢測(cè)，IC元件檢測(cè)，焊錫檢查，Mark 點(diǎn)定位，顯微鏡照明，包裝條碼照明，球形物體照明）E. 同軸光源：同軸光源可以消除物體表面不平整引起的陰影，從而減少干擾； 部分采用分光鏡設(shè)計(jì)，減少光損失，提高成像清晰度，均勻照射物體表面。（系列光源最適宜用于反射度極高的物體，如金屬、玻璃、膠片、晶片等表面的劃傷 檢測(cè)，芯片和晶片的破損檢測(cè)，Mark

14、點(diǎn)定位，包裝條碼識(shí)別。F. 線性光源：超高亮度，采用柱面透鏡聚光，適用于各種流水線連續(xù)檢測(cè)場(chǎng)合G. 點(diǎn)光源：大功率LED體積小，發(fā)光強(qiáng)度高；光纖鹵素?zé)舻奶娲罚绕溥m 合作為鏡頭的同軸光源等；高效散熱裝置，大大提高光源的使用壽命。（適合遠(yuǎn)心鏡頭使用，用于芯片檢測(cè)，Mark點(diǎn)定位，晶片及液晶玻璃底基校正。3. 光源選型A. 條光選型要領(lǐng)：條光照射寬度最好大于檢測(cè)的距離，否則可能會(huì)照射距離遠(yuǎn)造成亮度差， 或者是距離近而輻射面積不夠；條光長(zhǎng)度能夠照明所需打亮的位置即可，無(wú)需太長(zhǎng)造成安裝不便，同時(shí)也增 力卩成本，一般情況下，光源的安裝高度會(huì)影響到所選用條光的長(zhǎng)度，高度越 高，光源長(zhǎng)度要求越長(zhǎng)，否則圖像

15、兩側(cè)亮度比中間暗；如果照明目標(biāo)是高反光物體，最好加上漫射板，如果是黑色等暗色不反光產(chǎn) 品，也可以拆掉漫射板以提高亮度；B. 環(huán)光選型要領(lǐng)： 了解光源安裝距離，過(guò)濾掉某些角度光源；例如要求光源安裝尺寸高，就可 以過(guò)濾掉大角度光源，選擇用小角度光源，同樣，安裝高度越高，要求光源 直徑越大； 目標(biāo)面積小，且主要特征性在表面中間， 可選擇小尺寸 0 角度或小角度光源； 目標(biāo)需要表現(xiàn)的特征如果在邊緣，可選擇 90 角度環(huán)光，或大尺寸高角度環(huán) 形光； 檢測(cè)表面劃傷，可選擇 90 度角環(huán)光，盡量選擇波長(zhǎng)短的光源。C. 背光源 /平行背光源選型要領(lǐng)： 根據(jù)物體大小選擇合適大小的背光源，以免增加成本造成浪費(fèi) 背

16、光源四周一條由于外殼遮擋， 其亮度會(huì)低于中間部位， 因此選擇背光源時(shí)， 盡量不要使目標(biāo)正好位于背光源邊緣 背光源一般在檢測(cè)輪廓時(shí)，可以盡量使用波長(zhǎng)短的光源，波長(zhǎng)短的光源其衍 射性弱，圖像邊緣不容易產(chǎn)生重影，對(duì)比度更高； 背光源與目標(biāo)之間的距離可以通過(guò)調(diào)整來(lái)達(dá)到最佳效果， 并非離得越近效果 越好，也非越遠(yuǎn)越好； 液位檢測(cè)可以將背光源側(cè)立使用； 圓軸類產(chǎn)品，螺旋狀的產(chǎn)品盡量使用平行背光源D. 同軸光源選型要領(lǐng)： 選擇同軸光時(shí)主要看其發(fā)光面積， 根據(jù)目標(biāo)的大小來(lái)選擇合適發(fā)光面積的同 軸光； 同軸光的發(fā)光面積最好比目標(biāo)尺寸大 1.52 倍左右，因?yàn)橥S光的光路設(shè)計(jì) 時(shí)讓光路通過(guò)一片 45 度反半透鏡改

17、變光源靠近燈板的地方會(huì)比原理燈板的 亮度高，因此，盡量選擇大一點(diǎn)的發(fā)光面避免光線左右不均勻； 同軸光在安裝時(shí)盡量不要離目標(biāo)太高，越高，要求選用的同軸光越大，才能 保證其均勻性。4. 圖像采集卡圖像采集卡(Frame Graber)：圖像采集卡是圖像采集部分和處理部分的接口。 圖像經(jīng)過(guò)采樣、量化以后轉(zhuǎn)換為數(shù)字圖像并輸入、存儲(chǔ)到幀存儲(chǔ)器的過(guò)程， 叫做采集、數(shù)字化A/D轉(zhuǎn)換：視頻量化處理是指將相機(jī)所輸出的模擬視頻信號(hào)轉(zhuǎn)換為 PC所能 識(shí)別的數(shù)字信號(hào)的過(guò)程，即 A/D 轉(zhuǎn)換。視頻信號(hào)的量化處理是圖像采集處理 的重要部分。圖像采集卡附加功能：相機(jī)觸發(fā)、燈源控制、基本I/O、相機(jī)復(fù)位、相機(jī)時(shí)序輸出A. 圖

18、像采集卡的分類：模擬圖像采集卡、數(shù)字圖像采集卡B. 按功能可以區(qū)分為：?jiǎn)渭児δ艿膱D像采集卡、集成圖像處理功能的采集卡C. 圖像采集卡趨勢(shì)：帶網(wǎng)絡(luò)接口( Gigabit Ethernet)的圖像設(shè)備將成為主流；智 能相機(jī)(Smart Camera會(huì)應(yīng)用于工業(yè)現(xiàn)場(chǎng)控制系統(tǒng)；CameraLink Firewire(1394)、 LVDS等數(shù)字接口采集卡已被廣泛使用。D. 圖像采集卡接口種類：數(shù)字信號(hào)-接口計(jì)骨啊驟IbU竝巾打曲仁搖門的插“址S卄丹 000 tO OOOOOO iJOOO 0 OO/ o OO0 0 00 OOOOO g 0 0 01/dJI制 222口It久里 25 tf EJS10 13D數(shù)字信號(hào)一RS422數(shù)字信號(hào)一Camera Link 13對(duì)線(其中6對(duì)數(shù)據(jù)線)，使得接插件的尺寸更加的小巧。允許相機(jī) 設(shè)計(jì)的體積更小。 更高的傳輸速率。采用Channel