智能相機(jī)在機(jī)器視覺(jué)中的應(yīng)用

1、智能相機(jī)在機(jī)器視覺(jué)中的應(yīng)用1引言典型機(jī)器視覺(jué)系統(tǒng)是一種就是基于個(gè)人計(jì)算機(jī)(pc)的視覺(jué)系統(tǒng)，一般由光源、ccd或cmos相機(jī)、圖像采集卡、 圖像處理軟件以及一臺(tái)pc機(jī)構(gòu)成。其中，圖像的采集功能由ccd/cmos相機(jī)及圖像采集卡完成;圖像的處理則是 在圖像采集/處理r的支持下，rh處理軟件在pc機(jī)中完成。基于pc的機(jī)器視覺(jué)系統(tǒng)尺寸龐大、結(jié)構(gòu)復(fù)雜，其應(yīng)用 系統(tǒng)的開(kāi)發(fā)周期長(zhǎng)，成本較高。目前，一種新型的智能相機(jī)的出現(xiàn)，向傳統(tǒng)的基于pc的機(jī)器視覺(jué)系統(tǒng)提出了挑戰(zhàn)。2什么是智能相機(jī)(smart camera)?智能相機(jī)(smart camera)并不是一臺(tái)簡(jiǎn)單的相機(jī)，而是一種高度集成化的微小型機(jī)器視覺(jué)系統(tǒng)。

2、它將圖像的采集、 處理為通信功能集成于單一相機(jī)內(nèi)，從而提供了具有多功能、模塊化、高可靠性、易于實(shí)現(xiàn)的機(jī)器視覺(jué)解決方案。 同時(shí)，山于應(yīng)用了最新的dsp、fpga及大容量存儲(chǔ)技術(shù)，其智能化程度不斷提高，可滿足多種機(jī)器視覺(jué)的應(yīng)用需 求。智能相機(jī)一般由圖像采集單元、圖像處理單元、圖像處理軟件、網(wǎng)絡(luò)通信裝置等構(gòu)成，如附圖所示，各部分的功能 如下：(1) 圖像采集單元在押能相機(jī)中，圖像釆集單元相當(dāng)于普通意義上的ccd/cmos相機(jī)和圖像采集卡。它將光學(xué)圖像轉(zhuǎn)換為模擬/數(shù)字 圖像，并輸出至圖像處理單元。(2) 圖像處理單元圖像處理單元類似于圖像采集/處理卡。它口j對(duì)圖像采集單元的圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)的存儲(chǔ)，并在

3、圖像處理軟件的支持 下進(jìn)行圖像處理。(3) 圖像處理軟件圖像處理軟件主要在圖像處理單元硬件壞境的支持下，完成圖像處理功能。如幾何邊緣的提取、blob、灰度宜方圖、 ocv/ovr.簡(jiǎn)h的定位和搜索籌。在智能相機(jī)中，以上算法都封裝成固定的模塊，用八可直接應(yīng)用而無(wú)需編程。(4) 網(wǎng)絡(luò)通信裝置網(wǎng)絡(luò)通信裝置的智能相機(jī)的重要纟i成部分，主要完成控制信息、圖像數(shù)據(jù)的通信任務(wù)。智能相機(jī)一般均內(nèi)置以太網(wǎng) 通信裝置，并支持多種標(biāo)準(zhǔn)網(wǎng)絡(luò)和總線協(xié)議，從而使多臺(tái)智能相機(jī)構(gòu)成更人的機(jī)器視覺(jué)系統(tǒng)。圖像處理軟件ssi附圖的能相機(jī)構(gòu)成框圖3智能相機(jī)的優(yōu)勢(shì)智能相機(jī)具有易學(xué)、易用、易維護(hù)、安裝方便等特點(diǎn)，可在短期內(nèi)構(gòu)建起可靠而有

4、效的機(jī)器視覺(jué)系統(tǒng)。其技術(shù)優(yōu)勢(shì) 主要表而在：(1) 科能相機(jī)結(jié)構(gòu)緊湊，尺寸小，易丁女裝在牛產(chǎn)線和各種設(shè)備上，且便于裝卸和移動(dòng)；(2) 智能相機(jī)實(shí)現(xiàn)了圖像采集單元、圖像處理單元、圖像處理軟件、網(wǎng)絡(luò)通信裝置的高度集成，通過(guò)町靠性設(shè)計(jì)， 可以獲得較高的效率及穩(wěn)定性；(3) 由于智能相機(jī)已固化了成熟的機(jī)器視覺(jué)算法，使川戶無(wú)需編程，就可實(shí)現(xiàn)右7無(wú)判斷、表面/缺陷檢查、尺寸測(cè)量、 ocr/ocv.條碼閱讀等功能，從而極人的提高了應(yīng)用系統(tǒng)的開(kāi)發(fā)速度。4智能相機(jī)與基于pc的視覺(jué)系統(tǒng)的比較智能相機(jī)與基于pc的視覺(jué)系統(tǒng)在功能和技術(shù)上差別主要表現(xiàn)在以下幾個(gè)方面：(1) 體積比較智能和機(jī)與普通相機(jī)的體積相當(dāng)，易于安裝在

5、生產(chǎn)線和各種設(shè)備上，便于裝卸和移動(dòng)；i何基于pc的視覺(jué)系統(tǒng)一般山 山光源、ccd或cmos相機(jī)、圖像采集卡、圖像處理軟件以及pc機(jī)構(gòu)成，其結(jié)構(gòu)復(fù)雜、體積相對(duì)龐大。(2) 硬件比較從硬件角度比較，智能相機(jī)集成了圖像采集單元、圖像處理單元、圖像處理軟件、網(wǎng)絡(luò)通信裝置等，經(jīng)過(guò)專業(yè)人員 進(jìn)行對(duì)靠性設(shè)計(jì)，其效率及穩(wěn)定性都較高。同時(shí)，rh于其硬件電路均已固定，缺少了設(shè)計(jì)的靈活性;基于pc的視覺(jué) 系統(tǒng)主要由相機(jī)、采集/處理卡及pc機(jī)組成。由于川戶可根據(jù)需要選擇不同類型的產(chǎn)品，因此，其設(shè)計(jì)靈活性較人。 同時(shí)，當(dāng)產(chǎn)品來(lái)口于不同的牛產(chǎn)廠家時(shí)，這種設(shè)計(jì)的靈活性可能會(huì)帶來(lái)部件z間不兼容性或可靠性下降等問(wèn)題。軟件比較從

6、某程度上來(lái)說(shuō)，智能相機(jī)是一種比較通用的機(jī)器視覺(jué)產(chǎn)品，它主要解決的是工業(yè)領(lǐng)域的常規(guī)檢測(cè)和識(shí)別應(yīng)川，其 軟件功能具有一定的通用性。由丁智能相機(jī)已固化了成熟的機(jī)器視覺(jué)算法，用戶無(wú)需編稈，就可實(shí)現(xiàn)有/無(wú)判斷、表 血/缺陷檢查、尺寸測(cè)量、邊緣提取、blob、灰度f(wàn)t方圖、ocr/ocv、條碼閱讀等功能。基于pc的視覺(jué)系統(tǒng)的軟 件一燉完全或部分由用戶直接開(kāi)發(fā)，用戶可針對(duì)特定應(yīng)用開(kāi)發(fā)適合口己的專用算法。另一方面，由于用戶的軟件研 發(fā)水平及硬件支持的不同，導(dǎo)致ft!不同用戶開(kāi)發(fā)的同一種應(yīng)用系統(tǒng)的差異較大。智能相機(jī)的與棊于pc的視覺(jué)系統(tǒng)的棊木特性比較如附表所示：附表基木特性比較基干pc的視覺(jué)系統(tǒng)智能相機(jī)可靠性有

7、限較好體積很大微小型、結(jié)構(gòu)緊湊網(wǎng)絡(luò)通信有限較好設(shè)計(jì)靈活性很好有限功能可擴(kuò)展有限軟件畫要編程無(wú)需編程5智能相機(jī)的發(fā)展趨勢(shì)山于智能相機(jī)具有體積小、多功能、方便易用等特點(diǎn)，在多種領(lǐng)域具有廣闊的應(yīng)用前呆，這也止是越來(lái)越多的相機(jī) 和板卡制造商都在開(kāi)發(fā)smart camera系統(tǒng)的主要原因。在可以預(yù)見(jiàn)的將來(lái)，smart camera將星現(xiàn)以下的發(fā)展趨 勢(shì)：(1) 接口的標(biāo)準(zhǔn)化由于在工業(yè)控制領(lǐng)域存在著人量通信需求，因此，智能相機(jī)的接口將支持越來(lái)越多的通川協(xié)議，包括smtp、ftp、dhcp、dns、tcp/ip 客戶服務(wù)器、telnet 等。(2) 系統(tǒng)模塊化將光源，電源，控制模塊甚至一些傳感器集成到整個(gè)系

8、統(tǒng)的軟硬件中，這樣使應(yīng)川起來(lái)更加方便，系統(tǒng)的穩(wěn)定性也 更高。專業(yè)化開(kāi)發(fā)商們傾向于開(kāi)發(fā)出適用于某些行業(yè)、某些特定應(yīng)川的智能相機(jī)。由于這些行業(yè)的企業(yè)較多比，市場(chǎng)容量也比較 人。另外某些工序的檢測(cè)內(nèi)容比較固定，可以通過(guò)較少的硬件和軟件算法來(lái)構(gòu)成系統(tǒng)，這樣既可以達(dá)到很高的效率 又可以使成本降低。(4) 大|僑陣和高速化在許多工業(yè)檢測(cè)應(yīng)用中，耍求相機(jī)具有錢高的分辨率和幀速，以滿足對(duì)微小尺寸物體及運(yùn)動(dòng)li標(biāo)的檢測(cè)要求。因此， 大面陣和高速化也將成為鏗能相機(jī)的發(fā)展發(fā)向z 。半導(dǎo)體技術(shù)及ccd技術(shù)的飛速發(fā)展，為實(shí)現(xiàn)卻能相機(jī)的大血 陣和高速化提供了技術(shù)基礎(chǔ)。6智能相機(jī)的選擇指南購(gòu)買一臺(tái)視覺(jué)相機(jī)，必須要問(wèn)淸楚10

9、個(gè)問(wèn)題：(1) 對(duì)于一臺(tái)零件定位工具，什么是重要的？如何評(píng)定其性能？零件定位工具是在視覺(jué)相機(jī)的視場(chǎng)中找到零件的軟件工具。這是典型的視覺(jué)應(yīng)用的第一步，從最簡(jiǎn)單的機(jī)器人抓取 操作到故復(fù)雜的裝配確定任務(wù)，它往往是判斷應(yīng)用成功與否的關(guān)鍵。在當(dāng)今的生產(chǎn)環(huán)境中，零件定位對(duì)視覺(jué)相機(jī)提出了挑戰(zhàn)。這是因?yàn)闂l件變化將會(huì)使視覺(jué)相機(jī)視場(chǎng)屮零件出現(xiàn)的路線發(fā)牛的變化，視覺(jué)相機(jī)將被訓(xùn)練，旨在通過(guò)零件圖像的參考或模型去識(shí)別零件。這些條件變化包括：零件旋轉(zhuǎn)；光學(xué)測(cè)量裝置的變化；光照條件的不一致；零件外觀的正常變化。(2) 內(nèi)置網(wǎng)絡(luò)通信裝置扮演什么樣的角色，我應(yīng)關(guān)注什么性能？網(wǎng)絡(luò)通信提供了大量的重要性能：它使得視覺(jué)相機(jī)快速將通過(guò)

10、/失敗結(jié)果數(shù)據(jù)傳送至pc;它使得視覺(jué)相機(jī)對(duì)與plc、機(jī)器人、和其他口動(dòng)化裝置進(jìn)行通信；為了在視覺(jué)相機(jī)、pcz間建立企業(yè)級(jí)的通信連接，請(qǐng)確認(rèn)你所評(píng)估的視覺(jué)相機(jī)支持較寬范圍內(nèi)的網(wǎng)絡(luò)協(xié)議，包括:smtp、 ftp、 dhcp、 dns、tcp/ip 客戶)1 務(wù)器、telneto為了連接視覺(jué)相機(jī)和諸如plc、機(jī)器人等自動(dòng)化裝置，請(qǐng)選擇支持以下工業(yè)i辦議的視覺(jué)相機(jī)：ethernet/ip這一協(xié)議使得視覺(jué)相機(jī)可通過(guò)單以太網(wǎng)電纜與plc和其他裝置相連，而無(wú)需復(fù)朵的線路配置和昂 貴的網(wǎng)關(guān)。modbus/tcp另一網(wǎng)絡(luò)協(xié)議，允許直接通過(guò)以太網(wǎng)與其他設(shè)備連接。最終，當(dāng)越來(lái)越多的視覺(jué)相機(jī)應(yīng)用于生產(chǎn)過(guò)程時(shí)，通過(guò)一種

11、集中的方式進(jìn)行管理變得十分重要,請(qǐng)確認(rèn)您所評(píng)估的視 覺(jué)相機(jī)是否允許您通過(guò)網(wǎng)絡(luò)管理和控制視覺(jué)行為。(3) 您的視覺(jué)相機(jī)是否易于建立應(yīng)用，并產(chǎn)生用戶圖形界而？視覺(jué)應(yīng)用并不常需要集線器管理接口(hmi),但操作者經(jīng)常要對(duì)視覺(jué)相機(jī)進(jìn)行調(diào)整，從而在零件變化時(shí)進(jìn)行修改， 改變公差參數(shù)和判斷零件故障點(diǎn)。在您配置系統(tǒng)吋，機(jī)器視覺(jué)相機(jī)應(yīng)允許您產(chǎn)生一個(gè)用八圖形界而。請(qǐng)確認(rèn)您所評(píng)估的視覺(jué)相機(jī)具有這一功能，而無(wú) 需您利jij vb或其他筒級(jí)語(yǔ)言進(jìn)行開(kāi)發(fā)。(4) 在讀和檢驗(yàn)性能小，應(yīng)該尋找什么？您是否止在讀生產(chǎn)線上零件的文字?jǐn)?shù)字碼，或驗(yàn)證藥瓶上的數(shù)據(jù)和大量的編碼信息。在評(píng)估讀和檢驗(yàn)性能時(shí)，它們 是需要尋找的特性，包括：

12、統(tǒng)計(jì)字體訓(xùn)練這一特性允許您從一系列圖像中產(chǎn)牛一個(gè)模型或參考圖像。這使得視覺(jué)相機(jī)能夠更好的處理它可能 遇到的印刷物質(zhì)量的正常變化，如低對(duì)比度、位置變化、退化或筆劃寬度的變化。除非您可以肯定將要打印的每- 標(biāo)簽都具有髙質(zhì)量，否則這一開(kāi)發(fā)靜態(tài)模型的能力對(duì)于應(yīng)川系統(tǒng)的成功將是非常重要的。圖像預(yù)處理工具它允許您通過(guò)邊緣對(duì)比度增強(qiáng)和濾除圖像中的背景噪聲優(yōu)化被訓(xùn)練的模型，優(yōu)化后模型捉高了視 覺(jué)相機(jī)的可靠性和可重復(fù)性。關(guān)于圖像預(yù)處理的更多信息請(qǐng)參閱問(wèn)題(6)。瞬間圖像回放這使得操作者和技術(shù)人員町快速而容易地從監(jiān)視器中看到故障圖像。無(wú)論故障圖像是相機(jī)偏離了位 置、還是標(biāo)簽缺火而引起的，亜要的是要立即知道為什么會(huì)

13、出故障，并在必要時(shí)采取補(bǔ)救措施。(5) 怎樣確定視覺(jué)相機(jī)測(cè)量工具的可重復(fù)性？如果您的應(yīng)用是空間尺寸測(cè)量，您一定想確信測(cè)量工具不僅精確，而且具有很的可重復(fù)性。為了測(cè)定可重復(fù)性，視 覺(jué)相機(jī)最好完全適川于測(cè)量工具。無(wú)論您是測(cè)量?jī)蓷l線間的距離，或在三點(diǎn)間產(chǎn)生一個(gè)i員i,優(yōu)良的工具設(shè)置使您無(wú) 盂對(duì)標(biāo)準(zhǔn)配置中沒(méi)有的函數(shù)進(jìn)行編程定義。(6) 相機(jī)是否具有足夠的圖像預(yù)處理功能？圖像預(yù)處理工具允許用戶對(duì)原始圖像進(jìn)行操作，以突出需要的特征，消除不需耍特征。這一特性是視覺(jué)相機(jī)所有特性中的關(guān)鍵，應(yīng)被列入標(biāo)準(zhǔn)配置。具有預(yù)處理工具的和機(jī)為您提供如下功能：在ii標(biāo)邊緣和背景間提髙對(duì)比度；濾出圖像中無(wú)關(guān)的或無(wú)意義的特征；消除

14、已被從零件表面脫落的反射；圖像中粗糙紋理的平滑處理。具備優(yōu)化原始圖像數(shù)據(jù)的能力后，視覺(jué)相機(jī)的精確度和耐用性得到了提高。(7) 如何評(píng)估工業(yè)條碼讀取工具，需要什么性能？當(dāng)今的視覺(jué)相機(jī)應(yīng)在退化、不規(guī)則的二維條碼，或零件與零件間的位置變化上應(yīng)具有町靠的、可重復(fù)的性能。無(wú)論 零件釆用什么類型的標(biāo)記方法，標(biāo)記在什么類型的介質(zhì)表血，它們都應(yīng)具有較高的性能。按照條形碼讀取特性選擇 視覺(jué)相機(jī)，您可能想了解以下問(wèn)題:編碼質(zhì)量確認(rèn)能力尋找能夠檢驗(yàn)編碼質(zhì)量的產(chǎn)品，以建立標(biāo)準(zhǔn)。這可提供關(guān)丁標(biāo)記過(guò)程工作情況的冇價(jià)值的信息。讀取速率依照生產(chǎn)線速度和牛-產(chǎn)需求，您可能需要檢驗(yàn)個(gè)視覺(jué)相機(jī)的讀取速率。當(dāng)今最快的視覺(jué)相機(jī)每秒大約

15、 可讀50個(gè)編碼。圖像預(yù)處理工具它允許您通過(guò)編碼的邊緣對(duì)比度增強(qiáng)和濾除圖像中的丹景噪聲來(lái)優(yōu)化已被訓(xùn)練的模型。優(yōu)化后的 模型使視覺(jué)相機(jī)的可靠性和可至復(fù)性最大化。關(guān)于圖像的預(yù)處理請(qǐng)參閱問(wèn)題(6)。圖像預(yù)處理工具它允許您通過(guò)邊緣對(duì)比度增強(qiáng)和濾除圖像屮的背景噪聲優(yōu)化被訓(xùn)練的模型，優(yōu)化后模型提高了視 覺(jué)相機(jī)的可靠性和可重復(fù)性。關(guān)于圖像預(yù)處理的更多信息請(qǐng)參閱問(wèn)題(6)。瞬間圖像回放這使得操作者和技術(shù)人員町快速而容易地從監(jiān)視器中看到故障圖像。無(wú)論故障圖像是相機(jī)偏離了位 置、還是標(biāo)簽缺失而引起的，重要的是要立即知道為什么會(huì)出故障，并在必要時(shí)采取補(bǔ)救措施。(8) 視覺(jué)相機(jī)需要pc嗎？在配置和生產(chǎn)中，標(biāo)準(zhǔn)的視覺(jué)相

16、機(jī)無(wú)需pco視覺(jué)相機(jī)應(yīng)提供真正的即插即川特性，使您可以快速配置應(yīng)用系統(tǒng)。 重要的是，視覺(jué)相機(jī)無(wú)需您在廠內(nèi)設(shè)置計(jì)算機(jī)。最終，一個(gè)獨(dú)立的視覺(jué)相機(jī)使您無(wú)需pc就可從監(jiān)視器中看到活動(dòng) 圖像。(9) 關(guān)丁視覺(jué)相機(jī)的附件，您應(yīng)該了解什么？為了確保您的系統(tǒng)集成過(guò)程快速而有效，請(qǐng)選擇與視覺(jué)相機(jī)同系列的兼容附件。銷售商會(huì)對(duì)每一附件進(jìn)行測(cè)試，以 確認(rèn)每一部件可以同吋進(jìn)行運(yùn)行，而不會(huì)出現(xiàn)故障。以下為附件列表：照明附件機(jī)器視覺(jué)銷售商應(yīng)提供多種不同的照明選擇，因?yàn)闄C(jī)器視覺(jué)系統(tǒng)將會(huì)面臨許多不同的零件表而特性類型 和環(huán)境照明條件。一個(gè)全血的照明模塊系列應(yīng)包括環(huán)形光源模塊，它提供柔和的光線，即使從各個(gè)方向照射;背光模 塊，提

17、供零件與背景間的最人對(duì)比度;暗場(chǎng)光源，提供低也度照明，川于不規(guī)則零件表面的成像。通信附件確保提供了通信外圍設(shè)備，如i/o模塊、網(wǎng)關(guān)模塊，它使得視覺(jué)相機(jī)和快速而容易地與plc、機(jī)器人、 其他口動(dòng)化裝置及網(wǎng)絡(luò)相連。監(jiān)視器一些銷售商提供與相機(jī)兼容的顯示器。當(dāng)選擇顯示器時(shí)，最好選用具用抗暈效果防護(hù)的lcd顯示器。相機(jī)外殼工業(yè)相機(jī)外殼用于防塵、防高溫、防南。同時(shí)，它應(yīng)容易安裝，并適用多種尺寸和類型的相機(jī)鏡頭。(10) 提供什么類型的技術(shù)支持？當(dāng)評(píng)估一臺(tái)視覺(jué)相機(jī)時(shí)，很重要的一點(diǎn)是選擇一家可提供較寬范圍內(nèi)的產(chǎn)品支持和培訓(xùn)報(bào)務(wù)的銷售商。這些服務(wù)應(yīng) 開(kāi)始于故初的應(yīng)用評(píng)估，幾個(gè)重耍的問(wèn)題是：銷售代表是否是一 個(gè)全吋的機(jī)器視覺(jué)專家