機器視覺技術(shù)工程應(yīng)用案例簡介

1、廣州市廣州市 暨南大學暨南大學 信息科技學院信息科技學院 電子工程系電子工程系王王 思思 華華 教教 授授E-mail: E-mail: 檢測對象（正面）檢測對象（正面）檢測對象（反面）檢測對象（反面） 該該系統(tǒng)系統(tǒng)由由光源、鏡頭、攝像光源、鏡頭、攝像頭、圖像采集卡、精密頭、圖像采集卡、精密XYXY運動運動平平臺臺、計算機、計算機和和專門開發(fā)的應(yīng)用軟件組成，用于專門開發(fā)的應(yīng)用軟件組成，用于檢測檢測手機接口手機接口電路電路板板質(zhì)量，其中包括檢測每個質(zhì)量，其中包括檢測每個接口接口電路板電路板中的三個器中的三個器件的件的位置和位置和尺尺寸寸等參數(shù)。系統(tǒng)實現(xiàn)了大批量電路板組件質(zhì)量的快速準確檢驗等參數(shù)。

2、系統(tǒng)實現(xiàn)了大批量電路板組件質(zhì)量的快速準確檢驗。 被檢測的大電路板上包含有被檢測的大電路板上包含有30 30 個接口電路板，為了保證測量個接口電路板，為了保證測量精度，每次檢測只針對一個接口電路板。因此，必須通過精度，每次檢測只針對一個接口電路板。因此，必須通過XYXY運運動平臺移動電路板。電路板檢測完后才進行分割，并淘汰不合格動平臺移動電路板。電路板檢測完后才進行分割，并淘汰不合格產(chǎn)品。產(chǎn)品。 系統(tǒng)采用美國系統(tǒng)采用美國NINI公司先進的公司先進的機器機器視覺技術(shù)視覺技術(shù)，還，還有數(shù)據(jù)記錄和有數(shù)據(jù)記錄和分析的功能。該系統(tǒng)具分析的功能。該系統(tǒng)具有測量準確、快速、擴展性強和性價比高有測量準確、快速、

3、擴展性強和性價比高等特點等特點。該技術(shù)可適用于其他小型的電子和機械零部件的幾何尺。該技術(shù)可適用于其他小型的電子和機械零部件的幾何尺寸測量寸測量。機器視覺定位三角鋼琴專用數(shù)控鉆床（機器視覺定位三角鋼琴專用數(shù)控鉆床（1 1）生產(chǎn)現(xiàn)場中的專用數(shù)控鉆床生產(chǎn)現(xiàn)場中的專用數(shù)控鉆床機器視覺定位三角鋼琴專用數(shù)控鉆床（機器視覺定位三角鋼琴專用數(shù)控鉆床（2 2） 機器視覺定位子程序界面機器視覺定位子程序界面鋼琴的琴弦和弦柱鋼琴的琴弦和弦柱光源與相機的密封盒光源與相機的密封盒激光測距模塊激光測距模塊機器視覺定位三角鋼琴專用數(shù)控鉆床（機器視覺定位三角鋼琴專用數(shù)控鉆床（3 3） 該項目專門為我國最大的鋼琴制造企業(yè)開發(fā)，

4、用于三角鋼琴該項目專門為我國最大的鋼琴制造企業(yè)開發(fā)，用于三角鋼琴弦柱安裝孔的加工。機器視覺技術(shù)在此項目中解決弦柱安裝孔的加工。機器視覺技術(shù)在此項目中解決 了大尺寸笨了大尺寸笨重設(shè)備加工的準確定位問題。其主要技術(shù)指標有：重設(shè)備加工的準確定位問題。其主要技術(shù)指標有： 1. 1. 機床加工范圍機床加工范圍1500150035035060mm60mm； 2. 2. 鉆孔位置的精度：鉆孔位置的精度： 0.1mm0.1mm，其中的機器視覺定位精度指標，其中的機器視覺定位精度指標 為為 0.02mm0.02mm； 3. 3. 鋼琴一次裝夾的鉆孔數(shù)量為鋼琴一次裝夾的鉆孔數(shù)量為230230多個，可加工多個，可加

5、工1515種以上的型號種以上的型號 規(guī)格的三角鋼琴。該系統(tǒng)采用規(guī)格的三角鋼琴。該系統(tǒng)采用NINI的機器視覺技術(shù)，系統(tǒng)中的的機器視覺技術(shù)，系統(tǒng)中的 三軸控系統(tǒng)亦由本研究室自行設(shè)計；三軸控系統(tǒng)亦由本研究室自行設(shè)計； 4. 4. 鉆孔的角度偏差小于鉆孔的角度偏差小于 0.50.5度，度， 鉆孔的斜度為鉆孔的斜度為8484度。為此，度。為此， 系統(tǒng)中還采用了激光測距傳感器在鉆孔前對琴面進行水平檢系統(tǒng)中還采用了激光測距傳感器在鉆孔前對琴面進行水平檢 測，以保證鉆孔斜度指標符合技術(shù)要求。測，以保證鉆孔斜度指標符合技術(shù)要求。生物醫(yī)學微粒檢測與分析系統(tǒng)（生物醫(yī)學微粒檢測與分析系統(tǒng)（1 1）生物醫(yī)學微粒檢測與分

6、析系統(tǒng)（生物醫(yī)學微粒檢測與分析系統(tǒng)（2 2） 該項目主要任務(wù)是利用機器視覺技術(shù)實現(xiàn)粒子的檢測和分析。是用于微小該項目主要任務(wù)是利用機器視覺技術(shù)實現(xiàn)粒子的檢測和分析。是用于微?。◣资翈装偌{米直徑）顆粒的動態(tài)檢測，主要任務(wù)是測量單位時間內(nèi)流經(jīng)?。◣资翈装偌{米直徑）顆粒的動態(tài)檢測，主要任務(wù)是測量單位時間內(nèi)流經(jīng)小管內(nèi)的微粒的數(shù)量和每個粒子的粒徑，并對顆粒大小分布狀態(tài)進行分析。管內(nèi)的微粒的數(shù)量和每個粒子的粒徑，并對顆粒大小分布狀態(tài)進行分析。 系統(tǒng)配置了激光光源、顯微鏡頭與高分辨率數(shù)字攝像頭。此外還配置了電系統(tǒng)配置了激光光源、顯微鏡頭與高分辨率數(shù)字攝像頭。此外還配置了電動輸液器，用來驅(qū)動載有微小粒子的

7、液體的流動。動輸液器，用來驅(qū)動載有微小粒子的液體的流動。注：該項目是與企業(yè)合作的項目，我們承擔其中的機器視覺軟件的開發(fā)任務(wù)。注：該項目是與企業(yè)合作的項目，我們承擔其中的機器視覺軟件的開發(fā)任務(wù)。機器視覺微型電子器件質(zhì)量檢測系統(tǒng)（機器視覺微型電子器件質(zhì)量檢測系統(tǒng)（1 1）生產(chǎn)現(xiàn)場的檢測系統(tǒng)生產(chǎn)現(xiàn)場的檢測系統(tǒng)檢測系統(tǒng)主界面檢測系統(tǒng)主界面機器視覺微型電子器件質(zhì)量檢測系統(tǒng)（機器視覺微型電子器件質(zhì)量檢測系統(tǒng)（2 2） 該系統(tǒng)的主要工作流程和功能簡介如下：該系統(tǒng)的主要工作流程和功能簡介如下：1. 1. 左側(cè)數(shù)字相機拍攝進料盒中的器件（毫米級尺寸），然后進行圖像粒子分左側(cè)數(shù)字相機拍攝進料盒中的器件（毫米級尺寸

8、），然后進行圖像粒子分析，精確測量出每析，精確測量出每 一個器件的位置和偏轉(zhuǎn)角度；一個器件的位置和偏轉(zhuǎn)角度；2. PLC2. PLC控制左側(cè)機械臂拾取一個器件控制左側(cè)機械臂拾取一個器件, ,調(diào)整其角度，并送往測試位；調(diào)整其角度，并送往測試位；3. 3. 右側(cè)數(shù)字相機在測試位拍攝該器件圖像，并通過圖像處理方式對器件進行右側(cè)數(shù)字相機在測試位拍攝該器件圖像，并通過圖像處理方式對器件進行分類；分類；4. 4. 通過專門的檢測儀器對器件的性能進行檢測、分級和統(tǒng)計；通過專門的檢測儀器對器件的性能進行檢測、分級和統(tǒng)計；5. PLC5. PLC控制右側(cè)機械臂取走器件，并根據(jù)器件級別投放在不同的出料盒中；控制右

9、側(cè)機械臂取走器件，并根據(jù)器件級別投放在不同的出料盒中；6. 6. 如果進料盒中的器件還未取完，就回到第一道工序重復上述的流程。如果進料盒中的器件還未取完，就回到第一道工序重復上述的流程。7. 7. 進料盒取空或出料盒滿的話，設(shè)備暫停，人工方式更換進料盒或出料盒。進料盒取空或出料盒滿的話，設(shè)備暫停，人工方式更換進料盒或出料盒。注：該項目是與企業(yè)合作的項目，我們承擔其中機器視覺以及注：該項目是與企業(yè)合作的項目，我們承擔其中機器視覺以及PCPC與與PLCPLC通信軟件的開通信軟件的開 發(fā)工作。發(fā)工作。 高速卷簧機技術(shù)改造中的機器視覺應(yīng)用（高速卷簧機技術(shù)改造中的機器視覺應(yīng)用（1 1）測試工作現(xiàn)場的圖片

10、測試工作現(xiàn)場的圖片高速卷簧機技術(shù)改造中的機器視覺應(yīng)用（高速卷簧機技術(shù)改造中的機器視覺應(yīng)用（2 2）推桿與送線輪運動特征測量推桿與送線輪運動特征測量高速卷簧機技術(shù)改造中的機器視覺應(yīng)用（高速卷簧機技術(shù)改造中的機器視覺應(yīng)用（3 3） 該項目是一個利用機器視覺技術(shù)協(xié)助解決機電設(shè)備設(shè)計問題的案例。我該項目是一個利用機器視覺技術(shù)協(xié)助解決機電設(shè)備設(shè)計問題的案例。我們的合作單位在試制新型高速卷簧機的過程（其中包括卷簧、打結(jié)和熱處理們的合作單位在試制新型高速卷簧機的過程（其中包括卷簧、打結(jié)和熱處理等工序）中，在高速運行（每分鐘制作等工序）中，在高速運行（每分鐘制作8080個以上的彈簧）時遇到彈簧晃動大個以上的彈

11、簧）時遇到彈簧晃動大，以至于設(shè)備難以連續(xù)穩(wěn)定地工作。該設(shè)備用于生產(chǎn)多種規(guī)格的床墊彈簧。，以至于設(shè)備難以連續(xù)穩(wěn)定地工作。該設(shè)備用于生產(chǎn)多種規(guī)格的床墊彈簧。 該項目采用的技術(shù)方案包括：該項目采用的技術(shù)方案包括： 1. 1. 首先用高速攝像機拍攝卷簧過程中相關(guān)部件的動作過程，通過慢動作回首先用高速攝像機拍攝卷簧過程中相關(guān)部件的動作過程，通過慢動作回 放就可以清楚地觀察到卷簧過程，為定性分析問題的所在提供了條件。放就可以清楚地觀察到卷簧過程，為定性分析問題的所在提供了條件。 我們使用過專業(yè)高速攝像機和具有高速（每分鐘我們使用過專業(yè)高速攝像機和具有高速（每分鐘300300幀）攝像功能的民用幀）攝像功能的

12、民用 數(shù)碼相機進行拍攝。實驗結(jié)果表明，后者已能滿足我們的應(yīng)用需求，其數(shù)碼相機進行拍攝。實驗結(jié)果表明，后者已能滿足我們的應(yīng)用需求，其 價格大大低于前者。價格大大低于前者。 2. 2. 在卷簧過程中，利用機器視覺技術(shù)測量送線（鋼線）、推桿、剪簧和接在卷簧過程中，利用機器視覺技術(shù)測量送線（鋼線）、推桿、剪簧和接 簧等動作的相關(guān)運動部件位置的動態(tài)數(shù)據(jù)，再分析各個配件之間的配合簧等動作的相關(guān)運動部件位置的動態(tài)數(shù)據(jù)，再分析各個配件之間的配合 和同步狀況，為解決問題提供定量分析的依據(jù)。和同步狀況，為解決問題提供定量分析的依據(jù)。機器視覺彈簧機械性能自動檢測系統(tǒng)機器視覺彈簧機械性能自動檢測系統(tǒng) （1 1） 該系

13、統(tǒng)是在研究項目，用于該系統(tǒng)是在研究項目，用于彈簧的機械性能的檢測，其中基彈簧的機械性能的檢測，其中基于機器視覺技術(shù)的測量功能包括于機器視覺技術(shù)的測量功能包括：彈簧最大外徑、最小外徑、螺：彈簧最大外徑、最小外徑、螺距和螺旋線軌跡的檢測，以及上距和螺旋線軌跡的檢測，以及上述數(shù)據(jù)的統(tǒng)計分析。而其他功能述數(shù)據(jù)的統(tǒng)計分析。而其他功能主要有：彈簧剛度測量和主要有：彈簧剛度測量和動態(tài)荷動態(tài)荷重重- -行程曲線圖表繪制等行程曲線圖表繪制等。 該系統(tǒng)采用自主開發(fā)的智能相該系統(tǒng)采用自主開發(fā)的智能相機和數(shù)控子系統(tǒng)。機和數(shù)控子系統(tǒng)。機器視覺彈簧機械性能自動檢測系統(tǒng)機器視覺彈簧機械性能自動檢測系統(tǒng) （1 1）檢測系統(tǒng)的

14、人機界面之一檢測系統(tǒng)的人機界面之一計算機輔助圖案設(shè)計系統(tǒng)（計算機輔助圖案設(shè)計系統(tǒng)（1 1）計算機輔助圖案設(shè)計系統(tǒng)（計算機輔助圖案設(shè)計系統(tǒng)（2 2） 該系統(tǒng)用于絎縫設(shè)備和激光打標該系統(tǒng)用于絎縫設(shè)備和激光打標/ /切割設(shè)備的圖案設(shè)計，其切割設(shè)備的圖案設(shè)計，其主要功能有：主要功能有：1. 1. 圖像采集：通過數(shù)字攝像頭連續(xù)采集花紋圖案的圖像，再通圖像采集：通過數(shù)字攝像頭連續(xù)采集花紋圖案的圖像，再通 過圖像采集卡將圖像傳送到計算機內(nèi)。過圖像采集卡將圖像傳送到計算機內(nèi)。2. 2. 攝像頭參數(shù)設(shè)置與調(diào)整功能：用戶可根據(jù)實際情況通過人機攝像頭參數(shù)設(shè)置與調(diào)整功能：用戶可根據(jù)實際情況通過人機 界面上的控件對攝像

15、頭的幀速、曝光時間、增益和濾波等參界面上的控件對攝像頭的幀速、曝光時間、增益和濾波等參 數(shù)進行調(diào)整，以獲得最佳的圖像拍攝效果。數(shù)進行調(diào)整，以獲得最佳的圖像拍攝效果。3. 3. 圖像濾波和邊緣檢測功能：用戶可選擇不同的濾波算法提高圖像濾波和邊緣檢測功能：用戶可選擇不同的濾波算法提高 圖像的質(zhì)量，然后通過邊緣檢測獲得目標圖案的清晰輪廓。圖像的質(zhì)量，然后通過邊緣檢測獲得目標圖案的清晰輪廓。4. 4. 圖案輪廓特征點數(shù)據(jù)文件生成：通過鼠標點擊或半自動的方圖案輪廓特征點數(shù)據(jù)文件生成：通過鼠標點擊或半自動的方 式，選定圖案輪廓特征點，并自動生成圖案輪廓數(shù)據(jù)文件式，選定圖案輪廓特征點，并自動生成圖案輪廓數(shù)據(jù)

16、文件 。機器視覺定位激光切割機（機器視覺定位激光切割機（1）機器視覺定位激光切割機（機器視覺定位激光切割機（2 2） 在激光切割機工作過程中，由于加工對象通常無法準確放置在激光切割機工作過程中，由于加工對象通常無法準確放置在特定的位置上，因此必須先做加工對象的定位工作。該設(shè)備采在特定的位置上，因此必須先做加工對象的定位工作。該設(shè)備采用機器視覺技術(shù)解決精確定位問題，其主要技術(shù)特點是：用機器視覺技術(shù)解決精確定位問題，其主要技術(shù)特點是：1. 1. 采用兩級定位的方式，設(shè)備頂部安裝了一臺相機，視場比較采用兩級定位的方式，設(shè)備頂部安裝了一臺相機，視場比較 大，用于粗定位；而在激光頭旁邊有安裝有另一臺相機

17、，視大，用于粗定位；而在激光頭旁邊有安裝有另一臺相機，視 場小，用于精確定位。為準確加工奠定基礎(chǔ)。場小，用于精確定位。為準確加工奠定基礎(chǔ)。2. 2. 該設(shè)備可配置前面介紹過的該設(shè)備可配置前面介紹過的“計算機輔助圖案設(shè)計系統(tǒng)計算機輔助圖案設(shè)計系統(tǒng)”， 作為切割圖案的設(shè)計工具。作為切割圖案的設(shè)計工具。3. 3. 利用機器視覺技術(shù)檢測切割質(zhì)量是該項目的研究內(nèi)容之一。利用機器視覺技術(shù)檢測切割質(zhì)量是該項目的研究內(nèi)容之一。注：該設(shè)備采用我們自主研發(fā)的智能相機和數(shù)控系統(tǒng)。該項目是一個在研注：該設(shè)備采用我們自主研發(fā)的智能相機和數(shù)控系統(tǒng)。該項目是一個在研 項目項目。自主研發(fā)的智能相機（自主研發(fā)的智能相機（1 1

18、）基于基于DM642芯片的芯片的A型智能相機型智能相機基于基于DM6437 芯片的芯片的B型智能相機型智能相機自主研發(fā)的智能相機（自主研發(fā)的智能相機（2 2） 智能相機一種高度集成化的小型機器視覺系統(tǒng)。它將圖像采集、圖像處智能相機一種高度集成化的小型機器視覺系統(tǒng)。它將圖像采集、圖像處理、數(shù)字理、數(shù)字I/OI/O與通信功能集成在相機之中，可提供各種多功能、模塊化、高與通信功能集成在相機之中，可提供各種多功能、模塊化、高可靠性、易于開發(fā)的機器視覺解決方案。此外，由于應(yīng)用了最新的可靠性、易于開發(fā)的機器視覺解決方案。此外，由于應(yīng)用了最新的DSPDSP、FPGAFPGA及大容量存儲技術(shù)，以及圖像處理技術(shù)

19、的不斷進步，其智能化程度不及大容量存儲技術(shù)，以及圖像處理技術(shù)的不斷進步，其智能化程度不斷提高，可滿足很多生產(chǎn)過程中的機器視覺應(yīng)用需求。斷提高，可滿足很多生產(chǎn)過程中的機器視覺應(yīng)用需求。 我們自主研發(fā)的兩種型號的智能相機分別采用我們自主研發(fā)的兩種型號的智能相機分別采用DM642DM642和和DM6437 DSPDM6437 DSP芯芯片作為主處理器，有以太網(wǎng)和數(shù)字片作為主處理器，有以太網(wǎng)和數(shù)字I/OI/O接口，分辨率有接口，分辨率有130130萬像素和萬像素和300300萬像萬像素兩種規(guī)格，最高幀速為素兩種規(guī)格，最高幀速為1515幀幀/ /秒，鏡頭的信號與規(guī)格可依據(jù)具體應(yīng)用需求秒，鏡頭的信號與規(guī)格

20、可依據(jù)具體應(yīng)用需求進行配置。進行配置。 以上兩種智能相機有自帶圖像處理算法庫，允許用戶根據(jù)具體應(yīng)用要求以上兩種智能相機有自帶圖像處理算法庫，允許用戶根據(jù)具體應(yīng)用要求進行二次開發(fā)，用戶可采用無編程方式方便快捷地完成機器視覺應(yīng)用系統(tǒng)進行二次開發(fā)，用戶可采用無編程方式方便快捷地完成機器視覺應(yīng)用系統(tǒng)開發(fā)。該智能相機正應(yīng)用于激光加工設(shè)備、絎縫設(shè)備和彈簧檢測系統(tǒng)等工開發(fā)。該智能相機正應(yīng)用于激光加工設(shè)備、絎縫設(shè)備和彈簧檢測系統(tǒng)等工程應(yīng)用項目之中程應(yīng)用項目之中。自主研發(fā)的開放式數(shù)控自主研發(fā)的開放式數(shù)控系統(tǒng)（系統(tǒng)（1 1）自主研發(fā)的開放式數(shù)控自主研發(fā)的開放式數(shù)控系統(tǒng)（系統(tǒng)（2 2） 機器視覺應(yīng)用往往與運動控制技

21、術(shù)相關(guān)聯(lián)，因此，現(xiàn)簡單介紹一下我們機器視覺應(yīng)用往往與運動控制技術(shù)相關(guān)聯(lián)，因此，現(xiàn)簡單介紹一下我們自主研發(fā)的開放式數(shù)控系統(tǒng)。自主研發(fā)的開放式數(shù)控系統(tǒng)。1. 1. 開放式專用數(shù)控系統(tǒng)主要特點開放式專用數(shù)控系統(tǒng)主要特點（1 1）開放性：允許第三方做二次開發(fā)，訂制特殊功能；）開放性：允許第三方做二次開發(fā)，訂制特殊功能；（2 2）嵌入式：基于）嵌入式：基于ARMARM或或DSPDSP，降低成本，增加可靠性；，降低成本，增加可靠性；（3 3）運動控制：步進電機與伺服電機接口；）運動控制：步進電機與伺服電機接口；（4 4）邏輯控制：）邏輯控制：PLCPLC或或MPCMPC功能；功能；（5 5）通信能力：有現(xiàn)場總線通信與以太網(wǎng)通信功能；）通信能力：有現(xiàn)場總線通