機(jī)器視覺基礎(chǔ)知識課件

1、機(jī)器視覺基礎(chǔ) 1講解：XX2021/3/10 一、機(jī)器視覺的基本概念 2講解：XX2021/3/10 一、機(jī)器視覺相關(guān)概念 機(jī)器視覺的通俗定義：機(jī)器視覺的通俗定義： 機(jī)器視覺就是用機(jī)器代替人眼來做測量和判斷。機(jī)器視覺就是用機(jī)器代替人眼來做測量和判斷。 機(jī)器視覺的工作原理：機(jī)器視覺的工作原理： 相機(jī)將被檢測目標(biāo)轉(zhuǎn)換成圖像信號，傳送給圖像處理系統(tǒng)，圖像相機(jī)將被檢測目標(biāo)轉(zhuǎn)換成圖像信號，傳送給圖像處理系統(tǒng)，圖像 處理系統(tǒng)對這些信號進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，如面積、數(shù)量、處理系統(tǒng)對這些信號進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，如面積、數(shù)量、 位置、長度，再根據(jù)預(yù)設(shè)的允許度和其他條件輸出結(jié)果，實(shí)現(xiàn)自動識位置、

2、長度，再根據(jù)預(yù)設(shè)的允許度和其他條件輸出結(jié)果，實(shí)現(xiàn)自動識 別功能。別功能。 3講解：XX2021/3/10 一、機(jī)器視覺相關(guān)概念 機(jī)器視覺系統(tǒng)的定義：機(jī)器視覺系統(tǒng)的定義： 機(jī)器視覺系統(tǒng)是指通過圖像采集單元（相機(jī)），將被攝取目標(biāo)機(jī)器視覺系統(tǒng)是指通過圖像采集單元（相機(jī)），將被攝取目標(biāo) 轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、 顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進(jìn)行各種運(yùn)算顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進(jìn)行各種運(yùn)算 來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。來抽取目標(biāo)的特

3、征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。 主要適用環(huán)境：主要適用環(huán)境： 1、高速、高精、高速、高精； 2、超視、微距、超視、微距； 3、客觀、無疲勞、客觀、無疲勞； 4、環(huán)境限制等、環(huán)境限制等。 4講解：XX2021/3/10 二、機(jī)器視覺系統(tǒng)相關(guān)學(xué)科 涉及相關(guān)學(xué)科有：涉及相關(guān)學(xué)科有： 計算機(jī)視覺計算機(jī)視覺 機(jī)械設(shè)計機(jī)械設(shè)計 照明工程照明工程 光學(xué)設(shè)計光學(xué)設(shè)計 自動控制自動控制 圖像處理圖像處理 嵌入式電子嵌入式電子 圖像處理 自動控制 嵌入式系統(tǒng)照明工程 機(jī)械設(shè)計 計算機(jī)視覺 光學(xué)設(shè)計 機(jī)器視覺系統(tǒng) 5講解：XX2021/3/10 三、機(jī)器視覺系統(tǒng)基本構(gòu)成 典型系統(tǒng)由以下組成： 待測目標(biāo)

4、 光源 鏡頭 相機(jī) 圖像采集卡 圖像處理軟件 輸入輸出板卡 工業(yè)電腦 6講解：XX2021/3/10 三、機(jī)器視覺系統(tǒng)基本構(gòu)成 典型系統(tǒng)由以下組成： 待測目標(biāo) 光源 鏡頭 相機(jī) 圖像采集卡 圖像處理軟件 輸入輸出板卡 工業(yè)電腦 “嵌入嵌入” 7講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 測量測量 （Measure） 檢測檢測 （Inspect） 定位定位 （Locate） 識別識別 （ Identify ） 8講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 測量：長度測量測量：長度測量 9講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 測量：角度測量測量：角度測量

5、10講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 測量：圓弧及半徑測量測量：圓弧及半徑測量 11講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 檢測：有無檢測檢測：有無檢測 (郵包) 12講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 檢測：殘次品檢測檢測：殘次品檢測 13講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 檢測：數(shù)字統(tǒng)計檢測：數(shù)字統(tǒng)計 14講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 檢測：檢測：瑕疵檢測瑕疵檢測 15講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 定位：內(nèi)部定位定位：內(nèi)部定位 16講解：XX2021/3/10

6、四、機(jī)器視覺系統(tǒng)應(yīng)用分類 定位：坐標(biāo)輸出定位定位：坐標(biāo)輸出定位 17講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 識別：讀碼識別：讀碼 18講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 識別：識別：OCR/OCV 19講解：XX2021/3/10 四、機(jī)器視覺系統(tǒng)應(yīng)用分類 識別：顏色識別識別：顏色識別 20講解：XX2021/3/10 二、機(jī)器視覺軟硬件知識 21講解：XX2021/3/10 五、機(jī)器視覺系統(tǒng)軟硬件 22講解：XX2021/3/10 六、軟硬件知識-光源篇 l 機(jī)器視覺系統(tǒng)工作的基本程序： 取像 = 分析 = 結(jié)果輸出 l 光源 為確保視覺系統(tǒng)正常取像獲得足

7、夠光信息和穩(wěn)定圖像而提供的照明裝置 l 光源是一個視覺應(yīng)用開始工作的第一步。光源是一個視覺應(yīng)用開始工作的第一步。 23講解：XX2021/3/10 六、軟硬件知識-光源篇 l光源的目的 -照亮目標(biāo)，提高目標(biāo)亮度 -形成最有利于圖像處理的成像效果 -克服環(huán)境光干擾，保證圖像的穩(wěn)定性 l光源的重要性 合適的光源可以大大降低圖像處理難度，提高系統(tǒng)檢測精度、運(yùn) 行速度及工作效率。 24講解：XX2021/3/10 六、軟硬件知識-光源篇 u 光源分類光源分類 螢光燈 鹵素?zé)?光纖導(dǎo)管 LED光源 其他（激光、紫外光等） 25講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明

8、技術(shù) #1：背光：背光測量系統(tǒng)的最佳選擇測量系統(tǒng)的最佳選擇 26講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明技術(shù) #2：亮場：亮場最直接的照明最直接的照明 27講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明技術(shù) #3：暗場：暗場適合光滑表面的照明適合光滑表面的照明 28講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明技術(shù) #4#4：同軸光：同軸光均勻性好均勻性好 50% 分束片分束片 29講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明技術(shù) #5#5：結(jié)構(gòu)光法：結(jié)構(gòu)光法

9、最簡便的三維測量最簡便的三維測量 激光或線性光激光或線性光 源源 固定角度照射固定角度照射 三維深度信息三維深度信息 30講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明技術(shù) #6#6：影子的利用：影子的利用最不直接的測量最不直接的測量 待測物長度信息待測物長度信息 待測物高度信息待測物高度信息 31講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明技術(shù) #7#7：彩色的考慮：彩色的考慮 光的三原色光的三原色 色彩三原色色彩三原色 光的三原色：紅、綠、藍(lán)；色彩三原色：青、紫、黃。 世界上所有顏色都是由三原色按不同比例組合而成 三原色的色

10、光疊加為白光。如：日光 三原色的色彩疊加為黑色。 32講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明技術(shù) #7#7：彩色的考慮：彩色的考慮 33講解：XX2021/3/10 六、軟硬件知識-光源篇 u 常用照明技術(shù)常用照明技術(shù) #8#8：常用光源分析：常用光源分析 螢光燈鹵素?zé)?光纖導(dǎo)管LED燈源 價格低高中 亮度低高中 穩(wěn)定性低中高 閃光裝置無無有 使用壽命中低高 光線均勻度高中低 多色光無無有 復(fù)雜設(shè)計低中高 34講解：XX2021/3/10 六、軟硬件知識-鏡頭篇 u 鏡頭的介紹鏡頭的介紹 l 1、基本功能 -實(shí)現(xiàn)光束變換，將目標(biāo)成像在圖像傳感器的光敏面上

11、； l 2、鏡頭與相機(jī)匹配 -鏡頭接口是否為工業(yè)標(biāo)準(zhǔn)接口，C/CS接口、F口等； -鏡頭成象面是否=相機(jī)CCD尺寸； 若相機(jī)CCD為1/2英寸，而鏡頭為1/3英寸，則該鏡頭與相機(jī)不匹配。 35講解：XX2021/3/10 六、軟硬件知識-鏡頭篇 l 3、工作距離 -鏡頭焦距是否適合系統(tǒng)工作空間 l 4、系統(tǒng)精度 -獲取最佳視野 -鏡頭畸變對系統(tǒng)精度的影響 -鏡頭分辨率對系統(tǒng)精度的影響 l 5、縱深成象 -待測物縱深方向的成象是否在鏡頭景深范圍之內(nèi) 36講解：XX2021/3/10 六、軟硬件知識-鏡頭篇 l 6、視場范圍 37講解：XX2021/3/10 六、軟硬件知識-鏡頭篇 l 7、常用鏡

12、頭 CCTV鏡頭 專業(yè)攝影鏡頭 遠(yuǎn)心鏡頭 38講解：XX2021/3/10 六、軟硬件知識-相機(jī)篇 u 常用照明技術(shù)常用照明技術(shù) 相機(jī)分類 按芯片技術(shù)：CCD相機(jī)和CMOS相機(jī) 按靶面類型：面陣相機(jī)和線陣相機(jī) 按輸出模式：模擬相機(jī)和數(shù)字相機(jī) 按顏色：彩色相機(jī)和黑白相機(jī) 按是否帶處理器：智能相機(jī)和非智能相機(jī) 主要特性參數(shù) 芯片類型 分辨率：位于CCD&CMOS芯片上的像素數(shù) 速度：line/s，fps 光學(xué)接口：C,CS,F等 39講解：XX2021/3/10 六、軟硬件知識-相機(jī)篇 u 相機(jī)的選擇相機(jī)的選擇 相機(jī)分辨率： 相機(jī)分辨率（X方向）最佳視野范圍（X方向） 理論象素值（X方向） 相機(jī)分

13、辨率（Y方向）最佳視野范圍（Y方向） 理論象素值（Y方向） 系統(tǒng)速度要求與相機(jī)成象速度 系統(tǒng)單次運(yùn)行速度 = 系統(tǒng)成象速度 + 系統(tǒng)檢測速度 幀速或線數(shù) 快門速度 40講解：XX2021/3/10 六、軟硬件知識-工控機(jī)篇 u 工控機(jī)選型的要素工控機(jī)選型的要素 關(guān)鍵關(guān)注因素： 處理器主頻 硬盤讀寫速度 內(nèi)存大小 輸入輸出離散IO 接口類型與數(shù)量 工控機(jī)的散熱能力 主要衡量指標(biāo)： 系統(tǒng)穩(wěn)定性（推薦無風(fēng)扇，低功耗） 41講解：XX2021/3/10 六、軟硬件知識-軟件篇 u 機(jī)器視覺軟件包機(jī)器視覺軟件包 國外品牌： Halcon、VisionPro、Labview Vision等商業(yè)軟件包；Op

14、enCV開源免費(fèi)軟件包。 國內(nèi)品牌： 研華、OPT、海康、大華、匯萃等，都宣稱開發(fā)成功。 42講解：XX2021/3/10 三、機(jī)器視覺系統(tǒng)搭建技巧 43講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 獲得完美圖象的獲得完美圖象的6 6大要素大要素 #1#1：高系統(tǒng)精度：高系統(tǒng)精度 FOV：100MM 500 象素象素 象素值象素值 = 0.2 MM 系統(tǒng)精度（System accuracy） X方向系統(tǒng)精度（X方向象素值） 視野范圍（X方向） CCD芯片象素數(shù)量（X方向） Y方向系統(tǒng)精度（Y方向象素值） 視野范圍（Y方向 CCD芯片象素數(shù)量（Y方向） 該指標(biāo)取決于，相機(jī)分辨率及視野（

15、FOV） 44講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 獲得完美圖象的獲得完美圖象的6 6大要素大要素 #1#1：高系統(tǒng)精度：高系統(tǒng)精度 視野（FOV） - 讓視覺系統(tǒng)“關(guān)心”的部分盡可能“充滿”視野。通俗來說，F(xiàn)OV越小越“好”。 - 相機(jī)分辨率相同視野越小系統(tǒng)精度越高 - 視野相同相機(jī)分辨率越高系統(tǒng)精度越高 適合的視野適合的視野不適合的視野不適合的視野 調(diào)整調(diào)整 系統(tǒng)關(guān)心的部分系統(tǒng)關(guān)心的部分 45講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 獲得完美圖象的獲得完美圖象的6 6大要素大要素 #2#2：清晰成象：清晰成象 確定圖象中所要檢測的部分處于清晰的焦距之內(nèi) 當(dāng)圖

16、象中檢測部分不處于同一焦平面時，需要考慮鏡頭的景深 注意：每一款鏡頭相對于固定的光圈，都有自己固定的景深 注意：縮小光圈可以加大景深。同時為保證正確曝光需要提高光強(qiáng) 46講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 獲得完美圖象的獲得完美圖象的6 6大要素大要素 #3#3：避免畸變：避免畸變 在定位及高精度測量的系統(tǒng)中，鏡頭畸變的影響尤其重要 真實(shí)世界真實(shí)世界 鏡頭畸變產(chǎn)生的圖象鏡頭畸變產(chǎn)生的圖象 47講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 獲得完美圖象的獲得完美圖象的6 6大要素大要素 #4#4：保持待測物體在成象中大小一致：保持待測物體在成象中大小一致 在定位及識

17、別系統(tǒng)中，這一點(diǎn)尤為重要 48講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 獲得完美圖象的獲得完美圖象的6 6大要素大要素 #5#5：圖象中待測部分反差最大化：圖象中待測部分反差最大化 待測部分待測部分 對于一個視覺系統(tǒng)來說，“黑白分明”的圖象才是好圖象。 49講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 獲得完美圖象的獲得完美圖象的6 6大要素大要素 #6#6：恰當(dāng)?shù)恼彰髋c曝光：恰當(dāng)?shù)恼彰髋c曝光 避免陰影 如果圖象中待測區(qū)域處于陰影之下，圖象將不能提供足夠的反差，這將嚴(yán)重影響系統(tǒng)檢測的精 度 避免過亮 如果照明過亮，區(qū)域內(nèi)亮部的光線會反射進(jìn)暗部的區(qū)域，造成暗部區(qū)域內(nèi)的細(xì)節(jié)

18、損失 避免光線變化 如果照明系統(tǒng)發(fā)生明暗變化，會造成圖象明暗變化。這將直接影響系統(tǒng)運(yùn)行的穩(wěn)定性 避免外界影響 注意系統(tǒng)周圍環(huán)境的影響，如生產(chǎn)線上的照明系統(tǒng)、室外陽光等等可移動的人或物會遮擋系統(tǒng) 照明 50講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 小結(jié)小結(jié) #1#1：獲得完美圖象的：獲得完美圖象的6 6大要素及控制因素大要素及控制因素 高系統(tǒng)精度。控制因素：視野、相機(jī)分辨率。 清晰成象。控制因素：鏡頭、光源 避免畸變?？刂埔蛩兀虹R頭 保持待測物體在成象中大小一致?？刂埔蛩兀阂曇啊⑴恼战嵌?、待測物位置 反差最大化。控制因素：光源、鏡頭 恰當(dāng)?shù)恼彰髋c曝光?？刂埔蛩兀汗庠?、鏡頭 #2#2

19、：如何獲得完美圖象如何獲得完美圖象 選擇適合的光源、鏡頭、相機(jī) 學(xué)會如何使用、控制光源、鏡頭、相機(jī) 51講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 項(xiàng)目硬件選型：項(xiàng)目硬件選型： 選型步驟： 確定項(xiàng)目檢測方向：測量、檢測、定位、識別。 確定項(xiàng)目檢測要求：精度、速度、工作空間。 根據(jù)項(xiàng)目檢測方向完成光源選型 根據(jù)項(xiàng)目精度要求確定最佳視野 根據(jù)項(xiàng)目精度要求及工作空間要求完成鏡頭選型 根據(jù)項(xiàng)目精度要求及速度要求完成相機(jī)選型 考慮系統(tǒng)硬件成本 52講解：XX2021/3/10 七、機(jī)器視覺系統(tǒng)搭建 u 項(xiàng)目評估的基本步驟項(xiàng)目評估的基本步驟1： q 檢測項(xiàng)目條款 條款名稱及詳細(xì)說明 客戶需求客戶需