工業(yè)視覺系統(tǒng)編程及基礎應用 課件 項目13 前沿技術基礎應用

工業(yè)視覺系統(tǒng)編程及基礎應用PROJECT項目090810111213項目8外圍設備通訊與交互項目9鋰電池檢測項目10鋰電池測量項目11鋰電池識別項目12鋰電池引導抓取項目13前沿技術基礎應用1、3D視覺技術基礎應用TASK任務任務一、3D視覺技術二、3D工具三、3D視覺技術基礎應用鋰電池移動抓取課前回顧鋰電池移動抓取的實現(xiàn)原理在V+平臺軟件中使用引導模塊相關工具來實現(xiàn)鋰電池的移動抓取一、3D視覺技術3D視覺技術分類一、3D視覺技術需要一個特殊的光學投射器來產生一定的光模式基于一幅或多幅圖像中來獲取物體三維形狀信息,對光源沒有嚴格的要求工業(yè)3D傳感器類型一、3D視覺技術常見的工業(yè)領域3D傳感器類型3D數(shù)據(jù)表示方法一、3D視覺技術1深度圖（RangeImage)1.存儲所有像素點的深度值的二維圖像2.深度值是相機坐標系下的Z坐標值，單位mm2點云（PointCloud）3D掃描設備獲取的產品特征以點的形式存儲，其中會包含對應點的坐標信息、色彩信息和反射面強度信息.3體素3D空間中量化的、大小固定的點，相當于3D空間中的最小單位像素4網格（Mesh)網格是點云的細化分割的一種呈現(xiàn)形式，在視覺中為了快速處理數(shù)據(jù)還是用三角形居多.深度圖點云圖體素網格3D視覺應用案例一、3D視覺技術曲面屏測量食品缺陷檢測連接器測量汽車裝配檢測3D視覺技術的發(fā)展趨勢一、3D視覺技術3D視覺系統(tǒng)底層元器件、核心算法等技術的快速發(fā)展使得成像分辨率不斷提高、圖像采集速度和傳輸可靠性明顯增強，豐富了工業(yè)視覺系統(tǒng)的應用場景。高性能和多場景智能化和實時性集成化和融合化隨著人工智能、大數(shù)據(jù)和云計算等新技術的引入，工業(yè)3D視覺系統(tǒng)將變得更智能化、實時化。工業(yè)3D視覺系統(tǒng)也將朝著集成化、小型化的方向發(fā)展，各種模組（如光學模組、通信模組和計算模組等）會逐漸集成在一個設備中二、3D工具V+平臺軟件可實現(xiàn)3D圖像的采集和處理，與其相關的工具可分為3D取像工具和3D測量工具二、3D工具V+平臺軟件可實現(xiàn)3D圖像的采集和處理，與其相關的工具可分為3D取像工具和3D測量工具二、3D工具（1）3D取像工具：該工具實現(xiàn)從3D傳感器或本地3D數(shù)據(jù)獲取圖像的功能（2）Z轉CogImage16Range工具：從3D取像工具獲取的圖像需要經過該工具格式轉換為高度圖，方可在工具塊中進行圖像處理V+平臺軟件可實現(xiàn)3D圖像的采集和處理，與其相關的工具可分為3D取像工具和3D測量工具二、3D工具源：可選擇相機或者本地圖像設備：選擇已連接的3D傳感器圖像模式：可選擇灰度或者彩色保存：勾選保存即在取像完成后并保存路徑：設置圖像的存儲路徑，可選擇指定文件夾或鏈接前置工具拼接的路徑文件名：自定義所取像的名稱行數(shù)：需要和“批處理點數(shù)”保持一致超時（s）：取像工具最長運行時間3D取像工具V+平臺軟件可實現(xiàn)3D圖像的采集和處理，與其相關的工具可分為3D取像工具和3D測量工具二、3D工具inputImage：默認鏈接前置工具的輸出圖像，可選擇本地文件夾圖像imagewidth：默認鏈接前置工具的輸出寬度，可輸入參數(shù)imageHeight：默認鏈接前置工具的輸出高度，可輸入參數(shù)xScale：X軸方向的分辨率，由傳感器型號決定yScale：Y軸方向的分辨率與xScale保持一致zScale：Z軸方向的分辨率，該分辨率為16位圖像中的參數(shù)，故等于傳感器的Z軸高度值/65536Z轉CogImage16Range工具V+平臺軟件可實現(xiàn)3D圖像的采集和處理，與其相關的工具可分為3D取像工具和3D測量工具二、3D工具常見的3D測量工具平面夾角測量工具測高工具平面提取工具體積測量工具在測量高度時，其測量流程為：首先，要使用平面提取工具確定測高的基準平面，其次，使用測高工具確定被測平面并完成高度測量二、3D工具平面提取工具在使用過程中需要如下配置：（1）平面擬合算法選擇（2）擬合算法所需參數(shù)設置在測量高度時，其測量流程為：首先，要使用平面提取工具確定測高的基準平面，其次，使用測高工具確定被測平面并完成高度測量二、3D工具測高工具在使用過程中需要如下配置：（1）設定高度的正方向（2）選擇需要測高的平面三、3D視覺技術基礎應用采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用結果展示采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用待測樣品及其高度SSZN8060傳感器采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用1.新建項目14解決方案，并保存為“項目14-任務1-3D視覺技術基礎應用-XXX”2.單擊“菜單”→“設備”→“3D相機”，雙擊“深視”3.參照左圖設置“深視”傳感器參數(shù)采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用1.添加“001_內部觸發(fā)”工具2.雙擊或拖出“圖像”工具包中的“3D取像”工具，并鏈接至“001_內部觸發(fā)”工具采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用1.雙擊或拖出“Cognex”工具包中的“Z轉CogImage16Range”工具2.同理，添加“004_ToolBlock”并鏈接至“Z轉CogImage16Range”工具采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用1.“002_取像”工具屬性配置：源：相機設備：深視1圖像模式：彩色保存：勾選路徑：根路徑下的“Images”文件名：3D_Data文件類型：ZMAP行數(shù)：8700超時（s）：202.單擊①處運行取像采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用“003_Z轉CogImage16Range”工具屬性配置：inputImage：鏈接“002_3D取像”工具的輸出“Data”imageWidth：鏈接“002_3D取像”工具的輸出“Width”imageHeight：鏈接“002_3D取像”工具的輸出“Height”xScale：0.012yScale：0.012zScale：0.000275采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用“ToolBlock”工具配置：1.添加輸入項為“003_Z轉CogImage16Range”工具2.添加平面提取和測高工具3.將“Input1”依次鏈接至兩個3D工具的輸入圖像即⑤和⑥處采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用“Cog3DRangeImagePlaneEstimatorTool1”工具配置：1.雙擊“Cog3DRangeImagePlaneEstimatorTool1”工具2.選擇擬合平面的方法為點擬合（Points），即勾選①處3.在②處拖動四個點放在同一平面上4.將③處點鄰域范圍X和Y設為50采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用“Cog3DRangeImageHeightCalculatorTool1”工具配置：1.雙擊“Cog3DRangeImageHeightCalculatorTool1”工具2.在①處選擇平面正方向為高度增加方向（IncreasingPlaneNormal）3.在②處選擇區(qū)域形狀為圓形（CogCircle）4.拖動③處的綠色圓形區(qū)域將其放在需要測高的平面采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量三、3D視覺技術基礎應用1.將“Cog3DRangeImagePlaneEstimatorTool1”的輸出“Result.Plane”鏈接至“Cog3DRangeImageHeightCalculatorTool1”工具的輸入“BasePlane”2.運行該工具，查看測量的高度均值為7.24523mm總結3D視覺技術熟悉3D視覺技術的分類，3D相機獲取的數(shù)據(jù)類型及常見的3D相機類型3D工具掌握3D工具的使用方法。3D視覺技術基礎應用

能夠使用3D工具完成對測量項目的方案制作?？偨Y工業(yè)視覺技術只有賦能實體產業(yè)，自身才有不斷發(fā)展的動力之源。3D視覺和深度學習增強了工廠自動化市場中機器人/機器系統(tǒng)的自主性和有效性，因為這對于更高精度、更快速的質量檢測，以及逆向工程等2D視覺受限的應用至關重要。此外，視覺系統(tǒng)引導機器人的使用正在增長，需要3D視覺來實現(xiàn)更好的遠程引導、障礙識別和精確移動；產品型號的多樣化、生產環(huán)境的復雜化也驅動了深度學習帶來更加快捷、智能化、高端化的應用本項目主要基于V+平臺軟件對工業(yè)視覺領域的3D視覺技術和深度學習算法進行學習和應用。THANKS工業(yè)視覺系統(tǒng)編程及基礎應用PROJECT項目090810111213項目8外圍設備通訊與交互項目9鋰電池檢測項目10鋰電池測量項目11鋰電池識別項目12鋰電池引導抓取項目13前沿技術基礎應用TASK任務2、深度學習基礎應用任務一、深度學習技術二、深度學習工具三、深度學習基礎應用常用3D相機品牌有哪些？V+中，和3D相關的工具有哪些？課前回顧1、深度學習概念人工智能、機器學習和深度學習的關系

概括來說，人工智能、機器學習和深度學習覆蓋的技術范疇是逐層遞減的，三者的關系如下圖所示。一、深度學習技術人工智能、機器學習和深度學習的關系1、深度學習概念人工智能（ArtificialIntelligence，AI）

是最寬泛的概念，是研究、開發(fā)用于模擬、延伸、擴展人的智能的理論、方法、技術及應用系統(tǒng)的一門技術科學，通過了解智能的實質，產生一種新的能以人類智能相似的方式做出反應的智能機器。機器學習（MachineLearning，ML）是當前比較有效的一種實現(xiàn)人工智能的方式，是研究計算機怎樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。深度學習（DeepLearning）是一種新的機器學習方法，它基于神經網絡（NeuralNetworks）來處理和分析大量數(shù)據(jù)，是通過建立能模擬人腦進行分析學習的神經網絡模型，計算觀測數(shù)據(jù)的多層特征或表示。與傳統(tǒng)的機器學習算法相比，深度學習具有更強的表達能力和更高的準確性，其在許多領域都有廣泛的應用，如機器視覺、自然語言處理、語音識別、推薦系統(tǒng)、游戲AI等。隨著計算能力的提高和大數(shù)據(jù)的普及，深度學習將進一步推動人工智能技術的發(fā)展。一、深度學習技術2、深度學習模型深度學習模型有很多種，常見的深度學習模型有卷積神經網絡、循環(huán)神經網絡、長短記憶網絡、強化學習模型等。其中，卷積神經網絡（ConvolutionalNeuralNetwork，簡稱CNN）主要用于模式分類、物體檢測等計算機視覺任務。該網絡避免了對圖像的復雜前期預處理，可以直接輸入原始圖像，因而得到了更為廣泛的應用。CNN的核心思想是利用局部連接權值共享的方式來減少網絡參數(shù)和計算量。與傳統(tǒng)的神經網絡相比，CNN可以更好地處理高維數(shù)據(jù)，并且具有平移不變性和局部相關性等特點。在傳統(tǒng)的工業(yè)視覺任務中，算法的性能好壞很大程度上取決于是否能選擇合適的特征，而這恰恰是最耗費時間和人力的，所以在圖像、語言、視頻處理中就顯得更加困難。CNN可以做到從原始數(shù)據(jù)出發(fā)，避免前期的特征提取，在數(shù)據(jù)中找出規(guī)律，進而完成任務。一、深度學習技術2、深度學習模型卷積神經網絡

卷積神經網絡一般由輸入層、隱含層、全連接層以及輸出層組成，如下圖所示。卷積神經網絡典型結構一、深度學習技術2、深度學習模型卷積神經網絡結構特點及作用

其中，輸入層用于接受對應的輸入圖像數(shù)據(jù)；隱含層通常由若干卷積層和池化層連接而成，負責特征的提取和組合；提取的特征送入全連接層，并通過激活函數(shù)得到最終的輸出層判別結果。值得注意的是，整個網絡中每一層均由不同權重值的神經元構成，連接著前后層網絡，起到正向傳輸預測值和反向調整權重參數(shù)的作用。卷積神經網絡結構特點及作用如圖所示。卷積神經網絡作用及特點一、深度學習技術2、深度學習模型卷積層

在卷積層中，輸入數(shù)據(jù)被滑動到一定大小的窗口內，然后與每個窗口內的所有卷積核進行卷積運算。由于卷積核的大小和數(shù)量可以根據(jù)具體任務進行調整，因此可以提取不同大小、不同形狀的特征。這一層的主要目的就是將數(shù)據(jù)與權重矩陣（濾波器）進行線性乘積并輸出特征圖。池化層

在卷積神經網絡中，池化層對輸入的特征圖進行壓縮，一方面使特征圖變小，簡化網絡計算復雜度。另一方面進行特征壓縮，提取主要特征。采用池化層可以忽略目標的傾斜、旋轉之類的相對位置的變化，以提高精度，同時降低了特征圖的維度，并且在一定程度上可以避免過擬合。池化層通常非常簡單，通常取最大值或平均值來創(chuàng)建自己的特征圖，如右圖所示。全連接層

在全連接層中，前面的卷積層和池化層提取出的特征圖被展開成一維向量，并通過一系列全連接層進行分類或回歸等任務。由于全連接層的參數(shù)數(shù)量非常大，因此可以使用反向傳播算法進行訓練。池化層一、深度學習技術3、深度學習框架深度學習框架是指通過高級編程接口為深度神經網絡的設計、訓練、驗證提供的組件和構建模塊。常用的深度學習框架有TensorFlow、PyTorch、Keras、Caffe、MXNet等。一、深度學習技術4、深度學習在工業(yè)視覺領域的應用案例工件顏色分類

在實際生產快速上下料分類的過程中，產品常常不能保持固定的位姿和角度，加之產品顏色的多樣化，使其在同種同角度光源下，常存在不同視覺效果。傳統(tǒng)的視覺方案常通過多種光源、多種角度進行拍攝，獲取穩(wěn)定的圖片效果，但生產效率較低，且仍然存在一定幾率的產品超出視野范圍、圖像模糊、過曝等情況，如下圖所示。工件顏色分類圖像一、深度學習技術4、深度學習在工業(yè)視覺領域的應用案例訓練多姿態(tài)、多顏色、多種打光效果的圖片，使用深度學習分類工具，即可正確區(qū)分顏色，并將顏色名稱和得分情況顯示在圖片當中。工件顏色分類深度學習結果一、深度學習技術4、深度學習在工業(yè)視覺領域的應用案例柱狀塞芯外觀缺陷檢測

柱狀塞芯一般為柱狀體，相機架設于產品柱狀側面，機構帶動產品旋轉一周取圖，如下圖所示。柱狀塞芯外觀缺陷檢測圖像一、深度學習技術（a）劃傷1（b）劃傷2（c）白斑1（d）白斑2（e）黑斑1（f）黑斑24、深度學習在工業(yè)視覺領域的應用案例產品本身體積較小，出現(xiàn)缺陷的位置、種類、圖像效果都不一致，且有些缺陷并不明顯，用傳統(tǒng)視覺較難實現(xiàn)找出外觀缺陷，此時需要用深度學習缺陷檢測工具實現(xiàn)該項目功能，如下圖所示。一、深度學習技術4、深度學習在工業(yè)視覺領域的應用案例模穴號字符識別

產品表面雕刻模穴號時，常常存在字體不同、凹凸狀態(tài)不同、金屬材質不同導致的圖像效果差異大的問題。使用傳統(tǒng)OCR工具進行識別時，需要人工訓練大量的字符；而導入通用的OCR字符識別深度學習模型，即可快速識別不同場景不同字符，配置簡單，準確性更高，如下圖所示。（a）模穴號1（b）模穴號2（c）模穴號3（d）模穴號4一、深度學習技術TASK任務2、深度學習基礎應用任務一、深度學習技術二、深度學習工具三、深度學習基礎應用二、深度學習工具1、DCCKDeepLearning工具包DCCKDeepLearning工具包

DCCKDeepLearning工具包，是專為工廠自動化設計的深度學習視覺軟件，其包含了用于對象和場景分類的Classify工具；用于缺陷探測和分割的Detection工具；用于文本和字符讀取的OCR工具，如下圖所示。本章節(jié)僅介紹DCCKOCRTool及其應用。DCCKDeepLearning工具包二、深度學習工具2、DCCKOCRTool的作用DCCKOCRTool提供了圖形用戶界面，包含預訓練模型，無需訓練即可快速識別字符文本并顯示在圖像中。該工具基本支持包含英文、數(shù)字和標點符號的全部場景的字符識別，如卷曲、折頁、污損、亮度不同、凹凸不同等多種場景，遇到預訓練模型識別不準確時，可以通過添加至訓練集生成新模型。DCCKOCRTool默認輸入為灰度圖像，默認輸出為識別的字符串文本，如下左圖所示。其中，框選字符串的矩形框的高和寬可由外部進行輸入，添加輸入終端，如下右圖所示。DCCKOCRTool默認輸入輸出DCCKOCRTool添加終端二、深度學習工具3、DCCKOCRTool的組成DCCKDeepLearning配置選項卡界面

用于加載模型及配置參數(shù)。模式：定位+識別：該模式需要先定位字符串位置，再進行識別識別：該模式無需定位，直接進行識別模型加載：字符標記矩形的最小/大允許高度，以像素為單位定位模型未加載：模式為“定位+識別”時，需要加載已訓練的定位區(qū)域模型文件所在文件夾；模式為“識別”時，該按鈕不存在識別模型未加載：加載已訓練的識別模型文件所在文件夾；OCR訓練模型基本為通用，可用于多種情況識別字符其他參數(shù)解釋見“說明”選項卡界面。二、深度學習工具3、DCCKOCRTool的組成DCCKDeepLearning結果選項卡界面

用于顯示識別字符串及分數(shù)。二、深度學習工具3、DCCKOCRTool的組成DCCKDeepLearning說明選項卡界面

用于顯示