2023工業(yè)視覺技術(shù)與應(yīng)用

工業(yè)視覺技術(shù)與應(yīng)用(2023)工業(yè)視覺技術(shù)與應(yīng)用白皮書工業(yè)視覺技術(shù)與應(yīng)用白皮書目 錄工業(yè)覺展述 1業(yè)覺展義 1內(nèi)政導(dǎo)向 1業(yè)覺展勢(shì) 3工業(yè)覺鍵術(shù) 7集術(shù) 7理術(shù) 9工視智邊平臺(tái) 9機(jī)視算法 13算設(shè)施 15用術(shù) 18典型用景例析 20業(yè)檢 21案背與求 21實(shí)案例 21實(shí)效果 23人設(shè)巡檢 24案背與求 24實(shí)案例 25實(shí)效果 26寸量 26案背與求 26實(shí)案例 27實(shí)效果 28線控 28案背與求 28實(shí)案例 29實(shí)效果 30總結(jié)展望 314.1314.232縮略列表 33工業(yè)視覺技術(shù)與應(yīng)用白皮書工業(yè)視覺技術(shù)與應(yīng)用白皮書PAGEPAGE10工業(yè)視覺發(fā)展概述工業(yè)視覺發(fā)展意義對(duì)工業(yè)生產(chǎn)過程中的數(shù)據(jù)處理技術(shù)和計(jì)算技術(shù)提出了更高挑戰(zhàn)。國內(nèi)外政策導(dǎo)向4.0，2013技術(shù)戰(zhàn)略2020美國政府通過大力支持“先進(jìn)制造伙伴關(guān)系”（AMP）推動(dòng)未來的產(chǎn)品和生產(chǎn)網(wǎng)絡(luò)與信息通信技術(shù)融合。體實(shí)際應(yīng)用場景方面出臺(tái)了一系列激勵(lì)政策。20152025”，2020年）5G202112產(chǎn)品。圖1.1國內(nèi)部分工業(yè)視覺相關(guān)政策解讀多行業(yè)，為工廠的智能化發(fā)展奠定基礎(chǔ)。工業(yè)視覺發(fā)展趨勢(shì)MarketsandMarkets，2010-2020107514.48%，2020-20256.1%，市場需求巨大。圖1.2全球機(jī)器視覺行業(yè)市場規(guī)?！獢?shù)據(jù)來源：MarketsandMarkets20101.32016-202147178302025202650025%。圖1.3中國工業(yè)視覺市場規(guī)模及增速——資料來源：甲子光年智庫機(jī)器視覺系統(tǒng)在未來工業(yè)領(lǐng)域?qū)⒄宫F(xiàn)出巨大的應(yīng)用前景，主要依托以下幾方面優(yōu)勢(shì)：觸，做到無損測量，系統(tǒng)穩(wěn)定性高。效擴(kuò)展人眼視覺范圍。別，克服因人眼疲勞對(duì)觀測者工作時(shí)長的限制。受觀測者的主觀因素影響，具有強(qiáng)可重復(fù)性。結(jié)合，并通過分銷渠道觸達(dá)行業(yè)用戶。自動(dòng)化進(jìn)程的時(shí)間較短，目前主要實(shí)現(xiàn)中低端領(lǐng)域的國產(chǎn)化。整的機(jī)器視覺系統(tǒng)或裝備。客戶的重要界面，是產(chǎn)品落地的主要承擔(dān)方。圖1.4中國工業(yè)視覺企業(yè)圖譜工業(yè)視覺關(guān)鍵技術(shù)采集技術(shù)視覺中的關(guān)鍵組件之一。根據(jù)標(biāo)準(zhǔn)不同，傳統(tǒng)工業(yè)相機(jī)主要分類方式如下：參數(shù)CMOSCCD信噪比低高敏感度高更高體積小大功耗低高曝光一致性低高全局快門實(shí)現(xiàn)性難易系統(tǒng)復(fù)雜度參數(shù)CMOSCCD信噪比低高敏感度高更高體積小大功耗低高曝光一致性低高全局快門實(shí)現(xiàn)性難易系統(tǒng)復(fù)雜度低高成本低高表2.1CMOS與CCD相機(jī)對(duì)比進(jìn)行光學(xué)采集，并將采集的信息轉(zhuǎn)換為完整的二維圖像信息，目前大多瑕疵檢測。TDI(TimeDelayedandIntegration)線陣相機(jī)是一種具有一種面陣結(jié)構(gòu)、線陣輸出的新型光電傳感器相機(jī)，相較普通的線陣相機(jī)具有多重級(jí)數(shù)延時(shí)積分的功能，可以對(duì)同一目標(biāo)多次曝光以增加對(duì)光能的收集，具備更高的靈敏度、響應(yīng)度、和動(dòng)態(tài)范圍等優(yōu)點(diǎn)，在低光照度環(huán)鏡下也能輸出一定強(qiáng)度信噪比的信號(hào)。根據(jù)色彩類型可分為單色（黑白）圖像質(zhì)量技術(shù)提升方面，富士公司“X-TRANSCMOS”“Foveon根據(jù)分辨率大小可以分為普通分辨率相機(jī)和高分辨率相機(jī)。高分辨率相1280*720（720p）CMOSPCB據(jù)輸出信號(hào)速度分為普通速度相機(jī)和高速相機(jī)，根據(jù)響應(yīng)頻率范圍分為可見光（普通）相機(jī)、紅外相機(jī)、紫外相機(jī)和X射線相機(jī)等。3D3D20222Mech-EyeLaser3DSIGAI3DTensor1Pro3D3DAI處理技術(shù)緣計(jì)算的場景下針對(duì)通用機(jī)器學(xué)習(xí)算法的優(yōu)化研究同樣具有重要的意義。工業(yè)視覺智能邊緣平臺(tái)邊緣計(jì)算是現(xiàn)代工業(yè)計(jì)算領(lǐng)域的重要進(jìn)步。邊緣計(jì)算產(chǎn)業(yè)聯(lián)盟（ECC）靠近產(chǎn)線的邊緣處對(duì)視頻進(jìn)行實(shí)時(shí)分析，實(shí)現(xiàn)與業(yè)務(wù)的聯(lián)動(dòng)與閉環(huán)。LinuxLFEdgeAkrainoEdgeStack和EdgeXFoundryONFCORD、KubeEdge、OpenYurt、OpenEdgeEdgeXFoundryK3SKubeEdgeStarlingXOpenEdge云邊協(xié)同不支持不支持支持支持支持原生支持K8S不支持支持支持不支持不支持邊緣組件資源占用中小最小較大較大部署復(fù)雜度復(fù)雜簡單簡單復(fù)雜復(fù)雜去中心化否否是否否支持MQTT支持支持支持支持支持容器化編排不支持支持支持支持不支持表2.2主流邊緣計(jì)算平臺(tái)及性能對(duì)比星辰視界視頻云邊智能平臺(tái)（2.1圖2.1星辰視界視頻邊緣智能平臺(tái)全景視圖針對(duì)工業(yè)視覺行業(yè)在不同場景下對(duì)資源、監(jiān)管、運(yùn)維等多方面的不同訴求，如圖2.2，星辰視界邊緣智能平臺(tái)面向工業(yè)場景提供三種部署模式：動(dòng)邊緣云，用戶無需管理任何實(shí)體服務(wù)器資源。云入駐模式：視頻邊緣智能平臺(tái)部署在移動(dòng)云，而邊緣節(jié)點(diǎn)由用戶自己IDC3）圖2.2星辰視界視頻邊緣智能平臺(tái)入駐模式低、兼容性強(qiáng)等優(yōu)點(diǎn)。研華工業(yè)云平臺(tái)WISE-IoTSuite（時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)等方面的關(guān)鍵訴求。圖2.3研華WISE-IoTSuite架構(gòu)圖WISE-IoTSuiteSMT以及上位機(jī)、ERPMES北向與云平臺(tái)對(duì)接實(shí)現(xiàn)云邊協(xié)同。步到云端。IoTSuite及資源管理等功能，與其下的邊緣計(jì)算平臺(tái)實(shí)現(xiàn)資源、服務(wù)、應(yīng)用的協(xié)同。機(jī)器視覺算法工業(yè)視覺技術(shù)路線方向正由傳統(tǒng)的簡單工業(yè)視覺算法向基于深度學(xué)習(xí)的機(jī)難以滿足任務(wù)在精度和通用性方面的需求。意義。括模型壓縮和推理加速兩大類。結(jié)構(gòu)搜索五類。32計(jì)算，量化通過減少表示每個(gè)參數(shù)的表示位數(shù)來壓縮原始網(wǎng)絡(luò)。根據(jù)具體的量化位數(shù)，可以將量化分為8-bit、4-bit，甚至是二值化。剪枝是通過裁剪原始網(wǎng)絡(luò)中的一些不重要的參數(shù)來減少DNN（DeepNeural著降低計(jì)算成本。端進(jìn)行部署和應(yīng)用。以上這些模型壓縮算法通過對(duì)原始的模型進(jìn)行壓縮和改變來適配邊緣設(shè)備，這為邊緣計(jì)算場景下工業(yè)視覺機(jī)器學(xué)習(xí)算法的應(yīng)用提供了支撐。AI圖優(yōu)化和推理框架支持等。FFTWinograd具備更少的乘加運(yùn)算量，降低了原始模型的計(jì)算復(fù)雜度。高了模型的計(jì)算效率。因此，模型部署時(shí)推理框架選取的合適與否影響著最后的推理性能。能，推動(dòng)了工業(yè)視覺應(yīng)用的落地與實(shí)施。算力設(shè)施ARM2%。不斷凸顯的能耗問題要求尋求低功耗但高效的計(jì)算方案針對(duì)這一情況，采用基于Arm架構(gòu)的Neoverse方案呈現(xiàn)出許多優(yōu)勢(shì)。這些CPUArm30%本（TCO）20%以上。圖2.4周易人工智能平臺(tái)安謀科技（ArmChina）ArmArmCPUMaliGPUArm（ArmNeoverseCPU+NPU），在工業(yè)視覺領(lǐng)域的邊緣設(shè)備和云端服務(wù)器應(yīng)用方面提供了高性能、低功耗和強(qiáng)大的人工智能計(jì)算能力。IntelElkhartLake增強(qiáng)型處理器產(chǎn)品線：英特爾凌動(dòng)?x6000E?和賽揚(yáng)?NJCPU化視覺檢測系統(tǒng)。圖2.5第六代智能英特爾?凌動(dòng)?處理器TigerLake爾?10AI在內(nèi)的多個(gè)工作負(fù)載。圖2.6第十一代智能英特爾?酷睿?處理器USB3.0PCIE/M.2AI5G流多相機(jī)應(yīng)用如定位，檢測，識(shí)別等。2.3應(yīng)用技術(shù)在工業(yè)智能制造領(lǐng)域，機(jī)器視覺在實(shí)現(xiàn)其功能時(shí)不僅限于單純的視覺檢測，圖2.7研華工業(yè)機(jī)械臂產(chǎn)品以及調(diào)整人力成本結(jié)構(gòu)等方面的潛力，有望提升企業(yè)的綜合競爭力。典型應(yīng)用場景案例分析程中耗時(shí)耗力的挑戰(zhàn)。測效果，增強(qiáng)故障預(yù)測和防范的能力。有效地克服了傳統(tǒng)檢測方法存在的問題。進(jìn)行處理和應(yīng)用，以實(shí)現(xiàn)對(duì)安全狀況的預(yù)判與預(yù)警，從而達(dá)到安全防護(hù)的目標(biāo)。工業(yè)質(zhì)檢案例背景與需求350201020度大，人眼容易疲勞，從而可能漏檢某些缺陷，導(dǎo)致質(zhì)量問題的發(fā)生。實(shí)施案例"星辰視界"輪轂表面瑕疵檢測系統(tǒng)致力于為客戶提供完整的輪轂視覺檢測解決ABCD毛刺、刮傷、碰傷、漆污點(diǎn)、色差、流掛、氣門孔位偏置等進(jìn)行檢測與識(shí)別。區(qū)域定義描述各區(qū)域?qū)?yīng)的顏色A區(qū)域車輪正面B區(qū)域車輪窗口；螺栓孔斜面、氣門嘴孔斜面及裝飾孔斜面C區(qū)域車輪內(nèi)外輪輞和輪輻背面；螺栓孔和氣門嘴孔表面D區(qū)域中心孔、安裝面和螺栓孔錐面（或球面）表3.1輪轂表面區(qū)域定義正面背面螺栓孔/裝飾孔氣門嘴孔表3.2輪轂各區(qū)域劃分示意圖度、直徑等特征進(jìn)行輪轂型號(hào)識(shí)別，然后把型號(hào)信息發(fā)送給后面兩個(gè)工位。A、CDBB結(jié)果對(duì)不良品進(jìn)行分流。圖3.1輪轂表面混合瑕疵檢測產(chǎn)線系統(tǒng)具體功能如下：OKNG輪轂缺陷以高亮顏色實(shí)時(shí)顯示。合格產(chǎn)品數(shù)量，以及質(zhì)檢合格率。產(chǎn)品質(zhì)量分析。圖3.2星辰視界輪轂表面瑕疵檢測系統(tǒng)實(shí)施效果1835000元/人月=900000/0.5%1235000540000的有力保障。無人機(jī)設(shè)備巡檢案例背景與需求150蓋無人機(jī)自主巡檢，并要求對(duì)影像智能識(shí)別，自動(dòng)發(fā)現(xiàn)缺陷。GPS5K210AIAI實(shí)施案例數(shù)據(jù)采集，需要同時(shí)滿足準(zhǔn)確、精確、安全三個(gè)條件。AI臺(tái)完成對(duì)準(zhǔn)操作。精確性提升：使用超高清相機(jī)（8K）進(jìn)行拍攝，完成目標(biāo)物的圖像采集。100mm24mmAI需求，8K+AI所示。圖3.38K+AI的無人機(jī)精細(xì)化巡檢方案模塊無人機(jī)模塊：無人機(jī)具有攜帶方便、操作簡單、反應(yīng)迅速、任務(wù)用途廣泛、起飛降落對(duì)環(huán)境的要求低、可自主飛行等優(yōu)勢(shì)，其載荷豐富，可滿RTK8K內(nèi)實(shí)現(xiàn)對(duì)目標(biāo)物的高分辨率圖像采集。AIAI機(jī)電力巡檢的檢測效率，降低檢測成本，提升安全性能。實(shí)施效果8K+AI8K95%（金具）10430%以上。8K+AI20%以上的巡檢時(shí)間。尺寸測量案例背景與需求機(jī)器視覺在尺寸測量中的應(yīng)用越來越廣泛。實(shí)施案例當(dāng)使用傳統(tǒng)的點(diǎn)膠機(jī)時(shí)，需要使用接觸式點(diǎn)膠機(jī)將膠粘劑涂在電子元件和LED/LEDSMTVR3.45GMAS-5282ZCAD異的加減速及拐角控制算法等，協(xié)助客戶打造高性能的點(diǎn)膠設(shè)備?？蛻魬?yīng)用為MCUCAD100-200Hz并通過調(diào)節(jié)噴嘴的移動(dòng)速度來控制間距。圖3.4高速點(diǎn)膠工藝方案實(shí)施效果放，代碼的易維護(hù)性也有極大提升。產(chǎn)線監(jiān)控案例背景與需求案架構(gòu)為這些需求提供了解決思路。實(shí)施案例3.5圖3.5基于邊緣計(jì)算視覺的產(chǎn)線監(jiān)控架構(gòu)AIAI構(gòu)支持第三方算法入駐，使產(chǎn)線場景適配更簡單。圖3.6星辰視界豐富的自有能力實(shí)施效果基于邊緣計(jì)算視覺技術(shù)的產(chǎn)線監(jiān)控架構(gòu)能夠根據(jù)邊緣節(jié)點(diǎn)的計(jì)算能力以及總結(jié)與展望4.05G數(shù)據(jù)中心一起，成為未來工業(yè)“新基建”的發(fā)展重點(diǎn)。挑戰(zhàn)3C1、工業(yè)信息孤島導(dǎo)致數(shù)據(jù)短缺戰(zhàn)略，需頭部企業(yè)打破工業(yè)信息孤島，發(fā)揮工業(yè)數(shù)據(jù)資產(chǎn)價(jià)值。2、工業(yè)視覺解決方案通用性不強(qiáng)擴(kuò)展的通用工業(yè)視覺解決方案。展望以下四個(gè)方向邁進(jìn)：1、建立工業(yè)視覺產(chǎn)業(yè)生態(tài)，推動(dòng)商業(yè)化落地進(jìn)程品，降低中小企業(yè)應(yīng)用門檻，加快商業(yè)化落地進(jìn)程。2、依托移動(dòng)網(wǎng)絡(luò)優(yōu)勢(shì)，打造工業(yè)數(shù)據(jù)共享平臺(tái)互流通，形成多源數(shù)據(jù)流動(dòng)，促進(jìn)工業(yè)視覺產(chǎn)業(yè)的良性循環(huán)?？s略語列表縮略語英文全名中文解釋5G5thGenerationMobileCommunicationTechnology第五代移動(dòng)通信技術(shù)CCDChargeCoupledDevice電荷耦合器件CMOSComplementaryMetalOxideSemiconductor互補(bǔ)金屬氧化物半導(dǎo)體CPUCentralProcessingUnit中央處理單元DNNDeepNeuralNetworks深度神經(jīng)網(wǎng)絡(luò)ECCEdgeComputingConsortium邊緣計(jì)算產(chǎn)業(yè)聯(lián)盟ERPEnterpriseResourcePlanning企業(yè)資源計(jì)劃FFTFastFourierTransform快速傅里葉變換GPSGlobalPositioningSystem全球定位系統(tǒng)GPUGraphicsProcessingUnit圖形處理單元IDCInternetDataCenter互聯(lián)網(wǎng)數(shù)據(jù)中心IoTInternetofThings物聯(lián)網(wǎng)