基于邊緣計(jì)算的鑄管感算控一體化智能視覺方案

1、基于邊緣計(jì)算的鑄管感算控一體化智能視覺解決方案技術(shù)創(chuàng)新，變革未來技術(shù)背景解決方案 應(yīng)用評(píng)價(jià)未來推廣目錄第一部分技術(shù)背景新需求：鑄件全自動(dòng)質(zhì)檢識(shí)別動(dòng)作規(guī)劃+邏輯控制 自動(dòng)生成人工識(shí)別費(fèi)時(shí)費(fèi)力傳統(tǒng)工業(yè)視覺識(shí)別準(zhǔn)確率太低識(shí)別機(jī)構(gòu)不支持混合管徑定位與動(dòng)態(tài)動(dòng)作規(guī)劃項(xiàng)目背景不同種規(guī)格的鑄管字符示例。通過3D激光輪廓儀成像的鑄管字符示例。經(jīng)現(xiàn)場(chǎng)驗(yàn)證：傳統(tǒng)OCR字符識(shí)別技術(shù)都無法穩(wěn)定、有效的定 位和識(shí)別鑄管鑄字。第二部分解決方案組件：模塊化臺(tái)套裝備鑄管內(nèi)壁D6面字符識(shí)別設(shè)備砂芯&砂芯垛字符識(shí)別設(shè)備3D視覺&2D視覺面向鑄管行業(yè)不同工位的場(chǎng)景需求，設(shè)計(jì)了多套專機(jī)設(shè)備方案MQTT接口配置驅(qū)動(dòng)上傳驅(qū)動(dòng)配置（plc示

2、例）數(shù)采管理實(shí)時(shí)數(shù)據(jù)校驗(yàn)存儲(chǔ)模式配置存儲(chǔ)基本配置驅(qū)動(dòng)管理OPCUA接口配 置組件：底層設(shè)備數(shù)據(jù)網(wǎng)關(guān)組件：機(jī)器人動(dòng)作快速校驗(yàn)仿真工具組件：機(jī)器人基礎(chǔ)內(nèi)核庫函數(shù)名稱輸入接口輸出接口功能描述SIAR_PowerEnable（bool）State（int）選擇電源開關(guān)SIAR_ResetEnable（bool）State（int）通過釋放所有軸的內(nèi)部錯(cuò)誤回復(fù)到初始狀態(tài)SIAR_DisableEnable（bool）State（int）將狀態(tài)從 Standstill 改變至 DisabledSIAR_EnableEnable（bool）State（int）將狀態(tài)從Disabled 改變至 Standst

3、illSIAR_ReadStatusEnable（bool）State（int）從狀態(tài)圖獲取狀態(tài)SIAR_ReadAxisErrorEnable（bool）State（int）返回所有軸的驅(qū)動(dòng)錯(cuò)誤代碼SIAR_ErrorDescriptionEnable（bool）State（str）返回給出的錯(cuò)誤代碼的描述SIAR_ReadActualPositionCSEnable（bool）CSN（int） RAP（struct）返回一組選擇的坐標(biāo)框架的真實(shí)的位置數(shù)值（包括末端、工具等）SIAR_ReadActualVelocityCSEnable（bool）CSN（int） RAV（struct）返回

4、一組選擇的坐標(biāo)框架的真實(shí)的速度數(shù)值（包括末端、工具等）SIAR_ReadActualPositionEnable（bool）RAxisP（struct）返回各軸的真實(shí)的位置數(shù)值SIAR_ReadActualVelocityEnable（bool）RAxisV（struct）返回各軸的真實(shí)的速度數(shù)值SIAR_SetPositionEnable（bool）CSN（int） State（int）改變坐標(biāo)系統(tǒng)PCS函數(shù)名稱輸入接口輸出接口功能描述SIAR_HaltEnable（bool）State（int）停止移動(dòng)并改變狀態(tài)至 StandstillSIAR_HomeEnable（bool）State（

5、int）尋找原點(diǎn)SIAR_MoveCircularAbsoluteEnable（bool）Pos（struct） State（int）使用圓心和半徑的方式使軸進(jìn)行原型運(yùn)動(dòng)至一絕對(duì)位置SIAR_MoveLinearAbsoluteEnable（bool）Pos（struct） State（int）使軸以直線的方式運(yùn)動(dòng)到一特殊的絕對(duì)位置SIAR_MoveLinearVelocityEnable（bool）Pos（struct） State（int）使軸以一個(gè)特殊的速度進(jìn)行直線運(yùn)動(dòng)SIAR_StopEnable（bool）State（int）通過斜坡和傳送Stopping狀態(tài)來停止運(yùn)動(dòng)SIAR_To

6、uchProbeEnable（bool）State（int）Pos（struct）在觸發(fā)事件中記錄位置二、運(yùn)動(dòng)控制類函數(shù)通過規(guī)范化總線接口、抽象設(shè)備訪問接口封裝機(jī)器人核心庫，為系統(tǒng)應(yīng)用層框架提供42個(gè)輔助類函數(shù)和21個(gè)運(yùn)動(dòng)控制類函數(shù)。一、輔助類函數(shù)智能定位字符圖像截?。呵蟹?D長(zhǎng)條圖像。圖像預(yù)處理：灰度化，對(duì)比度增強(qiáng)，反相。字符區(qū)域定位：兩個(gè)17層YOLOv3網(wǎng)絡(luò)進(jìn)行定位、截取和確認(rèn)。第1個(gè)YOLOv3檢測(cè)大圖中的字符區(qū)域。截取包含三字符的小圖。第2個(gè)YOLOv3確認(rèn)小圖中包含三字符。解決方案關(guān)鍵技術(shù)任務(wù)網(wǎng)絡(luò)訓(xùn)練集驗(yàn)證集驗(yàn)證集評(píng)估說明砂芯刻字圖片 分類MobileNetV3 Large10,1

7、27900Acc=95.8%準(zhǔn)確度與推理速度的平 衡砂芯字符定位Mask RCNN, ResNet50-vd-FPN2,3711,015AP=89.1%鑄管字符曾使用EAST進(jìn) 行定位測(cè)試，效果不佳。砂芯字符識(shí)別RARE, ResNet34-vd3,0541,354Acc=99%使用鑄管字符識(shí)別的網(wǎng) 絡(luò)鑄管字符識(shí)別RARE, ResNet34-vd3,4741,544Acc=98.6%RARE與CTC對(duì)比，選 擇RARE基于邊緣CNN的字符識(shí)別兩套基于CNN的OCR字符識(shí)別系統(tǒng)共同識(shí)別第一套：基于11層CNN的深度學(xué)習(xí)OCR系統(tǒng)。第二套：基于17層CNN的深度學(xué)習(xí)OCR系統(tǒng)。因?yàn)閮上到y(tǒng)錯(cuò)誤模式

8、不同，第二套系統(tǒng)設(shè)置高置 信度閾值，進(jìn)行第一次識(shí)別，若出現(xiàn)低置信度結(jié) 果，將圖片交給第一套系統(tǒng)進(jìn)行第二次識(shí)別。解決方案關(guān)鍵技術(shù)PLC和機(jī)器人實(shí)時(shí)運(yùn)動(dòng)路徑規(guī)劃和代碼生成邊緣網(wǎng)關(guān)實(shí)時(shí)數(shù)據(jù)采集邊緣側(cè)調(diào)用工藝包實(shí)時(shí)計(jì)算機(jī)器人運(yùn)動(dòng)路徑規(guī)劃可視化生成運(yùn)動(dòng)控制邏輯自動(dòng)生成PLC和機(jī)器人能識(shí)別的控制代碼仿真解決方案關(guān)鍵技術(shù)基于微服務(wù)算法庫的字符定位和識(shí)別定位字符區(qū)域圖像亮度不均勻字符區(qū)域與背景對(duì)比度低字符區(qū)域形狀變形識(shí)別字符字符模糊字符與背景對(duì)比度低三字符亮度偏差大，不易 進(jìn)行圖像預(yù)處理各圖片間字符亮度差距大圖片背景噪音大解決方案關(guān)鍵技術(shù)感傳算控一體化智能視覺開發(fā)技術(shù)感知傳輸計(jì)算控制獲取實(shí)時(shí)狀態(tài)數(shù)據(jù)、視覺圖像

9、、 鑄管規(guī)格、定位信息、尋邊信 息每次識(shí)別前的數(shù)據(jù)傳輸約300M， 通過標(biāo)準(zhǔn)化協(xié)議傳輸給IoT網(wǎng)關(guān)利用邊緣AI算力，對(duì)鑄管進(jìn)行 定位、尋邊；對(duì)字符進(jìn)行定位、識(shí)別計(jì)算將計(jì)算結(jié)果轉(zhuǎn)化為PLC控制邏輯，反 饋并調(diào)度工業(yè)機(jī)器人和視覺工作， 并呈現(xiàn)識(shí)別結(jié)果解決方案關(guān)鍵技術(shù)解決方案軟件方案鑄件字符識(shí)別設(shè)備柔性適配多型號(hào)80-1000直徑鑄管混流生產(chǎn)基于不同管徑自動(dòng)規(guī)劃軌跡執(zhí)行字符訓(xùn)練自我不斷進(jìn)化，識(shí)別率98%以上現(xiàn)場(chǎng)視頻直徑300內(nèi)壁掃描直徑1000內(nèi)壁掃描解決方案第三部分評(píng)價(jià)指標(biāo)對(duì)比日本久保田、法國(guó)穆松橋等行業(yè)龍頭，實(shí)現(xiàn)了行業(yè)首個(gè)智 能視覺識(shí)別檢測(cè)解決方案，并實(shí)現(xiàn)了多種行業(yè)推廣。邊緣智能網(wǎng)關(guān)集成模塊化算法庫與工藝包，快速替換與升級(jí)運(yùn) 行，縮短部署周期90%。圍繞機(jī)器人化智能作業(yè)場(chǎng)景，實(shí)現(xiàn)軌跡規(guī)劃、自動(dòng)化控制、視 覺算法、IT軟件一體化開發(fā)，減少開發(fā)成本50%以上。先進(jìn)性與創(chuàng)新性第四部分推廣方向示范和推廣意義縱向擴(kuò)展：基于邊緣計(jì)算的鑄