【專家觀點】基于多傳感器融合和多智能體協(xié)同的AI人工智能技術在智慧煉鋼中的應用與實踐-WATTMAN

基于多傳感器融合和多智能體協(xié)同的AI人工智能技術在智慧煉鋼中的應用與實踐北京瓦特曼智能科技有限公司馬雙事業(yè)部總經(jīng)理2024年4月人工智能浪潮下核心技術、人工智能浪潮下核心技術、進展及應用S當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合同類場景的延展應用和拓展同類場景的延展應用和拓展智能化鋼鐵冶煉的技術產(chǎn)品和工藝場景路線01.人工智能浪潮下核心技術、進展及應用多智能體通過高效通信機制可以實時共享信息，通過信息交換，多智能體可以協(xié)調(diào)他們的行為和決策，實現(xiàn)更高效的協(xié)作，尤其是在需要團隊協(xié)作解決問題的場景下能夠顯著提高系統(tǒng)的整體性能和效率。智慧城市更科學、更高效、更美好、更低碳。以信息技術和通信技術為支撐，通過透明、充分的信息獲取，廣泛、安全的信息傳遞和有效、科學的信息處理。5G、IOT、大數(shù)據(jù)…01.人工智能浪潮下核心技術、進展及應用多模態(tài)機器學習——多模態(tài)學習是在單模態(tài)學習的基礎上，通過不同類型的數(shù)據(jù)（如文本、圖像、語音、視頻等）進行學習和推理的方法。模態(tài)是指表達或感知事物的形式，每一種信息的來源或者方式，都可以稱為一種模態(tài)。人有觸覺、聽覺、視覺、嗅覺。信息的媒介，有語音、視頻、文字等。多種多樣的傳感器，如雷達、紅外、加速度計等等。以上的每一種都可以稱為一種模態(tài)。大模型：多模態(tài)+多任務ChatGptSora01.人工智能浪潮下核心技術、進展及應用無人駕駛中，多模態(tài)學習可以通過結(jié)合不同類型的傳感器數(shù)據(jù)，提高無人駕駛系統(tǒng)的準確性和可靠性。例如，通過結(jié)合圖像、激光雷達、高精地圖數(shù)據(jù)，可以更準確地判斷車周圍目標的距離速度、車當前具體位置；通過結(jié)合語音和文本信息，可以更準確地識別交通信號和道路標志、更智能地人車語音交互。城市NOA（NavigateonAutopilot，導航輔助駕駛）目前已經(jīng)逐步成為智能電動汽車中的標準配置。01.人工智能浪潮下核心技術、進展及應用腦機接口，在運動康復中表現(xiàn)出廣泛的潛力，主要依靠神經(jīng)可塑性來恢復運動功能并改善中風患者術后的生活質(zhì)量。單純依靠腦電信號輸入很難自然地實時傳達多任務軟體機器人所需的各種控制命令。多模態(tài)人機界面系統(tǒng)，集合腦電信號、眼電信號和肌電信號等多模態(tài)特征來生成多維控制指令，構(gòu)建出更友好、更人性化的腦機系統(tǒng)，幫助殘疾人及運動障礙患者更便捷地完成各種動作。01.人工智能浪潮下核心技術、進展及應用環(huán)境場景限制集合下視覺感知與圖像處理環(huán)境感知與障礙物檢測力觸覺感知與力控制實時定位與導航實時異常檢測與故障診斷機器人機器人1傳感器外傳感器視覺感知六維力矩傳感器內(nèi)傳感器…關節(jié)編碼器1關節(jié)編碼器n外傳感器外傳感器視覺六維力矩感知傳感器內(nèi)傳感器…關節(jié)編關節(jié)編碼器1碼器n圖像處理裝夾工件位置信息位姿誤差測量工件位姿標定加工位置、力信息處理軌跡誤差計算多機協(xié)作誤差補償加工特征軌跡運動速度力矩機器人n傳感器檢測粗糙度、粒度圖像處理裝夾工件位置信息位姿誤差測量工件位姿標定加工位置、力信息處理軌跡誤差計算多機協(xié)作誤差補償加工特征軌跡運動速度力矩機器人n傳感器檢測粗糙度、粒度紋理差異辨別加工質(zhì)量加工特征質(zhì)量多源感知信息融合多源感知信息融合率、不同精度、不同物理量的融合）狀態(tài)檢測狀態(tài)檢測各機器人末端位姿、環(huán)境作用力等）作業(yè)效果評價軌跡誤差作業(yè)效果評價軌跡誤差、協(xié)作同步性、協(xié)作誤差提供輸入任務分配與決策!軌跡規(guī)劃!協(xié)同控制協(xié)同控制01.人工智能浪潮下核心技術、進展及應用智能柔性執(zhí)行，目前在機器狗、具身機器人和機械臂上加裝智能柔性關節(jié)或力傳感器等裝置，通過智能控制算法，使得機器能夠?qū)崿F(xiàn)各種各種柔性動作，比如行走、跑步、跳舞、跳躍、前后空翻、做飯炒菜、收拾家務等柔性動作。柔性：干的活的類型多。n歷時3年研發(fā)周期世界首套基于多智能體協(xié)同的鋼包熱修無人化平臺02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合n智能柔性執(zhí)行n智能化、安全化02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——自動水口燒眼n視覺力覺融合感知決策n智能柔性控制執(zhí)行n智能判斷槍長短殘鋼下水口上水下水口口02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——下水口拆裝n智能柔性控制執(zhí)行n視覺力覺融合感知02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——滑板拆裝n視覺力覺融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——水口和滑板自動抹泥系統(tǒng)n多智能體配合協(xié)同n智能檢測泥量涂抹均勻02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——氬氣管插拔n視覺力覺融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——自動油缸拆裝n視覺力覺融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——自動底磚試氣吹掃n視覺力覺融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——鋼包內(nèi)襯檢測n視覺紅外融合感知02.當前AI技術與鋼鐵冶煉生產(chǎn)工藝深度融合鋼包熱修——自動加引流砂n視覺力覺融合感知n智能柔性控制執(zhí)行n加砂全過程視覺監(jiān)控效果判別n多智能體配合協(xié)同03.同類場景的延展應用和拓展大包澆注無人化平臺n大包換長水口、測溫取樣、加覆蓋劑、油缸插拔n視覺力覺融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同03.同類場景的延展應用和拓展測溫取樣、破樣、送樣全流程無人化平臺n視覺融合感知n智能柔性控制執(zhí)行n多智能體配合協(xié)同03.同類場景的延展應用和拓展超薄鋼卷卷芯焊接n視覺融合感知n智能柔性控制執(zhí)行n超薄鋼卷內(nèi)帶頭高精視覺感知03.同類場景的延展應用和拓展大型破碎機無規(guī)則齒頭焊接n視覺融合感知n智能柔性控制執(zhí)行03.同類場景的延展應用和拓展一鍵倒罐魚雷罐插拔電n視覺力覺融合感知n智能柔性控制執(zhí)行n鐵包插拔電類似場景03.同類場景的延展應用和拓展多種熔爐耐材CTn視覺紅外融合感知n鋼包鐵包電爐轉(zhuǎn)爐場景03.同類場景的延展應用和拓展冷軋酸洗無人值守n視覺融合感知模型n鋼卷鞍座對中檢測n鋼卷質(zhì)量檢測03.同類場景的延展應用和拓展非規(guī)則柔性立體打磨n視覺力覺融合感知n智能柔性控制執(zhí)行n方坯端面、鋼棒打磨等類似場景全智能化工廠全智能化車間多智能體協(xié)作平臺單智能體產(chǎn)品鋼包熱修無人化機器人集群魚雷罐車插拔電機器人大包澆鑄無人化機器人集群智能測溫取樣機器人系統(tǒng)智能清理打機器人系統(tǒng)智能標印焊接機器人冷軋酸洗段無人值守系統(tǒng)鋼包熱修無人化機器人集群魚雷罐車插拔電機器人大包澆鑄無人化機器人集群智能測溫取樣機器人系統(tǒng)智能清理打機器人系統(tǒng)智能標印