AI+Agent在邊緣云的探索與實踐-火山引擎+謝皓

連接物聯(lián)世界，讓AI觸手可及邊緣云在智能方向的演進(jìn)之路智能體在邊緣云落地的問題與挑戰(zhàn)邊緣智能助力智能體落地邊緣云智能體在火山引擎邊緣云的實踐用戶現(xiàn)場區(qū)域城市區(qū)域中心城市1-5ms5-20ms物聯(lián)網(wǎng)平臺數(shù)字孿生規(guī)則引擎數(shù)據(jù)平臺現(xiàn)場邊緣物聯(lián)網(wǎng)關(guān)消息中間件基礎(chǔ)設(shè)施非直連設(shè)備存儲資源數(shù)據(jù)分析數(shù)據(jù)倉庫計算資源設(shè)備接入設(shè)備影子設(shè)備協(xié)議設(shè)備管理消息通信直連設(shè)備網(wǎng)絡(luò)資源拿物模型設(shè)備管理模型管理aPaaS生態(tài)驅(qū)動管理容器管理監(jiān)控預(yù)警遠(yuǎn)程運維邊緣云計算資源存儲資源網(wǎng)絡(luò)資源彈性協(xié)同拿設(shè)備管理模型管理aPaaS生態(tài)驅(qū)動管理容器管理監(jiān)控預(yù)警遠(yuǎn)程運維邊緣云計算資源存儲資源網(wǎng)絡(luò)資源彈性協(xié)同拿API調(diào)用三方平臺原始想法原始想法AIAI1.0現(xiàn)有能力AIAI2.0不足背景思考6699JetsonOrin…JetsonOrin…JetsonOrin…JetsonOrin…JetsonAGX…JetsonAGXJetsonOrin…JetsonOrin…JetsonOrin…JetsonOrin…JetsonAGX…JetsonAGX…JetsonAGX…典型邊緣設(shè)備算力&內(nèi)存TOPSMemory0算力臨界點0G）背景思考思考挑戰(zhàn)挑戰(zhàn)來自數(shù)據(jù)&知識的幻覺agent幻覺來自訓(xùn)練&推理幻覺輸入性對抗攻擊對齊后門攻擊提示詞黑客攻擊數(shù)據(jù)毒藥攻擊 設(shè)備一廠 加速端側(cè)智能體開發(fā)的OneSDK大模型網(wǎng)關(guān)大模型智能體ASRTTS大模型網(wǎng)關(guān)大模型智能體ASRTTS邊緣云基礎(chǔ)邊緣云基礎(chǔ)設(shè)備管理證書PKI邊緣安全物聯(lián)網(wǎng)平臺設(shè)備管理證書PKI邊緣安全端智能實例一機(jī)一密流量調(diào)度鏈路選優(yōu)一型一密一機(jī)一密流量調(diào)度鏈路選優(yōu)一型一密設(shè)備側(cè)設(shè)備側(cè)OneSDKOneSDKssh設(shè)備秘鑰智ssh設(shè)備秘鑰智能體調(diào)用OneCredential事件設(shè)備證書大模型調(diào)用機(jī)型功耗溫度機(jī)型功耗溫度LocalLocalEdgeLLM覆蓋全球多地域邊緣節(jié)點邊緣節(jié)點邊緣節(jié)點邊緣節(jié)點邊緣節(jié)點…邊緣節(jié)點大模型/智能體一緩存查詢智能調(diào)度 域名->IP邊緣大模型網(wǎng)關(guān)模型適配請求鑒權(quán)推理請求推理請求策略控制大模型傳輸優(yōu)化邊緣安全智能調(diào)度擇優(yōu)回源設(shè)備終端HTTP/HTTPSWebSocket加權(quán)輪詢傳輸優(yōu)化邊緣安全智能調(diào)度擇優(yōu)回源設(shè)備終端HTTP/HTTPSWebSocket加權(quán)輪詢智能路由語音助手智能玩具陪伴公仔語音助手智能玩具用量監(jiān)控模型配置調(diào)用量監(jiān)控模型配置調(diào)用分析調(diào)用策略就近就近調(diào)用 邊緣緩存記憶記憶技能編排 知識邊緣大模型網(wǎng)關(guān)邊緣大模型網(wǎng)關(guān)邊緣大模型網(wǎng)關(guān)被集成至ROS系統(tǒng)ApplicationLayer