360（張鋒）：智能紐帶：AI+Agent在解決大模型應(yīng)用難題中的關(guān)鍵作用

應(yīng)用難題中的關(guān)鍵作用張鋒奇虎360AI研究院技術(shù)總監(jiān)“請(qǐng)插入您的照片請(qǐng)插入您的照片奇虎360AI研究院技術(shù)總監(jiān)360人工智能研究院認(rèn)知引擎負(fù)責(zé)人天津大學(xué)碩士畢業(yè)后，任職華為技術(shù)有限公司，先后從事計(jì)費(fèi)產(chǎn)品的研發(fā)、設(shè)計(jì)及項(xiàng)目管理工作，主持參與參數(shù)AILab的建設(shè)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)、推薦平臺(tái)和建模平臺(tái)的建設(shè)和實(shí)施。其中推薦平臺(tái)在四川電信落地后，顯著提升了用戶觀看時(shí)長，大數(shù)據(jù)平臺(tái)作為標(biāo)品，落地?cái)?shù)百個(gè)據(jù)點(diǎn)，成為部門主要現(xiàn)金流來源后續(xù)加入360公司，深耕于人工智能在互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、數(shù)字化等領(lǐng)域的落地，帶領(lǐng)團(tuán)隊(duì)圖譜平臺(tái)等產(chǎn)品開發(fā)、設(shè)計(jì)及管理工作，相關(guān)成果落地于安全大數(shù)據(jù)、互聯(lián)網(wǎng)、企業(yè)數(shù)字化、AIoT等360集團(tuán)全量業(yè)務(wù)場景，支持千萬級(jí)硬件設(shè)備，服務(wù)億級(jí)用戶”?LLM落地應(yīng)用-長板和短板，及當(dāng)前解決方案?AIAgent的整體框架LLM落地應(yīng)用-長板和短板及當(dāng)前最優(yōu)解決方案AGI發(fā)展回顧AGI被認(rèn)為是人工智能的更高層次，它可以實(shí)現(xiàn)自我學(xué)習(xí)、自我改進(jìn)、自我調(diào)整，解決任何問題而不需要人為干預(yù)。20232023pikaGemini演示中并沒有直接采用Agent，但是實(shí)際流程并沒有兩樣問題2：你覺得我在做什么？提醒：這是一個(gè)游戲。AIAI生產(chǎn)力234你可以輕易地讓任何一個(gè)你可以輕易地讓任何一個(gè)GPT生成一首詩、計(jì)算一道奧數(shù)題。然而工作中你不需要作詩，也不需要算奧數(shù)題。工作中面對(duì)是寫不完的方案，做不完的報(bào)告，和看不完的郵件7823344我們需要一個(gè)工具平臺(tái)，讓大模型“揚(yáng)長避短我們需要一個(gè)工具平臺(tái)，讓大模型“揚(yáng)長避短”，實(shí)現(xiàn)大模型實(shí)際落地的“最后一公里”9堆提示詞技巧堆提示詞技巧任務(wù)規(guī)劃任務(wù)規(guī)劃存儲(chǔ)外部上下文和行業(yè)知識(shí)接口對(duì)齊對(duì)接外部系統(tǒng)復(fù)雜任務(wù)規(guī)劃調(diào)度長期記憶解決靠堆參數(shù)、堆提示詞無法解決的復(fù)雜推理等問題特定復(fù)雜任務(wù)特定復(fù)雜任務(wù)：多工具使用開放復(fù)雜任務(wù)開放復(fù)雜任務(wù)：自主性協(xié)同工具可以有效拓展工具可以有效拓展LLM的能力邊界用LLM作為大腦或這些智體控制者的主要組成部分，并通過多模態(tài)感知和工具利用等策略擴(kuò)展其感知和行動(dòng)空間AIAgent的架構(gòu)：一套以LLM作為核心控制器的應(yīng)用開發(fā)工具以LLM為核心控制器，結(jié)合Planning、Tools工具、Memory記憶等組件，解決實(shí)時(shí)數(shù)據(jù)獲取、復(fù)雜任務(wù)等各類應(yīng)用落地問題。short-termlong-termshort-termlong-termAgent協(xié)作Agent協(xié)作AgentsLLM輔助規(guī)劃規(guī)劃調(diào)用……PromptPromptPlanning任務(wù)規(guī)劃能力，實(shí)現(xiàn)方法主要兩類：ReAct框架，發(fā)揮LLM推理和執(zhí)行能力的協(xié)同作用，通過問題分解+依靠外部能力來解決問題。ReAct框架，在可解釋性和可信賴性等方面，優(yōu)于其他先進(jìn)的基線。根據(jù)輸入規(guī)劃后續(xù)及流程何時(shí)終止整理返回結(jié)果輔助整理參數(shù)及調(diào)用整理參數(shù)及調(diào)用API可以讓開發(fā)者在調(diào)用語言模型時(shí)，通過用戶提問和描述函數(shù)讓模型智能地輸出一個(gè)包含調(diào)用這些函數(shù)所需參數(shù)的JSON對(duì)象。這種功能可以更可靠地將模型的能力與外部工具和API進(jìn)行連接。SystemptAssistantUser:?p:?ObservatioAssistantAction哪些景點(diǎn)？”)Firstofall，人類擅長擁有不同類型記憶能力，而LLM很難理解新概念或者少量新數(shù)據(jù)。1.感知記憶可以作為LLM或者多模態(tài)的Embedding輸入表示（包括文本、圖像等）。2.短期記憶STM使用In-contextLearning，受到Transformer有限SeqLen長度限制（2Kto8K）3.長期記憶LTM借助外部向量存儲(chǔ)，Agent可以快速查詢、快速檢索Tools是LLM的武器庫，學(xué)會(huì)使用工具，大模型獲得了行動(dòng)能力，打破大模型的應(yīng)用邊界。新聞搜索地圖搜索Onebox新聞搜索地圖搜索Onebox搜索新聞搜索通用搜索百科股票熱搜匯率天氣熱搜CassandraSparkDBMongoDBJiraConfulenceAirTableZapier新聞搜索通用搜索百科股票熱搜匯率天氣熱搜CassandraSparkDBMongoDBJiraConfulenceAirTableZapierOfficeWordJSON辦公WordJSON格式JSPythonPowerShellJSPythonPowerShell代碼CRMOauthCRMOauthAIAgent更多給我們呈現(xiàn)了一種AGI的可能性，將LLM的能力延伸到更復(fù)雜的任務(wù)和更多的業(yè)務(wù)領(lǐng)域。表單、代碼）是Agent智能化方向之一?，F(xiàn)自組織自決策從LLM中來，到LLM中去：會(huì)有更1.業(yè)界進(jìn)展以模型能力為核心，支持記憶和外部API，在無需編碼的情況下，可以構(gòu)建個(gè)性化智能體，實(shí)現(xiàn)全民AI。1.業(yè)界進(jìn)展1.業(yè)界進(jìn)展Copilot構(gòu)建示例-查賬單從SAP從SAP里讀某一行1.業(yè)界進(jìn)展斯坦福“西部世界”虛擬小鎮(zhèn)，在一個(gè)Smallville沙盒世界里住著25個(gè)小人(GPTagents)，互相自由溝通交互，出現(xiàn)了一系列的人類社會(huì)行為(信息傳播、關(guān)系記憶和協(xié)作)。1.業(yè)界進(jìn)展給Agents一個(gè)/多個(gè)目標(biāo)，獨(dú)立地執(zhí)行這些目標(biāo)。這些應(yīng)用程序結(jié)合了工具使用和長期內(nèi)存。典型的有AutoGPT，BabyAGI。AutoGPT以LLM作為主作者提供了很多API代AIAgents更好地理解和處理自然語言輸入，雖然目前還處于試驗(yàn)的階段。AutoGPT的核心邏輯是1.業(yè)界進(jìn)展執(zhí)行分為四個(gè)階段：1.任務(wù)規(guī)劃（TaskPlanningLLM把用戶請(qǐng)求分解成任務(wù)集合，決定執(zhí)行順序和任務(wù)之間的資源依賴；HuggingFace模型描述，LLM把任務(wù)安排給對(duì)應(yīng)的模型；3.任務(wù)執(zhí)行（TaskExecutionHuggingFace上的模型執(zhí)行指派的任務(wù)；4.響應(yīng)生成（ResponseGenerationLLM集合模型輸出結(jié)果，生成workflow日志摘要返回給用戶。大模型應(yīng)用四大核心場景LLM360AICopilot零代碼Builder，簡單幾步完成工test.agent.30.cntest.agent.30.cn拖拉拽降低Agent研發(fā)成本平臺(tái)優(yōu)點(diǎn)：?低代碼配置大模型工作流，加快大模型應(yīng)用創(chuàng)作?專家經(jīng)驗(yàn)可以化作工作流訓(xùn)練到大模型?外部工具可化作API訓(xùn)練到大模型里。LLMLLM-思考人在回路人在回路LLMLLM-提煉搜索工具搜索工具 返回38,556個(gè)網(wǎng)頁 LLM-理解循環(huán)執(zhí)行循環(huán)執(zhí)行 LLM LLM-理解 讀取前10個(gè)網(wǎng)頁 LLM-生成 LLM-總結(jié)LLM-生成LLM-生成重點(diǎn)內(nèi)容、圖表、插圖、參考文獻(xiàn)等理解深層次意義，內(nèi)容重構(gòu)，假設(shè)論證等 按照段落、按照主題進(jìn)行分析輸出思維鏈，論文AI助手自主學(xué)習(xí)提煉問題與答案效果極佳傳