大語(yǔ)言模型通識(shí)微課課件：構(gòu)建大模型智能體

大語(yǔ)言模型通識(shí)微課

構(gòu)建大模型智能體盡管能力出色，但大模型還只是被動(dòng)的工具，它們依賴簡(jiǎn)單的執(zhí)行過(guò)程，無(wú)法直接當(dāng)智能體使用。智能體機(jī)制具有主動(dòng)性，特別是在與環(huán)境的交互、主動(dòng)決策和執(zhí)行各種任務(wù)方面。另外智能體通過(guò)挖掘大模型的潛在優(yōu)勢(shì)，可以進(jìn)一步增強(qiáng)決策制定，特別是使用人工、環(huán)境或模型來(lái)提供反饋，使得智能體可以具備更深思熟慮和自適應(yīng)的問(wèn)題解決機(jī)制，超越大模型現(xiàn)有技術(shù)的局限?？梢哉f(shuō)，智能體是真正釋放大模型潛能的關(guān)鍵，它能為大模型核心提供強(qiáng)大的行動(dòng)能力；而另一方面，大模型能提供智能體所需要的強(qiáng)大引擎?？梢哉f(shuō)，大模型和智能體可以相互成就。微課10.2構(gòu)建大模型智能體智能體根據(jù)設(shè)定的目標(biāo)，確定好需要履行特定角色，自主觀測(cè)感知環(huán)境，根據(jù)獲得的環(huán)境狀態(tài)信息，檢索歷史記憶以及相關(guān)知識(shí)，通過(guò)推理規(guī)劃分解任務(wù)并確定行動(dòng)策略，并反饋?zhàn)饔糜诃h(huán)境，以達(dá)成目標(biāo)。在這個(gè)過(guò)程中，智能體持續(xù)學(xué)習(xí)，以像人類一樣不斷進(jìn)化。基于大模型來(lái)構(gòu)建一個(gè)智能體，能充分地利用大模型的各種能力，驅(qū)動(dòng)不同的組成單元。

圖10-4基于大模型的智能體應(yīng)用微課10.2構(gòu)建大模型智能體智能體本身包括觀測(cè)感知、記憶檢索、推理規(guī)劃和行動(dòng)執(zhí)行等模塊。它呈現(xiàn)強(qiáng)大能力的關(guān)鍵在于系統(tǒng)形成反饋閉環(huán)，使得智能體可以持續(xù)地迭代學(xué)習(xí)，不斷地獲得新知識(shí)和能力。反饋除了來(lái)自環(huán)境外，還可以來(lái)自人類和語(yǔ)言模型。智能體不斷積累必要的經(jīng)驗(yàn)來(lái)增強(qiáng)改進(jìn)自己，以顯著提高規(guī)劃能力并產(chǎn)生新的行為，以越來(lái)越適應(yīng)環(huán)境并符合常識(shí)，更加完滿地完成任務(wù)。在執(zhí)行任務(wù)過(guò)程中的不同階段，基于大模型的智能體通過(guò)提示等方式與大模型交互獲得必要的資源和相關(guān)結(jié)果。微課10.2構(gòu)建大模型智能體基于大模型的智能體觀測(cè)并感知環(huán)境及其動(dòng)態(tài)變化；獲取不同來(lái)源的環(huán)境數(shù)據(jù)，往往包括以多模態(tài)的形式呈現(xiàn)的文本、語(yǔ)音或視覺(jué)等，并經(jīng)過(guò)處理作為觀測(cè)到的環(huán)境信息。智能體記憶其中的部分信息，并從中檢索獲得歷史序列，結(jié)合內(nèi)置的知識(shí)，作為其規(guī)劃形成行動(dòng)決策的依據(jù)。（1）感知空間：用戶可以通過(guò)自然語(yǔ)言和智能體交流，也可以作為交流媒介與其他智能體交流，實(shí)現(xiàn)個(gè)性化和環(huán)境目標(biāo)泛化。（2）可觀察性：智能體是否可以充分地觀測(cè)感知到與規(guī)劃決策相關(guān)的環(huán)境信息，并從獲得的歷史信息中了解到環(huán)境的相關(guān)狀態(tài)。10.2.1觀測(cè)與感知記憶檢索模塊可以為智能體內(nèi)置相關(guān)知識(shí)，同時(shí)也存儲(chǔ)智能體的經(jīng)驗(yàn)，包括環(huán)境狀態(tài)和行動(dòng)的歷史信息，檢索記憶的知識(shí)和經(jīng)驗(yàn)來(lái)規(guī)劃未來(lái)的行動(dòng)。記憶檢索模塊幫助智能體持續(xù)學(xué)習(xí)，不斷進(jìn)化，并以更一致、合理和有效的方式行動(dòng)。（1）歷史記憶。通過(guò)記憶模塊，基于大模型的智能體可以模擬認(rèn)知科學(xué)研究了解的人類記憶過(guò)程原則和機(jī)制。人類記憶遵循從感覺(jué)記憶（記錄知覺(jué)輸入）、到短期記憶（短暫維持信息）、再到長(zhǎng)期記憶（長(zhǎng)時(shí)間內(nèi)鞏固信息）的進(jìn)程。10.2.2記憶與檢索（2）知識(shí)記憶。根據(jù)其應(yīng)用場(chǎng)景，智能體往往內(nèi)置一定的知識(shí)，主要包括語(yǔ)言、常識(shí)、領(lǐng)域等。（3）記憶存儲(chǔ)。可以通過(guò)以自然語(yǔ)言或者嵌入等方式來(lái)實(shí)現(xiàn)記憶存儲(chǔ)。根據(jù)不同的應(yīng)用場(chǎng)景，采用適當(dāng)?shù)臄?shù)據(jù)結(jié)構(gòu)的記憶方式，提高記憶效率。（4）記憶管理。根據(jù)需要利用大模型將存儲(chǔ)在記憶中的過(guò)去經(jīng)驗(yàn)總結(jié)簡(jiǎn)化成更廣泛和更抽象見(jiàn)解的能力，以便以后更加有效快捷檢索記憶。（5）記憶檢索。從記憶中快速地檢索最合適的內(nèi)容，確保了智能體可以訪問(wèn)相關(guān)準(zhǔn)確的信息以執(zhí)行特定的操作。10.2.2記憶與檢索推理和規(guī)劃對(duì)于智能體處理復(fù)雜任務(wù)至關(guān)重要。它給智能體賦予一種結(jié)構(gòu)化的思考過(guò)程，即組織思維、設(shè)定目標(biāo)，并確定實(shí)現(xiàn)這些目標(biāo)的步驟。比如，通過(guò)推理規(guī)劃，智能體將復(fù)雜的任務(wù)拆分為更易管理的子任務(wù)，并為每個(gè)子任務(wù)的完成制定適當(dāng)?shù)挠?jì)劃。規(guī)化的結(jié)果是形成行動(dòng)策略，即智能體執(zhí)行行動(dòng)的方法。這些策略可能是回憶經(jīng)驗(yàn)、多輪互動(dòng)、反饋調(diào)整和融入外部工具。推理和規(guī)劃包括目標(biāo)確認(rèn)、任務(wù)分解、規(guī)劃反思、規(guī)劃工具等內(nèi)容。10.2.3推理和規(guī)劃智能體的執(zhí)行任務(wù)的過(guò)程中，推理規(guī)劃確定行動(dòng)策略，動(dòng)作執(zhí)行模塊接收相應(yīng)的行動(dòng)序列，并執(zhí)行與環(huán)境互動(dòng)相關(guān)的操作，分步將行動(dòng)策略強(qiáng)加到環(huán)境，實(shí)現(xiàn)該任務(wù)的目標(biāo)。在策略執(zhí)行中，智能體可能通過(guò)將任務(wù)分解成許多子任務(wù)來(lái)制定行動(dòng)計(jì)劃。（1）語(yǔ)言文本?？梢酝ㄟ^(guò)大模型的語(yǔ)言生成能力輸出作為行動(dòng)執(zhí)行指令來(lái)驅(qū)動(dòng)影響環(huán)境，而無(wú)須借助外部工具。輸出結(jié)果包括推理規(guī)劃能力、對(duì)話交流能力、獲取知識(shí)能力、場(chǎng)景理解能力，這些能力進(jìn)而驅(qū)動(dòng)智能體本身的行動(dòng)執(zhí)行器或其他外部環(huán)境的智能體相關(guān)的行動(dòng)。10.2.4行動(dòng)和執(zhí)行（2）工具使用。通過(guò)引入工具擴(kuò)展行動(dòng)執(zhí)行能力，使其更有能力應(yīng)對(duì)專業(yè)或復(fù)雜的任務(wù)。這些工具包括API、知識(shí)庫(kù)、視覺(jué)模型、語(yǔ)言模型、知識(shí)圖譜、Web信息等，可以彌補(bǔ)基于大模型的智能體存在固有限制。（3）工具生成。智能體可以根據(jù)需要?jiǎng)?chuàng)建可復(fù)用的滿