第10章 基于大模型的智能體

浙江省普通本科高校“十四五”重點(diǎn)教材大語言模型通識(shí)大語言模型通識(shí)周蘇教授QQ：81505050第10章基于大模型的智能體智能體是人工智能領(lǐng)域中的一個(gè)很重要的概念，它指的是一個(gè)能自主活動(dòng)的軟件或者硬件實(shí)體。任何獨(dú)立的能夠思考并可以與環(huán)境交互的實(shí)體都可以抽象為智能體。大模型在人工智能應(yīng)用領(lǐng)域的重大突破，讓人們看到了智能體新的發(fā)展機(jī)會(huì)。像ChatGPT和GPT-4這樣的基于Transformer架構(gòu)的大模型，成為了為智能體裝備的擁有廣泛任務(wù)能力的“大腦”，從推理、規(guī)劃和決策到行動(dòng)都使智能體展現(xiàn)出前所未有的能力?；诖竽Ｐ偷闹悄荏w將廣泛深刻地影響人們生活工作的方式。第10章基于大模型的智能體01智能體和環(huán)境02智能體的良好行為03環(huán)境的本質(zhì)04智能體的結(jié)構(gòu)目錄/CONTENTS05構(gòu)建大模型智能體PART01智能體和環(huán)境智能體通過傳感器感知環(huán)境并通過執(zhí)行器作用于該環(huán)境的事物。我們從檢查智能體、環(huán)境以及它們之間的耦合，觀察到某些智能體比其他智能體表現(xiàn)得更好，可以自然而然地引出理性智能體的概念，即行為盡可能好。智能體的行為取決于環(huán)境的性質(zhì)。

圖10-1智能體通過傳感器和執(zhí)行器與環(huán)境交互10.1智能體和環(huán)境一個(gè)人類智能體以眼睛、耳朵和其他器官作為傳感器，以手、腿、聲道等作為執(zhí)行器。而機(jī)器人智能體可能以攝像頭和紅外測(cè)距儀作為傳感器，各種電動(dòng)機(jī)作為執(zhí)行器。軟件智能體接收文件內(nèi)容、網(wǎng)絡(luò)數(shù)據(jù)包和人工輸入（鍵盤/鼠標(biāo)/觸摸屏/語音）作為傳感輸入，并通過寫入文件、發(fā)送網(wǎng)絡(luò)數(shù)據(jù)包、顯示信息或生成聲音對(duì)環(huán)境進(jìn)行操作。環(huán)境可以是一切，甚至是整個(gè)宇宙。實(shí)際上，我們?cè)谠O(shè)計(jì)智能體時(shí)關(guān)心的只是宇宙中某一部分的狀態(tài)，即影響智能體感知以及受智能體動(dòng)作影響的部分。10.1智能體和環(huán)境術(shù)語“感知”用來表示智能體的傳感器知覺的內(nèi)容。一般而言，一個(gè)智能體在任何給定時(shí)刻的動(dòng)作選擇，可能取決于其內(nèi)置知識(shí)和迄今為止觀察到的整個(gè)感知序列，而不是它未感知到的任何事物。從數(shù)學(xué)上講，智能體的行為由智能體函數(shù)描述，該函數(shù)將任意給定的感知序列映射到一個(gè)動(dòng)作。10.1智能體和環(huán)境可以想象，將描述任何給定智能體的智能體函數(shù)制成表格，對(duì)大多數(shù)智能體來說這個(gè)表格會(huì)非常大，事實(shí)上是無限的（除非限制所考慮的感知序列的長(zhǎng)度）。給定一個(gè)要進(jìn)行實(shí)驗(yàn)的智能體，原則上可以通過嘗試所有可能的感知序列并記錄智能體響應(yīng)的動(dòng)作來構(gòu)建此表，當(dāng)然，該表只是該智能體的外部特征。在內(nèi)部，人工智能體的智能體函數(shù)將由智能體程序?qū)崿F(xiàn)。區(qū)別這兩種觀點(diǎn)很重要，智能體函數(shù)是一種抽象的數(shù)學(xué)描述，而智能體程序是一個(gè)可以在某些物理系統(tǒng)中運(yùn)行的具體實(shí)現(xiàn)。10.1智能體和環(huán)境為了闡明這些想法，我們舉一個(gè)簡(jiǎn)單的例子——真空吸塵器。在一個(gè)由方格組成的世界中，包含一個(gè)機(jī)器人真空吸塵器智能體，其中的方格可能是臟的，也可能是干凈的。考慮只有兩個(gè)方格——方格A和方格B——的情況。真空吸塵器智能體可以感知它在哪個(gè)方格中，以及方格中是否干凈。從方格A開始，智能體可選的操作包括向右移動(dòng)、向左移動(dòng)、吸塵或什么都不做（其實(shí)，真正的機(jī)器人不太可能會(huì)有“向右移動(dòng)”和“向左移動(dòng)”這樣的動(dòng)作，而是采用“向前旋轉(zhuǎn)輪子”和“向后旋轉(zhuǎn)輪子”這樣的動(dòng)作）。一個(gè)非常簡(jiǎn)單的智能體函數(shù)如下：如果當(dāng)前方格是臟的，就吸塵；否則，移動(dòng)到另一個(gè)方格。10.1智能體和環(huán)境智能體這一概念主要作為分析系統(tǒng)的工具，而不是將世界劃分為智能體和非智能體的絕對(duì)表征。在某種意義上，工程的所有領(lǐng)域都可以被視為設(shè)計(jì)與世界互動(dòng)的人工制品，人工智能運(yùn)行在最有趣的一端，在這一端，人工制品具有重要的計(jì)算資源，任務(wù)環(huán)境需要非凡的決策。10.1智能體和環(huán)境PART02智能體的良好行為理性智能體是做正確事情的事物。人工智能通常通過結(jié)果來評(píng)估智能體的行為。當(dāng)智能體進(jìn)入環(huán)境時(shí)，它會(huì)根據(jù)接受的感知產(chǎn)生一個(gè)動(dòng)作序列，這會(huì)導(dǎo)致環(huán)境經(jīng)歷一系列的狀態(tài)。如果序列是理想的，則智能體表現(xiàn)良好，這個(gè)概念由性能度量描述，評(píng)估任何給定環(huán)境狀態(tài)的序列。10.2智能體的良好行為人類有適用于自身的理性概念，它與成功選擇產(chǎn)生環(huán)境狀態(tài)序列的行動(dòng)有關(guān)，而這些環(huán)境狀態(tài)序列從人類的角度來看是可取的。但是，機(jī)器沒有自己的欲望和偏好，至少在最初，性能度量是在機(jī)器設(shè)計(jì)者或者機(jī)器受眾的頭腦中。一些智能體設(shè)計(jì)具有性能度量的顯式表示，而在其他設(shè)計(jì)中，性能度量完全是隱式的，智能體可能會(huì)做正確的事情，但它不知道為什么。10.2.1性能度量應(yīng)該確?！笆┮詸C(jī)器的目的是我們真正想要的”，但是正確地制定性能度量可能非常困難。例如，考慮真空吸塵器智能體，我們可能會(huì)用單個(gè)8小時(shí)班次中清理的灰塵量來度量其性能。然而，一個(gè)理性的智能體可以通過清理灰塵，然后將其全部?jī)A倒在地板上，然后再次清理，如此反復(fù)，從而最大化這一性能度量值。更合適的性能度量是獎(jiǎng)勵(lì)擁有干凈地板的智能體。例如，在每個(gè)時(shí)間步中，每個(gè)干凈方格可以獲得1分（可能會(huì)對(duì)耗電和產(chǎn)生的噪聲進(jìn)行懲罰）。作為一般規(guī)則，更好的做法是根據(jù)一個(gè)人在環(huán)境中真正想要實(shí)現(xiàn)的目標(biāo)，而不是根據(jù)一個(gè)人認(rèn)為智能體應(yīng)該如何表現(xiàn)來設(shè)計(jì)性能度量。10.2.1性能度量即使避免了明顯的缺陷，一些棘手的問題仍然存在。例如，“干凈地板”的概念是基于一段時(shí)間內(nèi)的平均整潔度。然而，兩個(gè)不同的智能體可以達(dá)到相同的平均整潔度，其中一個(gè)智能體工作始終保持一般水平，而另一個(gè)智能體短時(shí)間工作效率很高，但需要長(zhǎng)時(shí)間的休息。哪種工作方式更可取，這似乎是保潔工作的好課題，而實(shí)際上還是一個(gè)具有深遠(yuǎn)影響的哲學(xué)問題。10.2.1性能度量在任何時(shí)候，理性取決于以下4方面：（1）定義成功標(biāo)準(zhǔn)的性能度量；（2）智能體對(duì)環(huán)境的先驗(yàn)知識(shí)；（3）智能體可以執(zhí)行的動(dòng)作；（4）智能體到目前為止的感知序列。于是，對(duì)理性智能體的定義是：對(duì)于每個(gè)可能的感知序列，給定感知序列提供的證據(jù)和智能體所擁有的任何先驗(yàn)知識(shí)，理性智能體應(yīng)該選擇一個(gè)期望最大化其性能度量的動(dòng)作。10.2.2理性考慮一個(gè)簡(jiǎn)單的真空吸塵器智能體，如果一個(gè)方格是臟的就清理它，如果不臟就移動(dòng)到另一個(gè)方格，它是理性智能體嗎？首先，我們需要說明性能度量是什么，對(duì)環(huán)境了解多少，以及智能體具有哪些傳感器和執(zhí)行器。假設(shè)：·在1000個(gè)時(shí)間步的生命周期內(nèi)，性能度量在每個(gè)時(shí)間步為每個(gè)干凈的方格獎(jiǎng)勵(lì)1分；10.2.2理性·環(huán)境的“地理信息”是先驗(yàn)的，但灰塵的分布和智能體的初始位置不是先驗(yàn)的，干凈的方格會(huì)繼續(xù)保持干凈，吸塵動(dòng)作會(huì)清理當(dāng)前方格，向左或向右的動(dòng)作使智能體移動(dòng)一個(gè)方格，如果該動(dòng)作會(huì)讓智能體移動(dòng)到環(huán)境之外，智能體將保持在原來的位置；·可用的動(dòng)作僅有向右、向左和吸塵；·智能體能夠正確感知其位置以及該位置是否有灰塵。在這種情況下，智能體確實(shí)是理性的，它的預(yù)期性能至少與任何其他智能體一樣。10.2.2理性顯然，同一個(gè)智能體在不同情況下可能會(huì)變得不理性。例如，在清除所有灰塵后，該智能體會(huì)毫無必要地反復(fù)來回；如果考慮對(duì)每個(gè)動(dòng)作罰1分，那么智能體的表現(xiàn)就會(huì)很差。在確定所有方格都干凈的情況下，一個(gè)好的智能體不會(huì)做任何事情。如果干凈的方格再次變臟，智能體應(yīng)該偶爾檢查，并在必要時(shí)重新清理。如果環(huán)境地理信息是未知的，智能體則需要對(duì)其進(jìn)行探索。10.2.2理性我們需要仔細(xì)區(qū)分理性和全知。全知的智能體能預(yù)知其行動(dòng)的實(shí)際結(jié)果，并據(jù)此采取行動(dòng)，但在現(xiàn)實(shí)中，全知是不可能的，理性不等同于完美。理性使期望性能最大化，而完美使實(shí)際性能最大化。因此，對(duì)理性的定義并不需要全知，因?yàn)槔硇詻Q策只取決于迄今為止的感知序列。我們還必須確保沒有無意中允許智能體進(jìn)行低智的行動(dòng)。10.2.3全知、學(xué)習(xí)和自主首先，考慮到這種缺乏信息的感知序列，過馬路是不理性的：不觀察路況就過馬路發(fā)生事故的風(fēng)險(xiǎn)太大。其次，理性智能體在上街之前應(yīng)該選擇“觀察”動(dòng)作，因?yàn)橛^察有助于最大化期望性能。采取行動(dòng)來改變未來的感知，有時(shí)被稱為信息收集，這是理性的一個(gè)重要組成部分。10.2.3全知、學(xué)習(xí)和自主理性智能體不僅要收集信息，還要盡可能多地從它所感知到的東西中學(xué)習(xí)。智能體的初始配置可以反映對(duì)環(huán)境的一些先驗(yàn)知識(shí)，但隨著智能體獲得經(jīng)驗(yàn)，這可能會(huì)被修改和增強(qiáng)。在一些極端情況下，環(huán)境完全是先驗(yàn)已知的和完全可預(yù)測(cè)的，這種情況下，智能體不需要感知或?qū)W習(xí)，只需正確地運(yùn)行。當(dāng)然，這樣的智能體是脆弱的。10.2.3全知、學(xué)習(xí)和自主如果在某種程度上，智能體依賴于其設(shè)計(jì)者的先驗(yàn)知識(shí)，而不是其自身的感知和學(xué)習(xí)過程，就說該智能體缺乏自主性。一個(gè)理性的智能體應(yīng)該是自主的，它應(yīng)該學(xué)習(xí)如何彌補(bǔ)部分或不正確的先驗(yàn)知識(shí)，例如學(xué)習(xí)預(yù)測(cè)何時(shí)何地會(huì)出現(xiàn)額外灰塵的真空吸塵器就比不能學(xué)習(xí)預(yù)測(cè)的要好。10.2.3全知、學(xué)習(xí)和自主實(shí)際上，很少從一開始就要求智能體完全自主：除非設(shè)計(jì)者提供一些幫助，否則，當(dāng)智能體幾乎沒有經(jīng)驗(yàn)時(shí)，它將不得不隨機(jī)行動(dòng)。正如進(jìn)化為動(dòng)物提供了足夠的內(nèi)建反射，使其能夠生存足夠長(zhǎng)的時(shí)間來學(xué)習(xí)一樣，為人工智能體提供一些初始知識(shí)和學(xué)習(xí)能力也是合理的。在充分體驗(yàn)相應(yīng)環(huán)境后，理性智能體的行為可以有效地獨(dú)立于其先驗(yàn)知識(shí)。因此，結(jié)合學(xué)習(xí)能夠讓我們?cè)O(shè)計(jì)單個(gè)理性智能體，它能在各種各樣的環(huán)境中取得成功。10.2.3全知、學(xué)習(xí)和自主PART03環(huán)境的本質(zhì)有了理性的定義，構(gòu)建理性智能體還必須考慮任務(wù)環(huán)境，它本質(zhì)上是“問題”，理性智能體是“解決方案”。首先指定任務(wù)環(huán)境，然后展示任務(wù)環(huán)境的多種形式。任務(wù)環(huán)境的性質(zhì)直接影響到智能體程序的恰當(dāng)設(shè)計(jì)。10.3環(huán)境的本質(zhì)討論簡(jiǎn)單真空吸塵器智能體的理性時(shí)，必須為其指定性能度量、環(huán)境以及智能體的執(zhí)行器和傳感器（PEAS）描述，這些都在任務(wù)環(huán)境的范疇下。設(shè)計(jì)智能體時(shí)，第一步始終是盡可能完整地指定任務(wù)環(huán)境。我們來考慮一個(gè)更復(fù)雜的問題：自動(dòng)駕駛出租車的任務(wù)環(huán)境PEAS描述（見表10-1）。10.3.1指定任務(wù)環(huán)境表10-1自動(dòng)駕駛出租車司機(jī)任務(wù)環(huán)境的PEAS描述10.3.1指定任務(wù)環(huán)境首先，對(duì)于自動(dòng)駕駛追求的性能度量，理想的標(biāo)準(zhǔn)包括到達(dá)正確的目的地，盡量減少油耗和磨損，盡量減少行程時(shí)間或成本，盡量減少違反交通法規(guī)和對(duì)其他駕駛員的干擾，最大限度地提高安全性和乘客舒適度，最大化利潤(rùn)。顯然，其中有一些目標(biāo)是相互沖突的，需要權(quán)衡。10.3.1指定任務(wù)環(huán)境接著，出租車將面臨什么樣的駕駛環(huán)境？如司機(jī)必須能夠在鄉(xiāng)村車道、城市小巷以及多個(gè)車道的高速公路的各種道路上行駛。道路上有其他交通工具、行人、流浪動(dòng)物、道路工程、警車、水坑和坑洼。出租車還必須與潛在以及實(shí)際的乘客互動(dòng)。另外，還有一些可選項(xiàng)。出租車可以選擇在很少下雪的南方或者經(jīng)常下雪的北方運(yùn)營(yíng)。顯然，環(huán)境越受限，設(shè)計(jì)問題就越容易解決。自動(dòng)駕駛出租車的執(zhí)行器包括可供人類駕駛員使用的器件，例如通過加速器控制發(fā)動(dòng)機(jī)以及控制轉(zhuǎn)向和制動(dòng)。此外，它還需要輸出到顯示屏或語音合成器，以便與駕駛員以及乘客進(jìn)行對(duì)話，或許還需要某種方式與其他車輛進(jìn)行禮貌的或其他方式的溝通。10.3.1指定任務(wù)環(huán)境出租車的基本傳感器包括一個(gè)或多個(gè)攝像頭以便觀察，以及激光雷達(dá)和超聲波傳感器以便檢測(cè)其他車輛和障礙物的距離。為了避免超速罰單，出租車應(yīng)該有一個(gè)速度表，而為了正確控制車輛（特別是在彎道上），它應(yīng)該有一個(gè)加速度表。要確定車輛的機(jī)械狀態(tài)，需要發(fā)動(dòng)機(jī)、燃油和電氣系統(tǒng)的傳感器常規(guī)陣列。像許多人類駕駛者一樣，它可能需要獲取北斗導(dǎo)航信號(hào)，這樣就不會(huì)迷路。最后，乘客需要觸摸屏或語音輸入才能說明目的地。10.3.1指定任務(wù)環(huán)境表10-2中簡(jiǎn)要列舉了一些其他智能體類型的基本PEAS元素。這些示例包括物理環(huán)境和虛擬環(huán)境。注意，虛擬任務(wù)環(huán)境可能與“真實(shí)”世界一樣復(fù)雜。例如，在拍賣和轉(zhuǎn)售網(wǎng)站上進(jìn)行交易的軟件智能體，它為數(shù)百萬其他用戶和數(shù)十億對(duì)象提供交易業(yè)務(wù)。10.3.1指定任務(wù)環(huán)境表10-2智能體類型及其PEAS描述的示例10.3.1指定任務(wù)環(huán)境人工智能中可能出現(xiàn)的任務(wù)環(huán)境范圍非常廣泛。然而，我們可以確定少量的維度，并根據(jù)這些維度對(duì)任務(wù)環(huán)境進(jìn)行分類。這些維度在很大程度上決定了恰當(dāng)?shù)闹悄荏w設(shè)計(jì)以及智能體實(shí)現(xiàn)的主要技術(shù)系列的適用性。首先我們列出維度，然后分析任務(wù)環(huán)境，闡明思路。10.3.2任務(wù)環(huán)境的屬性完全可觀測(cè)與部分可觀測(cè)：如果智能體的傳感器能讓它在每個(gè)時(shí)間點(diǎn)都能訪問環(huán)境的完整狀態(tài)，那么就說任務(wù)環(huán)境是完全可觀測(cè)的。如果傳感器檢測(cè)到與動(dòng)作選擇相關(guān)的所有方面，那么任務(wù)環(huán)境就是有效的完全可觀測(cè)的，而所謂的相關(guān)又取決于性能度量標(biāo)準(zhǔn)。完全可觀測(cè)的環(huán)境很容易處理，因?yàn)橹悄荏w不需要維護(hù)任何內(nèi)部狀態(tài)來追蹤世界。由于傳感器噪聲大且不準(zhǔn)確，或者由于傳感器數(shù)據(jù)中缺少部分狀態(tài)，環(huán)境可能部分可觀測(cè)。10.3.2任務(wù)環(huán)境的屬性例如，只有一個(gè)局部灰塵傳感器的真空吸塵器無法判斷其他方格是否有灰塵，自動(dòng)駕駛出租車無法感知其他司機(jī)的想法。如果智能體根本沒有傳感器，那么環(huán)境是不可觀測(cè)的。在這種情況下，智能體的困境可能是無解的，但智能體的目標(biāo)仍然可能可以實(shí)現(xiàn)。10.3.2任務(wù)環(huán)境的屬性單智能體與多智能體：?jiǎn)沃悄荏w和多智能體環(huán)境之間的區(qū)別似乎足夠簡(jiǎn)單。例如，獨(dú)自解決縱橫字謎的智能體顯然處于單智能體環(huán)境中，而下國際象棋的智能體則處于二智能體環(huán)境中。然而，這里也有一些微妙的問題，例如我們已經(jīng)描述了如何將一個(gè)實(shí)體視為智能體，但沒有解釋哪些實(shí)體必須視為智能體。智能體A（例如出租車司機(jī)）是否必須將對(duì)象B（另一輛車）視為智能體，還是可以僅將其視為根據(jù)物理定律運(yùn)行的對(duì)象，類似于海灘上的波浪或隨風(fēng)飄動(dòng)的樹葉？10.3.2任務(wù)環(huán)境的屬性例如，國際象棋中的對(duì)手實(shí)體B正試圖最大化其性能度量，根據(jù)國際象棋規(guī)則，這將最小化智能體A的性能度量。因此，國際象棋是一個(gè)競(jìng)爭(zhēng)性的多智能體環(huán)境。但是，在出租車駕駛環(huán)境中，避免碰撞使所有智能體的性能度量最大化，因此它是一個(gè)部分合作的多智能體環(huán)境，它還具有部分競(jìng)爭(zhēng)性，例如，一個(gè)停車位只能停一輛車。10.3.2任務(wù)環(huán)境的屬性多智能體環(huán)境中的智能體設(shè)計(jì)問題通常與單智能體環(huán)境下有較大差異。例如，在多智能體環(huán)境中，通信通常作為一種理性行為出現(xiàn)：在某些競(jìng)爭(zhēng)環(huán)境中，隨機(jī)行為是理性的，因?yàn)樗苊饬艘恍┛深A(yù)測(cè)性的陷阱。10.3.2任務(wù)環(huán)境的屬性確定性與非確定性：如果環(huán)境的下一個(gè)狀態(tài)完全由當(dāng)前狀態(tài)和智能體執(zhí)行的動(dòng)作決定，那么就說環(huán)境是確定性的，否則是非確定性的。原則上，在完全可觀測(cè)的確定性環(huán)境中，智能體不需要擔(dān)心不確定性。然而，如果環(huán)境是部分可觀測(cè)的，那么它可能是非確定性的。10.3.2任務(wù)環(huán)境的屬性大多數(shù)真實(shí)情況非常復(fù)雜，以至于不可能追蹤所有未觀測(cè)到的方面；出于實(shí)際，必須將其視為非確定性的。出租車駕駛顯然是非確定性的，因?yàn)槿藗冇肋h(yuǎn)無法準(zhǔn)確地預(yù)測(cè)交通行為，例如輪胎可能會(huì)意外爆胎，發(fā)動(dòng)機(jī)可能會(huì)在沒有警告的情況下失靈等。雖然描述的真空吸塵器世界是確定性的，但可能包括非確定性因素，如隨機(jī)出現(xiàn)的灰塵和不可靠的吸力機(jī)制等。注意到“隨機(jī)”與“非確定性”不同。如果環(huán)境模型顯式地處理概率（例如“明天的降雨可能性為25％”），那么它是隨機(jī)的；如果可能性沒有被量化，那么它是“非確定性的”（例如“明天有可能下雨”）。10.3.2任務(wù)環(huán)境的屬性回合式與序貫：在回合式任務(wù)環(huán)境中，智能體的經(jīng)驗(yàn)被劃分為原子式回合，每接收一個(gè)感知執(zhí)行單個(gè)動(dòng)作。重要的是，下一回合并不依賴于前幾回合采取的動(dòng)作。許多分類任務(wù)是回合式的。例如，在裝配流水線上檢測(cè)缺陷零件的智能體，它需要根據(jù)當(dāng)前零件做出每個(gè)決策，而無須考慮以前的決策，而且當(dāng)前的決策并不影響下一個(gè)零件是否有缺陷。但是，在序貫環(huán)境中，當(dāng)前決策可能會(huì)影響未來所有決策。國際象棋和出租車駕駛是序貫的：在這兩種情況下，短期行為可能會(huì)產(chǎn)生長(zhǎng)期影響?；睾鲜江h(huán)境下的智能體不需要提前思考，所以要比序貫環(huán)境簡(jiǎn)單很多。10.3.2任務(wù)環(huán)境的屬性靜態(tài)與動(dòng)態(tài)：如果環(huán)境在智能體思考時(shí)發(fā)生了變化，就說該智能體的環(huán)境是動(dòng)態(tài)的，否則是靜態(tài)的。靜態(tài)環(huán)境容易處理，因?yàn)橹悄荏w在決定某個(gè)操作時(shí)不需要一直關(guān)注世界，也不需要擔(dān)心時(shí)間的流逝。但是，動(dòng)態(tài)環(huán)境會(huì)不斷地詢問智能體想要采取什么行動(dòng)，如果它還沒有決定，那就什么都不做。如果環(huán)境本身不會(huì)隨著時(shí)間的推移而改變，但智能體的性能分?jǐn)?shù)會(huì)改變，就說環(huán)境是半動(dòng)態(tài)的。駕駛出租車顯然是動(dòng)態(tài)的，因?yàn)轳{駛算法在計(jì)劃下一步該做什么時(shí)，其他車輛和出租車本身在不斷移動(dòng)。在用時(shí)鐘計(jì)時(shí)的情況下國際象棋是半動(dòng)態(tài)的，而填字游戲是靜態(tài)的。10.3.2任務(wù)環(huán)境的屬性離散與連續(xù)：這之間的區(qū)別適用于環(huán)境的狀態(tài)、處理時(shí)間的方式以及智能體的感知和動(dòng)作。例如，國際象棋環(huán)境具有有限數(shù)量的不同狀態(tài)（不包括時(shí)鐘），國際象棋也有一組離散的感知和動(dòng)作。駕駛出租車是一個(gè)連續(xù)狀態(tài)和連續(xù)時(shí)間的問題，出租車和其他車輛的速度和位置是一系列連續(xù)的值，并隨著時(shí)間平穩(wěn)地變化。出租車的駕駛動(dòng)作也是連續(xù)的（轉(zhuǎn)向角等）。嚴(yán)格來說，來自數(shù)字照相機(jī)的輸入是離散的，但通常被視為表示連續(xù)變化的強(qiáng)度和位置。10.3.2任務(wù)環(huán)境的屬性已知與未知：這種區(qū)別是指智能體（或設(shè)計(jì)者）對(duì)環(huán)境“物理定律”的認(rèn)知狀態(tài)。在已知環(huán)境中，所有行動(dòng)的結(jié)果（如果環(huán)境是非確定性的，則對(duì)應(yīng)結(jié)果的概率）都是既定的。顯然，如果環(huán)境未知，智能體將不得不了解它是如何工作的，才能做出正確的決策。10.3.2任務(wù)環(huán)境的屬性最困難的情況是部分可觀測(cè)、多智能體、非確定性、序貫、動(dòng)態(tài)、連續(xù)且未知的。表10-3列出了許多熟悉環(huán)境的可變化的屬性。例如，將患者的患病過程作為智能體建模并不適合，所以我們將醫(yī)療診斷任務(wù)列為單智能體，但是醫(yī)療診斷系統(tǒng)還可能會(huì)應(yīng)對(duì)頑固的病人和多疑的工作人員，因此環(huán)境具有多智能體方面。此外，如果將任務(wù)設(shè)想為根據(jù)癥狀列表進(jìn)行診斷，那么醫(yī)療診斷是回合式的；如果任務(wù)包括一系列測(cè)試、評(píng)估治療進(jìn)展、處理多個(gè)患者等，那就是序貫的。10.3.2任務(wù)環(huán)境的屬性表10-3任務(wù)環(huán)境的例子及其特征10.3.2任務(wù)環(huán)境的屬性PART04智能體的結(jié)構(gòu)下面我們來討論智能體內(nèi)部是如何工作的。人工智能的工作是設(shè)計(jì)一個(gè)智能體程序?qū)崿F(xiàn)智能體函數(shù)，即從感知到動(dòng)作的映射。假設(shè)該程序?qū)⑦\(yùn)行在某種具有物理傳感器和執(zhí)行器的計(jì)算設(shè)備上，稱之為智能體架構(gòu)：智能體＝架構(gòu)＋程序顯然，我們選擇的程序必須適合相應(yīng)的架構(gòu)。如果程序打算推薦步行這樣的動(dòng)作，那么對(duì)應(yīng)的架構(gòu)最好有腿。架構(gòu)可能只是一臺(tái)普通PC，也可能是一輛帶有多臺(tái)車載計(jì)算機(jī)、攝像頭和其他傳感器的機(jī)器人汽車。通常，架構(gòu)使程序可以使用來自傳感器的感知，然后運(yùn)行程序，并將程序生成的動(dòng)作選擇反饋給執(zhí)行器。10.4智能體的結(jié)構(gòu)我們考慮的智能體程序都有相同的框架：它們將當(dāng)前感知作為傳感器的輸入，并將動(dòng)作返回給執(zhí)行器。注意智能體程序框架還有其他選擇。例如，可以讓智能體程序作為與環(huán)境異步運(yùn)行的協(xié)程。每個(gè)這樣的協(xié)程都有一個(gè)輸入和輸出端口，并由一個(gè)循環(huán)組成，該循環(huán)讀取輸入端口的感知，并將動(dòng)作寫到輸出端口。10.4.1智能體程序注意智能體程序（將當(dāng)前感知作為輸入）和智能體函數(shù)（可能依賴整個(gè)感知?dú)v史）之間的差異。因?yàn)榄h(huán)境中沒有其他可用信息，所以智能體程序別無選擇，只能將當(dāng)前感知作為輸入。如果智能體的動(dòng)作需要依賴于整個(gè)感知序列，那么智能體必須記住歷史感知。人工智能面臨的關(guān)鍵挑戰(zhàn)是找出編寫程序的方法，盡可能從一個(gè)小程序而不是從一個(gè)大表中產(chǎn)生理性行為。有4種基本的智能體程序，它們體現(xiàn)了幾乎所有智能系統(tǒng)的基本原理，每種智能體程序以特定的方式組合特定的組件來產(chǎn)生動(dòng)作。10.4.1智能體程序（1）簡(jiǎn)單反射型智能體。最簡(jiǎn)單的智能體，它們根據(jù)當(dāng)前感知選擇動(dòng)作，忽略感知?dú)v史的其余部分。（2）基于模型的反射型智能體。處理部分可觀測(cè)性的最有效方法是讓智能體追蹤它現(xiàn)在觀測(cè)不到的部分世界。也就是說，智能體應(yīng)該維護(hù)某種依賴于感知?dú)v史的內(nèi)部狀態(tài)，從而反映當(dāng)前狀態(tài)的一些未觀測(cè)到的方面。對(duì)于剎車問題，內(nèi)部狀態(tài)范圍不僅限于攝像頭拍攝圖像的前一幀，要讓智能體能夠檢測(cè)車輛邊緣的兩個(gè)紅燈何時(shí)同時(shí)亮起或熄滅。對(duì)于其他駕駛?cè)蝿?wù)，如變道，如果智能體無法同時(shí)看到其他車輛，則需要追蹤它們的位置。10.4.1智能體程序隨著時(shí)間的推移，更新這些內(nèi)部狀態(tài)信息需要在智能體程序中以某種形式編碼兩種知識(shí)。首先，需要一些關(guān)于世界如何隨時(shí)間變化的信息，這些信息大致可以分為兩部分：智能體行為的影響和世界如何獨(dú)立于智能體而發(fā)展。例如，當(dāng)智能體順時(shí)針轉(zhuǎn)動(dòng)方向盤時(shí)，汽車就會(huì)向右轉(zhuǎn)；而下雨時(shí)，汽車的攝像頭就會(huì)被淋濕。這種關(guān)于“世界如何運(yùn)轉(zhuǎn)”的知識(shí)（無論是在簡(jiǎn)單的布爾電路中還是在完整的科學(xué)理論中實(shí)現(xiàn)）被稱為世界的轉(zhuǎn)移模型。10.4.1智能體程序其次，我們需要一些關(guān)于世界狀態(tài)如何反映在智能體感知中的信息。例如，當(dāng)前面的汽車開始剎車時(shí)，前向攝像頭的圖像中會(huì)出現(xiàn)一個(gè)或多個(gè)亮起的紅色區(qū)域；當(dāng)攝像頭被淋濕時(shí)，圖像中會(huì)出現(xiàn)水滴狀物體并部分遮擋道路。這種知識(shí)稱為傳感器模型。轉(zhuǎn)移模型和傳感器模型結(jié)合在一起讓智能體能夠在傳感器受限的情況下盡可能地跟蹤世界的狀態(tài)。使用此類模型的智能體稱為基于模型的智能體。10.4.1智能體程序（3）基于目標(biāo)的智能體。即使了解了環(huán)境的現(xiàn)狀也并不總是能決定做什么。例如，在一個(gè)路口，出租車可以左轉(zhuǎn)、右轉(zhuǎn)或直行。正確的決定還取決于出租車要去哪里。換句話說，除了當(dāng)前狀態(tài)的描述之外，智能體還需要某種描述理想情況的目標(biāo)信息，例如設(shè)定特定的目的地。智能體程序可以將其與模型相結(jié)合，并選擇實(shí)現(xiàn)目標(biāo)的動(dòng)作。10.4.1智能體程序（4）基于效用的智能體。在大多數(shù)環(huán)境中，僅靠目標(biāo)并不足以產(chǎn)生高質(zhì)量的行為。例如，許多動(dòng)作序列都能使出租車到達(dá)目的地，但有些動(dòng)作序列比其他動(dòng)作序列更快、更安全、更可靠或者更便宜。這個(gè)時(shí)候，目標(biāo)只是在“快樂”和“不快樂”狀態(tài)之間提供了一個(gè)粗略的二元區(qū)別。更一般的性能度量應(yīng)該允許根據(jù)不同世界狀態(tài)的“快樂”程度來對(duì)智能體進(jìn)行比較。經(jīng)濟(jì)學(xué)家和計(jì)算機(jī)科學(xué)家通常用效用這個(gè)詞來代替“快樂”。10.4.1智能體程序我們已經(jīng)看到，性能度量會(huì)給任何給定的環(huán)境狀態(tài)序列打分，因此它可以很容易地區(qū)分到達(dá)出租車目的地所采取的更可取和更不可取的方式。智能體的效用函數(shù)本質(zhì)上是性能度量的內(nèi)部化。如果內(nèi)部效用函數(shù)和外部性能度量一致，那么根據(jù)外部性能度量選擇動(dòng)作，以使其效用最大化的智能體是理性的。10.4.1智能體程序在圖靈早期的著名論文中，曾經(jīng)考慮了手動(dòng)編程實(shí)現(xiàn)智能機(jī)器的想法。他估計(jì)了這可能需要多少工作量，并得出結(jié)論，“似乎需要一些更快捷的方法”。他提出的方法是構(gòu)造學(xué)習(xí)型機(jī)器，然后教它們。在人工智能的許多領(lǐng)域，這是目前創(chuàng)建最先進(jìn)系統(tǒng)的首選方法。任何類型的智能體（基于模型、基于目標(biāo)、基于效用等）都可以構(gòu)建（或不構(gòu)建）成學(xué)習(xí)型智能體。10.4.2學(xué)習(xí)型智能體學(xué)習(xí)還有另一個(gè)優(yōu)勢(shì)：它讓智能體能夠在最初未知的環(huán)境中運(yùn)作，并變得比其最初的能力更強(qiáng)。學(xué)習(xí)型智能體可分為4個(gè)概念組件，其中，“性能元素”框表示我們之前認(rèn)為的整個(gè)智能體程序，“學(xué)習(xí)元素”框可以修改該程序以提升其性能。

圖10-2通用學(xué)習(xí)型智能體10.4.2學(xué)習(xí)型智能體最重要的區(qū)別在于負(fù)責(zé)提升的學(xué)習(xí)元素和負(fù)責(zé)選擇外部行動(dòng)的性能元素。性能元素是我們之前認(rèn)為的整個(gè)智能體：它接受感知并決定動(dòng)作。學(xué)習(xí)元素使用來自評(píng)估者對(duì)智能體表現(xiàn)的反饋，并以此確定應(yīng)該如何修改性能元素以在未來做得更好。學(xué)習(xí)元素的設(shè)計(jì)在很大程度上取決于性能元素的設(shè)計(jì)。當(dāng)設(shè)計(jì)者試圖設(shè)計(jì)一個(gè)學(xué)習(xí)某種能力的智能體時(shí)，第一個(gè)問題是“一旦智能體學(xué)會(huì)了如何做，它將使用什么樣的性能元素？”給定性能元素的設(shè)計(jì)，可以構(gòu)造學(xué)習(xí)機(jī)制來改進(jìn)智能體的每個(gè)部分。10.4.2學(xué)習(xí)型智能體評(píng)估者告訴學(xué)習(xí)元素：智能體在固定性能標(biāo)準(zhǔn)方面的表現(xiàn)如何。評(píng)估者是必要的，因?yàn)楦兄旧聿⒉粫?huì)指示智能體是否成功。例如，國際象棋程序可能會(huì)收到一個(gè)感知，提示它已將死對(duì)手，但它需要一個(gè)性能標(biāo)準(zhǔn)來知道這是一件好事。確定性能標(biāo)準(zhǔn)很重要。從概念上講，應(yīng)該把它看作完全在智能體之外，智能體不能修改性能標(biāo)準(zhǔn)以適應(yīng)自己的行為。10.4.2學(xué)習(xí)型智能體學(xué)習(xí)型智能體的最后一個(gè)組件是問題生成器。它負(fù)責(zé)建議動(dòng)作，這些動(dòng)作將獲得全新和信息豐富的經(jīng)驗(yàn)。如果性能元素完全根據(jù)自己的方式，它會(huì)繼續(xù)選擇已知最好的動(dòng)作。但如果智能體愿意進(jìn)行一些探索，并在短期內(nèi)做一些可能不太理想的動(dòng)作，那么從長(zhǎng)遠(yuǎn)來看，它可能會(huì)發(fā)現(xiàn)更好的動(dòng)作。問題生成器的工作是建議這些探索性行動(dòng)。這就是科學(xué)家在進(jìn)行實(shí)驗(yàn)時(shí)所做的。伽利略并不認(rèn)為從比薩斜塔頂端扔石頭本身有價(jià)值。他并不是想要打碎石頭或改造不幸行人的大腦。他的目的是通過確定更好的物體運(yùn)動(dòng)理論來改造自己的大腦。10.4.2學(xué)習(xí)型智能體學(xué)習(xí)元素可以對(duì)智能體圖中顯示的任何“知識(shí)”組件進(jìn)行更改。最簡(jiǎn)單的情況是直接從感知序列學(xué)習(xí)。觀察成對(duì)相繼的環(huán)境狀態(tài)可以讓智能體了解“我的動(dòng)作做了什么”以及“世界如何演變”以響應(yīng)其動(dòng)作。例如，如果自動(dòng)駕駛出租車在濕滑路面上行駛時(shí)進(jìn)行一定程度的剎車，那么它很快就會(huì)發(fā)現(xiàn)實(shí)際減速多少，以及它是否滑出路面。問題生成器可能會(huì)識(shí)別出模型中需要改進(jìn)的某些部分，并建議進(jìn)行實(shí)驗(yàn)，例如在不同條件下的不同路面上嘗試剎車。無論外部性能標(biāo)準(zhǔn)如何，改進(jìn)基于模型的智能體的組件，使其更好地符合現(xiàn)實(shí)幾乎總是一個(gè)好主意。10.4.2學(xué)習(xí)型智能體從計(jì)算的角度來看，在某些情況下簡(jiǎn)單但稍微不準(zhǔn)確的模型比完美但極其復(fù)雜的模型更好。當(dāng)智能體試圖學(xué)習(xí)反射組件或效用函數(shù)時(shí)，需要外部標(biāo)準(zhǔn)的信息。從某種意義上說，性能標(biāo)準(zhǔn)將傳入感知的一部分區(qū)分為獎(jiǎng)勵(lì)或懲罰，以提供對(duì)智能體行為質(zhì)量的直接反饋。更一般地說，人類的選擇可以提供有關(guān)人類偏好的信息。例如，假設(shè)出租車不知道人們通常不喜歡噪聲，于是決定不停地按喇叭以確保行人知道它即將到來。隨之而來的人類行為，如蓋住耳朵、說臟話甚至可能剪斷喇叭上的電線，將為智能體提供更新其效用函數(shù)的證據(jù)。10.4.2學(xué)習(xí)型智能體總之，智能體有各種各樣的組件，這些組件可以在智能體程序中以多種方式表示，因此學(xué)習(xí)方法之間似乎存在很大差異。然而，主題仍然是統(tǒng)一的：智能體中的學(xué)習(xí)可以概括為對(duì)智能體的各個(gè)組件進(jìn)行修改的過程，使各組件與可用的反饋信息更接近，從而提升智能體的整體性能。10.4.2學(xué)習(xí)型智能體智能體程序由各種組件組成，組件表示了智能體所處環(huán)境的各種處理方式。我們通過一個(gè)復(fù)雜性和表達(dá)能力不斷增加的方式來描述，即原子表示、因子化表示和結(jié)構(gòu)化表示。例如，我們來考慮一個(gè)特定的智能體組件，處理“我的動(dòng)作會(huì)導(dǎo)致什么”。這個(gè)組件描述了采取動(dòng)作的結(jié)果可能在環(huán)境中引起的變化。圖10-3表示狀態(tài)及其轉(zhuǎn)移的3種方法10.4.3智能體組件的工作圖10-3（a）中，原子表示一個(gè)狀態(tài)（如B或C）是沒有內(nèi)部結(jié)構(gòu)的黑盒；圖10-3（b）中因子化表示狀態(tài)由屬性值向量組成，值可以是布爾值、實(shí)值或一組固定符號(hào)中的一個(gè)；圖10-3（c）中結(jié)構(gòu)化表示狀態(tài)包括對(duì)象，每個(gè)對(duì)象可能有自己的屬性以及與其他對(duì)象的關(guān)系。10.4.3智能體組件的工作在原子表示中，世界的每一個(gè)狀態(tài)都是不可分割的，它沒有內(nèi)部結(jié)構(gòu)?？紤]這樣一個(gè)任務(wù)：通過城市序列找到一條從某個(gè)國家的一端到另一端的行車路線。為了解決這個(gè)問題，將世界狀態(tài)簡(jiǎn)化為所處城市的名稱就足夠了，這就是單一知識(shí)原子，也是一個(gè)“黑盒”，唯一可分辨的屬性是與另一個(gè)黑盒相同或不同。搜索和博弈中的標(biāo)準(zhǔn)算法、隱馬爾可夫模型以及馬爾可夫決策過程都基于原子表示。10.4.3智能體組件的工作因子化表示將每個(gè)狀態(tài)拆分為一組固定的變量或?qū)傩裕總€(gè)變量或?qū)傩远伎梢杂幸粋€(gè)值?？紤]同一個(gè)駕駛問題，即我們需要關(guān)注的不僅僅是一個(gè)城市或另一個(gè)城市的原子位置，可能還需要關(guān)注油箱中的汽油量、當(dāng)前的北斗導(dǎo)航坐標(biāo)、油量警示燈是否工作、通行費(fèi)、收音機(jī)頻道等。兩個(gè)不同的原子狀態(tài)沒有任何共同點(diǎn)（只是不同的黑盒），但兩個(gè)不同的因子化狀態(tài)可以共享某些屬性（如位于某個(gè)導(dǎo)航位置），而其他屬性不同（如有大量汽油或沒有汽油），這使得研究如何將一種狀態(tài)轉(zhuǎn)換為另一種狀態(tài)變得更加容易。人工智能的許多重要領(lǐng)域都基于因子化表示，包括約束滿足算法、命題邏輯、規(guī)劃、貝葉斯網(wǎng)絡(luò)以及各種機(jī)器學(xué)習(xí)算法。10.4.3智能體組件的工作此外，我們還需要將世界理解為存在著相互關(guān)聯(lián)的事物，而不僅僅是具有值的變量。例如，我們可能注意到前面有一輛卡車正在倒車進(jìn)入一個(gè)奶牛場(chǎng)的車道，但一頭奶牛擋住了卡車的路。這時(shí)就需要一個(gè)結(jié)構(gòu)化表示，可以明確描述諸如奶牛和卡車之類的對(duì)象及其各種不同的關(guān)系。結(jié)構(gòu)化表示是關(guān)系數(shù)據(jù)庫和一階邏輯、一階概率模型和大部分自然語言理解的基礎(chǔ)。事實(shí)上，人類用自然語言表達(dá)的大部分內(nèi)容都與對(duì)象及其關(guān)系有關(guān)。10.4.3智能體組件的工作PART05構(gòu)建大模型智能體盡管能力出色，但大模型還只是被動(dòng)的工具，它們依賴簡(jiǎn)單的執(zhí)行過程，無法直接當(dāng)智能體使用。智能體機(jī)制具有主動(dòng)性，特別是在與環(huán)境的交互、主動(dòng)決策和執(zhí)行各種任務(wù)方面。另外智能體通過挖掘大模型的潛在優(yōu)勢(shì)，可以進(jìn)一步增強(qiáng)決策制定，特別是使用人工、環(huán)境或模型來提供反饋，使得智能體可以具備更深思熟慮和自適應(yīng)的問題解決機(jī)制，超越大模型現(xiàn)有技術(shù)的局限。可以說，智能體是真正釋放大模型潛能的關(guān)鍵，它能為大模型核心提供強(qiáng)大的行動(dòng)能力；而另一方面，大模型能提供智能體所需要的強(qiáng)大引擎。可以說，大模型和智能體可以相互成就。10.5構(gòu)建大模型智能體智能體根據(jù)設(shè)定的目標(biāo)，確定好需要履行特定角色，自主觀測(cè)感知環(huán)境，根據(jù)獲得的環(huán)境狀態(tài)信息，檢索歷史記憶以及相關(guān)知識(shí)，通過推理規(guī)劃分解任務(wù)并確定行動(dòng)策略，并反饋?zhàn)饔糜诃h(huán)境，以達(dá)成目標(biāo)。在這個(gè)過程中，智能體持續(xù)學(xué)習(xí)，以像人類一樣不斷進(jìn)化?；诖竽Ｐ蛠順?gòu)建一個(gè)智能體，能充分地利用大模型的各種能力，驅(qū)動(dòng)不同的組成單元。

圖10-4基于大模型的智能體應(yīng)用10.5.1基于大模型的智能體智能體本身包括觀測(cè)感知模塊、記憶檢索、推理規(guī)劃和行動(dòng)執(zhí)行等模塊。它呈現(xiàn)強(qiáng)大能力的關(guān)鍵在于系統(tǒng)形成反饋閉環(huán)，使得智能體可以持續(xù)地迭代學(xué)習(xí)，不斷地獲得新知識(shí)和能力。反饋除了來自環(huán)境外，還可以來自人類和語言模型。智能體不斷積累必要的經(jīng)驗(yàn)來增強(qiáng)改進(jìn)自己，以顯著提高規(guī)劃能力并產(chǎn)生新的行為，以越來越適應(yīng)環(huán)境并符合常識(shí)，更加完滿地完成任務(wù)。在執(zhí)行任務(wù)過程中的不同階段，基于大模型的智能體通過提示等方式與大模型交互獲得必要的資源和相關(guān)結(jié)果。10.5.1基于大模型的智能體基于大模型的智能體觀測(cè)并感知環(huán)境及其動(dòng)態(tài)變化；獲取不同來源的環(huán)境數(shù)據(jù)，往往包括以多模態(tài)的形式呈現(xiàn)的文本、語音或視覺等，并經(jīng)過處理作為觀測(cè)到的環(huán)境信息。智能體記憶其中的部分信息，并從中檢索獲得歷史序列，即其曾經(jīng)觀測(cè)到的環(huán)境狀態(tài)和行動(dòng)的歷史記錄，結(jié)合內(nèi)置的知識(shí)，作為其規(guī)劃形成行動(dòng)決策的依據(jù)。10.5.2觀測(cè)與感知1.感知空間大模型的語言理解能力使用戶可以方便地通過自然語言和智能體交流，也可以作為交流媒介與其他智能體交流，同時(shí)適應(yīng)不同的通信背景和任務(wù)，實(shí)現(xiàn)個(gè)性化和環(huán)境目標(biāo)泛化：（1）個(gè)性化：通過大模型可以提高智能體的文本感知能力。人類語言文本通常包括很多隱含內(nèi)容，比如未明確陳述的信仰、愿望和意圖。通過大模型來理解這些隱含的含義對(duì)于智能體以增強(qiáng)通信效率和質(zhì)量至關(guān)重要。10.5.2觀測(cè)與感知（2）泛化：基于大模型的智能體旨在處理復(fù)雜的環(huán)境情況和變化，可能還會(huì)因此遇到全新的目標(biāo)和任務(wù)。理解未知任務(wù)的文本指令至關(guān)重要，而指令微調(diào)可以幫助它們實(shí)現(xiàn)無樣本指令理解和泛化，減少對(duì)特定任務(wù)的微調(diào)需求。10.5.2觀測(cè)與感知視覺輸入提供了有關(guān)環(huán)境世界的豐富信息，包括環(huán)境對(duì)象屬性和空間關(guān)系。純粹的大模型通常在文本語言理解等方面表現(xiàn)出色，但缺乏視覺感知能力。為了增強(qiáng)該能力，需要將視覺信息和大模型融合，提供更廣泛的背景信息和更精確的環(huán)境理解。比如，通過字幕為圖像生成文本描述，幫助基于大模型的智能體更好地理解圖像；將Transformer的使用擴(kuò)展到視覺領(lǐng)域，利用自注意力機(jī)制有效地整合整個(gè)圖像的信息；此外直接整合視覺和文本信息作為大模型的輸入，可以增強(qiáng)基于大模型的智能體的多模態(tài)感知和語言表征能力。10.5.2觀測(cè)與感知基于大模型的智能體可以裝備更豐富的觀測(cè)感知模塊，使其可以感知環(huán)境其他的模態(tài)表征信息，具備聽覺、觸覺或嗅覺，可以感知溫濕度和光的信號(hào)等更復(fù)雜的環(huán)境輸入。將文本和其他模態(tài)信息與大模型融合，使得智能體具有對(duì)環(huán)境更廣泛更精確的認(rèn)知和理解。10.5.2觀測(cè)與感知2.可觀察性衡量一個(gè)智能體是否具備有效的觀測(cè)感知能力是看它對(duì)環(huán)境是否是可觀察的,即智能體是否可以充分地觀測(cè)感知到與規(guī)劃決策相關(guān)的環(huán)境信息，并從獲得的歷史信息中了解到環(huán)境的相關(guān)狀態(tài)。保證智能體對(duì)環(huán)境的可觀測(cè)性除了處理并理解多來源多模態(tài)的信息外，智能體還需要保證觀測(cè)的信息質(zhì)量和豐富度必須能夠足夠的反映真實(shí)環(huán)境狀態(tài)，使得智能體獲得足夠豐富的環(huán)境知識(shí)；另一方面，環(huán)境觀測(cè)的頻率足夠高，可以及時(shí)獲得環(huán)境狀態(tài)并捕獲環(huán)境的變化。10.5.2觀測(cè)與感知記憶檢索模塊可以為智能體內(nèi)置相關(guān)知識(shí)，同時(shí)也存儲(chǔ)智能體的經(jīng)驗(yàn)，包括環(huán)境狀態(tài)和行動(dòng)的歷史信息，檢索記憶的知識(shí)和經(jīng)驗(yàn)來規(guī)劃未來的行動(dòng)。記憶檢索模塊幫助智能體持續(xù)學(xué)習(xí)，不斷進(jìn)化，并以更一致、合理和有效的方式行動(dòng)。10.5.3記憶與檢索（1）歷史記憶。通過記憶模塊，基于大模型的智能體可以模擬認(rèn)知科學(xué)研究了解的人類記憶過程原則和機(jī)制。人類記憶遵循從感覺記憶（記錄知覺輸入）、到短期記憶（短暫維持信息）、再到長(zhǎng)期記憶（長(zhǎng)時(shí)間內(nèi)鞏固信息）的進(jìn)程。根據(jù)這個(gè)原則，可以有效地設(shè)計(jì)智能體的記憶模塊來應(yīng)對(duì)不同的記憶需求。大模型受其Transformer架構(gòu)的上下文窗口信息長(zhǎng)度限制，適合于短期記憶。通過記憶存儲(chǔ)，比如外部存儲(chǔ)，智能體可以根據(jù)需要快速查詢和檢索長(zhǎng)期記憶信息。10.5.3記憶與檢索（2）知識(shí)記憶。智能體根據(jù)其應(yīng)用場(chǎng)景，往往內(nèi)置一定的知識(shí)，主要包括以下幾類知識(shí)?！ふZ言：智能體的交流介質(zhì)主要是語言。語言知識(shí)定義語法，涵蓋了語言學(xué)、句法學(xué)、語義學(xué)和語用學(xué)等多方面語言規(guī)范。只有具備語言知識(shí)，智能體才能有效地進(jìn)行對(duì)話交流并理解內(nèi)容。此外，大模型可以讓智能體獲得多種語言的知識(shí)，這樣還可消除額外的翻譯需求。10.5.3記憶與檢索·常識(shí)：通常是指人類具備的一般世界事實(shí)，這些信息可能在智能體交流的上下文中沒有明確被提及。大模型可以讓智能體具備基本的常識(shí)?！ゎI(lǐng)域：是指與特定應(yīng)用領(lǐng)域和場(chǎng)景相關(guān)的專業(yè)知識(shí)，如數(shù)學(xué)、化學(xué)、醫(yī)學(xué)、編程、法律、金融、行業(yè)、人事、銷售等。智能體在特定領(lǐng)域內(nèi)有效解決問題需要具備一定的專業(yè)領(lǐng)域知識(shí)，它可以通過微調(diào)植入大模型中，通過提示來獲?。灰部梢源鎯?chǔ)在外部數(shù)據(jù)庫中，通過檢索增強(qiáng)生成來提示通用大模型利用。10.5.3記憶與檢索（3）記憶存儲(chǔ)。基于大模型的智能體可以通過以自然語言或者嵌入等方式來實(shí)現(xiàn)記憶存儲(chǔ)。根據(jù)不同的應(yīng)用場(chǎng)景，智能體采用適當(dāng)?shù)臄?shù)據(jù)結(jié)構(gòu)的記憶方式，可以提高記憶檢索的效率，從而促進(jìn)對(duì)環(huán)境交互的迅速響應(yīng)。·自然語言：經(jīng)驗(yàn)信息，如智能體的行為和觀測(cè)歷史，往往可以直接用自然語言來描述和利用。經(jīng)驗(yàn)信息可以以靈活和易理解的方式表達(dá)，它保留了豐富的語義信息，可以提供更全面的信息以指導(dǎo)智能體的行為。10.5.3記憶與檢索·嵌入式：使用向量嵌入便于存儲(chǔ)和提取相關(guān)知識(shí)，形成語義相關(guān)的任務(wù)。在嵌入格式中，將相關(guān)數(shù)據(jù)，比如文本、圖像、音頻等各種智能體得到的環(huán)境反饋信息編碼為嵌入式向量來存儲(chǔ)，可以增強(qiáng)記憶的檢索、匹配和重用。另外，專業(yè)領(lǐng)域知識(shí)文本可以分塊進(jìn)行嵌入處理，以向量形式存儲(chǔ)便于被檢索和調(diào)用。將經(jīng)驗(yàn)和知識(shí)變?yōu)槿菀状鎯?chǔ)和搜索是通過向量數(shù)據(jù)庫來實(shí)現(xiàn)的?！?shù)據(jù)庫：這種格式允許智能體以高效而全面的方式操縱記憶。例如，智能體可以使用SQL語句精確地添加、刪除和修訂記憶信息。10.5.3記憶與檢索·大模型作為知識(shí)存儲(chǔ)：穩(wěn)定的知識(shí)可以經(jīng)過訓(xùn)練或微調(diào)以參數(shù)的形式被植入到大模型中，需要時(shí)通過自然語言來方便地檢索。每種存儲(chǔ)形式具有其獨(dú)特優(yōu)勢(shì)。例如自然語言可以保留全面的語義信息，便于推理，使智能體的行為規(guī)劃更直接；而嵌入向量允許高效檢索記憶記錄，提高記憶讀取的效率。10.5.3記憶與檢索（4）記憶管理。智能體往往根據(jù)需要利用大模型將存儲(chǔ)在記憶中的過去經(jīng)驗(yàn)總結(jié)簡(jiǎn)化成更廣泛和更抽象見解的能力，以便智能體以后更加有效快捷的檢索記憶，同時(shí)也可以增加存儲(chǔ)的利用率和效率。有些記憶內(nèi)容，比如對(duì)話歷史，可以通過總結(jié)來移動(dòng)、編輯、刪除或整合。另外，在記憶寫入到相應(yīng)的存儲(chǔ)過程中，智能體需要確定與現(xiàn)有記憶相似的信息（即記憶重復(fù)），比如通過去重來減少占用存儲(chǔ)資源，同時(shí)便于檢索；此外，當(dāng)記憶達(dá)到存儲(chǔ)極限時(shí)智能體需要根據(jù)一定的規(guī)則刪除信息（即記憶溢出），確保記憶內(nèi)容與用戶期望密切一致。10.5.3記憶與檢索（5）記憶檢索。從記憶中快速地檢索最合適的內(nèi)容，確保了智能體可以訪問相關(guān)準(zhǔn)確的信息以執(zhí)行特定的操作。智能體記憶檢索往往需要考慮不同度量標(biāo)準(zhǔn)：新近性、相關(guān)性和重要性；記憶內(nèi)容檢索的優(yōu)先級(jí)分?jǐn)?shù)可以是這些度量標(biāo)準(zhǔn)的加權(quán)組合，分?jǐn)?shù)最高的記憶內(nèi)容會(huì)在模型的上下文提示中優(yōu)先考慮使用。另外檢索的方法也可能影響智能體及時(shí)獲得相關(guān)信息的能力。10.5.3記憶與檢索推理和規(guī)劃對(duì)于智能體處理復(fù)雜任務(wù)至關(guān)重要。它給智能體賦予一種結(jié)構(gòu)化的思考過程，即組織思維、設(shè)定目標(biāo)，并確定實(shí)現(xiàn)這些目標(biāo)的步驟。比如，通過推理規(guī)劃，智能體將復(fù)雜的任務(wù)拆分為更易管理的子任務(wù)，并為每個(gè)子任務(wù)的完成制定適當(dāng)?shù)挠?jì)劃。規(guī)化的結(jié)果是形成行動(dòng)策略，即智能體執(zhí)行行動(dòng)的方法。這些策略可能是回憶經(jīng)驗(yàn)、多輪互動(dòng)、反饋調(diào)整和融入外部工具。10.5.4推理和規(guī)劃推理和規(guī)劃包括下面一些內(nèi)容：（1）目標(biāo)確認(rèn)。用戶通過指令給智能體的執(zhí)行目標(biāo)，比如，目標(biāo)包括完成某個(gè)任務(wù)、交流分享信息和環(huán)境探索等。智能體根據(jù)獲得的指令來定義自己的角色，確定需要控制的環(huán)境以及實(shí)現(xiàn)的目標(biāo)；當(dāng)然，這些元素可以由用戶指令明確給定；但如果不明確，基于大模型的智能體可以根據(jù)相關(guān)信息來推斷并定義。10.5.4推理和規(guī)劃（2）任務(wù)分解。智能體在規(guī)劃中可以利用大模型將大型復(fù)雜任務(wù)分解為較小的、可管理的子任務(wù)，制定逐步執(zhí)行的計(jì)劃。比