大語言模型通識微課課件：大模型形成基礎(chǔ)

大語言模型通識微課

大模型形成基礎(chǔ)人工智能正在逐漸成為日常生活中不可或缺的一部分，它的進(jìn)步似乎已經(jīng)超越了純技術(shù)范疇，成了可以分享、交流乃至“思考”的存在。在這一迅猛發(fā)展的背后，隱藏著何種秘密？它能否讓我們從一個全新的角度去理解知識、創(chuàng)造力乃至人類自身？微課1.3大語言模型形成基礎(chǔ)從哲學(xué)角度來看，大模型就像是一個已經(jīng)實現(xiàn)了的思維實驗。1981年，內(nèi)德·布洛克構(gòu)建了一個“Blockhead（傻瓜）”假說——假定科學(xué)家們通過編程，在Blockhead內(nèi)預(yù)先設(shè)定好了近乎所有問題的答案，那么，當(dāng)它回答問題的時候，人們也許就根本無法區(qū)分是Blockhead和人類在回答問題。顯然，Blockhead回答問題的方式僅僅是從其龐大的記憶知識庫中檢索并復(fù)述答案，并非通過理解問題之后給出答案。哲學(xué)家們一致認(rèn)為，這樣的系統(tǒng)不符合智能的標(biāo)準(zhǔn)。1.3.1Blockhead思維實驗實際上，大模型的許多成就可能就是通過類似的內(nèi)存檢索操作產(chǎn)生的。GPT-4的訓(xùn)練集中包括了數(shù)億個人類個體生成的對話和數(shù)以千計的學(xué)術(shù)出版物，涵蓋了潛在的問答對。研究發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)多層結(jié)構(gòu)的設(shè)計使其能夠有效地從訓(xùn)練數(shù)據(jù)中檢索到正確答案。這表明，GPT-4的回答其實是通過近似甚至是精確復(fù)制訓(xùn)練集中的樣本生成的。如果真是如此，那么它就只是Blockhead的現(xiàn)實版本。1.3.1Blockhead思維實驗由此，人們在評估大語言模型時存在一個關(guān)鍵問題：它的訓(xùn)練集中可能包含了評估時使用的測試問題，即“數(shù)據(jù)污染”，這些應(yīng)該在評估前予以排除。研究者指出，大模型不僅可以簡單地復(fù)述其提示的或訓(xùn)練集的大部分內(nèi)容，它們還能夠靈活地融合來自訓(xùn)練集的內(nèi)容，產(chǎn)生新的輸出。而許多經(jīng)驗主義哲學(xué)家提出，能夠靈活復(fù)制先前經(jīng)驗中的抽象模式，可能不僅是智能的基礎(chǔ)，還是創(chuàng)造力和理性決策的基礎(chǔ)。1.3.1Blockhead思維實驗大模型的起源可以追溯到早期自然語言處理的兩大流派：符號派和隨機(jī)學(xué)派。符號派理論認(rèn)為，自然語言的結(jié)構(gòu)可以被一組形式化規(guī)則概括，利用這些規(guī)則可以產(chǎn)生形式正確的句子。隨機(jī)學(xué)派提出了使用統(tǒng)計技術(shù)在計算機(jī)上進(jìn)行機(jī)器翻譯的構(gòu)想，這一思路為統(tǒng)計語言模型的發(fā)展鋪平了道路，它根據(jù)語料庫中單詞組合的頻率估計單詞序列的可能性?，F(xiàn)代語言模型的另一個重要基石是分布假設(shè)，認(rèn)為語言單元通過與系統(tǒng)中其他單元的共現(xiàn)模式來獲得特定意義，提出：通過了解一個詞在不同語境中的分布特性，可以推斷出這個詞的含義。1.3.2大模型的歷史基礎(chǔ)隨著分布假設(shè)研究的不斷深入，人們開發(fā)出了在高維向量空間中表示文檔和詞匯的自動化技術(shù)。之后的詞嵌入模型通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來預(yù)測給定詞的上下文（或者根據(jù)上下文填詞）學(xué)習(xí)單詞的分布屬性。與先前的統(tǒng)計方法不同，詞嵌入模型將單詞編碼為密集的、低維的向量表示。由此產(chǎn)生的向量空間在保留有關(guān)詞義的語言關(guān)系的同時，大幅降低了語言數(shù)據(jù)的維度。同時，詞嵌入模型的向量空間中存在許多語義和句法關(guān)系。

圖1-3多維向量空間中詞嵌入的一個例子1.3.2大模型的歷史基礎(chǔ)瓦斯瓦尼2017年引入Transformer架構(gòu)，為大模型奠定了基礎(chǔ)。Transformer模型的關(guān)鍵優(yōu)勢在于，輸入序列中所有單詞都是并行處理，極大地提高了訓(xùn)練效率，提高處理長文本序列的能力，增加了任務(wù)規(guī)模和復(fù)雜性。Transformer模型的核心是自注意力機(jī)制，允許模型在處理序列的每個單詞時衡量不同部分的重要性，幫助大模型通過考慮單詞間相互關(guān)系，構(gòu)建對長文本序列的復(fù)雜表示，它使大模型能夠結(jié)合段落或整個文檔主題來表達(dá)。Transformer模型操作“詞元”語言單位，映射到整個單詞或者單詞片段。在將每個單詞序列提供給模型之前先標(biāo)記化，將其分塊成相應(yīng)的詞元，目的是盡可能多地表示來自不同語言的單詞，包括罕見和復(fù)雜的單詞。1.3.3基于Transformer模型Transformer模型的訓(xùn)練集包括百科全書、學(xué)術(shù)文章、書籍、網(wǎng)站，甚至大量計算機(jī)代碼等多樣化來源的大型語料庫，旨在概括自然語言和人工語言的廣度和深度，使Transformer模型能夠準(zhǔn)確進(jìn)行下一個詞元的預(yù)測。盡管這種方式訓(xùn)練的大模型在生成文本段落方面表現(xiàn)出色，為了讓生成的文本更符合人類語言使用規(guī)范，此后的大模型如ChatGPT，使用了“從人類反饋中進(jìn)行強化學(xué)習(xí)”的微調(diào)技術(shù)來調(diào)整模型的輸出。強化學(xué)習(xí)允許開發(fā)人員更具體和可控地引導(dǎo)模型的輸出。這一微調(diào)過程在調(diào)整這些模型以更好地滿足人類語言使用規(guī)范方面發(fā)揮著至關(guān)重要的作用。1.3.3基于Transformer模型大模型能夠利用文本提示中的文本信息來引導(dǎo)輸出。大部分架構(gòu)缺乏可編輯的長期記憶資源，但它們能夠根據(jù)所提供的內(nèi)容靈活調(diào)整輸出，包括它們未經(jīng)明確訓(xùn)練的任務(wù)。這種能力被視為一種即時學(xué)習(xí)或適應(yīng)的形式，通常被稱為“情境學(xué)習(xí)”。如果序列構(gòu)造為一個熟悉的問題或任務(wù)，模型將嘗試以與其訓(xùn)練一致的方式完成它?？上蚰Ｐ桶l(fā)出具體的指令。在“少樣本學(xué)習(xí)”中，提示的結(jié)構(gòu)包括要執(zhí)行任務(wù)的幾個示例，后面是需要響應(yīng)的新實例。在“零樣本學(xué)習(xí)”中，模型不會得到任何示例，任務(wù)直接在提示中進(jìn)行概述或暗示。少樣本學(xué)習(xí)被認(rèn)為是人類智能的重要方面。1.3.3基于Transformer模型人工神經(jīng)網(wǎng)絡(luò)包括早期的自然語言處理結(jié)構(gòu)，一直是哲學(xué)討論的焦點。圍繞這些系統(tǒng)的哲學(xué)討論主要集中在它們作為建模人類認(rèn)知的適用性上。爭論焦點在于，相比于經(jīng)典的、符號的、基于規(guī)則的對應(yīng)物模型，它們是否構(gòu)成了更好的人類認(rèn)知模型。研究中的核心問題之一是，設(shè)計用于預(yù)測下一個詞元的大模型是否能構(gòu)建出一個“世界模型”，這通常指的是模擬外部世界某些方面的內(nèi)部表征，使系統(tǒng)能夠以反映現(xiàn)實世界動態(tài)的方式理解、解釋和預(yù)測現(xiàn)象，包括因果關(guān)系和直觀的物理現(xiàn)象。1.3.4大模型的世界模型問題大模型的學(xué)習(xí)方式與通過和環(huán)境互動并接收反饋來學(xué)習(xí)的強化學(xué)習(xí)代理不同，它能否構(gòu)建出世界模型，是在探討是否能夠內(nèi)部構(gòu)建出對世界的理解，并生成與現(xiàn)實世界知識和動態(tài)相一致的語言。評估大模型是否具有世界模型并沒有統(tǒng)一的方法，還可以向大模型提出一些不能依據(jù)記憶來完成的任務(wù)，來提供新的證據(jù)解決這一問題。1.3.4大模型的世界模型問題另一個問題是，大模型是否可能參與文化習(xí)得并在知識傳遞中發(fā)揮作用。一些理論家提出，人類智能的一個關(guān)鍵特征在于其獨特的文化學(xué)習(xí)能力。人類能夠相互合作，將知識從上一代傳到下一代，并在語言學(xué)、科學(xué)和社會學(xué)知識方面取得新的進(jìn)展。這種方式使人類的知識積累和發(fā)現(xiàn)保持穩(wěn)步發(fā)展。鑒于深度學(xué)習(xí)系統(tǒng)已經(jīng)在多個任務(wù)領(lǐng)域超過了人類表現(xiàn)。有證據(jù)表明，基于Transformer的模型可能在某些訓(xùn)練-測試分布轉(zhuǎn)變下實現(xiàn)組合泛化，大模型似乎能夠在已知任務(wù)范圍內(nèi)處理新數(shù)據(jù)，實現(xiàn)局部任務(wù)泛化。1.3.5文化知識傳遞和語言支持因此，對大模型的挑戰(zhàn)不僅僅在于生成問題的新穎解決方案，還在于培養(yǎng)一種能夠反思和傳達(dá)其創(chuàng)新性質(zhì)的能力，從而促進(jìn)文化學(xué)習(xí)的累積過程。這種能力可能需要更先進(jìn)的交際意圖理解和世界模型構(gòu)建。雖然大模型在各種形式的任務(wù)泛化方面表現(xiàn)出有希望的跡象，但它們參與文化學(xué)習(xí)的程度似乎取決于這些領(lǐng)域的進(jìn)一步發(fā)展，這可