大語言模型通識微課課件：大語言模型的定義

大語言模型通識微課

大語言模型的定義大語言模型是深度學(xué)習(xí)的應(yīng)用之一，尤其在自然語言處理領(lǐng)域，這些模型的主要目標(biāo)是理解和生成人類語言。為了實現(xiàn)這個目標(biāo)，模型需要在大量文本數(shù)據(jù)上進行訓(xùn)練，以學(xué)習(xí)語言的各種模式和結(jié)構(gòu)。例如，ChatGPT就是一個大模型的例子，它被訓(xùn)練來理解和生成人類語言，以便進行有效的對話和解答各種問題。微課1.2大語言模型的定義生成式人工智能（GAI）是一種先進的人工智能技術(shù)，它能夠基于已學(xué)習(xí)的大量數(shù)據(jù)集，利用復(fù)雜的算法、模型和規(guī)則，創(chuàng)造出新的、原創(chuàng)性的內(nèi)容。這種技術(shù)不僅限于文本生成，還涵蓋了圖像、聲音、視頻乃至代碼的生成，展示了超越傳統(tǒng)軟件在內(nèi)容創(chuàng)作上的能力。生成式人工智能的核心在于其能夠理解和模仿數(shù)據(jù)中的模式，并以此為基礎(chǔ)生成看似由人類創(chuàng)作的全新數(shù)據(jù)實例。這背后通常涉及深度學(xué)習(xí)模型，如生成對抗網(wǎng)絡(luò)、變分自編碼器、擴散模型等，這些模型通過學(xué)習(xí)潛在的概率分布來生成內(nèi)容。1.2.1生成式人工智能在很多語境下，人工智能生成內(nèi)容（AIGC）也被用于指代生成式人工智能。相關(guān)人工智能領(lǐng)域術(shù)語的關(guān)系如圖1-4所示。這些概念共同構(gòu)成了AIGC的核心要素。圖1-4AIGC與人工智能技術(shù)譜系1.2.2人工智能生成內(nèi)容AIGC的重要意義在于它能夠：?提高創(chuàng)意產(chǎn)業(yè)的生產(chǎn)力：通過自動生成，加速內(nèi)容創(chuàng)作過程。?個性化內(nèi)容定制：根據(jù)用戶偏好生成個性化推薦、廣告或媒體內(nèi)容。?輔助創(chuàng)作和教育：作為輔助工具，幫助創(chuàng)作者快速原型設(shè)計，或在教育領(lǐng)域生成定制化的學(xué)習(xí)材料。?跨媒體內(nèi)容生成：實現(xiàn)文本到圖像、圖像到視頻等跨模態(tài)內(nèi)容的轉(zhuǎn)換，推動多媒體和元宇宙的發(fā)展。?自然語言處理的進步：如ChatGPT所示，AIGC在對話系統(tǒng)、文本摘要、翻譯等方面展現(xiàn)巨大潛力。1.2.2人工智能生成內(nèi)容大語言模型（LLM）是一種基于深度學(xué)習(xí)技術(shù)構(gòu)建的先進人工智能模型，其核心能力在于理解和生成自然語言。這類模型通過在海量文本數(shù)據(jù)上進行訓(xùn)練，學(xué)習(xí)語言的統(tǒng)計規(guī)律、結(jié)構(gòu)和語義，能夠執(zhí)行多種自然語言處理任務(wù)，如文本生成、問答、翻譯、情感分析、文本摘要等。大語言模型的關(guān)鍵特點包括：（1）規(guī)模龐大：通常包含數(shù)十億至數(shù)萬億個參數(shù)，這些參數(shù)使模型能夠?qū)W習(xí)語言數(shù)據(jù)中的復(fù)雜模式，從而更準(zhǔn)確地模擬人類語言的多樣性和細(xì)微差別。1.2.3大語言模型的定義（2）無監(jiān)督預(yù)訓(xùn)練：大多數(shù)大語言模型采用無監(jiān)督學(xué)習(xí)方法進行預(yù)訓(xùn)練，這一過程讓模型在未標(biāo)注的文本數(shù)據(jù)上學(xué)習(xí)語言的一般知識，之后可針對特定任務(wù)進行有監(jiān)督的微調(diào)。（3）基于深度學(xué)習(xí)架構(gòu)：常見的如Transformer架構(gòu)，這種架構(gòu)能有效捕捉長距離語言依賴關(guān)系，增強模型的理解和生成能力。（4）多功能性：由于在廣泛數(shù)據(jù)上進行了泛化學(xué)習(xí)，大語言模型能夠適應(yīng)多種應(yīng)用場景，展示出一定的邏輯思維、推理和創(chuàng)造性表達能力。（5）持續(xù)進化：隨著技術(shù)進步和計算資源的增加，大語言模型不斷進化，參數(shù)量和性能持續(xù)提升，推動了自然語言處理領(lǐng)域的一系列突破。1.2.3大語言模型的定義大語言模型代表了自然語言處理領(lǐng)域的一個重要里程碑，不僅極大地提升了機器處理語言任務(wù)的效率和質(zhì)量，也為人工智能的未來應(yīng)用開辟了新的可能。大模型可以進行預(yù)訓(xùn)練，然后針對特定目標(biāo)進行微調(diào)。以訓(xùn)練狗為例，可以訓(xùn)練它坐、跑、蹲和保持不動。但如果訓(xùn)練的是警犬、導(dǎo)盲犬和獵犬，則需要特殊的訓(xùn)練方法。大模型的訓(xùn)練也采用與之類似的思路。大模型被訓(xùn)練來解決通用（常見）的語言問題，如文本分類、問答、文檔總結(jié)和文本生成等。1.2.3大語言模型的定義在“大模型”的上下文中，“大”主要有兩層含義。一方面，它指的是模型的參數(shù)數(shù)量。在這些模型中，參數(shù)的數(shù)量通常會非常大，達到數(shù)十億甚至數(shù)百億。這使得模型能夠?qū)W習(xí)和表示非常復(fù)雜的模式。另一方面，“大”也指的是訓(xùn)練數(shù)據(jù)的規(guī)模。大模型通常可以在來自互聯(lián)網(wǎng)、書籍、新聞等各種來源的大規(guī)模文本數(shù)據(jù)上進行訓(xùn)練。在大模型中，“通用”描述的是模型的應(yīng)用范圍。通用語言模型在訓(xùn)練時使用了來自各種領(lǐng)域的數(shù)據(jù)，因此能夠處理各種類型的任務(wù)，使得這些模型在處理新的、未見過的任務(wù)時具有很強的泛化能力。1.2.4大模型的特征有別于“專用（特定領(lǐng)域）人工智能”，通用人工智能（AGI）是指一種能夠像人類一樣思考、學(xué)習(xí)和執(zhí)行多種任務(wù)的人工智能系統(tǒng)，它具備自主感知、認(rèn)知、決策、學(xué)習(xí)、執(zhí)行和協(xié)作等能力，且符合人類情感、倫理與道德觀念。開發(fā)ChatGPT的OpenAI公司將AGI寫在了自己的企業(yè)使命中，OpenAI官網(wǎng)上是這樣寫的：“OpenAI的使命是確保通用人工智能，即一種高度自主且在大多數(shù)具有經(jīng)濟價值的工作上超越人類的系統(tǒng)，將為全人類帶來福祉。我們不僅希望直接建造出安全的、符合共同利益的通用人工智能，而且愿意幫助其它研究機構(gòu)共同建造出這樣的通用人工智能以達成我們的使命?！?.2.5什么是通用人工智能雖然大模型已經(jīng)取得了一些驚人的進展，但它還不符合通用人工智能的要求。（1）大模型在處理任務(wù)方面的能力有限。它還只能處理文本領(lǐng)域的任務(wù)，無法與物理和社會環(huán)境進行互動。（2）大模型也不具備自主能力。它需要人類來具體定義好每一個任務(wù)，就像一只“巨鸚鵡”，只能模仿被訓(xùn)練過的話語。（3）雖然ChatGPT已經(jīng)在不同的文本數(shù)據(jù)語料庫上進行了大規(guī)模訓(xùn)練，包括隱含人類價值觀的文本，但它并不具備理解人類價值或與其保持一致的能力，即缺乏所謂的道德指南針。1.2.6大模型與通用人工智能圖靈獎得主揚·勒昆認(rèn)為：語言只承載了所有人類知識的一小部分，大部分人類具有的知識都是非語言的。因此，大模型是無法接近人類水平智能的。深刻的非語言理解是語言有意義的必要條件。正是因為人類對世界有深刻的理解，所以我們可以很快理解別人在說什么。