清華大學(xué)（張旭龍）：構(gòu)建智能未來：?型語?模型的技術(shù)創(chuàng)新與實踐報告

構(gòu)建智能未來：大型語言模型的技術(shù)創(chuàng)新與實踐張旭龍/2?大語言模型（LLM）概述與進(jìn)展?GPT系列技術(shù)演進(jìn)?預(yù)訓(xùn)練適配微調(diào)?LLM的使用?多模態(tài)大型語言模型?MM-LLMs的發(fā)展與優(yōu)勢?模型架構(gòu)設(shè)計?模型特點與發(fā)展趨勢?大型音頻模型進(jìn)展?背景與應(yīng)用?架構(gòu)與案例研究3?語言建模(LM)提高機(jī)器語言智能?大語言模型(LLM)4?擴(kuò)展法則：模型性能與模型規(guī)模、數(shù)據(jù)集規(guī)模、訓(xùn)練計算量呈冪律關(guān)系?涌現(xiàn)能力：在小模型中不存在，但在大模型中出現(xiàn)的能力?上下文學(xué)習(xí)：無需額外訓(xùn)練，通過給定任務(wù)描述和示例來執(zhí)行新任務(wù)?指令遵循：通過自然語言指令描述的混合多任務(wù)數(shù)據(jù)集進(jìn)行微調(diào)后，能很好地遵循指令?逐步推理：使用思維鏈提示策略，通過包含中間推理步驟的提示來解決復(fù)雜任務(wù)5?早期探索：OpenAI最初嘗試使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來實現(xiàn)智能系統(tǒng)，隨著Transformer的出現(xiàn)，開發(fā)了GPT-1和GPT-2。?GPT-1：基于生成式的、僅解碼器的Transformer架構(gòu)，采用無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)的混合方法，模型主要聚焦于根據(jù)給定上下文預(yù)測下一個單詞。?GPT-2：采用與GPT-1類似的架構(gòu)，但參數(shù)規(guī)模擴(kuò)大到15億，并使用大規(guī)模網(wǎng)頁數(shù)據(jù)集WebText進(jìn)行訓(xùn)練。GPT-2旨在通過無監(jiān)督語言建模來執(zhí)行任務(wù)，無需使用標(biāo)記數(shù)據(jù)進(jìn)行顯式微調(diào)。6?使用代碼數(shù)據(jù)進(jìn)行訓(xùn)練：2021年7月推出的Codex模型，它在大量GitHub代碼上進(jìn)行了微調(diào)，證明了Codex可以解決非常困難的編程問題，并且在數(shù)學(xué)問題上有顯著的性能提升。?與人類對齊：OpenAI很早就開始研究模型與人類對齊，并提出了一系列方法，例如基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）算法。7?重要里程碑：基于之前的探索，OpenAI發(fā)布了兩個重要的里程碑89?語料庫可分為六個組別:Books、CommonCrawl、RedditLinks、Wikipedia、Code、Others別模型訓(xùn)練數(shù)據(jù)量數(shù)據(jù)分布GPT-3(175B)3000億tokenCommonCrawl、WebText2、Books1、Books2和WikipediaPaLM(540B)7800億token使用了一個由社交媒體對話、過語言維基百科和新聞組成的預(yù)訓(xùn)練數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)大小為1.0萬億token。從多個數(shù)據(jù)源中提取訓(xùn)練數(shù)據(jù)，和StackExchange。?質(zhì)量過濾:為刪除收集到的語料庫中的低質(zhì)量數(shù)據(jù)?基于分類器的方法?基于啟發(fā)式的方法?去重：重復(fù)數(shù)據(jù)降低語言模型多樣性?隱私去除：敏感或個人信息的用戶生成內(nèi)容?分詞:將原始文本分割成詞序列?Transformer由Encode?Encoderblock結(jié)構(gòu)，是由Multi-HeadAttention,Add&Norm,FeedForward,TransformerEncoder編碼句子信息TransofrmerDecoder預(yù)測?Transformer架構(gòu)骨干藍(lán)色、綠色、黃色和灰色的矩形分別表示前綴token之間的注意力，前綴token和目標(biāo)token之間的注意力，目標(biāo)token之間的注意力以及掩碼注意力。?本質(zhì)是在自然語言格式的實例集合上微調(diào)預(yù)訓(xùn)練的LLM與人類的價值觀或偏好保持一致誠實性、無害性?由于LLM通常包含大量參數(shù)，因此全參數(shù)微調(diào)的成本非常高?由于LLM通常包含大量參數(shù)，因此全參數(shù)微調(diào)的成本非常高?由于LLM通常包含大量參數(shù)，因此全參數(shù)微調(diào)的成本非常高?由于LLM通常包含大量參數(shù)，因此全參數(shù)微調(diào)的成本非常高?ModalityEncoder?LLMBackbone?ModalityGenerato