版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
構(gòu)建智能未來:大型語言模型的技術(shù)創(chuàng)新與實踐張旭龍/2?大語言模型(LLM)概述與進(jìn)展?GPT系列技術(shù)演進(jìn)?預(yù)訓(xùn)練適配微調(diào)?LLM的使用?多模態(tài)大型語言模型?MM-LLMs的發(fā)展與優(yōu)勢?模型架構(gòu)設(shè)計?模型特點與發(fā)展趨勢?大型音頻模型進(jìn)展?背景與應(yīng)用?架構(gòu)與案例研究3?語言建模(LM)提高機(jī)器語言智能?大語言模型(LLM)4?擴(kuò)展法則:模型性能與模型規(guī)模、數(shù)據(jù)集規(guī)模、訓(xùn)練計算量呈冪律關(guān)系?涌現(xiàn)能力:在小模型中不存在,但在大模型中出現(xiàn)的能力?上下文學(xué)習(xí):無需額外訓(xùn)練,通過給定任務(wù)描述和示例來執(zhí)行新任務(wù)?指令遵循:通過自然語言指令描述的混合多任務(wù)數(shù)據(jù)集進(jìn)行微調(diào)后,能很好地遵循指令?逐步推理:使用思維鏈提示策略,通過包含中間推理步驟的提示來解決復(fù)雜任務(wù)5?早期探索:OpenAI最初嘗試使用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來實現(xiàn)智能系統(tǒng),隨著Transformer的出現(xiàn),開發(fā)了GPT-1和GPT-2。?GPT-1:基于生成式的、僅解碼器的Transformer架構(gòu),采用無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)的混合方法,模型主要聚焦于根據(jù)給定上下文預(yù)測下一個單詞。?GPT-2:采用與GPT-1類似的架構(gòu),但參數(shù)規(guī)模擴(kuò)大到15億,并使用大規(guī)模網(wǎng)頁數(shù)據(jù)集WebText進(jìn)行訓(xùn)練。GPT-2旨在通過無監(jiān)督語言建模來執(zhí)行任務(wù),無需使用標(biāo)記數(shù)據(jù)進(jìn)行顯式微調(diào)。6?使用代碼數(shù)據(jù)進(jìn)行訓(xùn)練:2021年7月推出的Codex模型,它在大量GitHub代碼上進(jìn)行了微調(diào),證明了Codex可以解決非常困難的編程問題,并且在數(shù)學(xué)問題上有顯著的性能提升。?與人類對齊:OpenAI很早就開始研究模型與人類對齊,并提出了一系列方法,例如基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)算法。7?重要里程碑:基于之前的探索,OpenAI發(fā)布了兩個重要的里程碑89?語料庫可分為六個組別:Books、CommonCrawl、RedditLinks、Wikipedia、Code、Others別模型訓(xùn)練數(shù)據(jù)量數(shù)據(jù)分布GPT-3(175B)3000億tokenCommonCrawl、WebText2、Books1、Books2和WikipediaPaLM(540B)7800億token使用了一個由社交媒體對話、過語言維基百科和新聞組成的預(yù)訓(xùn)練數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)大小為1.0萬億token。從多個數(shù)據(jù)源中提取訓(xùn)練數(shù)據(jù),和StackExchange。?質(zhì)量過濾:為刪除收集到的語料庫中的低質(zhì)量數(shù)據(jù)?基于分類器的方法?基于啟發(fā)式的方法?去重:重復(fù)數(shù)據(jù)降低語言模型多樣性?隱私去除:敏感或個人信息的用戶生成內(nèi)容?分詞:將原始文本分割成詞序列?Transformer由Encode?Encoderblock結(jié)構(gòu),是由Multi-HeadAttention,Add&Norm,FeedForward,TransformerEncoder編碼句子信息TransofrmerDecoder預(yù)測?Transformer架構(gòu)骨干藍(lán)色、綠色、黃色和灰色的矩形分別表示前綴token之間的注意力,前綴token和目標(biāo)token之間的注意力,目標(biāo)token之間的注意力以及掩碼注意力。?本質(zhì)是在自然語言格式的實例集合上微調(diào)預(yù)訓(xùn)練的LLM與人類的價值觀或偏好保持一致誠實性、無害性?由于LLM通常包含大量參數(shù),因此全參數(shù)微調(diào)的成本非常高?由于LLM通常包含大量參數(shù),因此全參數(shù)微調(diào)的成本非常高?由于LLM通常包含大量參數(shù),因此全參數(shù)微調(diào)的成本非常高?由于LLM通常包含大量參數(shù),因此全參數(shù)微調(diào)的成本非常高?ModalityEncoder?LLMBackbone?ModalityGenerato
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 高級衛(wèi)生專業(yè)技術(shù)資格考試考場規(guī)則
- 2024屆山東省臨清市高三三模地理試題(解析版)
- 單元檢測十 資源、環(huán)境與區(qū)域發(fā)展
- 解析:2023年山東省濰坊市中考生物真題(解析版)
- 禁毒防艾主題班會
- 2024年CNJ202型低壓甲醇催化劑項目建議書
- 2024年自動氣體滅火系統(tǒng)合作協(xié)議書
- 八年級上冊歷史知識點提升練習(xí)02-全練版:第14課中國共產(chǎn)黨誕生
- 安徽省馬鞍山市2023-2024學(xué)年高一上學(xué)期2月期末數(shù)學(xué)試題
- 電器店設(shè)施維修服務(wù)合同
- 2024年廣東省中考生物+地理試卷(含答案)
- 老年個人健康狀況分析報告模板5-12-16
- 個人理財顧問提成協(xié)議
- 湖南長沙黃花國際機(jī)場分公司招聘筆試真題2021
- 共享安全非傳統(tǒng)安全研究的中國視域
- TD/T 1062-2021 社區(qū)生活圈規(guī)劃技術(shù)指南(正式版)
- 理論模擬試題一附有答案
- 減速器設(shè)計經(jīng)濟(jì)性分析報告
- 14.2.7-全等三角形的四種常見的實際應(yīng)用
- 中國民族音樂作品鑒賞智慧樹知到期末考試答案章節(jié)答案2024年北京師范大學(xué)
- 連續(xù)性腎臟替代治療的臨床應(yīng)用
評論
0/150
提交評論