解讀 ChatGPT 背后的技術(shù)重點：RLHF、IFT、CoT、紅藍對抗

解讀ChatGPT背后的技術(shù)重點：RLHF、IFT、CoT、紅藍對抗 寫開始出現(xiàn)在普羅大眾的討論中。這些晦澀的首字母縮略詞究竟是什么意思？為什么它們?nèi)绱酥匾?？我們調(diào)查了相關(guān)的所有重要論文，以對這些工作進行分類，總結(jié)迄今為止的工作，并對后續(xù)LaMDADeepMindSparrowAnthropicAssistant(Anthropic的Claude就是部分Assistant續(xù)開發(fā)而得的)。隊還公布了他們構(gòu)建開源聊天機器人的計劃，并公開分享了路線圖(比如LAION團根據(jù)是否能公開訪問、訓(xùn)練數(shù)據(jù)、模型架構(gòu)和評估方向的詳細信息對這些AI聊天機器人進BotAssistantAnthropic開否能否限否模型練語大TB是否絡(luò)?????督調(diào)?????BotAssistant調(diào)據(jù)大小K到M20LPtGPT的數(shù)據(jù)?????定規(guī)則?????準、具體趣味性)1、質(zhì)量(參與度、知識運用)2、安全性(毒性、偏見)1、校直(有幫助，無害，正確)2、證據(jù)(來自網(wǎng)絡(luò))則印象害、真實)害、誠的眾臺應(yīng)商IAmazon我們觀察到，盡管在訓(xùn)練數(shù)據(jù)、模型和微調(diào)方面存在許多差異，但也存在一些共性。上述所有聊指令依從(instructionfollowing)」，即遵循用戶指定的指令。例GPT從預(yù)測文本到遵循指令通常，基礎(chǔ)模型的語言建模目標不足以讓模型學(xué)會以有用的方式遵循用戶的指令。模型創(chuàng)建者使文本分類、摘要等經(jīng)典NLP任務(wù)來微調(diào)模型外，還在非常多樣化的任務(wù)集上向基礎(chǔ)模型示范各種書面指令及其輸出，從而實現(xiàn)對基礎(chǔ)模型的微調(diào)。這些指令示范由三個主要部分組成——指令、輸入和輸出。輸入是可選的，一些任務(wù)只需要指令，如上文使用ChatGPT做開放式文本生成的示例。當存在輸入時，輸入和輸出組成一個「實例(instance)」。給定指令可以有多個輸入和實例示例微調(diào)模型IFT語言模型自舉(bootstrap)生成的實例的集合。在自用少樣本技術(shù)輸入一些樣本給LM用于提示它(如上圖所示)，隨后要求LM生成新的指令、輸入和輸出。每一輪都會從人工編寫的樣本和模型生成的樣本中各選擇一些送給模型。人者之間的工作是使用一小組高質(zhì)量的種子數(shù)據(jù)集，然后進行自舉生成最終數(shù)據(jù)集，如Self-高質(zhì)量眾包NLP數(shù)據(jù)集使用統(tǒng)一模式或不同模板轉(zhuǎn)換為指令。這一系列工作包括T0(Sanh安全地遵循指令SupervisedFinetuning，SFT人類標注數(shù)據(jù)上微調(diào)基礎(chǔ)語言模型，以提高有用性和無害性。例如，請參閱下面的表格(摘自Sparrow論文的附錄F)。階段經(jīng)常被用于提高響應(yīng)的安全性，而不是接在IFT后面提高指令相應(yīng)的具體性。將來，這種分安全規(guī)則LaMDA據(jù)一組規(guī)則(論文附錄A)在帶有安全標注的對話數(shù)據(jù)集上進行微調(diào)。這些規(guī)型，該方法使用基于人類偏好的標注數(shù)據(jù)。在RLHF中，根據(jù)人類反饋來對模型的響應(yīng)進行排(如，根據(jù)人類偏好選擇文本簡介)。然后，用這些帶標注的響應(yīng)來訓(xùn)練偏好模型，該模型用于返回RL優(yōu)化器的標量獎勵。最后，通過強化學(xué)習(xí)訓(xùn)練對話代理來模擬偏好模型。有關(guān)更多詳細信息，請參閱我們之前關(guān)于RLHF的文章:ChatGPT背后的“功臣”——RLHF技術(shù)詳解。對話代理的逐步推理來生成輸出。使用CoT微調(diào)的模型使用帶有逐步推理的人工標注的指令數(shù)ungoT且對敏感提示，模型不會回避并生成“抱歉，我無法回答這個問題”這樣的回答。更多示例，請的附錄D。RLHF要點需要非常小的一部分數(shù)據(jù)來進行指令微調(diào)(幾百個數(shù)量級)；CoT題上不那么回避。對話代理的進一步工作這個博客總結(jié)了許多關(guān)于使對話代理有用的現(xiàn)有工作。但仍有許多懸而未決的問題有待探索。我RL重要？我們能否通過在IFT或SFT中使用更高質(zhì)量的數(shù)據(jù)進行訓(xùn)練來獲得T3.鑒于我們有IFT、SFT、CoT和RLHF，預(yù)訓(xùn)練有多大的必要性？如何折衷？人們應(yīng)該使用的最佳基礎(chǔ)模型是什么(公開的和非公開的)？4.本文中引用的許多模型都經(jīng)過紅藍對抗(red-teaming)的精心設(shè)計，工程師特地搜尋故障模式并基于已被揭示的問題改進后續(xù)的訓(xùn)練(提示和方法)。我們?nèi)绾蜗到y(tǒng)地記錄這些方法的效果并重現(xiàn)它們？Rajanietal.,"WhatMakesaDialogAgentUseful?",HuggingFaceBlog,2023.articlerajani2023ift,author{Rajani,NazneenandLambert,NathanandSanh,VictorandWolf,Thomas},titleWhatMakesaDialogAgentUseful?},alHuggingFaceBlogyear{2023},note{https://huggingface.co/blog/