ChatGPT的過去、現(xiàn)在與未來

哈爾濱工業(yè)大學(xué)/社會(huì)計(jì)算與信息檢索研究中心（SCIR）RESEARCHCENTERFORSOCIALCOMPUTINGANDINFORMATIONRETRIEVAL新聞報(bào)道新聞報(bào)道行業(yè)報(bào)告行業(yè)報(bào)告ChatGPT是2022年11月美國人工智能公司OpenAI所推出的生成式對話預(yù)訓(xùn)練模型。它通過對話的形式進(jìn)行交互，對話的形式使得其能夠回答后ChatGPT是2022年11月美國人工智能公司OpenAI所推出的生成式對話預(yù)訓(xùn)練模型。它通過對話的形式進(jìn)行交互，對話的形式使得其能夠回答后“智能行為包括知覺、“智能行為包括知覺、推理、學(xué)習(xí)、交流和在復(fù)雜環(huán)境中的行為?！薄釥栠d（美國斯坦福大學(xué)）移動(dòng)、飛翔、搬運(yùn)、操作······“人工”“人工”ArtificialIntelligence人工智能是人工制造出來的機(jī)器，行模擬的一門學(xué)科.“智能”“智能”?通常指人類自身的智能（類人智能）機(jī)器姬超能陸戰(zhàn)隊(duì)終結(jié)者終結(jié)者機(jī)器人總動(dòng)員掃地機(jī)器人跳舞機(jī)器人餐廳服務(wù)機(jī)器人.通用人工智能.機(jī)器具有真正的推理和解決.可能會(huì)對人類生存產(chǎn)生威脅.暫時(shí)沒有實(shí)現(xiàn)的可能.超級人工智能是指具有自我意.在幾乎所有領(lǐng)域都比最聰明的集..完成特定任務(wù)的人工智能.表現(xiàn)出像是有智能的樣子.不具有自我意識.不會(huì)威脅到人類生存用計(jì)算機(jī)來理解和生成自然語言的各種理論和語言是更高級的一種認(rèn)知智能性性性性優(yōu)勢難點(diǎn) a 是aa 是a利用語言天然的順序性我喜歡吃土豆燉XX兩種任務(wù)類型輸出層隱含層詞嵌入層輸入層我土豆吃喜歡吃吃純吃純通過歷史詞序列預(yù)測下一個(gè)詞通過周圍的詞預(yù)測中間的詞人驚訝的“智能”Pre-TrainingKeyword:unsupervisedpre-tra siblingmodelsupervisedfine-tuning,auxiliaryobjectiv11234GPT-2GPTKeyword:unsupervisedpre-traininGPT-1的一個(gè)重要成就是其在各種理解任務(wù)上的具有較為出色的zero-shot性能GPT-1證明語言模型是有效的預(yù)訓(xùn)練目標(biāo)，可以幫助模型很好地推廣模型層數(shù)變化和參數(shù)對實(shí)驗(yàn)結(jié)果的影響輸出：摘要輸入：“Englishsentence1=Frenchsentence1”+輸出：“Frenchsentence2”GPT-2在zero-shot設(shè)置下改進(jìn)了8種語言建模數(shù)據(jù)集中7種st傳統(tǒng)（稠密）注意力機(jī)制：局部注意力機(jī)制：膨脹（帶狀）注意力機(jī)制：架構(gòu)笨重，缺乏可解釋性缺少常識，對模型所產(chǎn)生的結(jié)果架構(gòu)笨重，缺乏可解釋性缺少常識，對模型所產(chǎn)生的結(jié)果數(shù)據(jù)偏見問題GPT-3生成的文本具有其所訓(xùn)練語言的偏見5天）Qusetion:Whichishe5天）Qusetion:WhichisheQusetion:HowmanyeyedQusetion:Howmanyeyedoesmyfofew-zerofew-zero-one-InstructGPT演進(jìn)路徑（已知=>未知）/docs/moInstructGPT演進(jìn)路徑（能力猜測）InstructGPT演進(jìn)路徑（能力猜測）/docs/mo底座能力：大規(guī)模預(yù)訓(xùn)練模型模型規(guī)模足夠大才能有“涌現(xiàn)”的潛力將任務(wù)用Prompt形式統(tǒng)一精調(diào)語言模型（InstructionTuning）模型能夠處理未見任務(wù)思維鏈能力：在代碼上進(jìn)行繼續(xù)預(yù)訓(xùn)練代碼分步驟、模塊解決問題和人類對齊能力：RLHF結(jié)果更符合人類的預(yù)期（多樣性、安全性）利用真實(shí)用戶的反饋（AI正循環(huán)、飛輪）指令微調(diào)（InstructionTuning）Credits:https://docs.cohere.ai/docs/prompt-engi指令微調(diào)（InstructionTuning）Credits:https://docs.cohere.ai/docs/prompt-engi情景學(xué)習(xí)（In-ContextLearning）Credits:https://docs.cohere.ai/docs/prompt-engi情景學(xué)習(xí)（In-ContextLearning）Credits:https://docs.cohere.ai/docs/prompt-engi思維鏈表示一系列中間推理步驟，相當(dāng)于在求解問題過程中將解Wei.et.al.2022.Chain-of-ThoughtP思維鏈表示一系列中間推理步驟，相當(dāng)于在求解問題過程中Wei.et.al.2022.Chain-of-ThoughtP人工收集、標(biāo)注訓(xùn)練樣本,進(jìn)行排序,訓(xùn)練獎(jiǎng)勵(lì)模型人工收集、標(biāo)注訓(xùn)練樣本,進(jìn)行排序,訓(xùn)練獎(jiǎng)勵(lì)模型通過獎(jiǎng)勵(lì)模型,利用強(qiáng)化學(xué)習(xí)的訓(xùn)練InstructGPT-beta版本SFT(Supervisedfine-tuning)：在人工書寫的示例上Plain:標(biāo)注人員提出任意一個(gè)任務(wù)，同時(shí)保證任務(wù)的多樣性“查詢-回復(fù)”數(shù)據(jù)樣例/docs/mo標(biāo)注者選擇的模型最佳輸出上進(jìn)行有監(jiān)督微/docs/model-index-for收集排序數(shù)據(jù)，訓(xùn)練獎(jiǎng)勵(lì)模型獎(jiǎng)勵(lì)模型由參數(shù)量為6B的SFT模型初始化，輸入1[log(σ(Tθx,yw[log(σ(Tθx,yw?Tθ(x,yl)))]LossE0x,yw,yl~DPairwise能夠有效地增加訓(xùn)練數(shù)據(jù)如果將每個(gè)()候選pair當(dāng)作一個(gè)獨(dú)立的訓(xùn)練樣本，會(huì)導(dǎo)致過擬合使用強(qiáng)化學(xué)習(xí)PPO算法優(yōu)化policy□□優(yōu)化目標(biāo)中的正則項(xiàng)約束 rθx,y?βlog(πyx/πSFT rθx,y?βlog(πyx/πSFT(y|x))πφYEX~Dpretrain[log(π(x))]僅僅通過模擬人類偏好來優(yōu)化模型會(huì)使得模型在很多NLP任務(wù)上性能加入一個(gè)額外的語言模型在預(yù)訓(xùn)練數(shù)據(jù)上的優(yōu)化目標(biāo)2231ChatGPT能夠生成更加翔實(shí)的回復(fù)：可能來ChatGPT更加擅長多輪對話的內(nèi)容形式：可能來源于指令微調(diào)過發(fā)布時(shí)間在最近的一次訪談活動(dòng)中，OpenAI的上半年推出。他沒有給出具體的時(shí)間，負(fù)責(zé)任地運(yùn)行時(shí)，它自然就會(huì)出現(xiàn)?！蹦Ｐ蛥?shù)規(guī)模Altman還被問及GPT-4的參數(shù)規(guī)模是否會(huì)像網(wǎng)上廣為流傳達(dá)到驚人的100萬億參數(shù)，Altman稱其為“一派胡言”多模態(tài)模態(tài)模型，但是Altman在采訪中稱GPT4會(huì)和前三代一樣仍然是純詞表優(yōu)化模型大小和訓(xùn)練數(shù)據(jù)規(guī)模應(yīng)該匹配。DeepMind通過實(shí)驗(yàn)表明，參數(shù)量為70B的Chinchilla模型，在使用下游任務(wù)上的性能都超過了在300Billiontokens上訓(xùn)練的280B計(jì)算優(yōu)化GPT4—Facts&ReasonableExpec最優(yōu)參數(shù)化