ChatGPT的前世今生-李丕績

ChatGPT的前世今生個人介紹?教育經(jīng)歷?南京航空航天大學(xué),2021人工智能發(fā)展史/news/2021050/news/2021050接觸AIAIAI十年回顧AI十年回顧?2006-2009,1000NetworkinNetwork0LiFei-Fei:ImageNetLargeScaleVisualRecognitionChallenge,2014/AI十年回顧AI十年回顧AI十年回顧?2006-2009,1000NetworkinNetworkNetworkinNetworkLiFei-Fei:ImageNetLargeScaleVisualRecognitionChallenge,2014/AI十年回顧AIAI十年回顧AI十年回顧?DeepMind成立于2010年，2014年被Google收購。?2014年開始開發(fā)人工智能圍棋軟件AlphaGo。?2015年10月，分布式版AlphaGo分先以5:0擊敗了歐洲圍棋冠軍華裔法籍職業(yè)棋士樊麾二段。?2016年3月，AlphaGo挑戰(zhàn)世界冠軍韓國職業(yè)棋士李世乭(???)九段，對弈結(jié)果為AlphaGo4:1戰(zhàn)勝了李世乭。AI十年回顧AI十年回顧AI十年回顧AI十年回顧AI十年回顧AIAI十年回顧AI十年回顧AIAI十年回顧Midjourneyv5AIAI十年回顧AI十年回顧AI十年回顧AI十年回顧AI十年回顧人工智能?機器學(xué)習(xí)?計算機視覺?語音識別及合成?如何定義語言的一門學(xué)科,涉及到語言學(xué)、計算機科學(xué)、人工智能等交叉領(lǐng)域，關(guān)注計算機和人類(自然)?可分為自然語言理解(NaturalLanguageUnderstanding,NLU)和自然語言生成(Natural?屬于認(rèn)知智能認(rèn)知智能#自然語言處理太難了##自然語言處理太難了#?知識性#自然語言處理太難了##自然語言處理太難了#?知識性“自然語言處理是人工智能皇冠上的明珠”“自然語言處理是人工智能皇冠上的明珠”https://kexue.fm/archives/7888?權(quán)重衰減?梯度截斷4/11/20234/11/2023LSTM現(xiàn)在也沒有多少人用了。。。4/11/20234/11/2023LSTM的各種變體?沒有遺忘門?耦合輸入門和遺忘門?順便講講GRU做生成？語言模型–序列生成語言模型–序列生成語言模型–文本生成語言模型–文本生成?RNN在“學(xué)習(xí)”過汪峰全部作品后自動生成的歌詞Yangetal.StylisticChinesePoetryGenerationviaUnsupervisedStyleDisentanglement.EMNLP2018.?大家一邊玩著word2vec，一邊訓(xùn)練著rnn-lm做生成，一邊影響著其它領(lǐng)域發(fā)展我我PhraseSeg:II我II神經(jīng)機器翻譯神經(jīng)機器翻譯神經(jīng)機器翻譯神經(jīng)機器翻譯LLM&ChatGPT?ht=f(ar,hr-1)GreedySearchBeamSearch?Seq2seq-attention之后，大廠開始業(yè)務(wù)上線在線翻譯（谷歌、微軟、百度、有道、搜狗等）翻譯機（科大訊飛、準(zhǔn)兒、百度、搜狗等）同傳機器翻譯（微軟、訊飛、騰訊、搜狗等）?StartupsGoogle:國4/11/2023?Add–ResidualConnection?Cross-attention?TF-IDF向量表示?從同義詞和多義詞問題可以看到：單詞也許不是文?所以，在這里我們需要將單詞向量空間轉(zhuǎn)變成話題成LSA模型/p/80557306奇異值σ跟特征值類似，在矩陣Σ中也是從大到小排列，而且σ的減少特別的快，在很多情況下，前10%甚至1%的奇異值的和就占了全部的奇異值之和的99%以上了。也就是說，我們也可以用前r大的4/11/2023/question/22237507/answer/53804902?LSI是最早出現(xiàn)的主題模型了，它的算法原理很簡單，一次奇異值分解就可以得到?將文檔表示到話題向量空間的過程就是SVD奇異值分解和降維的過程。降維是LSA分析中最重要的一步，通過降維，去除了文檔中的“噪音”，也就是無關(guān)信息（比如詞的誤用或不相關(guān)的詞偶爾出現(xiàn)在一起語義結(jié)構(gòu)逐漸呈現(xiàn)。?缺點：不好解釋?聯(lián)合概率分布?該模型的另外的一個問題在于，隨著文檔數(shù)量的增加，P(z|d)的參數(shù)也會隨著線性增加，這就導(dǎo)致無論有/bentuwuying/p/6219970.html?LatentDirichletAllocation(L?LDA模型涉及很多數(shù)學(xué)知識，這也許是LDA晦澀難懂的主要原因。?LDA涉及到的先驗知識有：詞袋模型、二項分布、Gamma函數(shù)、Beta分布、多項分布、Dirichlet分布、馬爾科夫鏈、MCMC、GibbsSampling、EM算法等。RickjinLDA數(shù)學(xué)八卦?主題模型-LatentDirichletallocationindustrialapplications."ACMTransactionsonIntelligentSystemsandTechnology(TIST)6,InProceedingsofthe24thInternationalConferencerepresentationsinvectorspace."I-Largeimprovemen4/11/2023UnsupervisedRepresentationLearning?Semi-SupervisedSequenceLearning,Google,NIPS2015?Semi-SupervisedSequenceLearning,Google,NIPS2015?Semi-SupervisedSequenceLearning,Google,NIPS2015?ELMo:DeepContextualWordEmbeddings,AI2&UniversityofWashington,Jun.2017.NAACL.UnsupervisedRepresentationLearning?ELMo:DeepContextualWordEmbeddings,AI2&UniversityofWashington,Jun.2017UnsupervisedRepresentationLearning?ELMo:DeepContextualWordEmbeddings,AI2&UniversityofWashington,Jun.2017Training,OpenAI,Jun,2018GPT中的三個字母，每一個的技術(shù)or專利都屬于Google或者是被Google早4/11/2023Training,OpenAI,Jun,2018/?ImprovingLanguageUnderstandTraining,OpenAI,Jun,201815%,10%,10%,80%15%,10%,10%,80%?Task#2:NextSentencePrediction?從模型上來說，RoBERTa基本沒有什么太大創(chuàng)新，主要是在?2）移除了nextsentencepred?4）動態(tài)調(diào)整Masking機制。?從實驗效果來看，干過了bert和XLNet。?不同于ERNIE1僅有詞級別的PretrainingTask，ERNIE2考慮了詞級別、結(jié)構(gòu)級別和語義級別3類PretrainingTask，詞級別包括KnowledgeMasking（短語MaskPrediction（大寫預(yù)測）和Token-DocumentRelationPrediction（詞是否會出現(xiàn)在文檔其他地方）三個任務(wù)，結(jié)構(gòu)級別包括SentenceReordering（句子排序分類）和SentenceDistance（句子距離分類）兩個任務(wù)，語義級別包括DiscourseRelation（句子語義關(guān)系）和IRRelevance（句子檢索相關(guān)性）兩個任務(wù)。4/11/2023但凡有點商業(yè)和產(chǎn)品思維但凡有點商業(yè)和產(chǎn)品思維?ALBERT大語言模型–大語言模型–GPT3大語言模型–GPT大語言模型–GPT34/11/20234/11/2023?蒸餾壓縮?蒸餾壓縮forNaturalLanguageUnderstanding.”InFindingsoftheAssociationforComputationalLin4/11/2023?Vision-LanguagePretraining?DALLE參考了VQVAE的做法學(xué)習(xí)到了一個8192大?的圖像patch詞表，可以將任意輸入圖像(256x256)劃?不同于文本序列部分的正常的maskedself-attention，圖像序列對attention做了些修改，例如sparse?在inference階段，給定一段文本，DALLE生成了512個候選結(jié)果，然后借助CLIP強大的圖像-文本相關(guān)性Beitpretrainingforallvisionandvision-languagetasks."arXivpreprintarXiv:2208.10442(2022).Beitpretrainingforallvisionandvision-languagetasks."arXivpreprintarXiv:2208.10442(2022).Beitpretrainingforallvisionandvision-languagetasks."arXivpreprintarXiv:2208.10442(2022).Beitpretrainingforallvisionandvision-languagetasks."arXivpreprintarXiv:2208.10442(2022).Baevski,Alexei,YuhaoZhou,Abdelr"wav2vec2.0:AFrameworkforSelf-Supervised(2020).RuslanSalakhutdinov,andAbdelofHiddenUnits."arXivpreprintarXiv:2106.07447(2021).?智源&清華?華為&鵬程實驗室?清華&智譜GLaM,GPT-3,Megatron-TuringNLG,Gopher,Chinchilla,LaMDA,PaLM,GLM-130B，LLaMA長文本生成很難長文本生成很難GPT-3:“Iamsorrytohearthat.”myself?”GPT-3:“Ithinkyoushould.”TrustworthyAI:AComputat/2021/02/27/gpt-3-medical-chatbot-tells-suicidal-test-pati?Accountability&Auditability?CausalAnalysis?不聽話?會罵人?沒啥用?不可控?成本高4/11/2023https://yaofu.notion.site/4/11/20234/11/20234/11/20234/11/2023?SFTdatasetcontainsabout13ktrainingprompts(fromtheAPI?PPOdatasethas31ktrainingprompts(onlyfromtheAPI).4/11/20234/11/20234/11/2023LLM&ChatGPT4/11/20234/11/20234/11/20234/11/2023?JacobDevlinShareGPT(一個ChatGPT數(shù)據(jù)共享網(wǎng)站，4/11/2023教育?做作業(yè)教育?做作業(yè)?會出錯教育?做作業(yè)?會出錯教育?做作業(yè)?會出錯?做作業(yè)?會出錯改論文?做作業(yè)?會出錯?做作業(yè)?會出錯4/11/20234/11/20234/11/2023