工業(yè)4.0研究院：ChatGPT對數(shù)字孿生體發(fā)展的啟示

ChatGPT59數(shù)字李生體發(fā)展的啟示—第四次工業(yè)革命的通用目的技術(shù)嶄露頭角工業(yè)4全文共30頁，當(dāng)前為第1頁。為什么ChatGPT代表了第四次工業(yè)革命通用目的技術(shù)的突破？見粉OpenAIGPT:General-PurposeTechnologies通用目的技術(shù)General-PurposeTec愷科學(xué)柚?聯(lián)網(wǎng)等，IAGI/GPT:ArtificialGeneralIntelligence/GenerativePre-trainedTransformerGaiBUU研究院巳

9ACADCMYOFINOUSW402017年,工Jlk4.0W究院首海出新目跪術(shù)(GPT,chnologies),包含人I智能、數(shù)字李生體、闡釋了數(shù)？^目特義.由。penAI開發(fā)的一種語言模型，在廣泛的自然語言處理任務(wù)中取得了最先螂皓黑AlecRadford,KarthikNarasimhan,TimSalimans和IlyaSutskever在2017年的一篇論文中介紹.工業(yè)4全文共30頁，當(dāng)前為第2頁。錄BD驅(qū)動ChatGPT演誑的技術(shù)本質(zhì)工業(yè)4全文共30頁，當(dāng)前為第3頁。錄二】■動ChatGPT，■的技術(shù)"三】面向國■■工業(yè)的■■■￡■4工業(yè)4全文共30頁，當(dāng)前為第4頁。I一,作為“生成式Al"新的突破，美國OpenAI開發(fā)的ChatGPT展現(xiàn)了驚人的效果，贏得了各界人士的贊賞和追捧ChatGPT是美國OpenAI硏發(fā)的聊天機(jī)篇人跡,于2022年11月30日制E.它SAI智吟跡偷自然語言star具，能夠通過學(xué)習(xí)聽解人妙語辭進(jìn)2022年11月底，人工劇瀏話聊天機(jī)器人ChalGPTJ隹出，迅速在喚県體上走紅，短短5天，注冊用戶數(shù)就超過100萬.2023年1月末.ChatGPT的月活用戶已突破1億，成為史上増長最決的消費(fèi)者應(yīng)甩2023年2月2日.ChatGPT的開發(fā)公司OpenAI順勢推出了這一戰(zhàn)用程序的付費(fèi)訂閱版本.ChatGPT：OptimizingLanguageModelsforDialogueL"nod■moMCMtEmvkUsaMmwMfiOAAiTNedotoou*leemm■5工業(yè)4全文共30頁，當(dāng)前為第5頁。通用人工智能(AGI)是顛覆性創(chuàng)新，但如果缺乏戰(zhàn)略節(jié)奏掌控,OpenAIR會落得被傳統(tǒng)互聯(lián)網(wǎng)公司抄襲的結(jié)果達(dá)到了1759ChatGPTGPT-3GPT-2GPT-12015年成立2019年參數(shù)達(dá)到了15億微軟合怫AzureAIPlatform早在2016年，OpenAIffi?a?：?H2018,兩證OpenAI,在美國成立的人工智能司，核儺^5^“實(shí)現(xiàn)安離(AGIT,湖有益于人類.OpenAI于201S年由一群科技領(lǐng)柚，包括山姆?阿爾特曼(SamAltman).彼得泰爾(PeterThiel)、里復(fù)(ReidHoffman)馬斯克(ElonMusk)等人創(chuàng)辦.2022年演化為ChatGPTgpt■演化為InstructGPT,，一tfRS^ChatGPT?OpenAI:jyk4.0fftfa^ffr工業(yè)4全文共30頁，當(dāng)前為第6頁。，仲tn2016年11月22日，OpenAI聯(lián)合創(chuàng)始人GregBrockman在美國參議院作證，就"人工智能的黎明”發(fā)言，參與方有微軟研究實(shí)驗(yàn)室總經(jīng)理人工智能領(lǐng)域的青年大咖受邀參加聽證會.給美國參議院各位議員講解，第四次工業(yè)革命到來了.推動它就是下一代人工智能.我國當(dāng)時(shí)也借此推動了人工智能浪潮，但主要是各種院士牽頭，產(chǎn)業(yè)界以及青年才俊參與度不高.?埃里克?霍堆茨博士,人工智能伙伴關(guān)系臨時(shí)聯(lián)合主席；微軟硏究實(shí)驗(yàn)室總經(jīng)理?安德色?摩爾博士，卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)學(xué)院院長-GregBrockman先生.OpenAIR合創(chuàng)始人H首席技術(shù)官-SteveChien博士,加州理工學(xué)院NASA噴氣推逬實(shí)驗(yàn)室人工智能組自主空間系統(tǒng)和技術(shù)組主管，高級硏究科學(xué)家工業(yè)4全文共30頁，當(dāng)前為第7頁。201眸6月26日，OpenAlK合創(chuàng)始人GregBrockman繼續(xù)參加做院聽證會，開始大談特談“通用人工智能"(AGI)?美國眾議院科學(xué)、太空和技術(shù)委員會，硏究與技術(shù)小組委員會，能源小組委員會聯(lián)合組織聽證會,討論的題目為"人工智能的力量41

(ThePowerofArtificialIntelligence).?GregBrockman認(rèn)為，”今天正在開發(fā)的下一RA工智能系統(tǒng)更少地依賴于傳統(tǒng)數(shù)據(jù)集，因?yàn)樗鼈兗瓤梢允褂妹赓愄峁┑奈礃?biāo)記數(shù)據(jù)，也可以擴(kuò)展計(jì)爲(wèi)來生成數(shù)據(jù)。例如，通過模擬機(jī)器人.我們可以創(chuàng)建訓(xùn)練數(shù)據(jù)?其數(shù)量僅受可用于運(yùn)行模擬的計(jì)算機(jī)數(shù)量的限制.“-TimPersons博士，GAO首席科學(xué)家-GregBnxkman先生，OpenAI聯(lián)合創(chuàng)始人兼首席技術(shù)官?AI4ALL苗事會主席荻聯(lián)合創(chuàng)始人李飛飛博士8工業(yè)4全文共30頁，當(dāng)前為第8頁。在ChatGPT推出2個(gè)月用戶突破1億,“OpenAI+讖T聯(lián)合體加快商農(nóng)業(yè)化，將成為互聯(lián)網(wǎng)領(lǐng)域新的現(xiàn)象級平臺ChatGPTSprintstoOneMillionUsersitcookforselectedonlineservicestoreachonemdhonusersstatistaQ/OpenAlb

MicrosoftJSl^iEffiS^ChatGPTmgVUWpenAI岫,第TfT段，作為殮，從軟有權(quán)獲得OpenAI7S%踴潤,直到它收回這100億美元，以及微軟已投資于該公司的鄭卜30億9SI.第二階段，當(dāng)OpenAI的利5國達(dá)到92心元后，微炫縄OpenAI利潤的比例降至49%.與此同時(shí),其他風(fēng)險(xiǎn)投資者和OpenAIflg員工啲頗得該公割9%跡臨第三階段,在OpenAI的利5駐到1500旗元后者SOftf^aS^OpenAI^E鮑工業(yè)4全文共30頁，當(dāng)前為第9頁。顛覆性創(chuàng)新機(jī)構(gòu)應(yīng)掌控“戰(zhàn)略節(jié)奏"fOpenAUAW期的非盈利機(jī)構(gòu).到有限盈利乃至公司化運(yùn)行，似乎都恰到好處?掌控“戰(zhàn)略節(jié)奏“是頷覆性創(chuàng)新機(jī)構(gòu)的必修課，利用認(rèn)知上的優(yōu)劣，跟行業(yè)企業(yè)開展談判，獲得有利于自己發(fā)展的資源或資本，OpenAI的發(fā)展案例證明了認(rèn)知優(yōu)瞥的價(jià)格..如果時(shí)機(jī)不成熟，顏狽性創(chuàng)新機(jī)構(gòu)應(yīng)利用認(rèn)知優(yōu)勢，讓該領(lǐng)域或行業(yè)發(fā)展放緩，等待新的機(jī)會或運(yùn)氣.愿景志同道合當(dāng)時(shí)對通用人工智能(AGI)非?？春茫@只是一種”信仰"需要找到志同道(當(dāng)然也努力互補(bǔ)技術(shù)路徑Transforme砌冰胞哽彳剜認(rèn)可.剰下的sam司.必了資本商業(yè)模式?OpenAI?僅月略嘰聞戶，當(dāng)務(wù)之急就是加人才、資本和務(wù)的發(fā)展了?蛔可快速實(shí)現(xiàn)商業(yè)模式，成為OpenAI當(dāng)前的重要B5OpenAIMHJ88tt禰.地40&^3^命折10工業(yè)4全文共30頁，當(dāng)前為第10頁。錄B驅(qū)動ChatGPT演誑的技術(shù)本質(zhì)B11工業(yè)4全文共30頁，當(dāng)前為第11頁。二,跟傳統(tǒng)的分析式Al(AnalyticalAl)不同，ChatGPT采用的是生成式Al(GenerativeAI),兩者在技術(shù)有本質(zhì)的不同現(xiàn)代的AI學(xué)習(xí)AI智能技術(shù)都跟數(shù)據(jù)有很大的關(guān)系,傳統(tǒng)的分析式AI中的聯(lián)合槪率分布，并基于歷史場景進(jìn)行模仿式、根據(jù)已有的數(shù)據(jù)逬行分析、判斷和預(yù)測，生成式創(chuàng)新式生成全新的內(nèi)容.分析式AR5解決確定問題比較鋼，廣泛應(yīng)用于推薦系統(tǒng)、計(jì)算機(jī)視覺、自然語言處理等；生成式A財(cái)需要創(chuàng)造性工作的場景比較有效，甚至是目前已知的技術(shù)路徑?湎5CAI^astAi:方法結(jié)mssw?)結(jié)果枷定，需要創(chuàng)郎E常廣泛，解產(chǎn)業(yè)化情況典型應(yīng)用推薦系収風(fēng)控系統(tǒng)等臺產(chǎn)品案例?)髒*5滅、現(xiàn)4.0WS院生故場平臺生成100+場景基于數(shù)字享生場景，融入生成州系級IW分折歸納已有數(shù)據(jù)，根新的內(nèi)容,逐歩跟反慣想i檢近麟會輸出分g2015年瑯辰，201暉炒殯.2022年___________內(nèi)容創(chuàng)造、人機(jī)交互.智能助理等地防RT?lkWa_____________文案寫作、視頻配音、代碼生成人疝：理析12工業(yè)4全文共30頁，當(dāng)前為第12頁。JHSWffiA■iKIjAB■■的標(biāo)記201?<2019?2O2O?1980?HM2017隼5ChatGPTGPT1BigBirdT5BERTRoBERTa;ELECTRAInstruc-tGPTChatGPT充分利用了認(rèn)知心理學(xué)的知識，借助機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)以及Transformer模型的積累，能實(shí)現(xiàn)人類的意的少■較MachineLeiming?當(dāng)人工智能硏究者開始關(guān)注人腦的學(xué)習(xí)過程，形成了Transformer模型方法，逬一步通過大量數(shù)據(jù)的積累，迅速在語音識別、人臉識別等領(lǐng)域產(chǎn)生突破.?自2018年開啟的GPT?x.逐年増加的數(shù)據(jù)量,讓人類參與反懐的模式逼近其拐點(diǎn).Transfo-rmer珂人■學(xué)習(xí)ass?7i森美窪GPT-2■■GPT3!■■|BART■■M2m?

I皿■JHSWffiA■iKIjAB■■的標(biāo)記Transfo-rmer痂..真曜金,13工業(yè)4全文共30頁，當(dāng)前為第13頁?！吧墒紸I"通過Transformer^定了模式，避免了人工標(biāo)注數(shù)據(jù)集的缺陷，模型在質(zhì)量上更好，更便于并行,訓(xùn)練時(shí)間更少?GPT(GenerativePre-trainingTransformer)于2018年6月由0penAIM次提岀??GPT模型考慮到在自然語言理解中有大量不同的任務(wù)■盡管大量的未標(biāo)記文本語料庫非常豐富，但用于學(xué)習(xí)這些特定任務(wù)的標(biāo)記數(shù)據(jù)卻很少,這使得經(jīng)過區(qū)分訓(xùn)練的模型很難充分執(zhí)行.同時(shí)，大多數(shù)深度學(xué)習(xí)方法需要大量手動標(biāo)記的數(shù)據(jù),這限制了它們在許多缺少注釋資源的領(lǐng)域的適用性.■通過對未標(biāo)記文本的不同語料庫進(jìn)彳亍語盲模型的生成性預(yù)訓(xùn)練，然后對每個(gè)特定任務(wù)進(jìn)行區(qū)分性徳調(diào)，可以實(shí)現(xiàn)這些任務(wù)上的巨大收益.和之前方法不同，GPT在德調(diào)期間使用任務(wù)感知輸入轉(zhuǎn)換，以實(shí)現(xiàn)有效的傳輸，同時(shí)對模型架構(gòu)的更改最小.____;無:--4Unsupervisedpre-training.|;不aw標(biāo)3敵IKfl!?即大魂檳自學(xué)階短.在保證A1P3充足的奈件下，attentionfflMifi行自學(xué):二=：(Supervisedfineturmmg)：二覚調(diào)，用來修正橫甄槩力.:即小,itAia:H心WTF進(jìn)MB14工業(yè)4全文共30頁，當(dāng)前為第14頁。GPT-1:模型更簡化.計(jì)算加速，更適合自然語言生成任努（NLG）?相比于Transformer,GPT訓(xùn)練了f12層僅decode伽解碼器（原Transformer模型中包含Encode和Decoder兩部分）.?相比于谷歌的BERT（BidirectionalEncoderRepresentationsfromTransformers,雙向編碼生成轉(zhuǎn)化器），GPT僅采用上文預(yù)測單詞（BERT采用了基于上下文雙向的預(yù)測手段）.Transformers?構(gòu)GPT1架構(gòu)GPT用于對不同任務(wù)港行湖??入終?的示?圖15工業(yè)4全文共30頁，當(dāng)前為第15頁。GPT-2:采用多任務(wù)系統(tǒng)，基于GPT?1進(jìn)行優(yōu)化?GPT-2在GPT?1的基礎(chǔ)上進(jìn)行諸多改進(jìn)，實(shí)現(xiàn)執(zhí)行任務(wù)多樣性，開始學(xué)習(xí)在不需要明確監(jiān)督的情況下執(zhí)行數(shù)量驚人的任務(wù).?大模型GPT?2是一個(gè)1.5B#數(shù)的Transformer,在其相關(guān)論文中它在8個(gè)測試語言建模數(shù)據(jù)集中的7個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了當(dāng)時(shí)最先進(jìn)的結(jié)果。?Transformerlt?至48層。GPT-2的數(shù)據(jù)集増加到800萬的網(wǎng)頁、大小40GB的文本.?機(jī)器學(xué)習(xí)系統(tǒng)通過使用大型數(shù)據(jù)集、高容量模型和監(jiān)督學(xué)習(xí)的組合，在訓(xùn)練任務(wù)方面表現(xiàn)出色，然而這些系統(tǒng)較為脆弱，對數(shù)據(jù)分布和任務(wù)規(guī)范的輕微變化常敏感，因而使得A壞現(xiàn)更像狹義專家,并非通才.（這正是通用目的技術(shù)追求的目標(biāo)）工業(yè)4全文共30頁，當(dāng)前為第16頁。GPT-3:任務(wù)結(jié)果難以與人類作品區(qū)分開來GPT?3是具有1750億個(gè)參數(shù)的自回歸語言模型，比之前的任何非稀疏語言模型多10倍.對于所有任務(wù)（在few-shotig置下測試其性能），GPT?3都是在沒有任何梯度更新或微調(diào)的情況下應(yīng)用的，僅通過與模型的文本交互來指定任務(wù)和few?shot演示.□GPT-3在許多NLP數(shù)據(jù)集上都有很強(qiáng)的性能（包括翻譯、問題解答和完形填空任務(wù)），以及一些需要動態(tài)推理或領(lǐng)域適應(yīng)的任務(wù)（如解譯單詞.在句子中使用一個(gè)新單詞或執(zhí)行三位數(shù)算術(shù)）.GPT?3可以生成新間文章樣本（已很難將其與人類撰寫的文章區(qū)分開來）.ModelName^|>nramslayersdmodel口heads"hmdBalchSizeLearningRateGPT-3SmailI25M1276812640.5M6.0x10~4GPT-3Medium350M24102416640.5M3.0xIO"4GPT-3Large760M24153616960.5M2.5x]0?4GPT-3XL1.3B24204824128IM2.0x1()7GPT-32.7B2.7B3225603280IM1.6x10-4GPT-36.7B6.7B324096321282M1.2xHLGPT-313B13.0B405140401282M1.0xi(r4GPT-3175BOLGPT3"175.OB9612288961283.2M0.6x10~4工業(yè)4全文共30頁，當(dāng)前為第17頁。InstructGPT:在GPT?3基礎(chǔ)上進(jìn)一步強(qiáng)化?針對GPT?3存在的問題，InstructGPT使用來自人類反饋的強(qiáng)化學(xué)習(xí)方案(RLHF,ReinforcementLearningfromHumanFeedback),通過對大語言模型進(jìn)行微調(diào).從而能夠在畚數(shù)減少的情況下，實(shí)現(xiàn)優(yōu)于GPT-3的功能.SFTDataRMDataPPODatasplitsourcesizesplitsourcesizesplitsourcesizetrainlabeler11,295trainlabeler6,623traincustomer31.144iniincustomer1.430traincustomer26,584validcustomerI6J85validlabeler1,550validlabeler3,488validcustomer103validcustomer14,399工業(yè)4全文共30頁，當(dāng)前為第18頁。ChatGPT:提升了理解人類思維的準(zhǔn)確性InstructGPT與ChatGPT屬于相同代際的模型,ChatGPT只是在InstructGPT的基礎(chǔ)上增加了交流屬性，且開放了公1試.?ChatGPTtS升了理解人類思維的準(zhǔn)確性的原因在于利用了基于人類反燃數(shù)據(jù)的系統(tǒng)進(jìn)行模型訓(xùn)練.teal：

MiSMwa.m攜住說明數(shù)at（■于prompt諷鼻方式的數(shù)ais）?UboW（標(biāo)記■調(diào)示期理的■岀行為這個(gè)KflJRJUXdK僵學(xué)習(xí).WGPT.3?行鎌調(diào)這個(gè)sLabeler侮記?）從■優(yōu)到fil緘出*92:,iffl練一個(gè)獎8M翌?。o歩森3:ffSiftMBnS,用攜咨學(xué)習(xí)優(yōu)化権型■助役型生成埔岀新的prompt從敗據(jù)集中苑緑f極：敬19工業(yè)4全文共30頁，當(dāng)前為第19頁。錄D20工業(yè)4全文共30頁，當(dāng)前為第20頁。以ChatGPT為代表的生成式AI技術(shù)，成為了美防部關(guān)注的未來技術(shù)，同樣，工業(yè)界也深入關(guān)注該技術(shù)的應(yīng)用?2023年1月25日，美國國防部DISA首席技術(shù)官斯蒂芬?華萊士在弗吉尼亞州阿靈頓陸軍?海軍鄉(xiāng)村俱樂部舉行的由通信和電子利益集團(tuán)AFCEA分會主辦的活動中說：哆年來，我們聽到了很多關(guān)于人工智能的信息，在許多地方已經(jīng)起作用了……但這種能力，即生成內(nèi)容的能力，是一種非常有趣的能力.”O(jiān)penAI21工業(yè)4全文共30頁，當(dāng)前為第21頁。針對生成式AI在國防領(lǐng)域的應(yīng)用，DISA已經(jīng)搭建了數(shù)據(jù)基礎(chǔ)設(shè)施，并開'?>發(fā)各種能力，満足各軍種作戰(zhàn)的需要1960^5月12日其曲是筐理國防通信勝，這是三軍1991帝月25日,DCA更名D1SA,以此反映美國國防88提供全盤信息系統(tǒng)音理的角色?DISA奐責(zé)鈉幾個(gè)菅理報(bào)吿決議，最著名的就是DMRD918,該決議開始創(chuàng)造性的使用國防倍成妾曲，軽瞬GIG麴.DISAfifi在信息技術(shù)服務(wù)的前沿.實(shí)現(xiàn):（1）iShmA?做,讓他們在蒞要的時(shí)候共享誨，（2）發(fā)展網(wǎng)絡(luò)使齡牌訪，（3）必將3K哽顛覆C2來支蹴合作戰(zhàn)等.工業(yè)4全文共30頁，當(dāng)前為第22頁。跟OpenAGl立合作關(guān)系后，微軟推進(jìn)生成式AI在工業(yè)領(lǐng)域的應(yīng)用，畢竟工業(yè)領(lǐng)域的市場具有非常大的規(guī)模23工業(yè)4全文共30頁，當(dāng)前為第23頁。對于任何數(shù)字季生技術(shù)應(yīng)用，都會面臨數(shù)字季生環(huán)境建設(shè)問題，生成式AI可以在數(shù)字享生模型建設(shè)以及場景設(shè)計(jì)方面發(fā)揮作用OpenAI［翹，引入生盛tAI技術(shù)，Ug字零生間可長艸澇雨完善工業(yè)4全文共30頁，當(dāng)前為第24頁。生成式AI建立了不斷改進(jìn)的機(jī)制，具有難以替代的作用，工業(yè)4.0研究院正在探索解決數(shù)字藍(lán)軍模型建設(shè)問題253?利用數(shù)字工程提出的數(shù)字線程驅(qū)動數(shù)字變生模型改逬的思路，能有效改進(jìn)數(shù)字紅藍(lán)軍數(shù)據(jù)不足的狀況。?美軍試撿鑒定局建立了完善的標(biāo)準(zhǔn)體系，立足數(shù)字率生靶場基^設(shè)施，不斷完善數(shù)字紅藍(lán)軍模型的建設(shè)，提升其,可信度”.工業(yè)4全文共30頁，當(dāng)前為第25頁。錄B三】面向國■■工業(yè)的,■■甄■26工業(yè)4全文共30頁，當(dāng)前為第26頁。OpenAI27,通過參與單位提供資金支持，