工業(yè)大模型技術(shù)應(yīng)用與發(fā)展報(bào)告1.0

工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟工業(yè)大模型技術(shù)應(yīng)用與發(fā)展報(bào)告1.0編寫單位(排名不分先后)中科云谷科技有限公司浪潮集團(tuán)有限公司中科視語科技有限公司蘇州海賽人工智能有限公司北京通用中科云谷科技有限公司浪潮集團(tuán)有限公司中科視語科技有限公司蘇州海賽人工智能有限公司北京通用Al研究院樹根互聯(lián)股份有限公司華為技術(shù)有限公司IBM(國際商業(yè)機(jī)器(中國)有限公司)美云智數(shù)科技有限公司中科斯歐(合肥)科技股份有限公司羚羊工業(yè)互聯(lián)網(wǎng)股份有限公司In創(chuàng)新奇智科技集團(tuán)股份有限公司智昌科技集團(tuán)股份有限公司中國科學(xué)院自動(dòng)化研究所中工互聯(lián)北京科技集團(tuán)有限公司西門子股份公司航天云網(wǎng)科技發(fā)展有限責(zé)任公司威派格智慧水務(wù)股份有限公司卡奧斯COSMOPlat阿里云計(jì)算有限公司騰訊計(jì)算機(jī)系統(tǒng)有限公司人工智能的幾個(gè)相關(guān)概念大模型：即基礎(chǔ)模型，在海量數(shù)據(jù)和計(jì)算資源的基礎(chǔ)上通過模型結(jié)構(gòu)預(yù)先訓(xùn)練出來的，具有大參數(shù)規(guī)模的深度學(xué)習(xí)模型>狹義多指大語言模型，廣義還包括CV、多模態(tài)等各種模型類型細(xì)分模型GPT:生成式預(yù)訓(xùn)練模型，大模型的一種類型，可生成內(nèi)容生成式Al:能夠生成文本、圖片、視頻等內(nèi)容的智能技術(shù)，人工智能機(jī)器學(xué)習(xí)人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)生成式Al技術(shù)場景>早期GAN用于內(nèi)容生成效果有限，如生成式Al技術(shù)場景一一?>大模型拓展了生成能力，如實(shí)現(xiàn)多領(lǐng)域多風(fēng)格圖像/文本生成目標(biāo)使命通用人工智能：目標(biāo)使命學(xué)習(xí)、創(chuàng)造和社會(huì)協(xié)作等能力通用人工智能通用人工智能應(yīng)用程序商店即時(shí)通訊短視頻社交1.1大模型成為通用Al新范式，引發(fā)工業(yè)應(yīng)用變革討論應(yīng)用程序商店即時(shí)通訊短視頻社交大模型+大數(shù)據(jù)+大算力成為發(fā)展主旋律(ChatGPT)超3000億單詞Al產(chǎn)品滲透速度全球排名第29個(gè)月2個(gè)月>產(chǎn)業(yè)應(yīng)用場景成為大模型最佳智能制造的系統(tǒng)重構(gòu)——百度>工業(yè)大模型將會(huì)帶來一場新的工>制造業(yè)是A/大模型的重要戰(zhàn)場，未來10年最大的機(jī)會(huì)——阿里應(yīng)用層面工程層面應(yīng)用層面工程層面工業(yè)大模型=工業(yè)+大模型工業(yè)大模型=工業(yè)+大模型滿足大模型技術(shù)基本特征□Transformer為基礎(chǔ)框架□在大量通用數(shù)據(jù)上進(jìn)行預(yù)先訓(xùn)練，以實(shí)現(xiàn)良好的通用性口模型參數(shù)一般達(dá)十億以上(最大模型參數(shù)已達(dá)萬億級(jí))具備在工業(yè)各環(huán)節(jié)進(jìn)行應(yīng)用的能力，或與工業(yè)裝備軟件等融合賦能工業(yè)大模型應(yīng)對(duì)多任務(wù)，更適合長尾落地工業(yè)專用小模型工業(yè)專用小模型4類模型產(chǎn)品形態(tài)4類模型產(chǎn)品形態(tài)3類主要賦能方式基于通用底座直接賦基于通用底座直接賦能行業(yè)基于通用底座進(jìn)行場景化適配調(diào)優(yōu)或形成外掛插件工具面向工業(yè)或具體任務(wù)針對(duì)性開發(fā)當(dāng)前(可用于)工業(yè)領(lǐng)域大當(dāng)前(可用于)工業(yè)領(lǐng)域大模型超30個(gè)星火大模型式說大模型大模型API調(diào)用或軟件方案成熟工業(yè)產(chǎn)品疊加基礎(chǔ)模型能力成熟工業(yè)產(chǎn)品疊加基礎(chǔ)模型能力…業(yè)大模型外掛插件工具工業(yè)管理軟件企業(yè)外掛插件工具工業(yè)管理軟件企業(yè)Authentise推出插件，用戶可查詢最大的增材制造知識(shí)庫業(yè)大模型浙大開發(fā)用于表格處理的TableGPT用于私有化部署的一體機(jī)用于私有化部署的一體機(jī)科學(xué)大模型核心能力2.1大模型賦能工業(yè)領(lǐng)域的適用邊界與核心能力核心能力適用問題：大模型并非萬金油適用問題：大模型并非萬金油>工業(yè)場景具備一定通用性>涉及關(guān)聯(lián)復(fù)雜的智能任務(wù)>數(shù)據(jù)邊界對(duì)決策效果有直接影響>工業(yè)場景的基礎(chǔ)數(shù)據(jù)/語料/規(guī)則約束充足>結(jié)果存在于封閉信息環(huán)境，不依賴語料外的信息工業(yè)領(lǐng)域應(yīng)用變革工業(yè)領(lǐng)域應(yīng)用變革預(yù)測單一格式工業(yè)數(shù)據(jù)處理→多格式數(shù)據(jù)綜合轉(zhuǎn)換分析2.2應(yīng)用總體視圖：4類核心模型、15+應(yīng)用場景，目前處于初步探索階段●語言大模型●專用大模型●多模態(tài)大模型●視覺大模型工業(yè)相關(guān)性高低●藥物研發(fā)/蛋●CAD草圖生成●設(shè)備診斷●具身智能備控制工業(yè)代碼調(diào)試與●缺陷檢測/安全●工業(yè)文檔檢索與●智能預(yù)算分析●教學(xué)與實(shí)訓(xùn)●智能售后客服管理工業(yè)環(huán)節(jié)研發(fā)設(shè)備生產(chǎn)率先切入率先切入部署方式部署方式*信通院統(tǒng)計(jì)的全球79個(gè)大模型工業(yè)應(yīng)用案例>工業(yè)各環(huán)節(jié)圍繞語言、專用、多模態(tài)和視覺四類大模型開展探索>當(dāng)前以大語言模型為主，4類模型應(yīng)用占比：75%、15%、8%和2%>通用模型的場景化適配調(diào)優(yōu)是主要部署方式，問答交互為主要應(yīng)用模式2.2(1)大語言模型：主要應(yīng)用于工業(yè)問答交互、內(nèi)容生成，以提升任務(wù)處理效率為主，暫未觸及工業(yè)核心環(huán)節(jié)工業(yè)相關(guān)性高工業(yè)代碼生成：基于輸入文本實(shí)現(xiàn)PLC代碼生成與輔助編程設(shè)育控制與繼保動(dòng)學(xué)；從基于對(duì)話實(shí)現(xiàn)設(shè)備指令識(shí)別與維保知識(shí)獲取低工業(yè)營程助于：實(shí)現(xiàn)B/數(shù)據(jù)查詢與圖表繪制工業(yè)文檔外掛與快速檢計(jì)合規(guī)檢查通用文檔生成：基子輸入文本實(shí)現(xiàn)設(shè)計(jì)方問問答交互：應(yīng)用相對(duì)廣泛，行業(yè)與設(shè)備的(半)開放數(shù)據(jù)是主要語料羅克韋爾：將數(shù)字孿生與AIGC相結(jié)合，實(shí)現(xiàn)設(shè)備狀態(tài)以及設(shè)備故障原因咨詢C3:通過自然語言對(duì)話，以文字+統(tǒng)計(jì)圖完成業(yè)務(wù)指標(biāo)的分析和洞察檢索助手中工互聯(lián)：基于智工大模型實(shí)現(xiàn)跨行業(yè)、跨領(lǐng)域和跨崗位工業(yè)專用知識(shí)檢索內(nèi)容生成：已能實(shí)現(xiàn)通用內(nèi)容和PLC基本控制邏輯代碼的生成西門子：與微軟合作，基于GPT開發(fā)代碼生成工具，可通過NLP輸入生成PLC代碼研發(fā)生產(chǎn)設(shè)備管理●內(nèi)容生成問答交互件回復(fù)等功能2.2(2)專業(yè)任務(wù)大模型：圍繞研發(fā)形成輔助設(shè)計(jì)、藥物研發(fā)兩個(gè)重點(diǎn)方向，進(jìn)一步增強(qiáng)研發(fā)模式的創(chuàng)新能力工業(yè)相關(guān)性需求導(dǎo)向的輔助設(shè)計(jì)智能輔助設(shè)計(jì)：自動(dòng)智能輔助設(shè)計(jì)：自動(dòng)生成大量符合需求的藥物/材料研發(fā)藥物/材料研發(fā)低●格式轉(zhuǎn)換知識(shí)發(fā)現(xiàn)DeepMind:基于圖像或文本進(jìn)行2D-CAD草圖構(gòu)建，受樣本數(shù)量+生成規(guī)范的限制，僅個(gè)別企業(yè)開展驗(yàn)證性探索√基于470萬CAD草圖數(shù)據(jù)訓(xùn)練√每個(gè)CAD草圖對(duì)應(yīng)構(gòu)建草圖生成規(guī)范OMeta:ESMFold模型能夠基于序列輸入，實(shí)現(xiàn)蛋白質(zhì)結(jié)構(gòu)和序列的預(yù)測，模型參數(shù)已達(dá)150億，僅2周完成包含罕見物質(zhì)的6億+蛋白結(jié)構(gòu)預(yù)測華為：盤古藥物分子大模型，能夠基于圖結(jié)構(gòu)藥物分子輸入，實(shí)現(xiàn)高效的藥物分子生成和藥物分子定向優(yōu)化，生成1億藥物分子，新穎性達(dá)99.68%2.2(3)多模態(tài)大模型與視覺大模型：在裝備智能化和視覺識(shí)別領(lǐng)域應(yīng)用獲得初步嘗試工業(yè)相關(guān)性多模態(tài)大模型高具身智能復(fù)資環(huán)境虛饃型實(shí)低多場具能研發(fā)設(shè)備生產(chǎn)管理●通用識(shí)別問答交互綜合應(yīng)用應(yīng)用模式視視覺大模型：在有限數(shù)據(jù)前提下增強(qiáng)單個(gè)A質(zhì)檢/巡檢模型的能力，降低開發(fā)門檻與成本國家電網(wǎng)公司國家電網(wǎng)：電力大模型每分鐘處理100張異常圖像、同時(shí)識(shí)別20類缺陷，識(shí)別效率是傳統(tǒng)Al算法的10倍多?；蠖嗄；蟠竽Ｐ停汗I(yè)異常檢測與機(jī)器人領(lǐng)域?qū)崿F(xiàn)初步應(yīng)用，通過多類型數(shù)據(jù)處理強(qiáng)化綜合認(rèn)知水平設(shè)備診斷：基于對(duì)話，實(shí)現(xiàn)顏設(shè)備診斷：基于對(duì)話，實(shí)現(xiàn)顏色、形狀、數(shù)量等復(fù)雜異常的詳細(xì)描述哈工大：利用語言視覺大模型根據(jù)圖像進(jìn)行工業(yè)異常檢測，并輸出高質(zhì)量特征描述具身智能：指令理解+感知環(huán)境信息+虛具身智能：指令理解+感知環(huán)境信息+虛擬化方式訓(xùn)練，自動(dòng)生成機(jī)器人動(dòng)作規(guī)劃路徑斯坦福：基于視覺語言模型，驅(qū)動(dòng)機(jī)器人在虛擬空間生成規(guī)劃路線Google模型，利用網(wǎng)絡(luò)圖片文字?jǐn)?shù)據(jù)訓(xùn)練，在陌生情景執(zhí)行率達(dá)到62%算法技術(shù)3技術(shù)體系：大模型是工業(yè)Al深度學(xué)習(xí)路徑的深化與拓展算法技術(shù)工業(yè)適配工業(yè)適配應(yīng)用技術(shù)大模型部署大模型部署核心理論Transformer.…55人機(jī)&類腦人機(jī)&類腦專家系統(tǒng)知識(shí)圖譜機(jī)器學(xué)習(xí)深度網(wǎng)絡(luò)3框架平臺(tái)工業(yè)數(shù)據(jù)/語料基礎(chǔ)支撐Z框架平臺(tái)工業(yè)數(shù)據(jù)/語料基礎(chǔ)支撐Z3.1算力：端/邊緣側(cè)推理的大模型專用計(jì)算有望成為未來趨勢(shì)大模型訓(xùn)練推理算力需求相對(duì)可控float32(全)工業(yè)邊端側(cè)推理需滿足工業(yè)應(yīng)用及峰值QPS等需求>百億參數(shù)大模型，使用1張英偉達(dá)A100GPU進(jìn)行>已有大模型一體機(jī)及端側(cè)優(yōu)化芯片，實(shí)現(xiàn)推理加速聯(lián)合華為發(fā)布工業(yè)算力智能分配可能成為關(guān)鍵的平衡使算力分配和性能達(dá)到最優(yōu)3.2數(shù)據(jù)：海量高質(zhì)工業(yè)數(shù)據(jù)/語料庫將成為落地部署的關(guān)鍵要素預(yù)訓(xùn)練(行業(yè)級(jí))基礎(chǔ)數(shù)據(jù)微調(diào)(場景應(yīng)用應(yīng)用Prompt語料視覺大模型視覺大模型語言大模型語言大模型專業(yè)任務(wù)/多專業(yè)任務(wù)/多十萬級(jí)對(duì)數(shù)據(jù)配比要求較高干張級(jí)某模型A:1000-指令和action映射調(diào)參方式企業(yè)調(diào)參方式企業(yè)各主體圍繞大模型開發(fā)到部署全流程工具鏈，多推理后端兼容、半自動(dòng)微調(diào)成為重點(diǎn)心少心知識(shí)蒸餾成為模型層面降低工業(yè)部署應(yīng)用成本的探索途徑大模型知識(shí)傳遞大模型模型壓縮模型增強(qiáng)+預(yù)訓(xùn)練+指令微調(diào)，面向更多樣數(shù)據(jù)類型、更強(qiáng)綜合能力的大模型技術(shù)面向更多樣數(shù)據(jù)類型、更強(qiáng)綜合能力的大模型技術(shù)迭代創(chuàng)新，為工業(yè)領(lǐng)域應(yīng)用創(chuàng)造更大前景1、時(shí)序數(shù)據(jù)大模型有望最大化利用海量工業(yè)設(shè)備與過程數(shù)據(jù)，賦能流程優(yōu)化、設(shè)備診斷和異常識(shí)別二青意據(jù)點(diǎn)2、多模態(tài)能力持續(xù)創(chuàng)新，加速實(shí)現(xiàn)工業(yè)圖像幾何、機(jī)理、文檔等各類數(shù)據(jù)模型的綜合感知和認(rèn)知推理煙專業(yè)任務(wù)大模型的數(shù)字支撐能力提升是主要方向，專業(yè)任務(wù)大模型的數(shù)字支撐能力提升是主要方向，在藥物創(chuàng)新發(fā)現(xiàn)與產(chǎn)品設(shè)計(jì)形成初步成果1、依托大規(guī)模結(jié)構(gòu)化專業(yè)數(shù)據(jù)嵌入表示能力，訓(xùn)練數(shù)據(jù)樣本的全面性是提升模型性能核心2、由一維序列、二維拓?fù)鋱D轉(zhuǎn)向三維表征的先進(jìn)表征技術(shù)是探索方向機(jī)構(gòu)細(xì)分方向大模型數(shù)據(jù)集大小蛋白質(zhì)結(jié)構(gòu)預(yù)測等1.25億(1維)華為藥物分子生成優(yōu)化藥物分子17億(2維)深勢(shì)科技分子性質(zhì)預(yù)測等2.09億(3維)>深勢(shì)科技發(fā)布Uni-Mol,直接將分子三維結(jié)構(gòu)坐標(biāo)信息作為模型輸入輸出基于序列數(shù)據(jù)開展優(yōu)化，為現(xiàn)階段主流基于分子特性開展探索，在領(lǐng)域93%數(shù)據(jù)集中表現(xiàn)最優(yōu)曾13.5大模型+工業(yè)知識(shí)圖譜：大模型可能對(duì)通用知識(shí)圖譜產(chǎn)生一定沖擊，融合共生是發(fā)展趨勢(shì)曾1加速圖譜構(gòu)建到應(yīng)用過程■本體構(gòu)建>使用大模型Prompt生成事件的本體“三“三fomtnf:三訓(xùn)練前訓(xùn)練中作為預(yù)訓(xùn)練語料■將知識(shí)圖譜隱式地加入到模型訓(xùn)練，即將圖譜中的結(jié)構(gòu)化信息(三元組)融入預(yù)訓(xùn)練模型■將知識(shí)圖譜作為大模型訓(xùn)練評(píng)估·mRseitrendsias/akBetukstmRseitrendsias/akBetukst■知識(shí)抽取與應(yīng)用訓(xùn)練后■知識(shí)圖譜注入prompt/知識(shí)庫外掛，增強(qiáng)結(jié)果可用性■對(duì)大模型生成結(jié)果進(jìn)行知識(shí)校驗(yàn)，增強(qiáng)事實(shí)性增強(qiáng)大模型事實(shí)驗(yàn)證能力，擴(kuò)展專業(yè)知識(shí)范疇，提升可解釋性3.6應(yīng)用部署：三類核心部署方式，當(dāng)前以通用模型場景化應(yīng)用為主通用模型應(yīng)用通用模型應(yīng)用(公)工業(yè)應(yīng)用適用領(lǐng)域適用領(lǐng)域2.場景公開語料充足典型場景典型場景應(yīng)用案例應(yīng)用案例通用模型場景化應(yīng)用通用模型場景化應(yīng)用通用大模型工業(yè)領(lǐng)域知識(shí)信息特定領(lǐng)域?qū)Ｓ媚Ｐ吞囟I(lǐng)域?qū)Ｓ媚Ｐ皖I(lǐng)域數(shù)據(jù)庫模型結(jié)構(gòu)設(shè)計(jì)人17個(gè)月數(shù)據(jù)的VLA模型4產(chǎn)業(yè)體系：不同主體布局以及技術(shù)產(chǎn)品升級(jí)體系創(chuàng)新奇智工業(yè)大模型產(chǎn)品方案知識(shí)問用產(chǎn)品圖表備監(jiān)控、問答工具管、設(shè)操作大模型代碼生聾代碼大模型能機(jī)器異構(gòu)智人協(xié)同工業(yè)產(chǎn)品融合模型工器人PLC代行業(yè)/領(lǐng)域大模型型+藥物分行業(yè)大模型大模型基礎(chǔ)大模型基礎(chǔ)大模型多模態(tài)模型P機(jī)器人框架平臺(tái)鏈路工具計(jì)算設(shè)施鼻騰支撐模型與輕量化工具方向創(chuàng)新的引領(lǐng)者原理能力實(shí)例4.1原理能力實(shí)例輸入輸入·任務(wù)信息(文字)·環(huán)境信息(圖片)·機(jī)器人控制指令大語言模型模型1.綜合分析能力綜合視覺、語言、空間、理解、決策能力，從被動(dòng)感知向主動(dòng)認(rèn)知跨越2.任務(wù)執(zhí)行能力無需控制代碼預(yù)設(shè)，實(shí)現(xiàn)模型對(duì)機(jī)器人直接控制3.強(qiáng)泛化能力對(duì)于陌生場景，無需針對(duì)性訓(xùn)練或模型微調(diào)，通過多步推理和知識(shí)遷移控制機(jī)器完成任務(wù)機(jī)器人基于輸入圖像和簡單文本指令執(zhí)行動(dòng)作大語言模型+將復(fù)雜指令任務(wù)分解后調(diào)用RT-1執(zhí)行動(dòng)作實(shí)現(xiàn)大模型對(duì)機(jī)器人直接控制模型+數(shù)據(jù)集特定任務(wù)效率提升3倍同、環(huán)境惡劣的工業(yè)場景極具應(yīng)用潛力程序開發(fā)程序開發(fā)基于大模型實(shí)現(xiàn)簡單控制代碼生成，但當(dāng)前語言匹配度和生成準(zhǔn)確度仍有待提升口ABB:通用大模型工業(yè)代碼生成能力驗(yàn)證能‘生成工業(yè)代碼邏輯正確率64%,執(zhí)行成功率399生成代碼工業(yè)場景測試與應(yīng)用面戰(zhàn)口倍福、西門子：將大模型融入客戶端，實(shí)現(xiàn)輔助編程倍福：將大模型融入TwinCATXAE客戶端，實(shí)現(xiàn)基于對(duì)話輔助編程代碼優(yōu)化西門子：聯(lián)合微軟開發(fā)工業(yè)Copilot工具并將其集成于自身工程框架，通過語言交互實(shí)現(xiàn)自動(dòng)化代碼的快速生成、優(yōu)化和調(diào)試參數(shù)參數(shù)調(diào)整調(diào)試與集成口西門子：利