工業(yè)大模型技術(shù)應(yīng)用與發(fā)展報告1.0

2023.12編寫單位（排名不分先后）編寫單位（排名不分先后）參與編寫單位：百度在線網(wǎng)絡(luò)技術(shù)（北京）有限模型結(jié)構(gòu)細分模型人工智能的幾個相關(guān)概念模型結(jié)構(gòu)細分模型大模型：即基礎(chǔ)模型，在海量數(shù)據(jù)和計算資源的基礎(chǔ)上通過預(yù)先訓(xùn)練出來的，具有大參數(shù)規(guī)模的深度學(xué)習(xí)模型狹義多指大語言模型，廣義還包括CV、多模態(tài)等各種模型類型GPT：生成式預(yù)訓(xùn)練模型，大模型的一種類型，可生成內(nèi)容大規(guī)模預(yù)訓(xùn)練模型生成式大規(guī)模預(yù)訓(xùn)練模型生成式AI：能夠生成文本、圖片、視頻等內(nèi)容的智能技術(shù)，大模型為其提供了新的技術(shù)手段技術(shù)場景通用人工智能通用人工智能：技術(shù)場景通用人工智能通用人工智能：AI終極發(fā)展目標(biāo)，具備認(rèn)知、理解、推理、學(xué)習(xí)、創(chuàng)造和社會協(xié)作等能力大模型具備學(xué)習(xí)、生成等能力，但還缺少完備的推理、認(rèn)知能力的基礎(chǔ)設(shè)施——中工互聯(lián)來10年最大的機會——阿里…超3000億單詞超195PFlops我國最快超算“神威·太湖之光”1.7倍AI產(chǎn)品滲透速度全球排名第2引發(fā)產(chǎn)業(yè)領(lǐng)域應(yīng)用的熱烈討論與憧憬熱門應(yīng)用用戶破億所需時間即時通訊9個月短視頻社交2個月熱門應(yīng)用用戶破億所需時間即時通訊9個月短視頻社交2個月應(yīng)用程序商店應(yīng)用程序商店應(yīng)用層面?zhèn)鹘y(tǒng)模型結(jié)構(gòu)應(yīng)用層面?zhèn)鹘y(tǒng)模型結(jié)構(gòu)CAD生成等新應(yīng)用…n特定任務(wù)：點狀場景應(yīng)用效果更好n模型更新快：參數(shù)量少，可進行快速迭代n輕量化部署：所需存儲空間和算力更小開發(fā)+維護2具備在工業(yè)各環(huán)節(jié)進行應(yīng)用的能?基于ChatGPT直接開展智能客服等應(yīng)用?倍福將大模型融入TwinCATXAE客?基于ChatGPT直接開展智能客服等應(yīng)用?倍福將大模型融入TwinCATXAE客戶端，實現(xiàn)基于對話輔助編程?工業(yè)管理軟件企業(yè)Authentise推出插件，用戶可查詢最大的增材制造知識庫?科大訊飛推出星火一體機AlphaFold2科學(xué)大模型…星火大模型星火大模型制造、礦山等行航天、能源等行…………2.1大模型賦能工業(yè)領(lǐng)域的適用邊界與核心能力識別/模擬/預(yù)置型對話→與設(shè)備/工業(yè)系統(tǒng)的自然交互與推理預(yù)置型對話→與設(shè)備/工業(yè)系統(tǒng)的自然交互與推理規(guī)則式生成→工業(yè)代碼/圖文內(nèi)容的”涌現(xiàn)式”生成l大語料局部建模預(yù)測→基于全局信息高效高精度預(yù)測優(yōu)化局部建模預(yù)測→基于全局信息高效高精度預(yù)測優(yōu)化單一格式工業(yè)數(shù)據(jù)處理→多格式數(shù)據(jù)綜合轉(zhuǎn)換分析l問題邊界清晰單一格式工業(yè)數(shù)據(jù)處理→多格式數(shù)據(jù)綜合轉(zhuǎn)換分析2.2應(yīng)用總體視圖：4類核心模型、15+應(yīng)用場景，目前處于初步探索階段8%15%8%15%2%75%應(yīng)用模式專用大模型多模態(tài)大模型視覺大模型●語言大模型工業(yè)各環(huán)節(jié)圍繞語言、專用、多模態(tài)和視覺四類大率先切入率先切入最具變革潛力率先切入率先切入最具變革潛力當(dāng)前以大語言模型為主，4類模型應(yīng)用占比：75%、通用模型的場景化適配調(diào)優(yōu)是主要部署方式，問答2.2（1）大語言模型：主要應(yīng)用于工業(yè)問答交互、內(nèi)容生成，以提升任務(wù)處理效率為主，暫未觸及工業(yè)核心環(huán)節(jié)工業(yè)相關(guān)性工業(yè)代碼生成：基于輸入文本實現(xiàn)PLC代碼生成與輔助編程高從基于對話實現(xiàn)設(shè)備指令識別與維保知識獲取數(shù)據(jù)查詢與圖表繪制工業(yè)相關(guān)性工業(yè)代碼生成：基于輸入文本實現(xiàn)PLC代碼生成與輔助編程高從基于對話實現(xiàn)設(shè)備指令識別與維保知識獲取數(shù)據(jù)查詢與圖表繪制工業(yè)文檔外掛與快速檢索：實現(xiàn)設(shè)備診斷、知識查詢、員工培訓(xùn)、設(shè)計合規(guī)檢查通用文檔生成：基于輸入文本實現(xiàn)設(shè)計方案、報告與郵件編寫低生產(chǎn)設(shè)備管理研發(fā)內(nèi)容生成問答交互24%68%2%8%21%74%問答交互:應(yīng)用相對廣泛，行業(yè)與設(shè)備的(半)開放數(shù)據(jù)是主要語料實現(xiàn)設(shè)備狀態(tài)以及設(shè)備故障原因咨詢C3：通過自然語言對話，以文字+統(tǒng)計中工互聯(lián)：基于智工大模型實現(xiàn)跨行業(yè)、跨領(lǐng)域和跨崗位工業(yè)專用知識檢索西門子：與微軟合作，基于GPT開發(fā)代碼件回復(fù)等功能工業(yè)相關(guān)性智能輔助設(shè)計：自動生成大量符合需求的設(shè)計，并與既有零組高件及加工能力結(jié)合優(yōu)藥物/材料研發(fā)化突破高效研發(fā)：整合基因庫/結(jié)構(gòu)庫，加速材料發(fā)現(xiàn)、藥物分子結(jié)構(gòu)發(fā)現(xiàn)、性能預(yù)測效率低工業(yè)相關(guān)性智能輔助設(shè)計：自動生成大量符合需求的設(shè)計，并與既有零組高件及加工能力結(jié)合優(yōu)藥物/材料研發(fā)化突破高效研發(fā)：整合基因庫/結(jié)構(gòu)庫，加速材料發(fā)現(xiàn)、藥物分子結(jié)構(gòu)發(fā)現(xiàn)、性能預(yù)測效率低研發(fā)設(shè)備、生產(chǎn)、管理29%71%77%13%10%智能輔助設(shè)計:基于圖像或文本進行2D-CAD草圖構(gòu)建本數(shù)量+生成規(guī)范的限制，僅個別企業(yè)開展驗證性探索基于470萬CAD草圖數(shù)據(jù)訓(xùn)練每個CAD草圖對應(yīng)構(gòu)建草圖生成規(guī)范藥物材料研發(fā):聚焦蛋白質(zhì)/藥物的性質(zhì)、結(jié)構(gòu)與匹配能力的預(yù)測優(yōu)化的6億+蛋白結(jié)構(gòu)預(yù)測●格式轉(zhuǎn)換●知識發(fā)現(xiàn)●格式轉(zhuǎn)換●知識發(fā)現(xiàn)高低多模態(tài)大模型工業(yè)相關(guān)性+外掛知識庫，對異常圖精度具身智能復(fù)雜環(huán)境虛擬訓(xùn)練與交互：基于視覺-語言-動作大模型識別當(dāng)前環(huán)境自動生成控制指令，增強機器人復(fù)雜任務(wù)執(zhí)行能力高低多模態(tài)大模型工業(yè)相關(guān)性+外掛知識庫，對異常圖精度具身智能復(fù)雜環(huán)境虛擬訓(xùn)練與交互：基于視覺-語言-動作大模型識別當(dāng)前環(huán)境自動生成控制指令，增強機器人復(fù)雜任務(wù)執(zhí)行能力替代原有小模型，實現(xiàn)單模型多視覺任務(wù)多場景賦能缺陷檢測/設(shè)備巡檢：基于視覺大模型視覺大模型研發(fā)設(shè)備生產(chǎn)管理●通用識別●問答交互●綜合應(yīng)用10%10%73%17%14%38%41%7%●多模態(tài)大模型●視覺大模型視覺大模型：在有限數(shù)據(jù)前提下增強單個AI質(zhì)檢/巡檢模型的能力，降低開發(fā)門檻與成本多模態(tài)大模型：工業(yè)異常檢測與機器人領(lǐng)域?qū)崿F(xiàn)初步應(yīng)用，通過多類型數(shù)據(jù)處理強化綜合認(rèn)知水平設(shè)備診斷:基于對話，實現(xiàn)顏色、形狀、數(shù)量等復(fù)雜異常的具身智能:指令理解+感知環(huán)境信息+虛擬化方式訓(xùn)練，自動生成機器人動作規(guī)劃斯坦福：基于視覺語言模型，驅(qū)動機器人在虛擬空間生成規(guī)劃路線在陌生情景執(zhí)行率達到62%大模型根據(jù)圖像進行工業(yè)異常檢測，并輸出高質(zhì)量特征描述3技術(shù)體系：大模型是工業(yè)3技術(shù)體系：大模型是工業(yè)AI深度學(xué)習(xí)路徑的深化與拓展6大模型部署工業(yè)場景與應(yīng)用適配技術(shù)工業(yè)6大模型部署工業(yè)場景與應(yīng)用適配技術(shù)工業(yè)適配應(yīng)用技術(shù)3現(xiàn)工業(yè)大模型落地賦能AI應(yīng)用技術(shù)的工業(yè)領(lǐng)域遷移算法技術(shù)4基礎(chǔ)模型CV、語言、專用大模核心理論Transformer…5數(shù)據(jù)科學(xué)算法技術(shù)4基礎(chǔ)模型CV、語言、專用大模核心理論Transformer…5數(shù)據(jù)科學(xué)知識工程探索技術(shù)工業(yè)應(yīng)用探索方向2基礎(chǔ)2基礎(chǔ)支撐有效途徑大模型每10億參數(shù)（1G模型文件）所需最低顯存需求百億參數(shù)大模型，大模型每10億參數(shù)（1G模型文件）所需最低顯存需求百億參數(shù)大模型，使用1張英偉達A100GPU進行推理，每秒生成的token數(shù)大約為60已有大模型一體機及端側(cè)優(yōu)化芯片，實現(xiàn)推理加速聯(lián)合華為發(fā)布星火一體機，提供2.5P算力模型精度訓(xùn)練顯存微調(diào)顯存（LORA）推理顯存float32(全)4G2.4G0.6G0.5G西工大西工大：基于大模型的多設(shè)備協(xié)同，3.2數(shù)據(jù)：海量高質(zhì)工業(yè)數(shù)據(jù)/語料庫將成為落地部署的關(guān)鍵要素微調(diào)（場景微調(diào)（場景工業(yè)數(shù)據(jù)在所有數(shù)據(jù)的占比約10-15%某模型A：1000-百張千級問答對語料工業(yè)問答對工業(yè)數(shù)據(jù)在所有數(shù)據(jù)的占比約10-15%某模型A：1000-百張千級問答對語料工業(yè)問答對某模型A：40TB中文文本模型效果與數(shù)據(jù)量強相關(guān)，通常需億級以上規(guī)模數(shù)據(jù)集?RT-2：13個機器人在辦公室等環(huán)境中收集的17個月數(shù)據(jù)專業(yè)任務(wù)/多模態(tài)幾類核心提示語料庫工業(yè)問答檢索提示詞復(fù)格式…工業(yè)內(nèi)容/規(guī)劃生成提示詞分析規(guī)劃場景：X目標(biāo)-X語言-X生成格式…控制指令提示詞設(shè)備控制場景：通過function+prompt將語言指令和action映射3.3工具鏈+模型：低門檻開發(fā)和輕量化部署成為工業(yè)大模型探索重點與多推理后端兼容，實現(xiàn)工業(yè)低成本遷移需兼顧減輕模型體量、維持性能衰減，較具數(shù)學(xué)挑戰(zhàn)性知識傳遞2個主流路徑，工業(yè)領(lǐng)域以跟隨應(yīng)用為主與多推理后端兼容，實現(xiàn)工業(yè)低成本遷移需兼顧減輕模型體量、維持性能衰減，較具數(shù)學(xué)挑戰(zhàn)性知識傳遞2個主流路徑，工業(yè)領(lǐng)域以跟隨應(yīng)用為主?飛槳通過標(biāo)準(zhǔn)化部署接口，實現(xiàn)不同推理后端的零成本遷移?兼容20余家芯片廠商硬件設(shè)備，實現(xiàn)云邊端全場景協(xié)同利用其它數(shù)據(jù)資源或優(yōu)化策略(相互學(xué)習(xí)等)提高子模型性能利用其它數(shù)據(jù)資源或優(yōu)化策略(相互學(xué)習(xí)等)提高子模型性能模型微調(diào)由手動向半自動化演進在相同的帶標(biāo)簽數(shù)據(jù)集上指導(dǎo)子模型訓(xùn)練，形成高效小規(guī)模網(wǎng)絡(luò)半自動化調(diào)參手動調(diào)參半自動化調(diào)參手動調(diào)參MakerSuite工具迭代prompt自動合成數(shù)據(jù)擴充數(shù)據(jù)集基于信息抽取能力，簡化訓(xùn)練數(shù)據(jù)獲取集成AIGC能力，基于自然語言實現(xiàn)調(diào)參對開源大模型進行蒸餾對開源大模型進行蒸餾+預(yù)訓(xùn)練+指令微調(diào)，形成工業(yè)大模型AInno-15B（150億參數(shù)）3.4基礎(chǔ)模型：通用大模型的快速演進和專用大模型的能力升級迭代創(chuàng)新，為工業(yè)領(lǐng)域應(yīng)用創(chuàng)造更大前景迭代創(chuàng)新，為工業(yè)領(lǐng)域應(yīng)用創(chuàng)造更大前景訓(xùn)練：超訓(xùn)練：超1000億個時序數(shù)據(jù)點測試：超30萬個時序數(shù)據(jù)集，開展時、日、周、月的預(yù)測評估基于分子特性開展探索，在領(lǐng)域93%GPT-4.5融合了處理3D模型和視頻的能力深勢科技發(fā)布Uni-Mol，直接將分子3.5大模型+工業(yè)知識圖譜：大模型可能對通用知識圖譜產(chǎn)生一定沖擊，融合共生是發(fā)展趨勢賦能圖譜n本體構(gòu)建大模型使用大模型Prompt生成事件的本體n賦能圖譜n本體構(gòu)建大模型使用大模型Prompt生成事件的本體n數(shù)據(jù)增強作為預(yù)訓(xùn)練語料加速圖譜構(gòu)建到應(yīng)用過程利用GPT生成標(biāo)注數(shù)據(jù)/數(shù)據(jù)清洗，降低知識圖譜標(biāo)注端成本n知識抽取與應(yīng)用 n知識抽取與應(yīng)用 基于GPT做信息抽取、圖譜補全基于GPT做信息抽取、圖譜補全知識圖譜賦能大模型知識圖譜賦能大模型3.6應(yīng)用部署：三類核心部署方式，當(dāng)前以通用模型場景化應(yīng)用為主匹配/檢索模型結(jié)構(gòu)設(shè)計本上下文學(xué)習(xí)/知識梳理微調(diào)/量化/蒸餾/增強...領(lǐng)域數(shù)據(jù)庫匹配/檢索模型結(jié)構(gòu)設(shè)計本上下文學(xué)習(xí)/知識梳理微調(diào)/量化/蒸餾/增強...領(lǐng)域數(shù)據(jù)庫谷歌PALME：基于機器人17個月數(shù)據(jù)的VLA模型自有數(shù)據(jù)，提高效率SymphonyAI：外掛工業(yè)數(shù)據(jù)集，實現(xiàn)機器診斷無參數(shù)更新-Prompt設(shè)計外掛知識庫（公/私）參數(shù)更新微調(diào)（公/私私）工業(yè)應(yīng)用工業(yè)應(yīng)用工業(yè)應(yīng)用工業(yè)應(yīng)用工業(yè)大模型工業(yè)大模型領(lǐng)域大模型領(lǐng)域大模型API接口/插件API接口/插件 通用大模型通用大模型通用大模型1.通用場景基于模式通用能力，結(jié)合數(shù)據(jù)相對充足，任務(wù)數(shù)據(jù)充足、專有性隱私性工業(yè)領(lǐng)域知識信息工業(yè)語料依賴性強強，全部依賴領(lǐng)域語料郵件回復(fù)…ChatGPT：可直接生成簡單功能的西門子代碼生成、故障缺陷提取分析、企業(yè)培訓(xùn)…百度-文心：上傳設(shè)備故障文檔，分析故障原因研發(fā)輔助、生產(chǎn)優(yōu)化…Salesforce-EinsteinGPT：基于ChatGPT與藥物研發(fā)、高性能材料研制…臉書-ESMFold結(jié)構(gòu)預(yù)測，150億參數(shù)--華為-盤古行業(yè)大模型4產(chǎn)業(yè)體系：不同主體布局以及技術(shù)產(chǎn)品升級4產(chǎn)業(yè)體系：不同主體布局以及技術(shù)產(chǎn)品升級工業(yè)大模型產(chǎn)品方案●●工業(yè)大模型部署一體機文件審文件審工具工具大模型代碼生大模型代碼生成+檢查代碼異構(gòu)智人協(xié)同工業(yè)產(chǎn)品融合業(yè)機模型工模型工器人大模型大模型生成行業(yè)/領(lǐng)域大模型供應(yīng)鏈物流、異物檢測供應(yīng)鏈物流、異物檢測等場景大模型+藥物分子、礦山等行業(yè)大模型基礎(chǔ)大模型語言、語言、CV等基礎(chǔ)大模型多模態(tài)機器人框架平臺大模型全鏈路工具大模型全鏈路工具計算設(shè)施鏈與鏈與AI昇騰支撐打補丁工具創(chuàng)新前沿探索能力推廣打補丁工具創(chuàng)新前沿探索能力推廣將大模型融入已有工業(yè)技術(shù)產(chǎn)品模型技術(shù)和產(chǎn)品等前沿方向創(chuàng)新將大模型融入已有工業(yè)技術(shù)產(chǎn)品模型技術(shù)和產(chǎn)品等前沿方向創(chuàng)新的引領(lǐng)者面向特定任務(wù)/領(lǐng)域的模型與輕量化工具輸出控制指令4.1大模型+裝備：增強具身智能水平，有望提升工業(yè)設(shè)備靈活性和協(xié)同性輸出控制指令執(zhí)行控制指令原理執(zhí)行控制指令原理②將桌子上信息表示為向量從桌子上拿籃球能力③根據(jù)任務(wù)和環(huán)境生成指令①將任務(wù)信息轉(zhuǎn)化為向量視覺模型ViT能力③根據(jù)任務(wù)和環(huán)境生成指令①將任務(wù)信息轉(zhuǎn)化為向量視覺模型ViT?新環(huán)境/對象感知理解實例3.強泛化能力對于陌生場景，無需針對性訓(xùn)練或模型微調(diào)，通過多步推理和知識遷移控制機器完成任務(wù)大語言模型+視覺-語言-動作模型VLA通用機器人大模型+數(shù)據(jù)集特定任務(wù)效率提4.2大模型+自動化：探索極為初步，距離實際應(yīng)用還相對遙遠?生成工業(yè)代碼邏輯正確率64%，執(zhí)行?能夠準(zhǔn)確生成計數(shù)器、定時器等標(biāo)準(zhǔn)算法，交通控制等控制代碼?生成工業(yè)代碼邏輯正確率64%，執(zhí)行?能夠準(zhǔn)確生成計數(shù)器、定時器等標(biāo)準(zhǔn)算法，交通控制等控制代碼，前饋、壓力控制等流程代碼?基于多輪對話能夠?qū)崿F(xiàn)代碼優(yōu)化與錯誤修正能力現(xiàn)狀面臨挑戰(zhàn)程序開發(fā)力西門子：聯(lián)合微軟開發(fā)工業(yè)Copilot工具并將其集成于自身工程框架，通過語言交互實現(xiàn)自動化代碼的快速生成、優(yōu)化和調(diào)試計成基于大模型實現(xiàn)簡單控制代碼生成，但當(dāng)前語言匹配度和生成準(zhǔn)確度仍有待提升ABBABB：通用大模型工業(yè)代碼生成能力驗證倍福、西門子：將大模型融入客戶端，實現(xiàn)輔助編程倍福：將大模型融入TwinCATXAE客戶端，實現(xiàn)基于對話輔助編程?包含控制邏輯、接口需求的復(fù)雜Prompt設(shè)計基于大模型的控制參數(shù)整定已有實驗性探索西門子：利用GPT-4開展非線性多因素PID控制算法整定，并完成某行業(yè)具體工況下的模擬驗證開發(fā)周期由年月提升至天級開發(fā)周期由年月提升至天級分并執(zhí)行復(fù)雜工作形成整合所有工業(yè)數(shù)據(jù)知識資源、工具、人的智能交互引擎?數(shù)據(jù)積累?規(guī)則行為積累經(jīng)營管理軟件生產(chǎn)管控軟件經(jīng)營管理軟件生產(chǎn)管控軟件?統(tǒng)計分析、業(yè)務(wù)問答助手?精準(zhǔn)數(shù)據(jù)洞察、市場營銷大模型融合程度研發(fā)設(shè)計軟件模型查找、設(shè)計與仿真計算效率翻模精度?模型能力增強（思?模型能力增強（思人機交互效率生產(chǎn)數(shù)據(jù)分析水平應(yīng)用局限性大模型如何應(yīng)用于生產(chǎn)或開展模式創(chuàng)新還不清晰，且無法直接判斷ROI機器視覺應(yīng)用局限性大模型如何應(yīng)用于生產(chǎn)或開展模式創(chuàng)新還不清晰，且無法直接判斷ROI機器視覺VS大模型大模型的認(rèn)知決策取決于歷史訓(xùn)練數(shù)據(jù)，在解決動態(tài)工業(yè)問題的應(yīng)用效果較差具備廣博知識，但信息精確度低，制約工業(yè)核心環(huán)節(jié)/直接決策場景應(yīng)用大模型準(zhǔn)確率80%工業(yè)場景準(zhǔn)確率需求99%+甚至100%工程工程化局限性工業(yè)場景復(fù)雜，導(dǎo)致高質(zhì)量工業(yè)語料難以收集，制約大模型性能工業(yè)場景復(fù)雜，導(dǎo)致高質(zhì)量工業(yè)語料難以收集，制約大模型性能100張VS10