工業(yè)大模型技術(shù)應(yīng)用與發(fā)展報告1.0

2023.12編寫單位（排名不分先后）編寫單位（排名不分先后）模型結(jié)構(gòu)細(xì)分模型技術(shù)場景大規(guī)模預(yù)訓(xùn)練模型生成式AI：能夠生成文本、模型結(jié)構(gòu)細(xì)分模型技術(shù)場景大規(guī)模預(yù)訓(xùn)練模型生成式AI：能夠生成文本、圖片、視頻等內(nèi)容的智能技術(shù)，大模型為其提供了新的技術(shù)手段通用人工智能人工智能的幾個相關(guān)概念大模型：即基礎(chǔ)模型，在海量數(shù)據(jù)和計算資源的基礎(chǔ)上通過預(yù)先訓(xùn)練出來的，具有大參數(shù)規(guī)模的深度學(xué)習(xí)模型GPT：生成式預(yù)訓(xùn)練模型，大模型的一種類型，可生成內(nèi)容學(xué)習(xí)、創(chuàng)造和社會協(xié)作等能力>產(chǎn)業(yè)應(yīng)用場景成為大模型最佳的基礎(chǔ)設(shè)施——中工互聯(lián)>制造業(yè)是AI大模型的重要戰(zhàn)場，未來10年最大的機(jī)會——阿里…超3000億單詞超195PFlops我國最快超算“神威·太湖之光”1.7倍AI產(chǎn)品滲透速度全球排名第2引發(fā)產(chǎn)業(yè)領(lǐng)域應(yīng)用的熱烈討論與憧憬1.1大模型成為通用AI新范式，引發(fā)工業(yè)應(yīng)用變革討論熱門應(yīng)用用戶破億所需時間即時通訊9個月短視頻社交2個月熱門應(yīng)用用戶破億所需時間即時通訊9個月短視頻社交2個月應(yīng)用程序商店應(yīng)用程序商店應(yīng)用層面應(yīng)用層面1.2工業(yè)大模型與專用小模型成為工業(yè)AI發(fā)展的兩條協(xié)同路徑傳統(tǒng)模型結(jié)構(gòu)CAD生成等新應(yīng)用CAD生成等新應(yīng)用…少，可進(jìn)行快速迭代開發(fā)+維護(hù)儲空間和算力更小?基于ChatGPT直接開展智能客服等應(yīng)用??基于ChatGPT直接開展智能客服等應(yīng)用?倍福將大模型融入TwinCATXAE客戶端，實現(xiàn)基于對話輔助編程戶可查詢最大的增材制造知識庫?科大訊飛推出星火一體機(jī)GoogleAlphaFold2科學(xué)大模型…1.3大模型初步形成賦能工業(yè)的核心方式與產(chǎn)品形態(tài)SIEMENSSIEMENS星火大模型星火大模型…………制造、礦山等行航天、能源等行航天、能源等行預(yù)置型對話→與設(shè)備/工業(yè)系統(tǒng)的自然交互與推理多模態(tài)單一格式工業(yè)數(shù)據(jù)處理→多格式數(shù)據(jù)綜合轉(zhuǎn)換分析預(yù)置型對話→與設(shè)備/工業(yè)系統(tǒng)的自然交互與推理多模態(tài)單一格式工業(yè)數(shù)據(jù)處理→多格式數(shù)據(jù)綜合轉(zhuǎn)換分析2.1大模型賦能工業(yè)領(lǐng)域的適用邊界與核心能力規(guī)則式生成→工業(yè)代碼/圖文內(nèi)容的”涌現(xiàn)式”生成識別/模擬/局部建模預(yù)測→基于全局信息高識別/模擬/局部建模預(yù)測→基于全局信息高效高精度預(yù)測優(yōu)化應(yīng)用模式語言大模型專用大模型多模態(tài)大模型視覺大模型率先切入率先切入最具變革潛力應(yīng)用模式語言大模型專用大模型多模態(tài)大模型視覺大模型率先切入率先切入最具變革潛力8%15%2%75%>工業(yè)各環(huán)節(jié)圍繞語言、專用、多模態(tài)和視覺四類大>通用模型的場景化適配調(diào)優(yōu)是主要部署方式，問答工業(yè)相關(guān)性輸入文本實現(xiàn)PLC代碼生成與輔助編程高從基于對話實現(xiàn)設(shè)備指令識別與維保知識獲取數(shù)據(jù)查詢與圖表繪制工業(yè)相關(guān)性輸入文本實現(xiàn)PLC代碼生成與輔助編程高從基于對話實現(xiàn)設(shè)備指令識別與維保知識獲取數(shù)據(jù)查詢與圖表繪制工業(yè)文檔外掛與快速檢識查詢、員工培訓(xùn)、設(shè)計合規(guī)檢查輸入文本實現(xiàn)設(shè)計方案、報告與郵件編寫低生產(chǎn)設(shè)備管理研發(fā)內(nèi)容生成問答交互實現(xiàn)設(shè)備狀態(tài)以及設(shè)備故障原因咨詢C3：通過自然語言對話，實現(xiàn)設(shè)備狀態(tài)以及設(shè)備故障原因咨詢C3：通過自然語言對話，以文字+統(tǒng)計中工互聯(lián)：基于智工大模型實現(xiàn)跨行業(yè)、跨領(lǐng)域和跨崗位工業(yè)專用知識檢索西門子：與微軟合作，基于GPT開發(fā)代碼24%74%68%2%8%21%問答交互:問答交互:應(yīng)用相對廣泛，行業(yè)與設(shè)備的(半)開放數(shù)據(jù)是主要語料件回復(fù)等功能工業(yè)相關(guān)性29%71%77%13%10%智能輔助設(shè)計:基于圖像或文本進(jìn)行2D-CAD草圖構(gòu)建本數(shù)量+生成規(guī)范的限制，僅個別企業(yè)開展驗證性探索工業(yè)相關(guān)性29%71%77%13%10%智能輔助設(shè)計:基于圖像或文本進(jìn)行2D-CAD草圖構(gòu)建本數(shù)量+生成規(guī)范的限制，僅個別企業(yè)開展驗證性探索 藥物材料研發(fā):聚焦蛋白質(zhì)/藥物的性質(zhì)、結(jié)構(gòu)與匹配能力的預(yù)測優(yōu)化的6億+蛋白結(jié)構(gòu)預(yù)測生成大量符合需求的設(shè)計，并與既有零組件及加工能力結(jié)合優(yōu)化高藥物/材料研發(fā)/結(jié)構(gòu)庫，加速材料發(fā)現(xiàn)、藥物分子結(jié)構(gòu)發(fā)現(xiàn)、性能預(yù)測效率低研發(fā)設(shè)備、生產(chǎn)、管理研發(fā)格式轉(zhuǎn)換知識發(fā)現(xiàn)多模態(tài)大模型工業(yè)相關(guān)性+外掛知識庫，對異常圖精度視覺-語言-動作大模型識別當(dāng)前環(huán)境自動生成控制指令，增強(qiáng)機(jī)器人復(fù)雜任務(wù)執(zhí)行能力具身智能復(fù)雜環(huán)境虛高替代原有小模型，實多模態(tài)大模型工業(yè)相關(guān)性+外掛知識庫，對異常圖精度視覺-語言-動作大模型識別當(dāng)前環(huán)境自動生成控制指令，增強(qiáng)機(jī)器人復(fù)雜任務(wù)執(zhí)行能力具身智能復(fù)雜環(huán)境虛高替代原有小模型，實現(xiàn)單模型多視覺任務(wù)多場景賦能缺陷檢測/設(shè)備巡低視覺大模型研發(fā)設(shè)備管理生產(chǎn)10%17%73%14%38%41%7%多模態(tài)大模型視覺大模型視覺大模型：在有限數(shù)據(jù)前提下增強(qiáng)單個AI質(zhì)檢/巡檢模型的能力，降低開發(fā)門檻與成本過多類型數(shù)據(jù)處理強(qiáng)化綜合認(rèn)知水平設(shè)備診斷:基于對話設(shè)備診斷:基于對話，實現(xiàn)顏色、形狀、數(shù)量等復(fù)雜異常的具身智能:具身智能:指令理解+感知環(huán)境信息+虛擬化方式訓(xùn)練，自動生成機(jī)器人動作規(guī)劃機(jī)器人在虛擬空間生成規(guī)劃路線通用識別問答交互綜合應(yīng)用通用識別問答交互綜合應(yīng)用大模型根據(jù)圖像進(jìn)行工業(yè)異常檢測，并輸出高質(zhì)量特征描述算法技術(shù)6大模型部署工業(yè)場景與應(yīng)用適配技術(shù)工業(yè)適配3應(yīng)用技術(shù)45數(shù)據(jù)科學(xué)知識工程探索技術(shù)算法技術(shù)6大模型部署工業(yè)場景與應(yīng)用適配技術(shù)工業(yè)適配3應(yīng)用技術(shù)45數(shù)據(jù)科學(xué)知識工程探索技術(shù)2基礎(chǔ)支撐算力3技術(shù)體系：大模型是工業(yè)AI深度學(xué)習(xí)路徑的深化與拓展現(xiàn)工業(yè)大模型落地賦能AI應(yīng)用技術(shù)的工業(yè)領(lǐng)域遷移工業(yè)應(yīng)用探索方向有效途徑11大模型每10億參數(shù)（1G模型文件）所需最低顯存需求>百億參數(shù)大模型，使用1張英偉達(dá)A100GPU進(jìn)行大模型每10億參數(shù)（1G模型文件）所需最低顯存需求>百億參數(shù)大模型，使用1張英偉達(dá)A100GPU進(jìn)行推理，每秒生成的token數(shù)大約為60>已有大模型一體機(jī)及端側(cè)優(yōu)化芯片，實現(xiàn)推理加速聯(lián)合華為發(fā)布星火一體機(jī)，提供2.5P算力AX650N芯片，可達(dá)361FPS3.1算力：端/邊緣側(cè)推理的大模型專用計算有望成為未來趨勢>西工大：基于大模型的多設(shè)備協(xié)同，模型精度訓(xùn)練顯存訓(xùn)練顯存微調(diào)顯存微調(diào)顯存（LORA）推理顯存推理顯存float32(全)4G4G2.4G2.4G0.6G0.5G微調(diào)（場景幾類核心提示語料庫復(fù)格式…提示詞微調(diào)（場景幾類核心提示語料庫復(fù)格式…提示詞語言-X生成格式…設(shè)備控制場景：通過function+prompt將語言指令和action映射工業(yè)數(shù)據(jù)在所有數(shù)據(jù)的占比約10-15%某模型A：1000-百張某模型B：2000個左右某模型A：40TB中文文本工業(yè)問答對專業(yè)任務(wù)/多模態(tài)3.2數(shù)據(jù)：海量高質(zhì)工業(yè)數(shù)據(jù)/語料庫將成為落地部署的關(guān)鍵要素——千級問答對語料——模型效果與數(shù)據(jù)量強(qiáng)相關(guān)，通常需億級以上規(guī)模數(shù)據(jù)集模型效果與數(shù)據(jù)量強(qiáng)相關(guān)，通常需億級以上規(guī)模數(shù)據(jù)集?RT-2：13個機(jī)器人在辦公室等環(huán)境中收集的17個月數(shù)據(jù)>與多推理后端兼容，實現(xiàn)工業(yè)低成本遷移需兼顧減輕模型體量、維持性能衰減，較具數(shù)學(xué)挑戰(zhàn)性小模型-1小模型-2知識傳遞2個主流路徑，工業(yè)領(lǐng)域以跟隨應(yīng)用為主在相同的帶標(biāo)簽數(shù)據(jù)集上指導(dǎo)子模型訓(xùn)練，形成高效小規(guī)模網(wǎng)絡(luò)對開源大模型進(jìn)行蒸餾+預(yù)訓(xùn)練+指令微調(diào)，>與多推理后端兼容，實現(xiàn)工業(yè)低成本遷移需兼顧減輕模型體量、維持性能衰減，較具數(shù)學(xué)挑戰(zhàn)性小模型-1小模型-2知識傳遞2個主流路徑，工業(yè)領(lǐng)域以跟隨應(yīng)用為主在相同的帶標(biāo)簽數(shù)據(jù)集上指導(dǎo)子模型訓(xùn)練，形成高效小規(guī)模網(wǎng)絡(luò)對開源大模型進(jìn)行蒸餾+預(yù)訓(xùn)練+指令微調(diào)，形成工業(yè)大模型AInno-15B（150億參數(shù)）利用其它數(shù)據(jù)資源或優(yōu)化策略(相互學(xué)習(xí)等)提高子模型性能半自動化調(diào)參MicrosoftGoogeMakerSuite工具迭代prompt自動合成數(shù)據(jù)擴(kuò)充數(shù)據(jù)集基于信息抽取能力，簡化訓(xùn)練數(shù)據(jù)獲取集成AIGC能力，基于自然語言實現(xiàn)調(diào)參3.3工具鏈+模型：低門檻開發(fā)和輕量化部署成為工業(yè)大模型探索重點?飛槳通過標(biāo)準(zhǔn)化部署接口，實現(xiàn)不同推理后端的零成本遷移?兼容20余家芯片廠商硬件設(shè)備，實現(xiàn)云邊端全場景協(xié)同>模型微調(diào)由手動向半自動化演進(jìn)手動調(diào)參手動調(diào)參3.4基礎(chǔ)模型：通用大模型的快速演進(jìn)和專用大模型的能力升級3.4基礎(chǔ)模型：通用大模型的快速演進(jìn)和專用大模型的能力升級TimeGPT訓(xùn)練：超1000億個時序數(shù)據(jù)點測試：超30萬個時序數(shù)據(jù)集，開展時、日、周、月的預(yù)測評估基于分子特性開展探索，在領(lǐng)域93%GPT-4.5融合了處理3D模型和視頻的能力賦能圖譜本體構(gòu)建大模型>使用大模型Prompt生成事件的本體數(shù)據(jù)增強(qiáng)作為預(yù)訓(xùn)練語料賦能圖譜本體構(gòu)建大模型>使用大模型Prompt生成事件的本體數(shù)據(jù)增強(qiáng)作為預(yù)訓(xùn)練語料知識抽取與應(yīng)用賦能大模型>利用GPT生成標(biāo)注數(shù)據(jù)/數(shù)據(jù)清加速圖譜構(gòu)建到應(yīng)用過程加速圖譜構(gòu)建到應(yīng)用過程 >基于>基于GPT做信息抽取、圖譜補(bǔ)全知識圖譜知識圖譜領(lǐng)域大模型模型結(jié)構(gòu)設(shè)計工業(yè)大模型微調(diào)/量化/蒸餾/增強(qiáng)... 通用大模型工業(yè)應(yīng)用API接口/插件 通用大模型工業(yè)應(yīng)用領(lǐng)域大模型模型結(jié)構(gòu)設(shè)計工業(yè)大模型微調(diào)/量化/蒸餾/增強(qiáng)... 通用大模型工業(yè)應(yīng)用API接口/插件 通用大模型工業(yè)應(yīng)用領(lǐng)域數(shù)據(jù)庫3.6應(yīng)用部署：三類核心部署方式，當(dāng)前以通用模型場景化應(yīng)用為主外掛知識庫（公/私）參數(shù)更新微調(diào)（公/私）無參數(shù)更新-Prompt設(shè)計上下文學(xué)習(xí)/知識梳理 數(shù)據(jù)相對充足，任務(wù)工業(yè)語料依賴性強(qiáng)1.通用場景數(shù)據(jù)充足、專有性隱私性數(shù)據(jù)相對充足，任務(wù)工業(yè)語料依賴性強(qiáng)1.通用場景數(shù)據(jù)充足、專有性隱私性強(qiáng)，全部依賴領(lǐng)域語料藥物研發(fā)、高性能材料研制…工業(yè)領(lǐng)域知識信息郵件回復(fù)…郵件回復(fù)…取分析、企業(yè)培訓(xùn)…Salesforce-EinsteinGPT：基于ChatGPT與自有數(shù)據(jù)，提高效率Salesforce-EinsteinGPT：基于ChatGPT與自有數(shù)據(jù)，提高效率華為-盤古行業(yè)大模型臉書-ESMFold：蛋白質(zhì)谷歌-PALM-E：基于機(jī)器人17個月數(shù)據(jù)的VLA模型ChatGPT：可直接生成簡單功能的西門子文檔，分析故障原因SymphonyAI：外掛工業(yè)數(shù)據(jù)集，實現(xiàn)機(jī)器診斷文件審查、設(shè)備監(jiān)控、操作問答工具大模型代碼生成+檢查代碼工業(yè)大模型部署一體機(jī)供應(yīng)鏈物流、異物檢測等場景大模型+藥物分子、礦山等行業(yè)大模型CV等基礎(chǔ)大模型大模型全鏈路工具鏈與AI昇騰支撐打補(bǔ)丁工具創(chuàng)新前沿探索發(fā)+行業(yè)賦能”全鏈條文件審查、設(shè)備監(jiān)控、操作問答工具大模型代碼生成+檢查代碼工業(yè)大模型部署一體機(jī)供應(yīng)鏈物流、異物檢測等場景大模型+藥物分子、礦山等行業(yè)大模型CV等基礎(chǔ)大模型大模型全鏈路工具鏈與AI昇騰支撐打補(bǔ)丁工具創(chuàng)新前沿探索發(fā)+行業(yè)賦能”全鏈條技術(shù)產(chǎn)品面向特定任務(wù)/領(lǐng)域的模型與輕量化工具模型技術(shù)和產(chǎn)品等前沿方向創(chuàng)新的引領(lǐng)者4產(chǎn)業(yè)體系：不同主體布局以及技術(shù)產(chǎn)品升級FAUCFAUCBECKHOFFBECKHOFF&symphonyAN&symphonyANGoogle工業(yè)大模型產(chǎn)品方案異構(gòu)智人協(xié)同工業(yè)產(chǎn)品融合業(yè)機(jī)模型工模型工器人大模型大模型行業(yè)/領(lǐng)域大模型基礎(chǔ)大模型多模態(tài)機(jī)器人框架平臺計算設(shè)施能力推廣能力推廣輸出控制指令執(zhí)行控制指令原理能力輸出控制指令執(zhí)行控制指令原理能力?新環(huán)境/對象感知理解實例3.強(qiáng)泛化能力對于陌生場景，無需針對性訓(xùn)練或模型微調(diào)，通過多步推理和知識4.1大模型+裝備：增強(qiáng)具身智能水平，有望提升工業(yè)設(shè)備靈活性和協(xié)同性視覺模型ViT視覺模型ViT②將桌子上信息表示為向量從桌子上拿籃球③根據(jù)任務(wù)和環(huán)境生成指令①將任務(wù)信息轉(zhuǎn)化為向量RT-1大語言模型+視覺-語言-動作模型VLA通用機(jī)器人大模型+數(shù)據(jù)集特定任務(wù)效率提計程序開發(fā)計程序開發(fā)成4.2大模型+自動化：探索極為初步，距離實際應(yīng)用還相對遙遠(yuǎn)BECKHOFF實現(xiàn)基于對話輔助編程能力現(xiàn)狀面臨挑西門子：聯(lián)合微軟開發(fā)工業(yè)BECKHOFF實現(xiàn)基于對話輔助編程能力現(xiàn)狀面臨挑西門子：聯(lián)合微軟開發(fā)工業(yè)Copilot工具并將其集成于自身工程框架，通過語言交互實現(xiàn)自動化代碼的快速生成、優(yōu)化和調(diào)試戰(zhàn)將大模型融入客戶端，實現(xiàn)輔助編程ABB將大模型融入客戶端，實現(xiàn)輔助編程?生成工業(yè)代碼邏輯正確率64%，執(zhí)行?能夠準(zhǔn)確生成計數(shù)器、定時器等標(biāo)準(zhǔn)算法，交通控制等控制代碼，前饋、壓力控制等流程代碼?基于多輪對話能夠?qū)崿F(xiàn)代碼優(yōu)化與錯誤修正?包含控制邏輯、接口需求的復(fù)雜Prompt設(shè)計基于大模型的控制參數(shù)整定已有實驗性探索西門子：利用GPT-4開展非線性多因素PID控制算法整定，并完成某行業(yè)具體工況下的模擬驗證開發(fā)周期由年月提升至天級開發(fā)周期由年月提升至天級分并執(zhí)行復(fù)雜工作形成整合所有工業(yè)數(shù)據(jù)知識資源、工具、人的智能交互引擎?數(shù)據(jù)積累?規(guī)則行為積累?模型能力增強(qiáng)（思4.3大模型+工業(yè)軟件：從效率精度提升到應(yīng)用開發(fā)模式重構(gòu)查找交互效率查找交互效率匹配、預(yù)測、洞察水平匹配、預(yù)測、洞察水平經(jīng)營管理軟件?統(tǒng)計分析、業(yè)務(wù)問答助手?精準(zhǔn)數(shù)據(jù)模型查找、設(shè)計與仿真計算效率翻模精度研發(fā)設(shè)計軟件經(jīng)營管理軟件?統(tǒng)計分析、業(yè)務(wù)問答助手?精準(zhǔn)數(shù)據(jù)模型查找、設(shè)計與仿真計算效率翻模精度研發(fā)設(shè)計軟件人機(jī)交互效率生產(chǎn)數(shù)據(jù)分析水平生產(chǎn)管控軟件 大大模型融合程度應(yīng)用局限性具備廣博知識，但信息精確度低，制約工業(yè)核心環(huán)節(jié)/直接決策場景應(yīng)用應(yīng)用局限性具備廣博知識，但信息精確度低，制約工業(yè)核心環(huán)節(jié)/直接決策場景應(yīng)用大模型準(zhǔn)確率80%工業(yè)場景準(zhǔn)確率需求99%+甚至1