工業(yè)大模型技術應用與發(fā)展報告1.0

2023.12編寫單位（排名不分先后）編寫單位（排名不分先后）模型結構細分模型技術場景大規(guī)模預訓練模型生成式AI：能夠生成文本、模型結構細分模型技術場景大規(guī)模預訓練模型生成式AI：能夠生成文本、圖片、視頻等內容的智能技術，大模型為其提供了新的技術手段通用人工智能人工智能的幾個相關概念大模型：即基礎模型，在海量數(shù)據(jù)和計算資源的基礎上通過預先訓練出來的，具有大參數(shù)規(guī)模的深度學習模型GPT：生成式預訓練模型，大模型的一種類型，可生成內容學習、創(chuàng)造和社會協(xié)作等能力>產業(yè)應用場景成為大模型最佳的基礎設施——中工互聯(lián)>制造業(yè)是AI大模型的重要戰(zhàn)場，未來10年最大的機會——阿里…超3000億單詞超195PFlops我國最快超算“神威·太湖之光”1.7倍AI產品滲透速度全球排名第2引發(fā)產業(yè)領域應用的熱烈討論與憧憬1.1大模型成為通用AI新范式，引發(fā)工業(yè)應用變革討論熱門應用用戶破億所需時間即時通訊9個月短視頻社交2個月熱門應用用戶破億所需時間即時通訊9個月短視頻社交2個月應用程序商店應用程序商店應用層面應用層面1.2工業(yè)大模型與專用小模型成為工業(yè)AI發(fā)展的兩條協(xié)同路徑傳統(tǒng)模型結構CAD生成等新應用CAD生成等新應用…少，可進行快速迭代開發(fā)+維護儲空間和算力更小?基于ChatGPT直接開展智能客服等應用??基于ChatGPT直接開展智能客服等應用?倍福將大模型融入TwinCATXAE客戶端，實現(xiàn)基于對話輔助編程戶可查詢最大的增材制造知識庫?科大訊飛推出星火一體機GoogleAlphaFold2科學大模型…1.3大模型初步形成賦能工業(yè)的核心方式與產品形態(tài)SIEMENSSIEMENS星火大模型星火大模型…………制造、礦山等行航天、能源等行航天、能源等行預置型對話→與設備/工業(yè)系統(tǒng)的自然交互與推理多模態(tài)單一格式工業(yè)數(shù)據(jù)處理→多格式數(shù)據(jù)綜合轉換分析預置型對話→與設備/工業(yè)系統(tǒng)的自然交互與推理多模態(tài)單一格式工業(yè)數(shù)據(jù)處理→多格式數(shù)據(jù)綜合轉換分析2.1大模型賦能工業(yè)領域的適用邊界與核心能力規(guī)則式生成→工業(yè)代碼/圖文內容的”涌現(xiàn)式”生成識別/模擬/局部建模預測→基于全局信息高識別/模擬/局部建模預測→基于全局信息高效高精度預測優(yōu)化應用模式語言大模型專用大模型多模態(tài)大模型視覺大模型率先切入率先切入最具變革潛力應用模式語言大模型專用大模型多模態(tài)大模型視覺大模型率先切入率先切入最具變革潛力8%15%2%75%>工業(yè)各環(huán)節(jié)圍繞語言、專用、多模態(tài)和視覺四類大>通用模型的場景化適配調優(yōu)是主要部署方式，問答工業(yè)相關性輸入文本實現(xiàn)PLC代碼生成與輔助編程高從基于對話實現(xiàn)設備指令識別與維保知識獲取數(shù)據(jù)查詢與圖表繪制工業(yè)相關性輸入文本實現(xiàn)PLC代碼生成與輔助編程高從基于對話實現(xiàn)設備指令識別與維保知識獲取數(shù)據(jù)查詢與圖表繪制工業(yè)文檔外掛與快速檢識查詢、員工培訓、設計合規(guī)檢查輸入文本實現(xiàn)設計方案、報告與郵件編寫低生產設備管理研發(fā)內容生成問答交互實現(xiàn)設備狀態(tài)以及設備故障原因咨詢C3：通過自然語言對話，實現(xiàn)設備狀態(tài)以及設備故障原因咨詢C3：通過自然語言對話，以文字+統(tǒng)計中工互聯(lián)：基于智工大模型實現(xiàn)跨行業(yè)、跨領域和跨崗位工業(yè)專用知識檢索西門子：與微軟合作，基于GPT開發(fā)代碼24%74%68%2%8%21%問答交互:問答交互:應用相對廣泛，行業(yè)與設備的(半)開放數(shù)據(jù)是主要語料件回復等功能工業(yè)相關性29%71%77%13%10%智能輔助設計:基于圖像或文本進行2D-CAD草圖構建本數(shù)量+生成規(guī)范的限制，僅個別企業(yè)開展驗證性探索工業(yè)相關性29%71%77%13%10%智能輔助設計:基于圖像或文本進行2D-CAD草圖構建本數(shù)量+生成規(guī)范的限制，僅個別企業(yè)開展驗證性探索 藥物材料研發(fā):聚焦蛋白質/藥物的性質、結構與匹配能力的預測優(yōu)化的6億+蛋白結構預測生成大量符合需求的設計，并與既有零組件及加工能力結合優(yōu)化高藥物/材料研發(fā)/結構庫，加速材料發(fā)現(xiàn)、藥物分子結構發(fā)現(xiàn)、性能預測效率低研發(fā)設備、生產、管理研發(fā)格式轉換知識發(fā)現(xiàn)多模態(tài)大模型工業(yè)相關性+外掛知識庫，對異常圖精度視覺-語言-動作大模型識別當前環(huán)境自動生成控制指令，增強機器人復雜任務執(zhí)行能力具身智能復雜環(huán)境虛高替代原有小模型，實多模態(tài)大模型工業(yè)相關性+外掛知識庫，對異常圖精度視覺-語言-動作大模型識別當前環(huán)境自動生成控制指令，增強機器人復雜任務執(zhí)行能力具身智能復雜環(huán)境虛高替代原有小模型，實現(xiàn)單模型多視覺任務多場景賦能缺陷檢測/設備巡低視覺大模型研發(fā)設備管理生產10%17%73%14%38%41%7%多模態(tài)大模型視覺大模型視覺大模型：在有限數(shù)據(jù)前提下增強單個AI質檢/巡檢模型的能力，降低開發(fā)門檻與成本過多類型數(shù)據(jù)處理強化綜合認知水平設備診斷:基于對話設備診斷:基于對話，實現(xiàn)顏色、形狀、數(shù)量等復雜異常的具身智能:具身智能:指令理解+感知環(huán)境信息+虛擬化方式訓練，自動生成機器人動作規(guī)劃機器人在虛擬空間生成規(guī)劃路線通用識別問答交互綜合應用通用識別問答交互綜合應用大模型根據(jù)圖像進行工業(yè)異常檢測，并輸出高質量特征描述算法技術6大模型部署工業(yè)場景與應用適配技術工業(yè)適配3應用技術45數(shù)據(jù)科學知識工程探索技術算法技術6大模型部署工業(yè)場景與應用適配技術工業(yè)適配3應用技術45數(shù)據(jù)科學知識工程探索技術2基礎支撐算力3技術體系：大模型是工業(yè)AI深度學習路徑的深化與拓展現(xiàn)工業(yè)大模型落地賦能AI應用技術的工業(yè)領域遷移工業(yè)應用探索方向有效途徑11大模型每10億參數(shù)（1G模型文件）所需最低顯存需求>百億參數(shù)大模型，使用1張英偉達A100GPU進行大模型每10億參數(shù)（1G模型文件）所需最低顯存需求>百億參數(shù)大模型，使用1張英偉達A100GPU進行推理，每秒生成的token數(shù)大約為60>已有大模型一體機及端側優(yōu)化芯片，實現(xiàn)推理加速聯(lián)合華為發(fā)布星火一體機，提供2.5P算力AX650N芯片，可達361FPS3.1算力：端/邊緣側推理的大模型專用計算有望成為未來趨勢>西工大：基于大模型的多設備協(xié)同，模型精度訓練顯存訓練顯存微調顯存微調顯存（LORA）推理顯存推理顯存float32(全)4G4G2.4G2.4G0.6G0.5G微調（場景幾類核心提示語料庫復格式…提示詞微調（場景幾類核心提示語料庫復格式…提示詞語言-X生成格式…設備控制場景：通過function+prompt將語言指令和action映射工業(yè)數(shù)據(jù)在所有數(shù)據(jù)的占比約10-15%某模型A：1000-百張某模型B：2000個左右某模型A：40TB中文文本工業(yè)問答對專業(yè)任務/多模態(tài)3.2數(shù)據(jù)：海量高質工業(yè)數(shù)據(jù)/語料庫將成為落地部署的關鍵要素——千級問答對語料——模型效果與數(shù)據(jù)量強相關，通常需億級以上規(guī)模數(shù)據(jù)集模型效果與數(shù)據(jù)量強相關，通常需億級以上規(guī)模數(shù)據(jù)集?RT-2：13個機器人在辦公室等環(huán)境中收集的17個月數(shù)據(jù)>與多推理后端兼容，實現(xiàn)工業(yè)低成本遷移需兼顧減輕模型體量、維持性能衰減，較具數(shù)學挑戰(zhàn)性小模型-1小模型-2知識傳遞2個主流路徑，工業(yè)領域以跟隨應用為主在相同的帶標簽數(shù)據(jù)集上指導子模型訓練，形成高效小規(guī)模網(wǎng)絡對開源大模型進行蒸餾+預訓練+指令微調，>與多推理后端兼容，實現(xiàn)工業(yè)低成本遷移需兼顧減輕模型體量、維持性能衰減，較具數(shù)學挑戰(zhàn)性小模型-1小模型-2知識傳遞2個主流路徑，工業(yè)領域以跟隨應用為主在相同的帶標簽數(shù)據(jù)集上指導子模型訓練，形成高效小規(guī)模網(wǎng)絡對開源大模型進行蒸餾+預訓練+指令微調，形成工業(yè)大模型AInno-15B（150億參數(shù)）利用其它數(shù)據(jù)資源或優(yōu)化策略(相互學習等)提高子模型性能半自動化調參MicrosoftGoogeMakerSuite工具迭代prompt自動合成數(shù)據(jù)擴充數(shù)據(jù)集基于信息抽取能力，簡化訓練數(shù)據(jù)獲取集成AIGC能力，基于自然語言實現(xiàn)調參3.3工具鏈+模型：低門檻開發(fā)和輕量化部署成為工業(yè)大模型探索重點?飛槳通過標準化部署接口，實現(xiàn)不同推理后端的零成本遷移?兼容20余家芯片廠商硬件設備，實現(xiàn)云邊端全場景協(xié)同>模型微調由手動向半自動化演進手動調參手動調參3.4基礎模型：通用大模型的快速演進和專用大模型的能力升級3.4基礎模型：通用大模型的快速演進和專用大模型的能力升級TimeGPT訓練：超1000億個時序數(shù)據(jù)點測試：超30萬個時序數(shù)據(jù)集，開展時、日、周、月的預測評估基于分子特性開展探索，在領域93%GPT-4.5融合了處理3D模型和視頻的能力賦能圖譜本體構建大模型>使用大模型Prompt生成事件的本體數(shù)據(jù)增強作為預訓練語料賦能圖譜本體構建大模型>使用大模型Prompt生成事件的本體數(shù)據(jù)增強作為預訓練語料知識抽取與應用賦能大模型>利用GPT生成標注數(shù)據(jù)/數(shù)據(jù)清加速圖譜構建到應用過程加速圖譜構建到應用過程 >基于>基于GPT做信息抽取、圖譜補全知識圖譜知識圖譜領域大模型模型結構設計工業(yè)大模型微調/量化/蒸餾/增強... 通用大模型工業(yè)應用API接口/插件 通用大模型工業(yè)應用領域大模型模型結構設計工業(yè)大模型微調/量化/蒸餾/增強... 通用大模型工業(yè)應用API接口/插件 通用大模型工業(yè)應用領域數(shù)據(jù)庫3.6應用部署：三類核心部署方式，當前以通用模型場景化應用為主外掛知識庫（公/私）參數(shù)更新微調（公/私）無參數(shù)更新-Prompt設計上下文學習/知識梳理 數(shù)據(jù)相對充足，任務工業(yè)語料依賴性強1.通用場景數(shù)據(jù)充足、專有性隱私性數(shù)據(jù)相對充足，任務工業(yè)語料依賴性強1.通用場景數(shù)據(jù)充足、專有性隱私性強，全部依賴領域語料藥物研發(fā)、高性能材料研制…工業(yè)領域知識信息郵件回復…郵件回復…取分析、企業(yè)培訓…Salesforce-EinsteinGPT：基于ChatGPT與自有數(shù)據(jù)，提高效率Salesforce-EinsteinGPT：基于ChatGPT與自有數(shù)據(jù)，提高效率華為-盤古行業(yè)大模型臉書-ESMFold：蛋白質谷歌-PALM-E：基于機器人17個月數(shù)據(jù)的VLA模型ChatGPT：可直接生成簡單功能的西門子文檔，分析故障原因SymphonyAI：外掛工業(yè)數(shù)據(jù)集，實現(xiàn)機器診斷文件審查、設備監(jiān)控、操作問答工具大模型代碼生成+檢查代碼工業(yè)大模型部署一體機供應鏈物流、異物檢測等場景大模型+藥物分子、礦山等行業(yè)大模型CV等基礎大模型大模型全鏈路工具鏈與AI昇騰支撐打補丁工具創(chuàng)新前沿探索發(fā)+行業(yè)賦能”全鏈條文件審查、設備監(jiān)控、操作問答工具大模型代碼生成+檢查代碼工業(yè)大模型部署一體機供應鏈物流、異物檢測等場景大模型+藥物分子、礦山等行業(yè)大模型CV等基礎大模型大模型全鏈路工具鏈與AI昇騰支撐打補丁工具創(chuàng)新前沿探索發(fā)+行業(yè)賦能”全鏈條技術產品面向特定任務/領域的模型與輕量化工具模型技術和產品等前沿方向創(chuàng)新的引領者4產業(yè)體系：不同主體布局以及技術產品升級FAUCFAUCBECKHOFFBECKHOFF&symphonyAN&symphonyANGoogle工業(yè)大模型產品方案異構智人協(xié)同工業(yè)產品融合業(yè)機模型工模型工器人大模型大模型行業(yè)/領域大模型基礎大模型多模態(tài)機器人框架平臺計算設施能力推廣能力推廣輸出控制指令執(zhí)行控制指令原理能力輸出控制指令執(zhí)行控制指令原理能力?新環(huán)境/對象感知理解實例3.強泛化能力對于陌生場景，無需針對性訓練或模型微調，通過多步推理和知識4.1大模型+裝備：增強具身智能水平，有望提升工業(yè)設備靈活性和協(xié)同性視覺模型ViT視覺模型ViT②將桌子上信息表示為向量從桌子上拿籃球③根據(jù)任務和環(huán)境生成指令①將任務信息轉化為向量RT-1大語言模型+視覺-語言-動作模型VLA通用機器人大模型+數(shù)據(jù)集特定任務效率提計程序開發(fā)計程序開發(fā)成4.2大模型+自動化：探索極為初步，距離實際應用還相對遙遠BECKHOFF實現(xiàn)基于對話輔助編程能力現(xiàn)狀面臨挑西門子：聯(lián)合微軟開發(fā)工業(yè)BECKHOFF實現(xiàn)基于對話輔助編程能力現(xiàn)狀面臨挑西門子：聯(lián)合微軟開發(fā)工業(yè)Copilot工具并將其集成于自身工程框架，通過語言交互實現(xiàn)自動化代碼的快速生成、優(yōu)化和調試戰(zhàn)將大模型融入客戶端，實現(xiàn)輔助編程ABB將大模型融入客戶端，實現(xiàn)輔助編程?生成工業(yè)代碼邏輯正確率64%，執(zhí)行?能夠準確生成計數(shù)器、定時器等標準算法，交通控制等控制代碼，前饋、壓力控制等流程代碼?基于多輪對話能夠實現(xiàn)代碼優(yōu)化與錯誤修正?包含控制邏輯、接口需求的復雜Prompt設計基于大模型的控制參數(shù)整定已有實驗性探索西門子：利用GPT-4開展非線性多因素PID控制算法整定，并完成某行業(yè)具體工況下的模擬驗證開發(fā)周期由年月提升至天級開發(fā)周期由年月提升至天級分并執(zhí)行復雜工作形成整合所有工業(yè)數(shù)據(jù)知識資源、工具、人的智能交互引擎?數(shù)據(jù)積累?規(guī)則行為積累?模型能力增強（思4.3大模型+工業(yè)軟件：從效率精度提升到應用開發(fā)模式重構查找交互效率查找交互效率匹配、預測、洞察水平匹配、預測、洞察水平經營管理軟件?統(tǒng)計分析、業(yè)務問答助手?精準數(shù)據(jù)模型查找、設計與仿真計算效率翻模精度研發(fā)設計軟件經營管理軟件?統(tǒng)計分析、業(yè)務問答助手?精準數(shù)據(jù)模型查找、設計與仿真計算效率翻模精度研發(fā)設計軟件人機交互效率生產數(shù)據(jù)分析水平生產管控軟件 大大模型融合程度應用局限性具備廣博知識，但信息精確度低，制約工業(yè)核心環(huán)節(jié)/直接決策場景應用應用局限性具備廣博知識，但信息精確度低，制約工業(yè)核心環(huán)節(jié)/直接決策場景應用大模型準確率80%工業(yè)場景準確率需求99%+甚至1