2024人工智能大模型工業(yè)應用測評

人工智能大模型工業(yè)應用測評2024年3月版1一、前言為貫徹落實關于促進人工智能發(fā)展的決策部署，中國工業(yè)互聯(lián)網(wǎng)研究院依托通用人工智能與工業(yè)融合創(chuàng)新中心（簡稱“中心”），聯(lián)合香港科技大學、中國經(jīng)濟信息社，深入研究人工智能大模型在工業(yè)領域的應用性能、技術架構、標準體系，并在此基礎上，形成本報告。結合工業(yè)企業(yè)大模型應用情況調(diào)研，本報告在原有工業(yè)知識問答準確性測評的基礎上，新增數(shù)據(jù)分析、工程建模、文檔生成、代碼理解等四大場景，構建測試數(shù)據(jù)集，對國內(nèi)外具有代表性的大模型進行測試，發(fā)布新一輪的準確性測評報告，供業(yè)界進行參考。本報告測評結果雖經(jīng)中心專家委論證，但因大模型迭代速度快，技術復雜，囿于工作團隊專業(yè)知識和能力，報告難免存在分析結論不足等問題，且測評結果僅適用于測試期間，歡迎大家批評指正。2二、測評內(nèi)容2023年初至今，大模型技術發(fā)展突飛猛進，已逐步滲透至工業(yè)領域諸多環(huán)節(jié)，涵蓋了知識問答、工程建模、數(shù)據(jù)分析、文檔生成、代碼理解等場景，正快速成長為工業(yè)轉型升級和創(chuàng)新發(fā)展的重要動力。工業(yè)應用準確性測評石化化工行業(yè)

知識問答結合工業(yè)知識，有理有據(jù)解答各領域專業(yè)性問題。

工程建模面向工業(yè)問題，選取基礎數(shù)學知識，建立數(shù)學模型進行求解。

數(shù)據(jù)分析面向工業(yè)場景基礎結構化數(shù)據(jù)，分析現(xiàn)象，描述趨勢，得出結論。

文檔生成面向工業(yè)應用，有邏輯、有條理地生成總結性、分析性的文本。

代碼理解解答計算機編程問題，分析工業(yè)設計、控制代碼安全性、計算復雜性。依托國家工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心，聚焦重點工業(yè)行業(yè)，匯集高質量語料，形成工業(yè)語料庫，支撐大模型在工業(yè)領域應用測評；依托國家工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心，聚焦重點工業(yè)行業(yè)，匯集高質量語料，形成工業(yè)語料庫，支撐大模型在工業(yè)領域應用測評；結合工業(yè)企業(yè)調(diào)研，在原有知識問答基礎上，新增四類工業(yè)應用測評場景，開展大模型在各應用場景的準確性測評。3三、測評方法測評流程 評分標準進行問答調(diào)用待測試大模型API收集大模型答案。

進行判分2題目類型：每個場景抽取若干題目進行測試，題型以問答題為主。題目數(shù)量：知識問答：144道 題目類型：每個場景抽取若干題目進行測試，題型以問答題為主。題目數(shù)量：知識問答：144道 ·數(shù)據(jù)分析：20道工程建模：100道 ·文本生成：40道代碼理解：150道注：各場景題目數(shù)量雖不一致，但考察要點總量保持在同一個數(shù)量級。題目得分：后分數(shù)進行歸一化處理。場景得分：場景得分為題目總分百分化處理后的分數(shù)。若有細分場景，則場景總分為細分場景的平均成績。綜合評分：由各場景算數(shù)平均分計算得出。篩選題目根據(jù)場景、難度、行業(yè)，選取有標準答案的題目，經(jīng)人工校驗后形成測試題。

生成判分標準1利用GPT4將原有標準答案整理為評分標準，并通過人工校驗提升判分標準科學性。為更貼合應用場景實際，進一步評價模型的多維能力，本期測評題型以問答題為主；為更貼合應用場景實際，進一步評價模型的多維能力，本期測評題型以問答題為主；為保障判分的一致性與準確度，問答題的評分方式由人工判分改為大模型判分，并按步驟賦分。4對于GPT4，先獲取其回答，再用其生成標準答案、進行判分，避免信息泄露；4GPT4的API承諾不記錄數(shù)據(jù)用于訓練，參考業(yè)界成熟方案，使用GPT4的API準答案和判分結果，減少測評誤差。四、測評結果-綜合排名測評成績100908070準確性60準確性50403020100

大模型準確性排名Top20[1]

國際平均55國內(nèi)平均54綜合能力上，GPT4處于領先地位，國內(nèi)大模型文心一言、ChatGLM緊隨其后；對于國內(nèi)大模型，多個模型綜合能力超過GPT3.5，包括文心一言、ChatGLM、星火3.5、通義千問等；綜合能力上，GPT4處于領先地位，國內(nèi)大模型文心一言、ChatGLM緊隨其后；對于國內(nèi)大模型，多個模型綜合能力超過GPT3.5，包括文心一言、ChatGLM、星火3.5、通義千問等；對于國外大模型，GPT4領先優(yōu)勢明顯，其余模型差距較大。模型版本號參見附錄1。四、測評結果-能力對比與變化趨勢各維度大模型最佳能力對比圖[1] 國內(nèi)大模型發(fā)展趨勢[2]100851008570554025

2023年6月底相對GPT3.5成績2024年年初相對GPT3.5成績23年中國內(nèi)平均2023年6月底相對GPT3.5成績2024年年初相對GPT3.5成績23年中國內(nèi)平均24年初國內(nèi)平均2023年6月底2024年初相對GPT3.5成績國際 160%相對GPT3.5成績文檔生成

數(shù)據(jù)分析

120%80%40%工業(yè)知識問答 代碼理解對比往期測評，2023對比往期測評，2023年下半年國內(nèi)大模型能力提升明顯（以GPT3.5為基準）。選取國內(nèi)外各能力維度性能最佳的大模型進行對比；得領先，數(shù)據(jù)分析、代碼理解等領域能力接近；在工程建模領域，國內(nèi)大模型與國際存在一定差距。6國內(nèi)大模型發(fā)展趨勢統(tǒng)計規(guī)則見附錄得領先，數(shù)據(jù)分析、代碼理解等領域能力接近；在工程建模領域，國內(nèi)大模型與國際存在一定差距。6大模型可結合自身知識，回答不同工業(yè)領域問題，將用于員工培訓、故障診斷、客服咨詢、市場調(diào)研等交互場景，協(xié)助企業(yè)員工熟悉生產(chǎn)流程，幫助用戶了解產(chǎn)品特性。應用場景研判研發(fā)設計環(huán)節(jié)：研發(fā)工程師可基于大模型快速、便捷獲取高質量知識，提升研發(fā)效率；生產(chǎn)制造環(huán)節(jié)：大模型可結合自身知識，回答不同工業(yè)領域問題，將用于員工培訓、故障診斷、客服咨詢、市場調(diào)研等交互場景，協(xié)助企業(yè)員工熟悉生產(chǎn)流程，幫助用戶了解產(chǎn)品特性。應用場景研判研發(fā)設計環(huán)節(jié)：研發(fā)工程師可基于大模型快速、便捷獲取高質量知識，提升研發(fā)效率；生產(chǎn)制造環(huán)節(jié)：優(yōu)化；售后服務環(huán)節(jié)：數(shù)字人實時向客戶提供售后咨詢服務；技能培訓環(huán)節(jié)：新員工可通過大模型了解企業(yè)信息、學習生產(chǎn)技能。知識快速獲取 工藝輔助優(yōu)化 數(shù)字人售后服務 員工自助培訓 7五、場景測評一:工業(yè)知識問答測評結果 行業(yè)能力對比[1]國內(nèi)國際國內(nèi)國際100

工業(yè)知識問答能力Top20

準 80工業(yè)知識問答工業(yè)知識問答國內(nèi)平均52國際平均41在知識問答領域國內(nèi)大模型已具備一定優(yōu)勢，ChatGLM、文心一言等多個大模型實現(xiàn)對GPT4超越；國內(nèi)大模型在建材、采礦等行業(yè)具有顯著優(yōu)勢，在裝備制造、鋼鐵等行業(yè)與國際水平接近；對比不同行業(yè)，國內(nèi)外大模型在鋼鐵、電力等行業(yè)有較好的知識儲備，對于紡織、裝備制造等行業(yè)仍需加強訓練。性 60（分）4020800準

建材 石化化工 電力 電子制造 紡織 裝備制造 鋼鐵 采礦確60性題目樣例問題：你知道哪些常用邏輯電平?TTL與CMOS電平可以直接互連嗎?評分標準：問題：你知道哪些常用邏輯電平?TTL與CMOS電平可以直接互連嗎?評分標準：則得1分，否則不得分。）（1樣或近似的回答則得1分，否則不得分。）TTL，而TTLCMOS需要在輸出端口加一上拉電阻接到5V或者12V。（1分）本題共3小項，每個小項1分，滿分3分。對于每個小項，如果描述有差距，或者詳細程度不足，酌情給0.3或者0.5分或者0.8分。402008圖中數(shù)據(jù)為各行業(yè)國內(nèi)外性能最佳大模型成績。大模型具備基礎建模能力，將幫助工程師和企業(yè)管理人員在實際工程設計、生產(chǎn)運維等領域進行數(shù)學建模，尋求最佳的解決方案。應用場景研判研發(fā)設計環(huán)節(jié)：基于歷史實踐，建立成本模型，指導新項目的規(guī)劃和預算編制，提高項目成功率；生產(chǎn)制造環(huán)節(jié)：大模型具備基礎建模能力，將幫助工程師和企業(yè)管理人員在實際工程設計、生產(chǎn)運維等領域進行數(shù)學建模，尋求最佳的解決方案。應用場景研判研發(fā)設計環(huán)節(jié)：基于歷史實踐，建立成本模型，指導新項目的規(guī)劃和預算編制，提高項目成功率；生產(chǎn)制造環(huán)節(jié)：效率和安全性；運維管理環(huán)節(jié)：產(chǎn)人員進行排版優(yōu)化，提升人員效能；營銷宣傳環(huán)節(jié)：建立營銷收益模型，提升營銷效率，節(jié)約營銷成本。工程數(shù)學建模 預測模型優(yōu)化生產(chǎn)計劃 優(yōu)化員工班次布局提高人效 營銷收益建模節(jié)約銷售成本 9五、場景測評二:工程建模測評結果 題目樣例工程建模國內(nèi)平均工程建模國際平均工程建模10080工程建模國內(nèi)平均工程建模國際平均工程建模10080準確60性（分）40國內(nèi)平均43國際平均43200問題：某公司在2018年年初預訂x萬產(chǎn)量的目標，2018年6月己完成計劃的60%，此后按照上半年月均產(chǎn)量生產(chǎn)，則2018年超出計劃產(chǎn)量300萬.那么該公司2018年年初預訂的產(chǎn)量為多少萬元？評分標準：如果能正確列出完成計劃的60$0.6x$1分；如果能正確列出下半年產(chǎn)量也為$0.6x$萬的關系，得1分；3.如果能正確$0.6x0.6xx300$，得1分4.如果能正確解出$x=1500$，得1分；本題共四個得分點，滿分為4分，得分情況為（得分/滿分）。在工程建模領域，GPT4、文心一言處于領先地位，對比其它模型具有顯著優(yōu)勢；國內(nèi)外平均成績均為43在工程建模領域，GPT4、文心一言處于領先地位，對比其它模型具有顯著優(yōu)勢；國內(nèi)外平均成績均為43釋器等增強工具提升大模型建模能力。大模型可將結構化數(shù)據(jù)提煉為核心結論，對復雜業(yè)務數(shù)據(jù)進行自動分析，更全面、及時地幫助企業(yè)管理者運營和決策，提升工作效率和運營質量。electric應用場景研判研發(fā)設計環(huán)節(jié)：在海量產(chǎn)品評價數(shù)據(jù)中提大模型可將結構化數(shù)據(jù)提煉為核心結論，對復雜業(yè)務數(shù)據(jù)進行自動分析，更全面、及時地幫助企業(yè)管理者運營和決策，提升工作效率和運營質量。electric應用場景研判研發(fā)設計環(huán)節(jié)：在海量產(chǎn)品評價數(shù)據(jù)中提質；生產(chǎn)制造環(huán)節(jié)：或報錯；運維管理環(huán)節(jié)：呆滯庫存和缺料提醒，提升管理效率；人員培訓環(huán)節(jié)：分析事故數(shù)據(jù)，杜絕生產(chǎn)事故，消除安全隱患。分析用戶評價 分析生產(chǎn)時序數(shù)據(jù) 分析庫存數(shù)據(jù) 分析安全數(shù)據(jù) 五、場景測評三:數(shù)據(jù)分析測評結果 題目樣例表為2001-2010年幾種型號電話年產(chǎn)量。評分標準:（1全局性描述，則得1分，否則不得分。)B電話穩(wěn)步下降，而A電話支出迅速增長。（1分必須有B穩(wěn)步分。）分,必須指出2007年A電話超過B的關鍵節(jié)點，只給數(shù)據(jù)出數(shù)據(jù)不描述不得分。）(4)...(5)...本題共5小項，對于每個小項，如果學生的回答中有和該項一致的語句，則得1分，如果描述有差距，或者詳細程度不足，酌情給0.3或者0.5分或者0.8分。數(shù)據(jù)分析國內(nèi)平均數(shù)據(jù)分析國際平均數(shù)據(jù)分析國際平均56數(shù)據(jù)分析國內(nèi)平均數(shù)據(jù)分析國際平均數(shù)據(jù)分析國際平均56國內(nèi)平均53在數(shù)據(jù)分析領域，文心一言能力最佳，與GPT4、Mistral等構成第一梯隊；進行微調(diào)，或將案例加入到提示詞中，利用大模型小樣本學習能力提升效果。YearPhoneAYearPhoneAPhoneB...2001200700...............2010700475...準確性60（分）4020012大模型將幫助用戶快速、高效處理和生成各類文檔，如宣傳文案、操作手冊、技術文檔、施工方案等，提高工作效率和質量。應用場景研判研發(fā)設計環(huán)節(jié)：大模型可基于本地知識庫，輔助工作人員生成技術方案和設計方案，幫助研發(fā)人員提升效率，為設計人員提供靈感；生產(chǎn)制造環(huán)節(jié)：大模型將幫助用戶快速、高效處理和生成各類文檔，如宣傳文案、操作手冊、技術文檔、施工方案等，提高工作效率和質量。應用場景研判研發(fā)設計環(huán)節(jié)：大模型可基于本地知識庫，輔助工作人員生成技術方案和設計方案，幫助研發(fā)人員提升效率，為設計人員提供靈感；生產(chǎn)制造環(huán)節(jié)：產(chǎn)效率；運維管理環(huán)節(jié)：效率。生成技術文檔 生成作業(yè)指導書 生成設備運行狀態(tài)報告 生成庫存管理運營文檔 13五、場景測評四:文檔生成（要點總結）測評結果 題目樣例文檔生成（總結）國內(nèi)平均文檔生成（總結國際平均文檔生成（總結文檔生成能力文檔生成（總結）國內(nèi)平均文檔生成（總結國際平均文檔生成（總結文檔生成能力0080）均87國際平均8560）40200在文檔生成（要點總結）領域，國內(nèi)外性能最佳大模型成績接近滿分，基本可成熟應用于該場景；國內(nèi)外平均成績相對較高，文檔生成（要點總結）場景屬于當前大模型較擅長領域。問題：分析以下文字，總結B公司企業(yè)創(chuàng)新的啟示。B公司專門成立了熱效率技術攻關團隊，通過大量的仿真和臺架試驗，經(jīng)過上千50%。思路決定出路，以往一些科技企業(yè)遭遇挫敗是因為單評分標準：優(yōu)勢。（1分，必須有關于超前研發(fā)，敢于創(chuàng)新的的近似描述，否則不得分）（1分，必須有關于技術公關，探索嘗試的的近似描述，否則不得分）3.市場需求導向。轉變技術指導市場的思路,從客戶需求出發(fā),確定產(chǎn)品創(chuàng)新方向。（1分，必須有關于市場導向，重視調(diào)研，技術指導市場的相關描述，否則不得分）4....5....本題共5要點，對于每個要點，如果學生回答中有和該項一致的語句，則得1分，如果描述有差距，或者詳細程度不足，酌情給0.3或者0.5分或者0.8分。準確性（分14五、場景測評四:文檔生成（觀點分析）測評結果 題目樣例國際平均71國內(nèi)平均65在文檔生成（觀點分析）領域，百川3、星火3.5、Yi優(yōu)勢明顯，已實現(xiàn)對GPT4的領先；國際平均71國內(nèi)平均65在文檔生成（觀點分析）領域，百川3、星火3.5、Yi優(yōu)勢明顯，已實現(xiàn)對GPT4的領先；國際大模型平均超出國內(nèi)較多，國內(nèi)模型需整理高質量語料進行強化訓練，提升觀點分析成效。問題：閱讀以下觀點，回答你是否同意，如果你不同意，請說明哪種情況會削弱下面的觀點：過去的一年,QM的工傷事故比鄰近的工廠多$30\%$,鄰近工廠每班工作1QM3作時間縮短1小時,這樣我們的員工可以獲得充足的睡眠。評分標準:總結提煉后，評分標準如下：(1(2(3(4不一定會下降...對于以上四點，每個分論點在作文中有所體現(xiàn)得1分，共計4分。文檔生成（觀點）國內(nèi)平均文檔生成（觀點）國際平均文檔生成（觀點）文檔生成（觀點）國內(nèi)平均文檔生成（觀點）國際平均文檔生成（觀點）80準確性60（分）4020015大模型將面向工業(yè)需求編寫代碼，回答計算機編程相關問題，輔助代碼功能性和安全性檢測，提升工程師編碼效率，保障程序安全、平穩(wěn)運行。應用場景研判研發(fā)設計環(huán)節(jié)：大模型可根據(jù)自然語言描述，自動生成工業(yè)代碼，輔助編寫自動化腳本、復雜的業(yè)務邏輯代碼，提升編碼效率；生產(chǎn)制造環(huán)節(jié)：大模型將面向工業(yè)需求編寫代碼，回答計算機編程相關問題，輔助代碼功能性和安全性檢測，提升工程師編碼效率，保障程序安全、平穩(wěn)運行。應用場景研判研發(fā)設計環(huán)節(jié)：大模型可根據(jù)自然語言描述，自動生成工業(yè)代碼，輔助編寫自動化腳本、復雜的業(yè)務邏輯代碼，提升編碼效率；生產(chǎn)制造環(huán)節(jié)：洞，保障生產(chǎn)安全；運維管理環(huán)節(jié)：幫助工控運維人員高效理解和維護代碼，提升運維效率。代碼生成與自動編程 代碼錯誤檢測與修正 代碼注釋生成 工控代碼審查 16五、場景測評五:代碼理解測評結果 題目樣例代碼理解國內(nèi)平均代碼理解國際平均代碼理解問題：回答下列選擇題，并給出解析。下列代碼中存在什么安全問題？代碼理解國內(nèi)平均代碼理解國際平均代碼理解問題：回答下列選擇題，并給出解析。下列代碼中存在什么安全問題？publicvoiddoPost(HttpServletRequestrequest,HttpServletResponseresponse)throwsServletException,IOException{javax.servlet.http.Cookie[]theCookies=request.getCookies();...java.util.Propertiesbenchmarkprops=newjava.util.Properties();Stringalgorithm="MD5";java.security.MessageDigest.getInstance(algorithm);byte[]input={(byte)'?'};ObjectinputParam=param;if(inputParaminstanceofString)input=((String)inputParam).getBytes();}評分標準：代碼中使用已知的弱哈希算法MD5，代碼如下：Stringalgorithm="MD5";java.security.MessageDigestmd=java.security.MessageDigest.getInstance(algorithm);弱哈希算法有MD5、SHA-1和SHA-2等哈希函數(shù)。（回答中如果能指出安全問題是弱哈希算法得1分，否則不得分)100準確60性

國際平均51（分）40

國內(nèi)平均45200在代碼理解領域，GPT4和文心一言準確度較高，相對其他模型優(yōu)勢明顯；在代碼理解領域，GPT4和文心一言準確度較高，相對其他模型優(yōu)勢明顯；對理解代碼的能力有較大幫助，建議更多大模型引入。六、總體評價與后續(xù)規(guī)劃各場景第一梯隊與點評第一梯隊

點評國內(nèi)大模型已具備一定優(yōu)勢，ChatGLM、知識問答文心一言等多個大模型已超越GPT4；知識問答ChatGLM 文心一言 卡奧斯工程建模 GPT4處于領先地位，大模型整體建模工程建模GPT4處于領先地位，大模型整體建模數(shù)據(jù)分析GPT4 文心一言 ChatGLM數(shù)據(jù)分析

文心一言能力最佳，與GPT4、構成第一梯隊，但整體水平偏弱；文心一言

GPT4 MISTRAL 文檔生成觀點分析存在明顯提升空間；文檔生成文檔生成觀點分析存在明顯提升空間；文檔生成要點總結百川3

MISTRALYi代碼理解GPT4和文心一言在代碼理解領域較為GPT4 文心一言 代碼理解GPT4和文心一言在代碼理解領域較為

較大提升空間。 18六、總體評價與后續(xù)規(guī)劃場景成熟度大模型在文檔生成領域應用成熟度較高，在工業(yè)知識問答、數(shù)據(jù)分析、工程建模、代碼理解場景應用成熟度相對較低；國內(nèi)外大模型在文檔生成、數(shù)據(jù)分析、代碼理解場景準確度差異較大。行業(yè)知識掌握場景成熟度大模型在文檔生成領域應用成熟度較高，在工業(yè)知識問答、數(shù)據(jù)分析、工程建模、代碼理解場景應用成熟度相對較低；國內(nèi)外大模型在文檔生成、數(shù)據(jù)分析、代碼理解場景準確度差異較大。行業(yè)知識掌握大模型在鋼鐵、電力等行業(yè)有較好的知識儲備，對于紡織、裝備制造等行業(yè)仍需加強訓練；國內(nèi)大模型在建材、采礦等行業(yè)優(yōu)勢顯著，在裝備制造、化工等行業(yè)與國際接近。發(fā)展趨勢GPT4仍處于領先地位；近半年國內(nèi)大模型能力顯著提升，與GPT4差距不斷縮小，部分場景應用能力已趕超。針對工業(yè)應用場景，匯聚整理工業(yè)知識語料庫，支持大模型預訓練或微調(diào)； 開展大模型多模態(tài)能力測評，包括圖像識別、視頻理解等，挖掘更多大模型工業(yè)潛在應用場景；針對工業(yè)應用場景，匯聚整理工業(yè)知識語料庫，支持大模型預訓練或微調(diào)；開展大模型多模態(tài)能力測評，包括圖像識別、視頻理解等，挖掘更多大模型工業(yè)潛在應用場景；面向大模型當前應用成熟度較低的場景，提供穩(wěn)定性、準確性等能力優(yōu)化指導；面向工業(yè)應用開展行業(yè)大模型測評工作，在重點領域遴選推廣一批優(yōu)秀的行業(yè)大模型。19面向大模型當前應用成熟度較低的場景，提供穩(wěn)定性、準確性等能力優(yōu)化指導；面向工業(yè)應用開展行業(yè)大模型測評工作，在重點領域遴選推廣一批優(yōu)秀的行業(yè)大模型。附錄1：報告涉及的大模型及其