沙利文 頭豹 2024年中國大模型行研能力年中評測

FROSTSULLIVAN沙利文AI變革行業(yè)創(chuàng)新發(fā)展2024EvaluationofChinaLLMinIndustryResearchMid-YearReport人工智能OPPORTUNITYGROWTHINVESTMENTINSIGHTS報告提供的任何內容（包括但不限于數據報告提供的任何內容（包括但不限于數據、文字、圖表、圖像等）均系頭豹研究院獨有的高度機密性文件（在報告中另行匯編本報告內容，若有違反上述約定的行為發(fā)生，頭豹研究院保留采取法律措施、追究相關人員責任的權利。頭豹研究院開展的所有商業(yè)活動均使用“頭豹研究院”或“頭豹”的商號、商標，頭豹研究院無任何前述名稱之外的其他分支機構，也未授權或聘用其他任何第三方代表頭豹研究院開展商業(yè)I摘要n大模型是自然語言處理領域中深度學習技術的高階應用，其通過對海量文本數據的深度訓練，能夠全面吸納并提煉出豐富的語言學知識與語義內涵。這類大模型通常擁有龐大的參數規(guī)模，動輒數億乃至數十億參數，從而具備了高度精準的自然語言理解與生成能力，幾乎能夠實現與人類的無障礙交流。其廣泛的應用場景涵蓋了機器翻譯、智能問答、文本摘要等多個領域。從技術發(fā)展的視角來看，語言模型的演進路徑具有重要的啟示意義。最初，模型基于深度神經網絡進行訓練；隨后，業(yè)界逐步引入了預訓練與微調相結合的模式以提升模型性能；而當前，最前沿的范式已轉向預訓練結合提示訓練，這一轉變標志著自然語言處理在模擬人類思n大模型能夠顯著增強研究報告的編寫效率，通過采納精細化的詢問策略，分析師在研究過程中能夠實現效率的最優(yōu)化。此外，這一模型還能夠提供全面的文本編輯支持，包括校正、查n大模型技術潮流興起催生中國大模型百花齊放。沙利文與頭豹研究院聯手對16個大模型進行綜合評估，以深入梳理中國大模型在行研領域的應用表現，為各界提供清晰深入的視角，以應對預訓練大模型引發(fā)的人工智能浪潮自2022年底ChatGPT向公眾發(fā)布以來，AI技術從科技企業(yè)的閉門探索正式走向全人類的視野。經過一年多的發(fā)展，基于GPT起源的大模型技術已成為國家技術和產業(yè)的關鍵戰(zhàn)略要素，受到國際高度重視。在此背景下，中國地區(qū)涌現了數百個預訓練語言大模型，參與者涵蓋了頂尖學術研究機構和互聯網科技企業(yè)。為梳理中國大模型能力梯隊與企業(yè)背景，沙利文頭豹研究院于2023年12月首半年后，隨著大模型能力持續(xù)迭代升級，市場競爭格局經歷多輪洗牌，當下的大模型市場已煥然一新。不僅百度、阿里、騰訊等互聯網大廠繼續(xù)引領市場，諸如Moonshot、零一萬物、百川智能等大模型創(chuàng)業(yè)企業(yè)也紛紛嶄露頭角，挑戰(zhàn)傳統大牌互聯網廠商的地位。為反映當前最真實的競爭態(tài)勢，沙利文頭豹研究院與2024年8月，基于最新的大模型能力，梳理并評估了市場上頭豹LeadL400-072-5588沙J文內容目錄05頁行研背景概述傳統行研發(fā)展痛點數字行研革新大模型賦能行研評測大模型參與者評測方法與指標報告撰寫能力行研基礎能力行業(yè)理解能力22評測結果研究目標n研究目的n基于數字行研解決方案的研究和實踐基礎，頭豹研究院聯合沙利文憑借百人分析師團隊匿名投票機制，篩選了16個大模型，進行了多維度的綜合評估，旨在全面了解并系統梳理中國大模型參與者在行研領域的n研究目標nn本報告的關鍵問題n?參與者發(fā)展現狀：中國大模型的參與者?行研應用表現：中國大模型在行業(yè)研究?報告撰寫能力：中國大模型在撰寫行業(yè)?模型基礎能力：中國大模型邏輯推理能?行業(yè)理解能力：目前中國大模型在不同頭豹LeadL400-072-5588沙J文3Chapter1大模型行研能力評測背景及方法沙頭豹LeadLeo沙頭豹LeadLeoJ文www.leadleoJ文大模型行研評測|2024/08行研價值鏈企業(yè)規(guī)劃價值企業(yè)規(guī)劃價值體現政務服務政務服務金融決策教育培訓新聞傳媒…行業(yè)定義產業(yè)鏈分析研究行業(yè)定義產業(yè)鏈分析研究路徑行業(yè)分類發(fā)展歷程政策分析市場規(guī)模行業(yè)特征行業(yè)分類發(fā)展歷程政策分析市場規(guī)模行業(yè)特征競爭格局競爭格局互聯網互聯網金融金融教育教育零售零售泛娛樂泛娛樂房地產房地產農林牧漁農林牧漁采礦采礦旅游旅游……n行業(yè)研究通過深入分析，為企業(yè)戰(zhàn)略規(guī)劃和決策提供關鍵洞察和支持行業(yè)研究是一項全面分析特定行業(yè)發(fā)展現狀和市場動態(tài)的深入過程，涵蓋行業(yè)定義、分類、競爭格局、市場容量等關鍵維度。分析師通過深入研究，提供深刻的洞察和有價值的觀點，為企業(yè)戰(zhàn)略規(guī)劃、政策制定、金融投資決策以及教育培訓等多個領域提供重要支持。行研宏觀維度分析中觀維度分析政策環(huán)境發(fā)展歷程產業(yè)鏈分析發(fā)展特征市場規(guī)模競爭格局產業(yè)層行業(yè)層產品層重要程度高重要程度低n行業(yè)研究涵蓋從宏觀的產業(yè)層到微觀的產品層，各層級決定著相應的研究方法，研究方法論囊括外部宏觀因素和內部微觀細節(jié)的全面分析在行業(yè)研究中，產業(yè)層、行業(yè)層和產品層分別代表宏觀經濟的不同層次：產業(yè)層涵蓋具有相似特征的行業(yè)群體，行業(yè)層側重于特定行業(yè)的市場動態(tài)和企業(yè)狀況，而產品層則深入探討具體產品或服務的設計、功能及市場定位。研究方法論隨著這些層次的宏觀到微觀差異而有所調整，宏觀層面關注政策、經濟、環(huán)境等因素，而微觀層面則包括發(fā)展歷程、產業(yè)鏈分析等更為細致的內容。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文5大模型行研評測|2024/08二手數據統計局數據、文獻、網頁、垂直媒體、招股書、第三方研報、專業(yè)數據庫……一手數據行業(yè)專家訪談、消費者調研二手數據統計局數據、文獻、網頁、垂直媒體、招股書、第三方研報、專業(yè)數據庫……一手數據行業(yè)專家訪談、消費者調研 研究成果研究報告、演講稿、招股書行業(yè)章節(jié)、視頻…….分析制圖分析制圖產業(yè)鏈、競爭格局行業(yè)規(guī)模與預測模型傳統工具Excel撰寫行業(yè)定義、特征、分類、歷史、政策、行研發(fā)展痛點行研發(fā)展痛點11生產工具停滯22團隊知識難以復用33溯源難考證44質量把控難度高n傳統行業(yè)研究面臨工具滯后、知識傳承困難、信息溯源復雜和質量控制難度高等挑戰(zhàn)，嚴重制約其產出效率和創(chuàng)新能力傳統行業(yè)研究的產出流程包括三個步驟：首先是基礎調研，聚焦于一手和二手行業(yè)數據的收集；其次是數據加工，涉及整理邏輯、驗證數據真實性，并對關鍵信息進行可視化處理；最后是產出結果，確保全文邏輯一致、可視化清晰并且觀點合理。在實際操作中，行業(yè)研究面臨多個挑戰(zhàn)：1）工具更新停滯，自互聯網興起以來，行研主要依賴網絡檢索和辦公軟件，近20年未見顯著革新；2）團隊知識難以復用，由于高人員流動性和新成員培養(yǎng)周期長，分析師的經驗和知識傳承困難；3）信息溯源和合規(guī)性考量復雜，在應對海量信息和時間成本壓力下，信息來源和合規(guī)性難以全面保障；4）質量控制難度高，質控人員缺乏專業(yè)撰寫技能，同時專業(yè)分析師缺乏時間進行廣泛質控，導致質量監(jiān)控極為困難。這些核心挑戰(zhàn)共同影響著行研的產出效率和創(chuàng)新，阻礙行研進一步發(fā)展。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文6?數字行研解決方案，結合標準化工具和先進的大模型技術，有效克服了傳究進入一個效率更高和質量更優(yōu)的新產出范式數字行研革新（以頭豹腦力擎為例）------數字行研全面賦能協同創(chuàng)作詞條輔助分析師AI協同創(chuàng)作詞條輔助分析師AIAI續(xù)寫WebAI續(xù)寫智能智能數字身份頭豹寫作系統“腦力擎”AIGC數字身份頭豹寫作系統“腦力擎”AIGCAI文本創(chuàng)作改寫AI賦能AIAI賦能體系化培訓工具智能研報生成AI標準體系化培訓工具智能研報生成AI標準n數字化行研解決方案通過標準化工具和大模型技術，解決了行業(yè)研究的核心難題，提高了研究質量和效率，為行業(yè)分析帶來了高效、精準的新范式數字化行研解決方案為行業(yè)研究帶來范式革新。該系統通過引入一系列標準化工具，如精準的信息溯源系統和寫作規(guī)范，極大降低了行業(yè)研究的門檻，提升了撰寫效率，并簡化了質量控制流程。此外，數字行研基于大模型的強大底層支持，為分析師提供AI輔助工具，包括專家訪談、智能檢索、查重、校對和改寫功能，有效減少信息檢索的難度，提升文本的準確性和撰寫效率，同時加速分析師的專業(yè)成長。數字行研解決方案不僅解決了傳統行業(yè)研究中的關鍵痛點，如信息溯源困難、嚴峻的質控挑戰(zhàn)、知識低復用率和工具更新滯后，還借助大模型技術推動行業(yè)研究質量和分析師成長速度，引領行業(yè)研究向更高效、精準的新范式轉變。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文7大模型行研評測|2024/08AI專家訪談AI文字校對AI專家訪談通通過利用AI大模型進行行業(yè)專家訪談，分析師可以迅速掌握行業(yè)的核心信息和精確的定義、分類，從而將初期行業(yè)研究階段的時間縮短30%利用大模型的改寫、續(xù)寫和查重功能，可以顯著減少錯別字、病句和重復內容，從而提升文本質量和可讀性，同時減少分析師在文本檢查上的時間投入，降低超過70%AI內容生成AI資料檢索通AI內容生成AI資料檢索通過使用大模型的文字助產出結構化內容，提高研報的產出效率50%行研賦能運用大模型的互聯網檢索訪問功能，結合精準的提問策略，幫助分析師定位關鍵信息，從而提升資料搜索效率超60%n大模型在數字行業(yè)研究中扮演核心角色，其功能特性極大提升了研究的效率和質量。本研究主要聚焦于中國大模型在行業(yè)研究中的實際應用和優(yōu)勢，知曉大模型的能力邊界，旨在推動行研領域的創(chuàng)新與變革作為數字行研的關鍵支撐，大模型通過其創(chuàng)作、生成、改寫和檢索等核心功能，全方位推動行業(yè)研究向前發(fā)展。首先，大模型扮演第三方AI專家角色，協助分析師在研究初期進行框架搭建和內容創(chuàng)作，有效減輕案頭工作負擔。其次，通過與分析師的有效互動，大模型助力生成結構化內容和洞察，顯著提高基礎內容的產出效率。進一步，它通過減少文本錯誤和重復內容，優(yōu)化校對流程，提升產出質量。最后，大模型能夠快速處理海量數據，提供實時信息檢索，增強分析師在有限時間內獲取全面信息的能力。鑒于此，深入了解中國大模型行業(yè)的發(fā)展態(tài)勢和技術創(chuàng)新對引領數字行業(yè)研究新范式至關重要。本研究的目標是全面評價中國領先的大模型技術，深入分析其在行業(yè)研究領域的實際應用和優(yōu)勢，全面審視大模型對行業(yè)研究發(fā)展的影響，以促進數字行業(yè)研究的創(chuàng)新和變革。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文8?大模型在輔助行業(yè)研究中，通過“兩個創(chuàng)新”和“三個準確”有效賦能行業(yè)分行業(yè)理解能力行業(yè)理解能力行業(yè)的認知理解深度行研基礎能力?考察大模型在文本生成的基礎能力表現研報撰寫能力二創(chuàng)新01分析維度創(chuàng)造性02觀點研判創(chuàng)造性三準確信息數據準確性01行業(yè)認知準確性03提示詞理解準確性信息數據準確性01行業(yè)認知準確性03是否能夠高效準確的理解提升研究效率和信息產出n大模型通過創(chuàng)造性和準確性雙重賦能，提升行業(yè)研究的廣度和深度，助力生成高質量、洞見性的分析大模型在輔助行業(yè)研究中，通過“兩個創(chuàng)新”和“三個準確”有效賦能行業(yè)分析?！皟蓚€創(chuàng)新”包括分析維度的創(chuàng)造性和觀點研判的創(chuàng)造性，利用創(chuàng)造力為分析師提供更廣泛的視角指引，支持生成具有獨創(chuàng)性和深度洞見的研究內容?！叭齻€準確”則涵蓋信息數據的準確性、提示詞理解的準確性以及細分行業(yè)認知的準確性，通過嚴謹且精準的內容產出，幫助分析師更全面地把握行業(yè)動態(tài)，從而準確研判行業(yè)整體發(fā)展趨勢。本次評測將通過三個維度的能力測試：報告撰寫能力、行業(yè)理解能力及行業(yè)研究基礎能力，全面評估大模型在創(chuàng)新性和準確性方面的差異化表現，最終甄別出在行業(yè)研究中最能有效輔助分析師生成高質量內容的大模型。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文9廠大模型行研能力評測參與者廠參評大模型榜單豆包本次對大模型的行業(yè)研究能力評測的時間區(qū)間定于7月15日至8月2日，期間調用各企業(yè)官網在此時間段內性能最佳的模型API。n自ChatGPT推出后，生成式AI在全球范圍內引發(fā)熱潮，逐漸滲透到日常生活和工作場景中。2023年首次對大模型的行研能力進行評測后，沙利文聯合頭豹研究院發(fā)布了2024年年中評測更新結果，選取了中國市面上的16個領先大模型進行綜合評估，以洞悉中國大模型在行研領域的最新應用。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文?本次大模型行研能力測試覆蓋了3,540道題目，由20位資深研究分析師和了大模型在研究報告撰寫、基礎能力和行業(yè)綜合理解方面A.報告撰寫問題….C.行業(yè)理解問題?A.報告撰寫問題….C.行業(yè)理解問題?金融業(yè)?制造業(yè)?互聯網科技業(yè)?零售業(yè)?教育業(yè)?運輸業(yè)??行業(yè)定義?行業(yè)分類?行業(yè)特征?發(fā)展歷程?產業(yè)鏈分析?市場規(guī)模?政策分析?競爭格局?邏輯推理?知識能力?意圖理解?總結提煉?角色扮演?長文本生成裁判模型與裁判模型與析師團隊雙重評測研究院全員長期跟蹤n本次評測覆蓋模型三大行研能力板塊，結合20人資深研究分析師團隊與10個中外裁判大模型，經過嚴格的雙盲評測流程得出，最大程度保證公允性本次大模型能力測試圍繞三大核心板塊展開評測：分別是行研報告撰寫能力，模型基礎能力以及行業(yè)理解能力。通過模型在三大核心板塊的表現力最終得出評測結果。其中，報告撰寫覆蓋20篇不同行業(yè)報告撰寫，涵蓋300道問題，分析師長期跟蹤報告問題累積超3,000道題；模型能力覆蓋6大文本產出核心能力，涵蓋60道問題；行業(yè)理解覆蓋15大核心行業(yè)，每個行業(yè)涉及12個問題，總計180題。三大維度合計3,540道題目。分析師團隊均由頭豹研究院各團隊資深分析師組成，且均具備超過16個月的大模型使用經歷。評測方法分為分析師人工評估和大模型裁判模型自動評估兩種。在分析師評測端，采用雙盲機制以最大程度保證公允性。每位測試人員會隨機分配N個模型進行答案收集，期間禁止相互分享信息，以確保在答案評測階段的公平性。在評測階段，每個問題對應的16個模型答案順序會被隨機打亂，以防止評測人員對答案產生任何偏見。在裁判模型評測端，使用全球最領先的十個中外大模型作為裁判模型進行打分。為消除模型偏見并提升評分公允性，每個裁判模型將生成三個評分版本并取其平均值。最終，通過這十個裁判大模型的平均評分來決定裁判模型打分的結果。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文?沙利文聯合頭豹企業(yè)研究所采用的8-D方法論，由八個核心模塊構成，形大模型報告撰寫能力行業(yè)定義10.0%對特定行業(yè)的基本性質概述，涵蓋主要活動、服務或產品權重占比行業(yè)分類10.0%根據某些共同特征將不同的行業(yè)進行分組的過程，理解行業(yè)結構政策分析10.0%對影響特定行業(yè)的政府政策、法規(guī)和指導原則的評估發(fā)展歷程10.0%描述行業(yè)從誕生到當前狀態(tài)所經歷的各個階段和重要轉折點產業(yè)鏈分析15.0%從原材料采購到最終產品銷售的整個流程進行完整分析審視市場規(guī)模15.0%在給定時間內的總銷售額或總市場價值，反映經濟影響力和潛力行業(yè)特征15.0%區(qū)分一個特定行業(yè)與其他行業(yè)的競爭格局15.0%描述行業(yè)內各企業(yè)間的競爭狀態(tài)，包括市場份額分布和競爭動態(tài)變化獨特屬性和條件，囊括多個維度概念主體理清邊界類模類模塊4概八大維度分析法+分析類模塊分析類模塊產業(yè)鏈分析4政策分析總結趨勢研判觀點輸出n8-D方法論通過模塊化提問框架，顯著提升了行業(yè)研究的清晰度、數據嚴謹性和報告質量評估的有效性沙利文聯合頭豹企業(yè)研究所采用的8-D方法論，由八個核心模塊構成，形成了一個系統化、全面性的行業(yè)深度分析框架。在這一方法論的支持下，詳實的數據與精準的分析相結合，提煉出富有洞察力的結論，大大提升了行業(yè)研究的清晰度和數據的嚴謹性。經過百余名分析師歷時八個月的緊密協作與多輪優(yōu)化，最終開發(fā)出一套高效的8-D模塊化大模型提問框架。這一精心設計的提問體系已轉化為評估工具，通過對十六個模型的定向提問，深入檢驗并評估模型報告的撰寫質量和有效性。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文大模型行研評測|2024/08??從AI輔助行研報告撰寫角度出發(fā)通過分析和演繹現有信息，推導出合理結論掌握并準確應用廣泛領域信息和概念的能力準確識別并理解模型使用者想要表達的目的""從大量信息中提取出關鍵要點和核心觀點在特定情境中模擬和扮演特定角色以實現特定目標基于給定主題，撰寫結構化和連貫的長字數內容n從AI輔助行研報告撰寫角度出發(fā)，結合分析師長期使用大模型撰寫經驗，歸總出對于行業(yè)研究報告撰寫角度最重要的六大基礎能力維度邏輯推理：邏輯推理是指通過分析和推斷數據和事實之間的邏輯關系，確保報告內容具有嚴謹的邏輯結構。大模型通過分析數據和推斷邏輯關系，幫助分析師確保報告結構嚴謹、結論可靠?？偨Y提煉：總結提煉是指從大量信息中提煉出關鍵要點，并簡潔明了地呈現重要結論和見解。大模型通過從大量信息中提煉關鍵要點，幫助分析師快速整理和歸納內容，使報告清晰有條理。知識儲備：知識儲備是指擁有廣泛的行業(yè)和市場知識，結合多學科背景信息撰寫深度分析報告。大模型憑借廣泛的行業(yè)和準確的市場知識，幫助分析師撰寫深度分析報告，提供前瞻性見解。長文本生成：長文本生成是指生成結構完整、內容詳實的長篇分析報告，確保每一部分內容都有充分的論證和數據支持。它能夠幫助行研報告保持一致性和連貫性，使內容讀起來邏輯清晰、易于理解。意圖理解：意圖理解是指準確理解客戶或讀者的需求和意圖，確保報告內容符合其期望和關注點。它能夠幫助行研報告靈活調整方向和重點，最大程度地滿足不同讀者的需求和閱讀習慣。角色扮演：角色扮演是指通過模擬不同角色的視角，深入分析和預測市場行為和行業(yè)趨勢。它能夠幫助行研報告提供多維度的見解，滿足特定讀者群體的需求。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文?頭豹研究院成立至今匯集超7,000+行企報告，覆蓋超15個大類行業(yè)以及大模型行業(yè)理解能力n頭豹研究院成立至今匯集超7,000+行企報告，覆蓋超15個大類行業(yè)以及上千個細分小類行業(yè)。本次評測匯集各行業(yè)領域資深行業(yè)分析師，結合自身領域認知，對模型在15大行業(yè)的理解和產出能力進行評估沙利文聯合頭豹研究院成立至今，平臺共積累超14萬+注冊用戶，7,000+行業(yè)企業(yè)研究報告積累，覆蓋15個大類行業(yè)，以及上千個細分小類行業(yè)。沙利文聯合頭豹的精英分析師團隊以及各項研究成果廣泛受到金融、制造、互聯網科技等各個行業(yè)領域的用戶認可。當前，頭豹已發(fā)展成為中國最大的行企研究平臺之一，擁有行業(yè)覆蓋程度廣、報告庫數量多、報告撰寫效率高、行業(yè)知識精準度高四大優(yōu)勢。在本次大模型行研能力評測中，頭豹研究院聯合上海、南京和深圳，匯聚了跨越多個行業(yè)專領域的資深分析師，利用自身對競爭格局、發(fā)展趨勢、制約因素、以及行業(yè)壁壘等關鍵知識領域的深厚理解，并結合豐富的行業(yè)報告撰寫經驗，向模型提出了針對15個主要行業(yè)的細致問題。通過對模型在各特定行業(yè)細分領域的縱向評估和全行業(yè)范圍的橫向比較，最終確定了16大模型在行業(yè)理解和內容產出方面的深度與能力。來源：沙利文、頭豹研究院頭豹LeadL400-072-5588沙J文Chapter2大模型行研能力評測結果沙頭豹LeadLeo沙頭豹LeadLeoJ文www.leadleoJ文果顯示，商湯日日新、騰訊混元、通義千問、文心一言以及豆包頭豹LeadL400-072-5588沙J文究價值數據元素，完成超過1萬個獨立的研究咨詢項目。u研究院依托中國活躍的經濟環(huán)境，研究內容覆蓋整個行業(yè)的發(fā)展周期，伴隨著行業(yè)中企業(yè)的創(chuàng)到企業(yè)走向上市及上市后的成熟期