新華社研究院：人工智能大模型體驗(yàn)報(bào)告

人工智能大模型體驗(yàn)報(bào)告

拾年研究所

中國企業(yè)發(fā)展研究中心

新華社研究院中國企業(yè)發(fā)展研究中心

新華社國家高端智庫分中心

2023年06月

1

報(bào)告介紹

當(dāng)前，由人工智能引領(lǐng)的新一輪科技革命和產(chǎn)業(yè)變革方興未艾。在移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、超級(jí)計(jì)算、傳感網(wǎng)、

腦科學(xué)等新理論新技術(shù)驅(qū)動(dòng)下，人工智能呈現(xiàn)深度學(xué)習(xí)、跨界融合、人機(jī)協(xié)同、群智開放、自主操控等新特征，正在

對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)進(jìn)步、全球治理等方面產(chǎn)生重大而深遠(yuǎn)的影響。

人工智能技術(shù)是當(dāng)今世界最為重要的技術(shù)領(lǐng)域之一，是國家在科技自立自強(qiáng)領(lǐng)域必須取勝的關(guān)鍵賽道。人工智

能技術(shù)作為推進(jìn)中國數(shù)字經(jīng)濟(jì)發(fā)展的核心底層技術(shù)之一，將在未來很長(zhǎng)一段時(shí)期，在數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)深度融合的

過程中，扮演關(guān)鍵角色。

進(jìn)入2023年以來，大模型在人工智能領(lǐng)域受到越來越多的關(guān)注，越來越多中國科技企業(yè)推出了自有大模型產(chǎn)品。

為了全面、真實(shí)呈現(xiàn)我國當(dāng)前主流科技企業(yè)所推出的大模型產(chǎn)品的現(xiàn)狀、優(yōu)勢(shì)、特點(diǎn)，同時(shí)為行業(yè)健康發(fā)展進(jìn)拾年研究所

一步探索方向，建言獻(xiàn)策，新華社研究院中國企業(yè)發(fā)展研究中心特啟動(dòng)本次報(bào)告研究?；谠u(píng)測(cè)條件、評(píng)測(cè)時(shí)間等限

制，評(píng)測(cè)最終結(jié)果不可避免存在一定主觀性，具體結(jié)果供產(chǎn)業(yè)參考。

2

01.大模型成為AI大規(guī)模落地拐點(diǎn)

拾年研究所

4

大模型的驅(qū)動(dòng)因素

中國大模型的飛速發(fā)展由政策和產(chǎn)業(yè)需求雙輪驅(qū)動(dòng)

預(yù)訓(xùn)練大模型通過通用能力、泛化能力為

AI面臨的落地難等問題提供了新的思路

政策產(chǎn)業(yè)需求

《新一代人工智能發(fā)展規(guī)劃》隨著人工智能技術(shù)的不斷成熟，大規(guī)模落地問題逐漸成為企業(yè)關(guān)注

《國務(wù)院關(guān)于印發(fā)“新一代人工智能發(fā)展計(jì)劃”的通知》等。重點(diǎn)，目前阻礙AI落地的原因主要在數(shù)據(jù)量不足、模型復(fù)雜度高、算力不

?推動(dòng)中國成為全球主要的人工智能創(chuàng)新中心?！缎乱淮斯ぶ悄馨l(fā)展規(guī)劃》足等方面。

是中國政府發(fā)布的首個(gè)人工智能國家級(jí)戰(zhàn)略，該規(guī)劃提出了到2020年和?數(shù)據(jù)模態(tài)多維，質(zhì)量參差不齊：獲取大量高質(zhì)量的數(shù)據(jù)是實(shí)現(xiàn)AI應(yīng)用

2030年的兩個(gè)階段目標(biāo)。該規(guī)劃旨在搶抓人工智能發(fā)展的重大戰(zhàn)略機(jī)遇，的關(guān)鍵前提。但是，中長(zhǎng)尾企業(yè)通常面臨數(shù)據(jù)量不足、數(shù)據(jù)質(zhì)量差、

構(gòu)筑我國人工智能發(fā)展的先發(fā)優(yōu)勢(shì)，加快建設(shè)創(chuàng)新型國家和世界科技強(qiáng)國。數(shù)據(jù)格式不兼容等問題，這些問題對(duì)于模型的訓(xùn)練效率和輸出效果都

?國家互聯(lián)網(wǎng)信息辦公室發(fā)布《生成式人工智能服務(wù)管理辦法（征求意見有直接影響。因此，高質(zhì)量的數(shù)據(jù)是AI企業(yè)最寶貴的資源之一。

稿）》。辦法明確提出，國家支持人工智能算法、框架等基礎(chǔ)技術(shù)的自主創(chuàng)拾年研究所?算法模型開發(fā)、優(yōu)化難度大：AI算法模型的研發(fā)和優(yōu)化過程非常復(fù)雜，

新、推廣應(yīng)用、國際合作，鼓勵(lì)優(yōu)先采用安全可信的軟件、工具、計(jì)算和數(shù)通常涉及到多個(gè)學(xué)科領(lǐng)域，如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)

據(jù)資源。同時(shí)提出，生成式人工智能產(chǎn)品提供服務(wù)前需申報(bào)安全評(píng)估。視覺等，需要不同領(lǐng)域的專業(yè)人才，而當(dāng)前中國人才缺口較大。

?更多地方政府出臺(tái)推動(dòng)大模型技術(shù)發(fā)展政策舉措。包括北京、上海、深圳等?算力資源不足，投資成本過高：AI應(yīng)用需要大量的算力資源，特別是

紛紛出臺(tái)政策舉措，圍繞人工智能大模型加快創(chuàng)新步伐，開展大模型創(chuàng)新算GPU，需要通過GPU提高模型的訓(xùn)練和推理部署速度。購買算力需要

法及關(guān)鍵技術(shù)研究，探索通用人工智能新路徑，打造人工智能創(chuàng)新高地。資金支持，中小企業(yè)往往很難承擔(dān)投資壓力。

5

大模型的產(chǎn)業(yè)價(jià)值

2023年各大廠商紛紛布局大模型，其內(nèi)在價(jià)值顯露無疑

?大模型的發(fā)展可以提供更多的智能化應(yīng)用場(chǎng)景，拓展更多的智能化服務(wù)，提升服務(wù)的質(zhì)量和效率，實(shí)現(xiàn)產(chǎn)業(yè)智能化轉(zhuǎn)型。同時(shí)，大模型的發(fā)展可以

提供更加先進(jìn)的智能化產(chǎn)品，提升產(chǎn)品的智能化水平，實(shí)現(xiàn)產(chǎn)品的升級(jí)換代，提升產(chǎn)品的競(jìng)爭(zhēng)力。此外，大模型的發(fā)展還可以實(shí)現(xiàn)從技術(shù)到產(chǎn)品的

全鏈路商業(yè)化服務(wù)，提升商業(yè)化服務(wù)質(zhì)量，拓展更多的商業(yè)化服務(wù)場(chǎng)景。

通用性、泛化性降低AI開發(fā)門檻加快AI商業(yè)化進(jìn)程

其技術(shù)價(jià)值主要體現(xiàn)在：處理大規(guī)模數(shù)據(jù)的能力、模大模型的優(yōu)勢(shì)除了體現(xiàn)在泛化性和通用性上以外，還大模型具有很強(qiáng)的生成能力，可以生成各種類型的

型的可解釋性和強(qiáng)大的泛化能力上。能夠降低人工智能應(yīng)用的門檻。內(nèi)容，如文章、新聞、電子郵件等。此外，大模型

?得益于強(qiáng)大的算力支撐，大模型可以處理海量數(shù)據(jù)。?大模型加速人工智能工程化進(jìn)程。大模型有望成為還可以生成代碼、圖片、視頻等。這種生成能力有

大規(guī)模的算力硬件和算法的支持下，大模型可以訓(xùn)AI技術(shù)底座，減少應(yīng)用對(duì)于數(shù)據(jù)標(biāo)注的依賴，從而望幫助進(jìn)一步賦能技術(shù)的商業(yè)化落地，打造新一代

練更復(fù)雜、更豐富的模型結(jié)構(gòu)，并通過分布式訓(xùn)練，更好地滿足個(gè)性化需求，并提升下游技術(shù)和應(yīng)用的的軟件交互形式。

提高計(jì)算效率，從而更好地處理海量數(shù)據(jù)。性能和體驗(yàn)。?技術(shù)的開源是商業(yè)化的路徑之一。隨著大模型的

?大模型可較好地處理在決策過程中的各種變量因素。?大模型改變傳統(tǒng)人工智能的開發(fā)模式。傳統(tǒng)的AI開落地，頭部企業(yè)可以開放自研技術(shù)，賦能中小企

由于大模型能夠捕捉到更高級(jí)和抽象的特征，這些發(fā)需要針對(duì)不同的任務(wù)和場(chǎng)景進(jìn)行定制化研發(fā)，而業(yè)，打造以大模型為底座的生態(tài)，將大模型的紅

特征通用性更強(qiáng)。此外，大模型還可以通過相對(duì)可大模型通過復(fù)用已經(jīng)訓(xùn)練好的模型降低開發(fā)復(fù)雜度，利釋放給每個(gè)開發(fā)者，并促進(jìn)大模型創(chuàng)新應(yīng)用的

解釋的模型和特征組合來進(jìn)一步計(jì)算與生成，提高提升部署便捷度。通過模型即服務(wù)的方式對(duì)外賦能，拾年研究所出現(xiàn)。

模型結(jié)果的可靠性和可準(zhǔn)確性。顯著降低AI的應(yīng)用門檻。?對(duì)話式交互形式將會(huì)刺激新需求出現(xiàn)?；诖竽?/p>

?大模型具有更好的泛化能力，能夠在處理新任務(wù)和?大模型應(yīng)用將會(huì)滲透到千家萬戶，提升生活幸福指型的對(duì)話交互技術(shù)可以提升用戶體驗(yàn)，讓用戶更

新數(shù)據(jù)時(shí)保持一定的準(zhǔn)確性。大模型采用了深度學(xué)數(shù)與工作效率。大模型技術(shù)可以支持智能家居、智方便地獲取所需的信息和服務(wù)。這將有助于企業(yè)

習(xí)技術(shù)，通過多層神經(jīng)元的層級(jí)結(jié)構(gòu)來學(xué)習(xí)特征表能車輛、智能醫(yī)療等應(yīng)用場(chǎng)景，從而提高各種家居增強(qiáng)用戶粘性，提高用戶滿意度。同時(shí)，企業(yè)可

示，從而捕捉到更高級(jí)和抽象的特征。同時(shí)，大模設(shè)備、交通工具、醫(yī)療設(shè)備等工具的性能和體驗(yàn)。以結(jié)合對(duì)話交互技術(shù)，打造智能化服務(wù)平臺(tái)，提

型還引入了注意力機(jī)制、自監(jiān)督學(xué)習(xí)等技術(shù)。共同還可以支持各種智能化服務(wù)平臺(tái)，如智能客服、智供更加便捷、高效的服務(wù)。這些都會(huì)推動(dòng)企業(yè)探

推動(dòng)了模型泛化性顯著提高。能推薦等，從而提高服務(wù)質(zhì)量和工作效率。索新的商業(yè)模式，帶動(dòng)AI技術(shù)的商業(yè)價(jià)值提升。

6

發(fā)展熱點(diǎn)分析

2023年大模型廠商概覽

?目前國內(nèi)典型大模型包括：阿里的M6，百度的文心大模型，華為的盤古，智譜科技的ChatGLM，科大訊飛的星火，商湯的日日新

等，2023年開始其他企業(yè)也爭(zhēng)相入局，共同打造完整的中國大模型生態(tài)鏈路。

行業(yè)大模型

搜索問答金融辦公基礎(chǔ)科學(xué)

百度阿里巴巴第四范式阿里巴巴百度

微軟智譜AI瀾舟科技百度智源研究院

昆侖萬維科大訊飛同花順第四范式華為云

360商湯百度商湯騰訊

開發(fā)平臺(tái)

阿里巴巴騰訊華為百度谷歌智源研究院Meta字節(jié)跳動(dòng)之江實(shí)驗(yàn)室

基礎(chǔ)大模型

計(jì)算機(jī)視覺&自然語言處理多模態(tài)

谷歌微軟華為DeepMind拾年研究所美團(tuán)阿里云華為云科大訊飛

Meta京東浪潮北京大學(xué)智譜AI商湯百度OpenAI

云從商湯追一科技清華大學(xué)英偉達(dá)昆侖萬維聯(lián)匯科技智譜AI

百度OpenAI瀾舟科技中科聞歌騰訊微軟第四范式云從

算力設(shè)施

谷歌浪潮亞馬遜云科技微軟華為百度阿里巴巴騰訊商湯中科曙光燧原科技英特爾寒武紀(jì)

7

注：僅列舉代表廠商

測(cè)評(píng)規(guī)則

本次評(píng)測(cè)規(guī)則（1/2）

大模型的通用性、泛化性吸引了各大廠商布局，但目前市面上對(duì)于大模型產(chǎn)品的實(shí)際效果評(píng)測(cè)少之又少，主要是因

為大模型的性能受到多種因素的影響，如模型架構(gòu)、訓(xùn)練數(shù)據(jù)、訓(xùn)練算法等等，評(píng)估體系過于復(fù)雜。為了推動(dòng)大模型技

術(shù)的發(fā)展和應(yīng)用，新華社研究院中國企業(yè)發(fā)展研究中心通過多個(gè)維度（4大類，36個(gè)子能力，共300個(gè)問題）對(duì)大模型

產(chǎn)品進(jìn)行評(píng)測(cè)，并邀請(qǐng)專家團(tuán)隊(duì)深入分析各個(gè)產(chǎn)品答案合理性、語義表達(dá)等，最終得出各廠商的評(píng)估，以期為企業(yè)未來

發(fā)展、產(chǎn)業(yè)采用大模型提供方向參考。

本次測(cè)評(píng)大模型評(píng)測(cè)緯度：

?基礎(chǔ)能力（共100題）：考察產(chǎn)品的語言能力，跨模態(tài)能力以及AI向善的引導(dǎo)能力。

?智商測(cè)試（共100題）：涵蓋常識(shí)知識(shí)、專業(yè)知識(shí)、邏輯能力三大項(xiàng)。其中專業(yè)知識(shí)包括數(shù)學(xué)、物理、金融、

文學(xué)等10+項(xiàng)細(xì)分，邏輯能力則包括推理能力、歸納能力以及總結(jié)等6項(xiàng)維度。

?情商測(cè)試（共50題）：衡量產(chǎn)品個(gè)體情感能力。包括自我認(rèn)知、自我調(diào)節(jié)、社交意識(shí)、人際關(guān)系管理等方面，拾年研究所

本次情商測(cè)試圍繞不同場(chǎng)景下的突發(fā)狀況、溝通技巧、情緒管理等展開。

?工作提效能力（共50題）：面向新聞工作者、畫家及設(shè)計(jì)師、市場(chǎng)營銷人員、律師和調(diào)研人員的5類工作者，

將工作人員會(huì)遇到的問題逐一梳理，考察產(chǎn)品是否能有效幫助相關(guān)人員的工作效率提升。

8

測(cè)評(píng)規(guī)則

本次評(píng)測(cè)規(guī)則（2/2）

評(píng)測(cè)大模型產(chǎn)品打分規(guī)則

?5分：答案較為完美，內(nèi)容可在實(shí)際場(chǎng)景中直接

Chat-GPT4文心一言使用

?4分：基本可用，可在實(shí)際場(chǎng)景中使用

Chat-GPT3.5訊飛星火

?3分：調(diào)整可用，但需人工進(jìn)行調(diào)整后方可使用

Vicuna-13B通義千問

?2分：大略可用，需要較多人工調(diào)整方可使用

商量ChatGLM拾年研究所

?1分：不可用，答非所問、語言不通

注：本次測(cè)評(píng)時(shí)間為2023年5月22日-2023年5月26日9

02.大模型廠商整體測(cè)評(píng)

拾年研究所

10

綜合排名

主流大模型綜合指數(shù)

主流大模型綜合指數(shù)

1400

1246

12001148

1112

10201010

1000967943

801

800

600

400

200拾年研究所

0

ChatGPT4ChatGPT3.5文心一言（百度）通義千問（阿里）星火（訊飛）商量（商湯）ChatGLM（智譜）Vicuna-13B

總分12461148111210201010967943801

基礎(chǔ)能力420397363347352325347314

智商測(cè)試395355378334306328270212

情商測(cè)試228215187177172160142117

工作提效213196184162180154184158

注：基于評(píng)測(cè)條件、評(píng)測(cè)時(shí)間等限制，本次評(píng)測(cè)最終結(jié)果不可避免存在一定主觀性，未來將進(jìn)一步優(yōu)化完善評(píng)測(cè)模型，提供更精確結(jié)果

11

逐家述評(píng)

OpenAI-GPT4

工作提效：213

?律師：表現(xiàn)優(yōu)異，可以快速搜索和分析龐大的法律數(shù)據(jù)庫，幫其找到相關(guān)的案例和法規(guī)，節(jié)省大量的時(shí)間和精力。

?新聞工作者：可以對(duì)大量的新聞數(shù)據(jù)進(jìn)行分析和挖掘，幫助新聞工作者發(fā)現(xiàn)趨勢(shì)、模式和關(guān)聯(lián)性，提供更深入的報(bào)道和洞察。

?營銷人員：生成引人入勝的廣告文案和內(nèi)容，幫助營銷人員快速創(chuàng)作優(yōu)質(zhì)廣告素材，提高營銷效果。

?分析師&調(diào)研人員：表現(xiàn)優(yōu)異，研究、分析工作優(yōu)秀助手。

智商：380情商：228

常識(shí)專業(yè)知識(shí)邏輯能力

?能夠應(yīng)對(duì)各種領(lǐng)域?具備廣泛的學(xué)科知?展現(xiàn)出卓越的問題?能夠準(zhǔn)確感知并回應(yīng)家人、同事和朋友的情緒變化，以情感智能的方

和主題的常識(shí)問題，識(shí)，能夠處理復(fù)雜解構(gòu)和邏輯演繹能式與他們建立良好的關(guān)系。

表現(xiàn)出出色的領(lǐng)域的專業(yè)問題并提供力，能夠?qū)?fù)雜情?能夠傾聽和理解他人的意見和需求，促進(jìn)積極的溝通和良好的合作，

通用性和靈活性。較準(zhǔn)確的解決方案。境進(jìn)行系統(tǒng)化分析從而提升人際關(guān)系和團(tuán)隊(duì)效能。

和解釋。

基礎(chǔ)能力：420

語言能力拾年研究所AI向善多模態(tài)

?語義流暢自然，邏輯清晰。?展現(xiàn)出了較高的道德意識(shí)和倫理意識(shí)，積?在多模態(tài)信息的呈現(xiàn)和展示方面仍有改進(jìn)空間，

?能夠用恰當(dāng)?shù)姆绞交貞?yīng)并參與到有意義的極遵守和踐行道德準(zhǔn)則。需要更好地結(jié)合多種媒體形式，提供更豐富和

對(duì)話中去。?在信息推送和內(nèi)容過濾方面表現(xiàn)出了對(duì)道有意義的信息輸出。

?在跨文化交流中展現(xiàn)出適應(yīng)性和敏感度，德價(jià)值觀的尊重，努力避免傳播虛假、歧

能夠以文化敏感的方式與不同背景的人進(jìn)視或有害的信息。

行有效的溝通和合作。

12

逐家述評(píng)

OpenAI-GPT3.5

工作提效：196

?律師：可分析和生成合同文本，輔助律師進(jìn)行合同起草和審核，減少了潛在的錯(cuò)誤和遺漏。

?新聞工作者：支持多語言翻譯，幫助新聞工作者跨越語言障礙，進(jìn)行跨文化的新聞報(bào)道和傳播。

?營銷人員：模擬不同的營銷策略，并根據(jù)實(shí)際情況提供優(yōu)化建議，幫助營銷人員制定更具效果的營銷計(jì)劃。

?分析師&調(diào)研人員：可以很好地支持日常研究、分析工作。

智商：340情商：215

常識(shí)專業(yè)知識(shí)邏輯能力

?在自然語言處理?展現(xiàn)出了對(duì)特定領(lǐng)?具備高度發(fā)達(dá)的邏?通過情感智能的方式與家人、同事和朋友建立深厚的情感連接，增

和對(duì)話系統(tǒng)中展域的全面專業(yè)知識(shí)，輯思維能力，能夠強(qiáng)彼此間的理解和信任。

現(xiàn)出了對(duì)常識(shí)的能夠準(zhǔn)確理解和應(yīng)識(shí)別和解決問題中?具備情緒管理的能力，能夠適時(shí)表達(dá)關(guān)心、支持和鼓勵(lì)，并在沖突

積極運(yùn)用用該領(lǐng)域的核心概的各種邏輯關(guān)系和或困擾時(shí)提供有效的解決方案。

念和原理。模式。

基礎(chǔ)能力：397

語言能力拾年研究所AI向善多模態(tài)

?在語言風(fēng)格和語氣的把握上表現(xiàn)出靈活性和?努力避免引發(fā)或加劇心理健康問題，通過積極?在處理圖片相關(guān)任務(wù)上存在限制。

適應(yīng)性，能夠根據(jù)不同情境和受眾調(diào)整語言的互動(dòng)和建議，提供支持和幫助，提升用戶福

風(fēng)格和語氣。祉。

?在文本生成方面，能夠創(chuàng)造性地產(chǎn)生各種類?秉持著道德和倫理的準(zhǔn)則，始終以人類福祉為

型的文本，包括故事、詩歌、新聞報(bào)道等，出發(fā)點(diǎn)，努力為社會(huì)做出正面和有益的貢獻(xiàn)。

展示出豐富的創(chuàng)造力和想象力。

13

逐家述評(píng)

百度-文心一言

工作提效：工作提效：184184

?律師：可評(píng)估訴訟風(fēng)險(xiǎn)，并為其提供決策支持。?分析師&調(diào)研人員：可基本應(yīng)對(duì)日常研究、分析工作基礎(chǔ)任務(wù)。

?新聞工作者：可自動(dòng)收集和整理新聞素材，高效獲取和利用資源。?設(shè)計(jì)師&畫家：可為日常工作提供非常有想象力的靈感素材，部分結(jié)果達(dá)到可直接使

用的狀態(tài)。

?營銷人員：提供了更智能、高效的工具和解決方案。

智商：378情商：187

常識(shí)專業(yè)知識(shí)邏輯能力

?對(duì)于新興領(lǐng)域和新?能夠識(shí)別和解決專?在邏輯推理和論證?能夠敏銳地捕捉他人的情緒變化，并以恰當(dāng)?shù)姆绞交貞?yīng)，可協(xié)助支持增

聞事件的常識(shí)掌握業(yè)問題中的復(fù)雜關(guān)方面表現(xiàn)出色，能強(qiáng)與家人、同事和朋友之間的親密度。

表現(xiàn)出色，能夠及聯(lián)和挑戰(zhàn)，展現(xiàn)出夠提供清晰、合理?在與同事相處方面，它展現(xiàn)出良好的團(tuán)隊(duì)合作意識(shí)，能夠促進(jìn)有效的溝

時(shí)更新和適應(yīng)變化高水平的專業(yè)推理的推理過程和結(jié)論。通和協(xié)作，共同追求工作目標(biāo)。

的知識(shí)需求。和分析能力。

基礎(chǔ)能力：363

語言能力拾年研究所AI向善多模態(tài)

?在語法和語法結(jié)構(gòu)方面，表現(xiàn)出高度準(zhǔn)確?注重信息的準(zhǔn)確性和可信度，盡可能避免傳?在圖文生成方面表現(xiàn)優(yōu)異，將不同模態(tài)的信息

性和優(yōu)雅性，能夠產(chǎn)生通順、連貫的句子播虛假或誤導(dǎo)性的內(nèi)容，維護(hù)用戶的知情權(quán)進(jìn)行有效融合。

結(jié)構(gòu)。和公共利益。?對(duì)于復(fù)雜圖像語義的理解和表達(dá)，表現(xiàn)優(yōu)秀，

?具備較完備的機(jī)器翻譯能力，能夠高效準(zhǔn)?在言論表達(dá)方面，這個(gè)模型表現(xiàn)出高度的敏但生成結(jié)果偶爾也會(huì)出現(xiàn)準(zhǔn)確性紊亂。

確地將一種語言翻譯成另一種語言，為跨感性和責(zé)任感，避免使用冒犯性、歧視性或

語言交流提供便利。激進(jìn)言論，倡導(dǎo)友善和包容的溝通氛圍。

14

逐家述評(píng)

阿里-通義千問

工作提效：162

?律師：具有通用的法律基礎(chǔ)知識(shí)，且能夠根據(jù)一些情景做出初步分析。?營銷人員：可以結(jié)合某些情境進(jìn)行推文和營銷文案的撰寫。

?新聞工作者：可以進(jìn)行一般的發(fā)言稿和事件新聞等的撰寫。?分析師：對(duì)于提示的市場(chǎng)環(huán)境和某些廠商能夠較為合理的分析。

智商：334情商：177

常識(shí)專業(yè)知識(shí)邏輯能力

?對(duì)于常識(shí)問題能夠進(jìn)行?對(duì)于不同的學(xué)科門類知?具備基本的推理分析能?能夠較為禮貌得體的給出意見和建議，面對(duì)尖

有效的回答和建議，并識(shí)均有一定覆蓋，在某力，能夠在某些場(chǎng)景下銳的問題，能夠采取委婉的回答方式。

且給出合理的分析些特定的學(xué)科領(lǐng)域可以對(duì)于因果前后關(guān)系等給

?在某些情境下可以給出顧全大局的處理思路。

進(jìn)行合理的分析出合理的判斷

基礎(chǔ)能力：347

語言能力拾年研究所AI向善多模態(tài)

?基本語言知識(shí)扎實(shí)，能夠進(jìn)行有效?對(duì)于歧視他們、涉黃涉恐等內(nèi)容均給予?作為一個(gè)大語言模型，無法提供文

的歸納和提煉了批評(píng)和指正生圖、圖生文等能力，但有時(shí)會(huì)對(duì)

?能夠適應(yīng)不同場(chǎng)景進(jìn)行文本的創(chuàng)作?能夠給出分析，可以給出合理的建議。于要求作圖的內(nèi)容進(jìn)行一定的場(chǎng)景

并且基本符合提問意圖，語句通順描述。

流暢。

15

逐家述評(píng)

科大訊飛-星火

工作提效：180

?律師：具備各種法律方法的基礎(chǔ)知識(shí)，能夠給出較為合理的建議。?營銷人員：推文和文案等的撰寫通順流程，合乎邏輯。

?新聞工作者：對(duì)于事件的稿件撰寫合乎邏輯，具有可用性。?分析師：具備市場(chǎng)分析、調(diào)研的基本框架知識(shí)，可以給出大綱及分析內(nèi)容。

智商：306情商：172

常識(shí)專業(yè)知識(shí)邏輯能力

???

常識(shí)較為豐富，對(duì)于生有一定的不同學(xué)科的專能夠進(jìn)行一定總結(jié)和分析，?在處理同事、家人的關(guān)系問題時(shí)能夠表達(dá)出積

活中遇到的問題可以給業(yè)知識(shí)能力，能夠給出可以勝任一定推理工作，極合理的態(tài)度，并且給出較為合理的指導(dǎo)和建

出合理的建議和意見?；镜姆治龊驮怼２⑶铱梢酝ㄟ^公式計(jì)算解議，避免矛盾激化。

決一定的數(shù)學(xué)問題。

基礎(chǔ)能力：352

語言能力拾年研究所AI向善多模態(tài)

?具備語言的理解分析能力，可以根?對(duì)于歧視他人、涉黃涉恐、抑郁悲?作為一個(gè)大語言模型，無法提供文

據(jù)具體的情景和關(guān)鍵詞生成較為合觀方面的引導(dǎo)基本能給予正面友好生圖、圖生文等能力，但有時(shí)會(huì)對(duì)

理的描述的引導(dǎo)于要求作圖的內(nèi)容進(jìn)行一定程度的

?對(duì)于古詩、古文有一定的理解和創(chuàng)?偶爾在某些問題上會(huì)表示作為一個(gè)闡述和解釋。

作能力，句式合理，易于理解。語言大模型無法給予有效的解答。

16

逐家述評(píng)

商湯-商量

工作提效：154

?律師：具有通用的法律基礎(chǔ)知識(shí)，且能對(duì)相關(guān)法律法規(guī)給出一定解讀。?營銷人員：可以根據(jù)框架提示生成營銷、種草等文檔。

?新聞工作者：可以給出提綱建議，并且稿件的撰寫。?分析師：具備基本的分析框架知識(shí)。

智商：328情商：160

常識(shí)專業(yè)知識(shí)邏輯能力

?具備生活的基本常識(shí)，?不同學(xué)科的知識(shí)覆蓋面?具備語義理解和分析能?具備一定的情境理解能力，且對(duì)于當(dāng)時(shí)的情境

在特定的場(chǎng)景和條件下，較為廣泛，且在不同的力，能夠進(jìn)行簡(jiǎn)單的邏做出較為合理的分析和判斷，給出有效的指導(dǎo)

可以給出合理建議。知識(shí)領(lǐng)域問答中能給出輯推理，并勝任某些數(shù)和建議，能夠委婉的表達(dá)想法。

合理的解釋。學(xué)分析和計(jì)算工作。

基礎(chǔ)能力：325

語言能力拾年研究所AI向善多模態(tài)

?可以有效的對(duì)語言進(jìn)行歸納和提煉，能?對(duì)于不符合道理和倫理的事情均給予了?作為一個(gè)大語言模型，無法提供文

夠表達(dá)出基本的意思批評(píng)和指正生圖、圖生文等能力，但會(huì)對(duì)所要

?語句較為通順，句子邏輯合理，可讀性?部分問題的回答較為格式化，欠缺進(jìn)一求創(chuàng)作圖畫進(jìn)行較為形象的闡述，

比較強(qiáng)。步深入理解和分析。并給出基本作畫邏輯。

17

逐家述評(píng)

智譜-ChatGLM

工作提效：184

?律師：具備各種法律方法的基礎(chǔ)知識(shí)，且能夠根據(jù)一些情景做出初步分析?營銷人員：可以結(jié)合某些情境進(jìn)行推文和營銷文案的撰寫

?新聞工作者：可以根據(jù)具體報(bào)道進(jìn)行合理的展開和描述?分析師：能夠結(jié)合提示的情境以合理的框架進(jìn)行分析

智商：270情商：142

常識(shí)專業(yè)知識(shí)邏輯能力

?具備基本常識(shí)，可以對(duì)?具備不同學(xué)科的基礎(chǔ)知?對(duì)于一般的分類和簡(jiǎn)單?可以理解對(duì)話的情景和所表達(dá)的基本感情，并

于遇到的常識(shí)性問題給識(shí)，且在做出判斷和選的邏輯問題基本可以駕且在處理家人和同事的關(guān)系時(shí)能夠給出一些建

出一定的分析擇后，能夠給予一定的馭，且對(duì)于語義有一定議，以及一些具體的做法及步驟

解析的理解能力

基礎(chǔ)能力：347

語言能力拾年研究所AI向善多模態(tài)

?可以理解的基本的語義和語境，給?道德觀念正確，能夠涉黃、社恐等不良?作為一個(gè)大語言模型，無法提供文

出合理的創(chuàng)作內(nèi)容，語句較為通順性的引導(dǎo)，并且給予正確判斷生圖、圖生文等能力，但會(huì)對(duì)所要

?能夠根據(jù)情境對(duì)文章進(jìn)行較好的展?可以給出針對(duì)不同問題的合理性建議以求創(chuàng)作圖畫進(jìn)行較為形象的闡述，

開和進(jìn)一步描述，并且具備一定的及操作步驟并給出基本作畫邏輯

歸納總結(jié)能力

18

逐家述評(píng)

Vicuna-13B

工作提效：158

?律師：可以幫助其進(jìn)行法律研究和背景調(diào)查，提供全面的法律知識(shí)支持。

?新聞工作者：可以自動(dòng)生成新聞稿件，根據(jù)數(shù)據(jù)和事實(shí)快速撰寫新聞報(bào)道，減少了人工的勞動(dòng)量和時(shí)間成本。

?營銷人員：幫助其更好地理解市場(chǎng)、滿足客戶需求，并在競(jìng)爭(zhēng)激烈的市場(chǎng)環(huán)境中取得更好的業(yè)績(jī)。

智商：212情商：117

常識(shí)專業(yè)知識(shí)邏輯能力

?在常識(shí)推理和解?能夠解決特定領(lǐng)域的?能夠識(shí)別和糾正邏?在與朋友相處方面表現(xiàn)出友善和包容的態(tài)度，能夠提供真誠的建議和

釋方面表現(xiàn)及格，復(fù)雜問題；在跟蹤最輯錯(cuò)誤和謬誤，提支持，加強(qiáng)彼此之間的友誼。

并不突出新的研究和領(lǐng)域進(jìn)展供準(zhǔn)確和可靠的邏?在處理情緒管理方面的問題時(shí)還有改進(jìn)的余地，可以通過進(jìn)一步調(diào)整

方面還有改進(jìn)空間輯論證和解釋以更好地處理沖突和困擾。

基礎(chǔ)能力：314

語言能力拾年研究所AI向善多模態(tài)

?具備較廣泛的詞匯知識(shí)和深入的語言理解能?積極參與社會(huì)問題的解決和倡導(dǎo)，為用戶提?目前暫時(shí)欠缺處理多種輸入模態(tài)，如圖像、

力，能夠準(zhǔn)確、凝練地表達(dá)各種復(fù)雜的概念供有益的建議、支持和資源，幫助推動(dòng)社會(huì)文字和語音、現(xiàn)全方位的信息理解和分析的

和觀點(diǎn)。進(jìn)步和正面變革。能力。無法準(zhǔn)確地將文字描述轉(zhuǎn)化為高質(zhì)量

?在語義理解和推斷方面，能夠深入洞察文本?致力于對(duì)抗惡意行為和有害內(nèi)容，努力維護(hù)的圖像。

背后的意圖和情感，為人們提供更準(zhǔn)確的回網(wǎng)絡(luò)空間的安全和健康，保護(hù)用戶免受不良

應(yīng)和建議。影響。

19

03.分模塊測(cè)評(píng)結(jié)果

拾年研究所

20

分模塊測(cè)評(píng)結(jié)果

基礎(chǔ)能力指數(shù)及述評(píng)

?在基礎(chǔ)能力部分，百度文心一言表現(xiàn)最為搶眼，訊飛星火、阿里巴巴通義千問、智譜ChatGLM表現(xiàn)優(yōu)良；商湯

商量、Vicuna-13B表現(xiàn)尚佳。

AI大模型基礎(chǔ)能力指數(shù)

420

397

363

352347347

325314

拾年研究所

注：基于評(píng)測(cè)條件、評(píng)測(cè)時(shí)間等限制，本次評(píng)測(cè)最終結(jié)果不可避免存在一定主觀性，未來將進(jìn)一步優(yōu)化完善評(píng)測(cè)模型，提供更精確結(jié)果

21

分模塊測(cè)評(píng)結(jié)果

基礎(chǔ)能力案例介紹---請(qǐng)寫一篇少于100字關(guān)于酒的作文，全文里不能出現(xiàn)“酒”這個(gè)字

GPT4