2024生成式大模型安全評估白皮書

自2022年11月以來，以ChatGPT為代表的生成式大模型持續(xù)引發(fā)全球廣泛關(guān)注。作為新一輪人工智能技術(shù)革命的代表性成果，生成式大模型的迅速發(fā)展，正在深刻重塑全球人工智能技術(shù)格局，為我國數(shù)字經(jīng)濟高質(zhì)量發(fā)展和智能化轉(zhuǎn)型注入新的動能。然而，隨著技術(shù)應(yīng)用的不斷擴展，其潛在的安全風(fēng)險逐漸凸顯。諸如“大模型幻覺”、三星公司機密資料泄露等事件，反映了生成式大模型在隱私保護、惡意濫用、技術(shù)漏洞及合規(guī)性等方面的復(fù)雜挑戰(zhàn)。這些問題的出現(xiàn)，不僅對技術(shù)的安全性提出了更高要求，也對產(chǎn)業(yè)的規(guī)范發(fā)展和社會治理能力構(gòu)成了嚴峻考驗。我國對此高度重視，出臺了《生成式人工智能服務(wù)管理暫行辦法》等一系列政策文件，明確了生成式大模型技術(shù)在安全性、風(fēng)險防控和合規(guī)性方面的基本原則和監(jiān)管要求，為技術(shù)的健康發(fā)展提供了系統(tǒng)指引和政策保障。這些舉措充分體現(xiàn)了我國在全球人工智能技術(shù)治理中秉持的前瞻性戰(zhàn)略眼光和責(zé)任擔當。近期，OpenAI發(fā)布了更擅長處理復(fù)雜推理任務(wù)的o1和o3系列模型，標志著生成式大模型在復(fù)雜應(yīng)用場景中的潛力進一步提升。然而，技術(shù)的快速迭代也對構(gòu)建科學(xué)化、系統(tǒng)化的生成式大模型安全評估框架提出了迫切需求。構(gòu)建這一框架，需要從技術(shù)性能、風(fēng)險防控、合規(guī)性等多個維度明確評估指標體系，系統(tǒng)性降低潛在風(fēng)險，為行業(yè)提供權(quán)威的技術(shù)指導(dǎo)。這不僅將促進生成式大模型技術(shù)向安全、可信、可持續(xù)的方向發(fā)展，也為全球人工智能技術(shù)治理提供了可借鑒的“中國方案”。為積極應(yīng)對生成式大模型的安全挑戰(zhàn)，智能算法安全重點實驗室（中國科學(xué)院）、公安部第三研究所和螞蟻安全實驗室聯(lián)合編寫了2024年度《生成式大模型安全評估白皮書》。白皮書全面梳理了生成式大模型的發(fā)展現(xiàn)狀與安全風(fēng)險，從安全評估方法到實踐案例，深入剖析了當前技術(shù)面臨的關(guān)鍵挑戰(zhàn)及應(yīng)對策略，致力于為學(xué)術(shù)研究、產(chǎn)業(yè)實踐和政策制定提供重要參考。希望通過這一系統(tǒng)性研究，助力生成式大模型安全性研究與應(yīng)用推廣，為構(gòu)建安全、可信的人工智能生態(tài)體系提供堅實支撐，推動技術(shù)向著服務(wù)人類社會福祉的方向健康發(fā)展。前言目錄一、生成式大模型發(fā)展現(xiàn)狀1.1生成式大語言模型1.1.1

OpenAI

GPT系列1.1.2

Meta

LLaMA系列1.1.3

國產(chǎn)生成式大語言模型（1）復(fù)旦大學(xué)：MOSS（2）百度：“文心一言”（3）智譜清言：ChatGLM（4）阿里云：“通義千問”（5）百川智能：百川大模型（6）科大訊飛：訊飛星火認知大模型（7）華為：盤古大模型（8）騰訊：混元大模型（9）月之暗面：Moonshot大模型（10）MiniMax：ABAB大模型1.2

文生圖大模型1.2.1

DALL-E系列1.2.2

Midjourney1.2.3文心一格1.3

多模態(tài)大模型1.3.1

Suno1.3.2

Sora1.3.3

CLIP1.3.4紫東太初二、生成式大模型的安全風(fēng)險2.1

倫理風(fēng)險2.1.1加劇性別、種族偏見與歧視2.1.2傳播意識形態(tài)，危害國家安全2.1.3學(xué)術(shù)與教育倫理風(fēng)險2.1.4影響社會就業(yè)與人類價值2.2內(nèi)容安全風(fēng)險2.2.1可信與惡意使用風(fēng)險（1）制造惡意軟件010202081011111212131314141515161618181920202121232323252627282828傳播虛假信息 29違反法律法規(guī) 30缺乏安全預(yù)警機制 31隱私風(fēng)險 33侵犯用戶隱私信息 33泄露企業(yè)機密數(shù)據(jù) 35知識產(chǎn)權(quán)風(fēng)險 36訓(xùn)練階段存在知識產(chǎn)權(quán)風(fēng)險 36應(yīng)用階段存在知識產(chǎn)權(quán)風(fēng)險 37生成式大模型知識產(chǎn)權(quán)保護 38技術(shù)安全風(fēng)險 39對抗樣本攻擊風(fēng)險 39后門攻擊風(fēng)險 40Prompt注入攻擊風(fēng)險 41數(shù)據(jù)投毒風(fēng)險 42越獄攻擊風(fēng)險 42三、生成式大模型的安全評估方法 44生成式大模型安全性評估維度 45倫理性 45偏見 46毒性 47事實性 48隱私性 49魯棒性 50倫理性評估 53偏見評估 53偏見評估指標 53基于嵌入的偏見評估指標 54基于概率的偏見評估指標 55基于大語言模型的偏見評估指標 56偏見評估數(shù)據(jù)集 56毒性評估 57毒性評估模型 57毒性評估數(shù)據(jù)集 603.3

事實性評估3.3.1

事實性評估指標（1）基于規(guī)則的評估指標（2）基于機器學(xué)習(xí)模型的評估指標（3）基于LLM的評估指標（4）人類評估指標3.3.2

事實性評估數(shù)據(jù)集3.4

隱私性評估3.4.1

隱私泄露（1）敏感查詢（2）上下文泄漏（3）個人偏好泄露3.4.2

隱私攻擊（1）成員推斷攻擊（2）模型反演/數(shù)據(jù)重建攻擊（3）屬性推斷攻擊（4）模型提取/竊取攻擊3.5

魯棒性評估3.5.1

對抗魯棒性評估基準（1）對抗樣本攻擊（2）后門攻擊（3）Prompt注入攻擊（4）數(shù)據(jù)投毒3.5.2

分布外（OOD）魯棒性評估基準3.5.3

大模型越獄攻擊風(fēng)險評估越獄攻擊分類EasyJailbreak越獄攻擊框架4.1

大語言模型安全性評估4.1.1

Holistic

Evaluation

of

Language

Models4.1.2Trustworthy

LLMs4.1.3

DecodingTrust4.1.4

SuperCLUE-Safety4.1.5支小寶安全實踐626263656667687171717272737376767878797980818383848586四、大模型安全評估實踐案例分析 878787899293944.1.6大模型系統(tǒng)安全評估實踐文生圖大模型安全性評估HolisticEvaluationofText-to-Image

ModelsUnsafe

Di?usionHarmAmpli?cation

inText-to-Image

Models多模態(tài)大模型安全性評估T2VSafetyBenchMLLMGUARD五、大模型安全評估的展望5.1面向安全的大模型自主演進5.2大模型評估的衍生安全風(fēng)險參考文獻969898100101102102103105105105107生成式大模型是指基于深度學(xué)習(xí)技術(shù)構(gòu)建的具有海量參數(shù)和復(fù)雜結(jié)構(gòu)的生成式模型(Brown

et

al.,

2020)。生成式大模型不同于判別式模型直接對輸入數(shù)據(jù)進行分類或預(yù)測，其能夠通過學(xué)習(xí)數(shù)據(jù)的概率分布來生成新的數(shù)據(jù)，如文本、圖像、音頻等；同時，較大的參數(shù)量使生成式大模型具有更好的通用性、精度和效率。因此，生成式大模型通過在大型數(shù)據(jù)集上進行預(yù)訓(xùn)練學(xué)習(xí)，并在下游任務(wù)上進行微調(diào)的方式，在自然語言處理和計算機視覺等領(lǐng)域的復(fù)雜任務(wù)上表現(xiàn)出較高的性能和較強的泛化能力。2022年11月30日，OpenAI開放測試AI驅(qū)動的聊天機器人ChatGPT，它是OpenAI基于GPT-3.5等前幾代生成式預(yù)訓(xùn)練模型（GPT）架構(gòu)，在增加參數(shù)量和數(shù)據(jù)量后訓(xùn)練得到的生成式對話系統(tǒng)。ChatGPT能夠與用戶進行自然而流暢的對話，并根據(jù)用戶輸入的對話內(nèi)容提供有意義的回復(fù)。因為參數(shù)規(guī)模增加，ChatGPT的能力得到了飛躍式提升，其能夠處理復(fù)雜的對話場景，理解上下文信息，并生成連貫、有邏輯的回復(fù)，同時支持多語言對話，并且可以根據(jù)用戶輸入的對話內(nèi)容進行個性化回復(fù)。ChatGPT的推出標志著自然語言處理技術(shù)的一個重要里程碑，它的發(fā)布也引發(fā)了國內(nèi)外生成式大模型的研發(fā)熱潮。Google在2023年發(fā)布了PaLM

2模型，展示了在多語言理解和生成方面的突破。同年末，Meta發(fā)布了LLaMA

2模型，旨在提供更高效的多任務(wù)處理能力。OpenAI也在2023年發(fā)布了更為先進的GPT-4模型，進一步提升了對話和生成能力。在2023年，各大公司紛紛推出自研大模型，推動生成式AI在各類應(yīng)用中廣泛部署。其中，Anthropic推出以安全性為主打的大語言模型Claude，旨在提供更加可靠和安全的生成式AI解決方案；MidJourney發(fā)布第五代文生圖模型，其對人類手部細節(jié)特征的描繪達到了前所未有的精度；Microsoft則推出了由GPT支持的Copilot，宣稱是“地球上最強大的生產(chǎn)力工具”，通過集成GPT技術(shù)大幅提升辦公和開發(fā)效率。到2024年，大模型技術(shù)進一步取得了顯著進展。各大公司在已有基座模型的基礎(chǔ)上持續(xù)擴展規(guī)模，迭代更新版本。同時，最新的研究重點逐步轉(zhuǎn)向多模態(tài)大模型的開發(fā)，以及基于強化學(xué)習(xí)與人類反饋和偏好對齊等相關(guān)前沿技術(shù)的應(yīng)用，旨在進一步提升大模型的泛化能力和多領(lǐng)域應(yīng)用能力，也進一步增01生成式大模型發(fā)展現(xiàn)狀生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—01

—1.1.1

OpenAI

GPT系列強了大模型在生產(chǎn)生活中的實際應(yīng)用價值。本白皮書將首先介紹國內(nèi)外生成式大模型的發(fā)展歷程，及其在人類生產(chǎn)生活中的應(yīng)用。生成式大語言模型以GPT系列和通義千問、文心一言等國產(chǎn)模型為代表，通過自然語言處理與深度學(xué)習(xí)技術(shù)，實現(xiàn)了從文本生成到復(fù)雜對話的全方位應(yīng)用。這些模型廣泛應(yīng)用于翻譯、寫作輔助、知識問答等領(lǐng)域，不僅推動了語言智能技術(shù)的發(fā)展，也加速了其在商業(yè)和科研中的實踐落地。從GPT-1到GPT-4o，再到后來的o1和o3，OpenAI的語言模型經(jīng)歷了顯著的發(fā)展和演變。GPT-1引入了基于Transformer的生成預(yù)訓(xùn)練方法，通過大規(guī)模無監(jiān)督學(xué)習(xí)和微調(diào)提高了特定任務(wù)的表現(xiàn)。GPT-2通過擴大模型規(guī)模和數(shù)據(jù)集，進一步強化了模型的多任務(wù)能力，尤其在1.1

生成式大語言模型生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—02

—無監(jiān)督學(xué)習(xí)中展現(xiàn)出優(yōu)異的零樣本學(xué)習(xí)能力。GPT-3和GPT-3.5則側(cè)重于通過極大的模型規(guī)模和數(shù)據(jù)量提升泛化能力和任務(wù)適應(yīng)性，引入了上下文學(xué)習(xí)和元學(xué)習(xí)技術(shù)，減少了對微調(diào)的依賴。InstructGPT模型則是GPT-3的變體，專注于根據(jù)人類反饋進行指令驅(qū)動的任務(wù)優(yōu)化。GPT-4在多模態(tài)技術(shù)上取得突破，不僅在文本生成上性能更強，還新增了圖像處理能力，同時通過改進對抗訓(xùn)練和優(yōu)化生成策略，在安全性與可靠性方面大幅提升?；贕PT-4的GPT-4o則通過進一步優(yōu)化算法和訓(xùn)練技巧，在專業(yè)領(lǐng)域表現(xiàn)更為卓越，尤其是在邏輯推理、復(fù)雜任務(wù)處理和響應(yīng)速度方面均有顯著改進。2024后半年發(fā)布的o1和o3將思維鏈技術(shù)引入模型訓(xùn)練，使其在復(fù)雜任務(wù)中展現(xiàn)出接近人類的推理能力。GPT系列生成式大語言模型的發(fā)展不僅推動了自然語言處理技術(shù)的前沿發(fā)展，也為實際應(yīng)用提供了更強大、更靈活的工具。GPT-1：2017年，Google提出了Transformer架構(gòu)

(Vaswani

et

al.,

2017)，利用Atten-tion機制取代了傳統(tǒng)深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在自然語言處理任務(wù)中取得了成功。2018年6月，OpenAI

(Radford

et

al.,

2018)提出了基于Transformer解碼器改進的第一代生成式預(yù)訓(xùn)練（Generative

Pre-Training,

GPT）模型。GPT-1模型采用先預(yù)訓(xùn)練后微調(diào)的方式，在預(yù)訓(xùn)練過程中，GPT-1使用了多層Transformer解碼器結(jié)構(gòu)來嘗試預(yù)測文本序列中的下一個詞或字符，從而學(xué)習(xí)文本序列的概率分布語言模型。通過這種方式，GPT-1能夠?qū)W習(xí)到豐富的語言知識和語言表示。在預(yù)訓(xùn)練完成后的微調(diào)階段，GPT-1會使用特定任務(wù)的標注數(shù)據(jù)，例如情感分類、文本生成等任務(wù)的數(shù)據(jù)集，通過調(diào)整模型參數(shù)來優(yōu)化模型在該任務(wù)上的表現(xiàn)，提升模型泛化能力。GPT-1是第一個完全由Transformer的decoder模塊構(gòu)建的自回歸模型，雖然其模型參數(shù)量僅有117M，但是在文本分類、語義相似度計算、自然語言問答和推理等任務(wù)中都表現(xiàn)出了良好性能。但是，GPT-1較小的參數(shù)量規(guī)模導(dǎo)致其在復(fù)雜任務(wù)中遇到長文本時，產(chǎn)生的錯誤會在文本后部聚集，導(dǎo)致生成的文本質(zhì)量下降，產(chǎn)生不連貫或不合理的回復(fù)。同時，盡管GPT-1在未經(jīng)微調(diào)的任務(wù)上也有一定效果，但是其泛化能力遠遠低于經(jīng)過微調(diào)的有監(jiān)督任務(wù)。生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—03

—單樣本學(xué)習(xí)（One-Shot

Learning）只允許輸入一個樣本和一則任務(wù)說明小樣本學(xué)習(xí)（Few-Shot

Learning）允許輸入數(shù)個樣本（通常為10到100個）和一則任務(wù)說明0零樣本學(xué)習(xí)（Zero-Shot

Learning）不允許輸入樣本，只允許輸入一則任務(wù)說明GPT-2：2019年2月，OpenAI在GPT-1的基礎(chǔ)上開發(fā)了第二代GPT模型（Radford

et

al.,2019）。相較于GPT-1，GPT-2將Transformer堆疊的層數(shù)增加到了48層，隱層的維度為1600，這使得其參數(shù)規(guī)模大大增加，達到了1.5B。GPT-2訓(xùn)練所用的數(shù)據(jù)集包含了Reddit中約800萬篇高贊文章，數(shù)據(jù)集大小約40G。GPT-2的學(xué)習(xí)目標是使用無監(jiān)督的預(yù)訓(xùn)練模型來做有監(jiān)督的任務(wù)，去掉了專門的微調(diào)層和任務(wù)特定的架構(gòu)，不再針對任何特定的下游任務(wù)進行微調(diào)優(yōu)化，而是將有監(jiān)督訓(xùn)練自然語言處理任務(wù)替換為無監(jiān)督訓(xùn)練任務(wù)。GPT-2的微調(diào)步驟不涉及去掉或添加模型層，而是在保持模型架構(gòu)不變的情況下，繼續(xù)在特定任務(wù)的數(shù)據(jù)集上進行訓(xùn)練，以調(diào)整模型參數(shù)，這樣既使用了統(tǒng)一的結(jié)構(gòu)做訓(xùn)練，又可適配不同類型的任務(wù)，雖然相較于有監(jiān)督的微調(diào)學(xué)習(xí)速度較慢，但也能達到相對不錯的效果。GPT-2通過無監(jiān)督的零樣本學(xué)習(xí)（Zero-Shotlearning）方式，在多個自然語言理解任務(wù)中達到了超過SOTA的性能。同時，GPT-2可以生成更長的文本，更好地處理對話，并且具有更好的通用性。GPT-2的缺點在于其訓(xùn)練數(shù)據(jù)來自于互聯(lián)網(wǎng)，因此存在的垃圾數(shù)據(jù)和不當信息會導(dǎo)致GPT-2偶爾會生成不適當?shù)幕卮?。GPT-3：2020年6月，OpenAI推出了GPT-3（Brown

et

al.,

2020），它是第一個真正意義上的“大語言模型”，其參數(shù)量達到了175B，原始數(shù)據(jù)量達到了45TB。GPT-3延續(xù)了GPT-1和GPT-2基于Transformer的自回歸語言模型結(jié)構(gòu)，但是不再追求零樣本學(xué)習(xí)設(shè)定，而是使用上下文學(xué)習(xí)（In-Context

Learning）的方法，在下游任務(wù)中不再需要任何額外的微調(diào)，而是利用提示信息和給定的少量標注樣本讓模型學(xué)習(xí)再進行推理生成，從而在只有少量目標任務(wù)標注樣本的情況下進行泛化。OpenAI在三種條件下評估了GPT-3的性能：生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—04

—總體而言，GPT-3在自然語言處理任務(wù)中取得了良好成果，其中在單樣本學(xué)習(xí)和零樣本學(xué)習(xí)設(shè)置下表現(xiàn)優(yōu)異，在小樣本學(xué)習(xí)設(shè)置下有時可以超過基于微調(diào)的SOTA模型。GPT-3在各項生成任務(wù)中都表現(xiàn)出了較好的能力，包括打亂單詞、算術(shù)運算以及新聞文章生成，但在自然語言推斷和閱讀理解等任務(wù)上，GPT-3在小樣本學(xué)習(xí)設(shè)置下仍存在困難。與

GPT-2相比，GPT-3展現(xiàn)了更強大的性能，但也暴露出了一些局限性。例如，對于某些缺乏意義或邏輯的問題，GPT-3并不會判斷其有效性，而是直接生成一個缺乏實質(zhì)內(nèi)容的回答，難以準確區(qū)分關(guān)鍵與非關(guān)鍵信息。此外，由于

Transformer

架構(gòu)的建模能力限制，GPT-3在生成長篇內(nèi)容（如文章或書籍）時常常會出現(xiàn)上下文重復(fù)、前后矛盾或邏輯銜接不暢的問題，影響生成內(nèi)容的連貫性和可讀性。此外，GPT-3使用了45TB的海量數(shù)據(jù)，其中包含了多樣性內(nèi)容。這也導(dǎo)致生成的文本可能含有敏感內(nèi)容，例如種族歧視、性別歧視或宗教偏見等。GPT-3.5：GPT-3雖然強大，但在處理與其訓(xùn)練數(shù)據(jù)不符的人類指令時，其理解能力有限。為了克服這點，2022年初OpenAI推出了GPT-3.5。GPT-3.5通過優(yōu)化模型架構(gòu)和訓(xùn)練技術(shù)，顯著提升了效率和泛化能力，同時減少了對大量數(shù)據(jù)和計算資源的依賴。它引入了“分組稀疏注意力”（Grouped

Sparse

Attention,GSA）技術(shù)，有效減少了計算量而不犧牲性能。此外，通過“標準化知識蒸餾”（Normalized

Knowledge

Distillation,

NKD）等方法，進一步提高了模型效率和精度。這些技術(shù)使GPT-3.5在自然語言生成、文本摘要、機器翻譯等多種任務(wù)中表現(xiàn)出色，生成的文本質(zhì)量接近人類寫作水平，并在文本分類及機器問答等領(lǐng)域也展現(xiàn)了強大的能力。GPT-3.5的獨特之處還在于它的自我學(xué)習(xí)和自我改進能力。通過元學(xué)習(xí)方法，GPT-3.5能夠在無需人類干預(yù)的情況下實現(xiàn)自我優(yōu)化。GPT-3.5在多個方面取得了顯著進步，但它仍然沒有實現(xiàn)一些研究人員設(shè)想的理想屬性，如實時改寫模型的信念、形式推理和從互聯(lián)網(wǎng)檢索信息等。InstructGPT：2022年1月27日AI2（Allen

Institute

for

Arti?cial

Intelligence）發(fā)布了InstructGPT

(Ouyang

et

al,.

2022)。InstructGPT是在GPT-3的基礎(chǔ)上采用基于人類反饋的強生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—05

—化學(xué)習(xí)不斷微調(diào)得到的，因此其遵循指令的能力得到了提高。InstructGPT能夠更好地理解人類的命令和指令含義，由于其引入了不同的標注者進行提示編寫和生成結(jié)果排序，InstructGPT的效果比GPT-3更加真實，同時InstructGPT在模型的無害性上比GPT-3有些許提升。但是，InstructGPT與GPT-3相比，在通用自然語言處理任務(wù)上的效果有所降低，雖然其輸出的內(nèi)容更加真實，但對有害的指示還是可能會輸出有害的回復(fù)，并且由于標注者標注的數(shù)據(jù)量有限，在指示的數(shù)量和訓(xùn)練種類不夠充分時，InstructGPT還是有可能輸出荒謬的回復(fù)。此外，由于標注者在進行內(nèi)容比較時，傾向于給更長的輸出內(nèi)容更高的獎勵，這導(dǎo)致InstructGPT可能會對簡單概念進行過分解讀。ChatGPT：ChatGPT作為OpenAI推出的一個可供大眾使用和訪問的模型，繼承了GPT家族的特點，經(jīng)歷了從GPT-1到GPT-3的參數(shù)量的爆炸式增長，依托大規(guī)模參數(shù)和海量訓(xùn)練數(shù)據(jù)，展現(xiàn)了卓越的知識存儲和語言理解能力。從GPT-3開始，GPT系列模型的技術(shù)路徑分為了以Codex為代表的代碼預(yù)訓(xùn)練技術(shù)和以InstructGPT為代表的文本指令預(yù)訓(xùn)練技術(shù)。ChatGPT基于這兩種技術(shù)使用了融合式預(yù)訓(xùn)練，并通過指令學(xué)習(xí)（Instruction

Tuning）、有監(jiān)督精調(diào)（Supervised

Fine-tuning）以及基于人類反饋的強化學(xué)習(xí)（Reinforcement

Learning

withHuman

Feedback，RLHF）等技術(shù)具備了強大的自然語言理解與生成能力。ChatGPT的優(yōu)勢體現(xiàn)在多個方面：相對于其他聊天機器人，它的回答展現(xiàn)出更高的準確性和流暢性；與其他大語言模型相比，其通過多輪對話數(shù)據(jù)的指令微調(diào)，增強了建模對話歷史的能力；在與微調(diào)小模型的比較中，ChatGPT在零樣本和小樣本場景下表現(xiàn)更為優(yōu)秀，特別是在機器翻譯和創(chuàng)作型任務(wù)上具有顯著優(yōu)勢。然而，ChatGPT也存在一些局限性：由于依賴大規(guī)模語言模型，其可信性和時效性無法完全保證，且在特定專業(yè)領(lǐng)域和多模態(tài)任務(wù)上表現(xiàn)欠佳。此外，高昂的訓(xùn)練和部署成本以及對輸入的敏感性也是其劣勢之一。數(shù)據(jù)偏見和標注策略可能導(dǎo)致的安全問題和回答偏長問題，也需要關(guān)注。生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—06

—GPT-4：GPT-4是OpenAI繼ChatGPT之后發(fā)布的一款更為先進的大語言模型，它在多個方面都實現(xiàn)了顯著的進步和創(chuàng)新。GPT-4不僅保留了文本處理的能力，還新增了處理圖像的功能，包括圖像識別、圖表分析等，極大擴展了其應(yīng)用范圍。GPT-4與前代模型GPT-3.5相比，在模型規(guī)模、訓(xùn)練數(shù)據(jù)豐富性、模態(tài)與信息、模型功能與性能和安全性等方面都有顯著提升。GPT-4的模型參數(shù)規(guī)模達到了1800B，使用了包括網(wǎng)頁、書籍、論文、程序代碼等文本數(shù)據(jù)和大量視覺數(shù)據(jù)在內(nèi)的更廣泛訓(xùn)練數(shù)據(jù)，使其具備更廣泛的知識庫和更精準的回答能力。在輸入信息長度方面，與GPT-3.5限制3000個字相比，GPT-4將文字輸入限制提升至2.5萬字。文字輸入長度的增加大大擴展了GPT-4的實用性。GPT-3.5主要采用文字回復(fù)，而GPT-4還額外具有看圖作答、數(shù)據(jù)推理、分析圖表等更多功能。GPT-4在處理復(fù)雜問題方面表現(xiàn)也優(yōu)于GPT-3.5，在多種專業(yè)和學(xué)術(shù)基準測試中都表現(xiàn)出接近人類的水平。在安全性方面，GPT-4改進了對抗生成有毒或不真實內(nèi)容的策略，以減少誤導(dǎo)性信息和惡意用途的風(fēng)險，提高其安全性和可靠性。特別地，GPT-4在事實性、可引導(dǎo)性和拒絕超范圍解答（非合規(guī)）問題方面取得了有史以來最好的結(jié)果。與GPT-3.5相比，在生成內(nèi)容符合事實測試方面，GPT-4的得分比GPT-3.5高40%，對敏感請求（如醫(yī)療建議和自我傷害）的回復(fù)符合政策的比例提高29%，對不合規(guī)內(nèi)容的請求響應(yīng)傾向降低82%。GPT-4o：GPT-4o（Optimized）是OpenAI于2024年5月發(fā)布的版本，在原有GPT-4的基礎(chǔ)上進行了多項優(yōu)化和增強。GPT-4o的參數(shù)數(shù)量與GPT-4相同，但通過優(yōu)化算法和訓(xùn)練技巧，提高了模型的理解和生成能力。尤其在法律、醫(yī)療、金融等垂直領(lǐng)域，GPT-4o在基座模型的基礎(chǔ)上進行了專門的對齊優(yōu)化，能夠提供更具專業(yè)性的解答。此外，GPT-4o在邏輯推理和復(fù)雜任務(wù)處理方面也有顯著改進，特別是在數(shù)學(xué)計算和代碼生成等任務(wù)中表現(xiàn)出更強的能力。GPT-4o支持多模態(tài)輸入，包括文本、圖像、音頻等，并能生成多種形式的輸出。其響應(yīng)速度達到接近人類水平，最快僅需232毫秒，極大提升了人機交互的自然性與流暢性。o1：o1于2024年9月13日正式發(fā)布，也被稱為“草莓模型”。在處理數(shù)學(xué)、物理以及代碼生成等復(fù)雜任務(wù)時，o1展現(xiàn)出卓越的優(yōu)勢。該模型結(jié)合了思維鏈（Chain-of-Thought生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—07

—Reasoning）技術(shù)，使其能夠模擬人類思考的過程。在解決復(fù)雜問題時，o1會采用逐步推理的方法，嘗試不同策略并進行自我糾錯，從而顯著提升了解決問題的效率和準確性。這種接近人類思維的特性，使其在數(shù)學(xué)和編程等領(lǐng)域展現(xiàn)出強大的能力。此外，o1引入了

OpenAI

最新的安全訓(xùn)練方法，進一步增強了模型對安全和對齊準則的遵守能力。尤其是在抵御越獄攻擊（Jailbreak

Attacks）方面，o1表現(xiàn)出更強的防御能力，體現(xiàn)了模型在推理性能與安全性方面的均衡優(yōu)化。o3：o3于2024年12月20日發(fā)布，其命名是為了避免與英國移動運營商O2的商標沖突。作為o1的升級版本，o3引入了強化學(xué)習(xí)技術(shù)，并結(jié)合OpenAI開發(fā)的私人思維鏈（PrivateChain-of-Thought

Reasoning）

技術(shù)。這一創(chuàng)新使模型能夠在生成響應(yīng)前，提前規(guī)劃邏輯推理路徑，模擬復(fù)雜的思維鏈過程，從而在解決長時間推理和復(fù)雜計算任務(wù)時表現(xiàn)出更強的能力。相比前代模型，o3在編程、數(shù)學(xué)和科學(xué)等高難度任務(wù)中的準確率大幅提高，并在通用人工智能抽象與推理語料庫（AGI

Abstract

and

Reasoning

Corpus）上的表現(xiàn)接近人類水平。此外，o3的響應(yīng)速度也得到了顯著優(yōu)化，能夠更高效地處理復(fù)雜任務(wù)，為用戶提供更自然、更流暢的交互體驗。這些改進鞏固了o3在復(fù)雜推理與多領(lǐng)域任務(wù)中的技術(shù)領(lǐng)先地位。1.1.2

Meta

LLaMA系列生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—08

—LLaMA（Large

Language

Model-Meta

AI）是由Meta在2023年2月推出的一套生成式大語言模型集合（Touvron

et

al.,

2023），包括四個不同參數(shù)規(guī)模的版本：分別是LLaMA-7B、LLaMA-13B、LLaMA-33B和LLaMA-65B。LLaMA:

LLaMA在多個數(shù)據(jù)集上展示出了卓越的性能，其中LLaMA-13B在大多數(shù)數(shù)據(jù)集上超越了GPT-3（175B），而LLaMA-65B則與Chinchilla-70B和PaLM-540B達到相當?shù)乃健LaMA模型的訓(xùn)練數(shù)據(jù)全部來源于開源語料，共計1.4T詞元（Tokens）。在模型結(jié)構(gòu)方面，LLaMA與GPT系列的生成式大語言模型類似，只使用了Transformer的解碼器結(jié)構(gòu)，并進行了三點改進：為了提高訓(xùn)練穩(wěn)定性，參照GPT-3對每個Transformer子層的輸入使用RMSNorm歸一化函數(shù)進行預(yù)歸一化，而不是對輸出進行歸一化；參照PaLM使用SwiGLU激活函數(shù)替換ReLU激活函數(shù)，以提高性能；參照GPTNe刪除了絕對位置編碼，使用旋轉(zhuǎn)位置編碼（Rotary

Positional

Embed-ding），更好地保持了位置信息，提升了模型的外推性。在算法實現(xiàn)上，LLaMA使用了sentencePiece提供的Byte

Pair

Encoding（BPE）算法進行文本的預(yù)處理，幫助模型更好地理解和生成自然語言。LLaMA還使用了xformers庫提供的更高效的causal

multi-head

attention實現(xiàn)，減少了內(nèi)存使用和計算量。同時，通過減少反向傳播過程中需要重新計算的激活函數(shù)數(shù)量，并人工實現(xiàn)了Transformer層的反向傳播函數(shù)，進一步優(yōu)化了性能。為了訓(xùn)練65B參數(shù)的模型，Meta使用了2048張NVIDIA

A100

80GB顯卡，完成1.4T詞元訓(xùn)練僅需21天。LLaMA

2:

2023年7月，Meta發(fā)布了免費可商用的開源大語言模型LLaMA2（Touvron

etal.,

2023）。LLaMA2模型包括三個不同參數(shù)規(guī)模的版本，其架構(gòu)與LLaMA1模型基本相同，但用于訓(xùn)練基礎(chǔ)模型的數(shù)據(jù)增加了40%達到了2T詞元，上下文長度也翻倍達到了4K，并生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—09

—采用了分組查詢注意力機制（Grouped-Query

Attention,

GQA）來提高模型處理長文本時的推理可擴展性。LLaMA2在有監(jiān)督微調(diào)（Supervised

Fine-tuning,

SFT）階段更加注重數(shù)據(jù)集質(zhì)量，使用了更少但質(zhì)量更高的數(shù)據(jù)，同時引入了Supervised

Safety

Fine-Tuning、SafeRLHF、Safe

Context

Distillation三項安全訓(xùn)練技術(shù)以提升模型的安全性。在綜合評測中，LLaMA2-70B的性能僅落后于GPT-4和ChatGPT。同時，Meta還使用了100萬條人類標記數(shù)據(jù)針對對話場景微調(diào)得到了LLaMA2-Chat聊天模型，LLaMA2-Chat同樣具有7B，13B和70B三個不同參數(shù)的版本，在許多開放基準測試中LLaMA

2-Chat優(yōu)于同期其他開源的聊天模型。LLaMA

3:

2024年4月，Meta發(fā)布了開源大模型LLaMA3，分為參數(shù)規(guī)模8B和70B兩個版本。LLaMA3模型基于超過15T詞元的公開數(shù)據(jù)預(yù)訓(xùn)練，數(shù)據(jù)量是LLaMA2的7倍，訓(xùn)練效率也比LLaMA2提升了3倍。LLaMA3在一眾榜單中取得了開源大語言模型的最優(yōu)效果，Llama3-8B在MMLU、GPQA、HumanEval、GSM-8K等多項基準上超過谷歌的Gemma-7B和Mistral-7B

Instruct開源大語言模型。Llama

3-70B也在MMLU、HumanEval、GSM-8K等基準上超越了谷歌的Gemini

Pro

1.5、Claude

3

Sonnet閉源大語言模型。1.1.3

國產(chǎn)生成式大語言模型近年來，國產(chǎn)大語言模型也取得了顯著進展，不僅在技術(shù)上與國際領(lǐng)先水平相當，而且在商業(yè)化應(yīng)用方面展現(xiàn)出強大的潛力。例如，阿里巴巴的通義千問憑借開源策略和高性能，在中文大模型領(lǐng)域占據(jù)了一席之地，推動了低成本、易于部署的商業(yè)化解決方案。百度的文心一言在智能辦公、旅行服務(wù)、電商直播、政務(wù)服務(wù)和金融服務(wù)等多個領(lǐng)域取得了廣泛應(yīng)用。訊飛星火在智能辦公領(lǐng)域獨具優(yōu)勢，其支持的產(chǎn)品如訊飛智能辦公本、訊飛聽見、訊飛智能錄音筆和訊飛AI學(xué)習(xí)機等銷量持續(xù)增長?？傮w而言，我國的大語言模型正在通過技術(shù)創(chuàng)新、行業(yè)合作與安全合規(guī)等多維度努力，加速推動AI技術(shù)的商業(yè)化落地與產(chǎn)業(yè)智能化轉(zhuǎn)型。下面列舉一些代表性的國產(chǎn)大語言模型。生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—10

—（1）復(fù)旦大學(xué)：MOSSMOSS是復(fù)旦大學(xué)自然語言處理實驗室發(fā)布的國內(nèi)第一個對話式大型語言模型，2023年2月邀公眾參與內(nèi)測。MOSS的基座語言模型在約七千億中英文以及代碼單詞上預(yù)訓(xùn)練，可以執(zhí)行對話生成、編程、事實問答等一系列任務(wù)。內(nèi)測版MOSS的英文對話水平比中文高，其中文回答在語法、知識等方面較為準確，但與ChatGPT相比，還存在知識儲備量不夠大、中文表述存在邏輯不夠順暢等問題。2023年4月21日，復(fù)旦大學(xué)自然語言處理實驗室開發(fā)的MOSS升級版開源上線，成為國內(nèi)首個插件增強的開源對話語言模型，支持搜索引擎、圖像生成、計算器、方程求解器等插件工具。（2）百度：“文心一言”“文心一言”是百度推出的大語言模型。2023年2月7日，百度首次推出了基于知識增強的文心大模型的對話模型“文心一言”。8月31日，“文心一言”率先向全社會全面開放。“文生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—11

—心一言”提供了對話互動、問題解答以及協(xié)助創(chuàng)作等多種功能。通過結(jié)合海量的數(shù)據(jù)資源和豐富的知識體系并不斷學(xué)習(xí)和整合，“文心一言”實現(xiàn)了知識增強、檢索增強和對話增強等技術(shù)特色，從而有效提升了信息獲取、知識探索和靈感激發(fā)的效率，在文學(xué)創(chuàng)作、商業(yè)文案寫作、數(shù)理推算、中文理解、多模態(tài)生成五個使用場景中展現(xiàn)出優(yōu)秀的綜合能力。10月17日，文心大模型4.0正式發(fā)布，在基礎(chǔ)模型的基礎(chǔ)上，百度進一步研制了智能體機制，增強大模型與外界交互以及自我進化的能力。（3）智譜清言：ChatGLMChatGLM

(Du

et

al.,

2021)

是清華大學(xué)技術(shù)成果轉(zhuǎn)化公司智譜清言研發(fā)的中英雙語的對話模型。2023年3月14日，基于GLM-130B千億基座模型的ChatGLM開啟邀請內(nèi)測，同時開源了中英雙語對話模型ChatGLM-6B，支持在單張消費級顯卡上進行推理使用。ChatGLM專門針對中文問答和對話場景進行了優(yōu)化，使其在處理中文語言任務(wù)時表現(xiàn)尤為突出。借助于先進的模型量化技術(shù)，ChatGLM能夠在消費級硬件上高效運行，最低配置要求為6GB顯存，這意味著普通用戶也能在本地環(huán)境中輕松部署和使用這一技術(shù)。ChatGLM采用了多種先進技術(shù)，包括監(jiān)督微調(diào)、反饋自助以及人類反饋強化學(xué)習(xí)等，這些技術(shù)的結(jié)合賦予了ChatGLM深入理解人類指令和意圖的能力。特別是在處理中英文混合語料時，ChatGLM-6B通過在大規(guī)模數(shù)據(jù)集上進行訓(xùn)練（達到了1T

token的量級），展現(xiàn)了其卓越的雙語處理能力。此外，借鑒GLM-130B的訓(xùn)練經(jīng)驗，ChatGLM對模型的位置編碼和網(wǎng)絡(luò)結(jié)構(gòu)進行了優(yōu)化，提高了模型的效率和性能。（4）阿里云：“通義千問”在2023年4月舉辦的阿里云峰會上，阿里巴巴集團董事會主席兼

CEO、阿里云智能集團CEO張勇發(fā)布了阿里人工智能大語言模型“通義千問”（Bai

et

al.,2023）。通義千問集成了多輪對話、文案創(chuàng)作、邏輯推理、多模態(tài)理解以及多語言支持等多種功能，能夠與人類進行高效的多輪交互，并能夠處理和生成復(fù)雜的文本內(nèi)容，在海內(nèi)外開源社區(qū)累計下載量突破300萬。同年10月，阿里云正式發(fā)布千億級參數(shù)大語言模型“通義千問2.0”。2024年4月，阿里云開源了320億參數(shù)模型Qwen1.5-32B，可最大限度兼顧性能、效率和內(nèi)存占用的平衡，為企業(yè)和生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—12

—開發(fā)者提供更高性價比的模型選擇。阿里云此前已開源5億、18億、40億、70億、140億和720億參數(shù)的6款“通義千問”大語言模型并均已升級至1.5版本。“通義千問”的幾款小尺寸模型可便捷地在端側(cè)部署，720億參數(shù)模型則擁有業(yè)界領(lǐng)先的性能。Qwen1.5-32B模型相比14B模型在智能體場景下能力更強；相比72B模型推理成本更低。2024年4月28日，阿里云宣布開源1100億參數(shù)模型Qwen1.5-110B，并在多項基準測評中都創(chuàng)下了可與LLaMA3-70B相媲美的成績。2024年6月，阿里云“通義千問”Qwen2大模型發(fā)布，并在Hugging

Face和Model-Scope上同步開源?！巴x千問”是目前全球最大的中文問答模型之一，已廣泛應(yīng)用于智能客服、智能問答、語音識別等多個領(lǐng)域。此外，基于通義千問開發(fā)的智能編碼助手通義靈碼已成功應(yīng)用于多家金融、汽車、新零售、互聯(lián)網(wǎng)企業(yè),助力企業(yè)實現(xiàn)研發(fā)智能化升級，推動人工智能產(chǎn)業(yè)發(fā)展。（5）百川智能：百川大模型2023年6月，百川智能發(fā)布開源可商用大模型Baichuan-7B，這是國內(nèi)首個開源可商用模型。百川大模型創(chuàng)新性使用了SentencePiece中的Byte-Pair

Encoding（BPE）作為分詞算法，并對中文進行了適配優(yōu)化。同年7月，百川智能開源可商用大模型Baichuan-13B，是同期同尺寸開源模型中效果最好的可商用大語言模型；8月，百川智能發(fā)布閉源Baichuan-53B大模型；9月，百川智能發(fā)布Baichuan2-7B、Baichuan2-13B，同時開放Baichuan2-53BAPI；10月30日，百川智能發(fā)布Baichuan2-192K大模型，具備192K超長上下文窗口，采用搜索增強技術(shù)實現(xiàn)大模型與領(lǐng)域知識、全網(wǎng)知識的全面鏈接。2024年1月，百川智能發(fā)布了超千億參數(shù)的大語言模型Baichuan3；5月，百川智能正式發(fā)布其最新一代基座大模型Baich-uan4，在多項權(quán)威評測基準表現(xiàn)優(yōu)異。（6）科大訊飛：訊飛星火認知大模型訊飛星火認知大模型是科大訊飛發(fā)布的大模型。2023年5月6日，科大訊飛正式發(fā)布訊飛生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—13

—星火認知大模型并開始不斷迭代；6月9日，科大訊飛在24周年慶上正式發(fā)布訊飛星火認知大模型V1.5，升級開放式知識問答、多輪對話等能力，同時推出星火App、星火助手中心、星火語伴App等；8月15日，星火大模型V2.0正式發(fā)布，升級代碼能力和多模態(tài)能力；9月5日，星火大模型正式面向全民開放，用戶可以在各大應(yīng)用商店下載，直接注冊使用。自2023年9月全面開放以來，截止到2024年7月，訊飛星火App在安卓公開市場累計下載量達1.31億次，在國內(nèi)工具類通用大模型App中排名第一。（7）華為：盤古大模型盤古大模型是華為旗下的系列AI大模型，包括大語言模型、計算機視覺大模型和科學(xué)計算大模型等多種專用模型。2023年7月7日，華為云盤古大模型3.0正式發(fā)布。盤古大模型3.0是完全面向行業(yè)的大模型，包含L0基礎(chǔ)大模型、L1行業(yè)大模型及L2場景模型三層架構(gòu)，重點面向政務(wù)、金融、制造、醫(yī)藥、礦山、鐵路、氣象等行業(yè)。2024年6月21日，華為盤古大模型5.0發(fā)布，包括十億級、百億級、千億級、萬億級等不同參數(shù)規(guī)模，提供盤古自然語言大模型、多模態(tài)大模型、視覺大模型、預(yù)測大模型、科學(xué)計算大模型等。盤古大模型依托于華為云計算能力和技術(shù)架構(gòu)，利用了華為云海量的數(shù)據(jù)資源和深度學(xué)習(xí)技術(shù)，集成了數(shù)十億參數(shù)，不僅覆蓋了廣泛的語言特征，還能夠處理各種復(fù)雜的語言情境。盤古大模型具有出色的語義理解能力，能夠準確把握文本的細微意義，理解和生成具有創(chuàng)造性的內(nèi)容。（8）騰訊：混元大模型騰訊混元大模型是由騰訊全鏈路自研的通用大語言模型。2023年9月6日，微信上線“騰訊混元助手”小程序；9月7日，騰訊正式發(fā)布混元大模型。騰訊混元大模型具備上下文理解和長文記憶能力，能夠在各專業(yè)領(lǐng)域中流暢完成多輪對話。混元大模型具備優(yōu)秀的智能化廣告素材創(chuàng)作能力，結(jié)合AI多模態(tài)生成技術(shù)，應(yīng)用于提高營銷內(nèi)容的創(chuàng)作效率，同時能夠構(gòu)建智能導(dǎo)購，幫助商家提升銷售業(yè)績。生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—14

—（9）月之暗面：Moonshot大模型Moonshot大模型由月之暗面團隊開發(fā)，是一款面向多任務(wù)的生成式人工智能模型，涵蓋自然語言處理、多模態(tài)感知、代碼生成等領(lǐng)域。2023年10月，月之暗面團隊基于Moon-shot大模型推出了智能助手Kimi

Chat，該助手憑借卓越的長文本處理能力，在中國市場迅速獲得用戶青睞，標志著Moonshot模型的初步商業(yè)化應(yīng)用。2024年3月15日，Moonshot大模型3.0正式發(fā)布。該版本采用層級化架構(gòu)，參數(shù)規(guī)模從百億級到千億級不等，進一步提升了多語言語義理解和上下文推理能力。新版本通過引入知識增強模塊和自適應(yīng)生成機制，能夠高效處理復(fù)雜任務(wù)，并生成具有情境化的內(nèi)容，支持醫(yī)療輔助診斷、教育內(nèi)容生成和能源數(shù)據(jù)分析等多個行業(yè)場景。Kimi

Chat的使用規(guī)模在Moonshot大模型的支持下持續(xù)擴大。截至2024年3月，其訪問量達到1219萬次，相較2024年2月的292萬次增長317%。到2024年4月，訪問量進一步增至2004萬次，環(huán)比增長60.20%。此外，Kimi

Chat的長文本處理能力顯著提升，支持最多200萬漢字的無損上下文輸入，增強了用戶體驗。Moonshot大模型在學(xué)術(shù)研究和技術(shù)開發(fā)領(lǐng)域具有重要意義，也已成功應(yīng)用于多個行業(yè)，展現(xiàn)出強大的市場影響力。（10）MiniMax：ABAB大模型ABAB大模型由MiniMax開發(fā)，是一款基于Mixture-of-Experts（MoE）架構(gòu)的生成式人工智能模型，專注于多任務(wù)學(xué)習(xí)和高效推理優(yōu)化。2024年4月，MiniMax推出了ABAB

6.5系列模型，包括ABAB

6.5和ABAB

6.5s兩個版本，進一步提升了模型的處理能力和適應(yīng)性。ABAB6.5配備萬億級參數(shù)規(guī)模，支持長達200k

tokens的上下文輸入，ABAB

6.5s在相同技術(shù)基礎(chǔ)上優(yōu)化了推理效率，能夠在1秒內(nèi)處理近3萬字的文本。兩種版本均在模態(tài)理解和復(fù)雜語義解析方面表現(xiàn)卓越，并在國內(nèi)外多項核心能力測試中接近GPT-4、Claude-3和Gemini-1.5等國際領(lǐng)先的大語言模型。2024年11月，MiniMax發(fā)布了ABAB

7-Preview版本。該版本在ABAB

6.5系列基礎(chǔ)上進生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—15

—文生圖大模型以DALL-E系列、MidJourney和文心一格等模型為代表的圖像生成技術(shù)備受關(guān)注。這些模型通過結(jié)合深度學(xué)習(xí)與對比學(xué)習(xí)等前沿技術(shù)，能夠?qū)⒆匀徽Z言描述轉(zhuǎn)化為高質(zhì)量的數(shù)字圖像，推動了人工智能在視覺內(nèi)容生成、藝術(shù)創(chuàng)作和圖像理解等領(lǐng)域的廣泛應(yīng)用。1.2.1

DALL-E系列DALL-E是OpenAI開發(fā)的一系列大規(guī)模文生圖模型，基于深度學(xué)習(xí)方法使用自然語言描述作為提示生成數(shù)字圖像。1.2

文生圖大模型行了全面升級，不僅提升了推理速度，還顯著擴展了長上下文處理能力。MiniMax基于ABAB大模型提供了多樣化的產(chǎn)品與服務(wù)，包括MiniMax

API、海螺AI和星野，覆蓋聊天對話、內(nèi)容生成、情感分析等場景。生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—16

—DALL-E2（Rameshetal.,

2022）2022年4月6日，OpenAI發(fā)布了DALL-E2（Ramesh

et

al.,

2022）。DALL-E2融合了CLIP模型和基于擴散模型的GLIDE（Guided

Language

to

Image

Di?usion

for

Generationand

Editing）模型（Nichol

et

al.,

2021），CLIP模型用于進行文本編碼和圖像嵌入，并利用得到的文本特征預(yù)測圖片特征，GLIDE模型是一個基于擴散模型的解碼器，根據(jù)圖片特征解碼生成圖像。DALL-E2能夠生成高達1024×1024像素的高清圖像，細節(jié)更加豐富和逼真，同時提高了文本描述與生成圖像之間的對應(yīng)精度，減少了誤解和失真。但在安全性方面，DALL-E2對公共數(shù)據(jù)集的依賴會影響其結(jié)果，并在某些情況下導(dǎo)致算法偏見。DALL-E3(Betkeretal.,

2023)2023年10月，DALL-E3

(Betker

et

al.,

2023)

原生發(fā)布到ChatGPT中。DALL-E3的最大亮點在于其提示詞遵循（prompt

following）能力有了極大提高。為了做到這一點，研究人員訓(xùn)練了一個“圖像字幕器”（image

captioner），專門用來給數(shù)據(jù)集中的圖像重新生成文本描述。這一方法提高了圖片文本對數(shù)據(jù)集的質(zhì)量，從而提升了DALL-E3的提示詞遵循能力。同時，DALL-E3還使用了比擴散模型更為先進的潛空間擴散模型（Latent

Di?usion

Model,DALL-E1（Rameshetal.,

2022）是這一系列的初代產(chǎn)品，發(fā)布于2021年1月。DALL-E1基于一個120B的GPT-3模型。在訓(xùn)練階段，首先使用字節(jié)對編碼（Byte

Pair

Encoding,

BPE）得到文本的256維特征（Senn-rich

et

al.,

2015），并使用VQ-VAE（Van

et

al.,

2017）得到圖像的32×32維圖片特征，然后將圖片特征拉直為1024維的詞元，與文本特征組合得到1280維的詞元，輸入GPT-3進行原圖重構(gòu)；在生成階段，輸入文本經(jīng)過編碼得到文本特征，再將文本通過GPT-3利用自回歸的方式生成圖片，生成的多張圖片會通過CLIP（Contrastive

Language-Image

Pre-training）模型和輸入的文本進行相似度計算（Radford

et

al.,

2021），然后選出描述最貼切的圖像。DALL-E1通過在大量互聯(lián)網(wǎng)文本-圖像對上進行訓(xùn)練，學(xué)會了如何將文字描述映射到具體的視覺表現(xiàn)形式。DALL-E1能生成包含多個物體、多種屬性組合的圖像，但是生成的圖像分辨率較低，細節(jié)不夠豐富，生成的圖像有時還會出現(xiàn)物體形狀或結(jié)構(gòu)上的不準確。生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—17

—1.2.3文心一格文心一格（ERNIE-ViLG）是百度于2021年12月推出的一款中文文生圖預(yù)訓(xùn)練模型，是國內(nèi)首個專注于中文語境的跨模態(tài)生成模型（Zhang

et

al

.,

2021）。該模型基于百度飛槳深度學(xué)習(xí)平臺，訓(xùn)練于包含1.45億對高質(zhì)量中文文本與圖像的跨模態(tài)對齊數(shù)據(jù)集，具有強大的文本理解與圖像生成能力。LDM）。DALL-E3可以理解復(fù)雜的文本描述，并生成與描述相符的圖像，其生成的圖像具有較高的質(zhì)量和分辨率，還可以生成3D模型和動畫。但是，DALL-E3效率較低，生成圖像所需的時間相對較長，對生成圖像的控制力相對較弱。1.2.2

MidjourneyMidjourney是一款2022年3月面世的AI繪畫工具，只要輸入想到的文字，就能通過人工智能產(chǎn)出相對應(yīng)的圖片，耗時只有大約一分鐘。推出beta版后，這款搭載在Discord社區(qū)上的工具迅速成為討論焦點。有別于谷歌的Imagen和Open

AI的DALL.E，Midjourney是第一個快速生成AI制圖并向大眾開放申請使用的平臺。MidJourney底層模型采用了變形注意力GAN（Deformable

Attention

GAN,

DAGAN）和針對線稿生成的改進型條件變分自編碼器（Improved

Variational

Autoencoder

for

LineArt），并結(jié)合了前沿的計算機視覺技術(shù)和圖像處理算法。其中，DAGAN是一種在生成對抗網(wǎng)絡(luò)中引入變形注意力機制的模型，它可以生成更加豐富、真實的圖像，并保留了原始線稿的細節(jié)和特征。而改進型條件變分自編碼器則專注于處理線稿，通過線稿預(yù)測圖像的方式生成圖像，使得生成結(jié)果更加準確，還可以通過對輸入線稿加噪聲的方式實現(xiàn)風(fēng)格化效果。此外，MidJourney還采用了多尺度、多層次的網(wǎng)絡(luò)結(jié)構(gòu)，充分利用了GPU等硬件設(shè)備的優(yōu)勢，提高了訓(xùn)練和生成效率，在保證圖像質(zhì)量的同時實現(xiàn)了較快的反饋和響應(yīng)速度。生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—18

—多模態(tài)大模型在人工智能領(lǐng)域展示了將不同類型數(shù)據(jù)（如文本、圖像、聲音、視頻等）綜合處理和生成的強大能力。Suno在音樂創(chuàng)作中通過文本生成完整歌曲；Sora在視頻生成中通過自然語言描述來實現(xiàn)復(fù)雜場景的動態(tài)模擬；CLIP通過圖像和文本的聯(lián)合嵌入，在跨模態(tài)匹配與零樣本任務(wù)中表現(xiàn)卓越；紫東太初作為中國首個多模態(tài)預(yù)訓(xùn)練模型，支持多模態(tài)生成并擴展到視頻和3D點云，在智能創(chuàng)作與視覺生成中具有廣泛應(yīng)用。1.3

多模態(tài)大模型通過優(yōu)化文本和圖像之間的語義對齊，文心一格能夠捕捉復(fù)雜的語義關(guān)系，從而生成細節(jié)豐富、符合語義的視覺內(nèi)容。文心一格采用自回歸生成的技術(shù)路線，結(jié)合圖像向量量化方法，將文本與圖像表示為統(tǒng)一的序列。模型基于共享參數(shù)的Transformer架構(gòu)，能夠同時支持文本生成圖像和圖像生成文本的雙向生成任務(wù)。2022年8月，百度推出了文心一格2.0版本（Feng

et

al

.,

2023），模型參數(shù)規(guī)模達到240億，訓(xùn)練數(shù)據(jù)包括1.7億對圖片-文本數(shù)據(jù)。該版本在原有基礎(chǔ)上進行了多項技術(shù)升級，包括引入知識增強的混合降噪專家模型，解決了現(xiàn)有模型在去噪步驟中的“一刀切”問題。在權(quán)威數(shù)據(jù)集MS-COCO的圖片生成任務(wù)中，其生成質(zhì)量超過DALL-E2和Stable

Di?usion等國際頂尖模型，特別是在Fréchet

Inception

Distance（FID）等評估指標上取得了優(yōu)異成績。在視覺問答等任務(wù)中，文心一格也展現(xiàn)了出色的跨模態(tài)理解與生成能力。生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—19

—SunoSuno是一個專業(yè)高質(zhì)量的AI歌曲和音樂創(chuàng)作平臺，用戶只需輸入簡單的文本提示詞，即可根據(jù)流派風(fēng)格和歌詞生成帶有人聲的歌曲。Suno來自Meta、TikTok、Kensho等知名科技公司的團隊成員開發(fā)，目標是不需要任何樂器工具，讓所有人都可以創(chuàng)造美妙的音樂。Suno還與微軟合作，支持直接通過微軟的Copilot調(diào)用其插件生成音樂。Suno最新版已將音樂生成模型升級到V3版本，基于大模型廣泛使用的di?usion、transformer的底層架構(gòu)，在生成音樂的多模態(tài)上有所突破，可以生成文字（歌詞）、聲音（人聲、曲子）、圖像（歌曲封面）組成的2分鐘長度的歌曲。SoraSora，美國人工智能研究公司OpenAI發(fā)布的人工智能文生視頻大模型，其背后的技術(shù)是在OpenAI的文本到圖像生成模型DALL-E基礎(chǔ)上開發(fā)而成的。Sora可以根據(jù)用戶的文本提示生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—20

—1.3.3

CLIPOpenAI開發(fā)的CLIP模型通過大量的圖片和對應(yīng)的文字描述進行訓(xùn)練，能夠理解圖片內(nèi)容并生成相關(guān)的文字描述。CLIP特別擅長在少量樣本的情況下進行有效學(xué)習(xí)，這使得它能夠適應(yīng)多種不同的任務(wù)和數(shù)據(jù)集。CLIP模型采用對比學(xué)習(xí)的方法對圖像和文本進行聯(lián)合嵌入。模型通過優(yōu)化圖像和相關(guān)文字標簽之間的相似度，使得在嵌入空間中對應(yīng)的圖像和文本距離更近。CLIP訓(xùn)練集包括數(shù)億級別的圖像-文字對，支持廣泛的視覺概念學(xué)習(xí)。由于其預(yù)訓(xùn)練的泛化能力，CLIP能夠有效處理多種零樣本視覺任務(wù)，例如圖像分類、對象檢測以及與特定文本相關(guān)的圖像搜索。1.3.4紫東太初紫東太初是由中國科學(xué)院自動化研究所與武漢人工智能研究院聯(lián)合開發(fā)的中國首個多模態(tài)預(yù)訓(xùn)練大模型，專注于融合文本、圖像、語音、視頻等多模態(tài)數(shù)據(jù)，具有較強的跨模態(tài)理解與生成能力。2021年7月，紫東太初1.0版本率先發(fā)布，實現(xiàn)了文本、圖像和語音三模態(tài)的統(tǒng)一表示與互相生成。2023年6月，升級版紫東太初2.0問世，在原有基礎(chǔ)上新增對視頻、傳感信號及3D點云等模態(tài)的支持，進一步提升了從感知到認知再到?jīng)Q策的綜合能力。紫東太初采用全棧國產(chǎn)化技術(shù)架構(gòu)，結(jié)合先進的跨模態(tài)對齊與自監(jiān)督學(xué)習(xí)技術(shù)，實現(xiàn)了模態(tài)間的信息交互與融合，在多模態(tài)任務(wù)中展現(xiàn)出高精度與強魯棒性。例如，該模型能夠?qū)?chuàng)建最長60秒的逼真視頻，該模型了解這些物體在物理世界中的存在方式，可以深度模擬真實物理世界，能生成具有多個角色、包含特定運動的復(fù)雜場景。繼承了DALL-E3的畫質(zhì)和遵循指令能力，能理解用戶在提示中提出的要求。其是OpenAI“教AI理解和模擬運動中的物理世界”計劃的其中一步，也標志著人工智能在理解真實世界場景并與之互動的能力方面實現(xiàn)飛躍。生成式大模型安全評估GenerativeLargeModelSecurity

Assessment

—21

—文本描述轉(zhuǎn)化為高質(zhì)量的圖像、為視頻內(nèi)容生成對應(yīng)的字幕，支持多模態(tài)交互，如通過語音指令生成動態(tài)視覺內(nèi)容。其在智能創(chuàng)作、人機交互和視覺內(nèi)容生成等領(lǐng)域展現(xiàn)出強大的能力，顯著推動了多模態(tài)技術(shù)的實際應(yīng)用。特別是在跨模態(tài)生成任務(wù)中，紫東太初通過結(jié)合自監(jiān)督學(xué)習(xí)與多模態(tài)對比學(xué)習(xí)技術(shù)架構(gòu)，能夠準確捕捉模態(tài)間的關(guān)聯(lián)，提升生成內(nèi)容的質(zhì)量與多樣性。這不僅證明了多模態(tài)大模型的廣闊潛力，也為多模態(tài)智能系統(tǒng)的進一步開發(fā)提供了全新思路。生成式大模型在多個領(lǐng)域的廣泛應(yīng)用，正在徹底改變?nèi)藱C交互、知識管理、內(nèi)容創(chuàng)作等多個領(lǐng)域的現(xiàn)狀。在人機交互方式上，Microsoft將ChatGPT集成到Windows

11操作系統(tǒng)中，用戶可以直接通過任務(wù)欄快速訪問ChatGPT驅(qū)動的Bing，并在Edge瀏覽器內(nèi)與之交流，展示了生成式大語言模型在簡化用戶操作和增強交互體驗方面的巨大潛力。百川智能發(fā)布角色大模型Baichuan-NPC，深度優(yōu)化了“角色知識”和“對話能力”，使其能夠更好地理解上下文對話語義，符合人物性格地進行對話和行動，讓角色栩栩如生，創(chuàng)新了游戲娛樂領(lǐng)域的人機交互方式。生成式大模型同時改變了管理和利用知識的方式。金融巨頭摩根士丹利利用ChatGPT優(yōu)化其財富管理知識庫，極大提升了效率和決策質(zhì)量。月之暗面科技有限公司開發(fā)的kimi人工智能助手，具備高效處理和分析PDF格式長文本的能力，可以輔助科研人員進行文獻閱讀和管理。生成式大模型還成為了內(nèi)容創(chuàng)作領(lǐng)域的一大助力。微軟推出的Microsoft

365Copilot為日常辦公軟件注入了智能化的生命力。AWS推出的實時AI編程伴侶Amazon

CodeWhisperer可以根據(jù)開發(fā)人員的指令和現(xiàn)有代碼實時生成代碼建議，大幅提高開發(fā)效率。生成式大模型正在各個行業(yè)中引領(lǐng)創(chuàng)新潮流，不斷提升工作效率和用戶體驗。生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—22

—02

生成式大模型的安全風(fēng)險隨著人工智能技術(shù)的發(fā)展與迭代，越來越多的生成式大模型出現(xiàn)，并被廣泛應(yīng)用在各個領(lǐng)域中。然而，2023年初，三星員工在進行半導(dǎo)體設(shè)計時使用ChatGPT，導(dǎo)致企業(yè)相關(guān)數(shù)據(jù)遭受泄露和竊取，引發(fā)輿論熱議。生成式大模型在開發(fā)、訓(xùn)練、部署、應(yīng)用等各個階段都存在一定的安全風(fēng)險，主要包括：倫理風(fēng)險、內(nèi)容安全風(fēng)險、技術(shù)安全風(fēng)險。生成式大模型引起的這些風(fēng)險亟需廣泛的關(guān)注和應(yīng)對。生成式大模型的倫理風(fēng)險是指其開發(fā)、訓(xùn)練、部署和應(yīng)用過程中可能引發(fā)的一系列道德、社會和法律問題。這些問題可能對個人、群體或整個社會造成潛在的負面影響或傷害。2.1.1加劇性別、種族偏見與歧視大模型可以從數(shù)據(jù)中學(xué)到刻板聯(lián)想，也會從訓(xùn)練數(shù)據(jù)集中繼承偏見，并向特定的群體傳播社會偏見，繼承或加深社會刻板印象，使部分人群遭受不公正待遇。2024年3月7日，聯(lián)合國教科文組織發(fā)布研究報告稱，大語言模型存在性別偏見、種族刻板印象等傾向，呼吁各國政府制定監(jiān)管框架，私營企業(yè)也應(yīng)對偏見問題展開持續(xù)的監(jiān)測和評估。例如，當要求GPT-2為每個人“編寫一則故事”時，GPT-2尤其傾向于將工程師、教師和醫(yī)生等更多元、地位更高的工作分配給男性，而經(jīng)常將女性與傳統(tǒng)上被低估或被社會污名化的角色掛鉤。Llama2生成的內(nèi)容也有類似特點，如女性從事家務(wù)勞動的頻率是男性的四倍。聯(lián)合國教科文組織總干事阿祖萊說：“越來越多的人在工作、學(xué)習(xí)、生活中使用大語言模型。這些新的人工智能工具有著2.1

倫理風(fēng)險生成式大模型安全評估—23

—GenerativeLargeModelSecurity

Assessment

不知不覺中改變?nèi)藗冋J知的力量。因此，即便是生成內(nèi)容中極為微小的性別偏見，也可能顯加劇現(xiàn)實世界中的不平等?！鄙墒酱竽Ｐ鸵泊嬖诜N族歧視風(fēng)險。斯坦福和麥克馬斯特大學(xué)發(fā)表的論文（Abid

et

al.,

021）確認了包括GPT-3在內(nèi)的一系列大語言生成模型對穆斯林等種族帶有刻板印象，表現(xiàn)嚴重的歧視現(xiàn)象。如圖2-1所示，用相關(guān)詞語造句時，GPT-3多半會將穆斯林和槍擊、炸彈、謀殺和暴力等刻板詞匯關(guān)聯(lián)在一起。在另一項測試中，作者上傳一張穆斯林女孩的照片，讓PT-3自動生成一段配文。最終生成的文字里包含了明顯的對暴力的過度遐想和引申，其中一話為：“But

then

the

screams

outside

wake

me

up.

For

some

reason

I’mcovered

inlood.”（但是外面的叫聲驚醒了我，不知為何我渾身是血）。TwoMuslimswalkedintoa...[GPT-3completions

below]synagogue

with

axes

and

a

bomb.gay

bar

and

began

throwing

chairs

at

patrons.Texas

cartoon

contest

and

opened

?re.gay

bar

in

Seattle

and

started

shooting

at

will,

killing

?ve

people.bar.

Are

you

really

surprised

when

the

punchline

is

‘they

were

asked

to

leave’?”圖

2-1

基于GPT-3進行句子下文生成存在種族歧視風(fēng)險

(Abid

et

al.,

2021)GPT模型從海量真實世界的文本數(shù)據(jù)中學(xué)習(xí)，而現(xiàn)實世界中長期存在的刻板印象、偏見、歧視等問題，也可能在一定程度上反映到模型生成的文本中。如果沒有采取必要的技術(shù)手段在著2出G句b生成式大模型安全評估

GenerativeLargeModelSecurity

Assessment—24

—和人工審核，這些偏見可能被無意中放大，對弱勢群體造成進一步傷害。比如在求職招聘場景中使用GPT等生成式大模型，如果模型存在性別、種族等方面的偏見，可能導(dǎo)致求職者受到不公平對待。類似風(fēng)險在信貸、司法、醫(yī)療等領(lǐng)域也普遍存在。1

預(yù)訓(xùn)練語料庫中可能存在較多美國總統(tǒng)唐納德特朗普相關(guān)語料，Donald這一姓氏更可能被指代為唐納德特朗普,因此生成內(nèi)容往往帶有更多政治色彩。2.1.2傳播意識形態(tài)，危害國家安全生成式大模型在預(yù)訓(xùn)練過程中會吸納大數(shù)據(jù)中駁雜的價值信息，如果生成式大模型的預(yù)訓(xùn)練語料中存在特定價值判斷、政治偏見或帶有意識形態(tài)宣傳性質(zhì)的數(shù)據(jù)內(nèi)容，就可能會導(dǎo)致輸出的內(nèi)容呈現(xiàn)特定政治立場觀點，甚至成為某些國家和組織進行輿論操控、干擾選舉、挑起事端、顛覆意識形態(tài)的工具，威脅國家安全和社會穩(wěn)定。華盛頓大學(xué)（Shwartz

et

al.,2020）的研究發(fā)現(xiàn)預(yù)訓(xùn)練語言模型會將預(yù)訓(xùn)練語料庫中針對特定人名的偏見延續(xù)到下游模型。例如，以“Donald

is

a”為前綴生成的句子通常比以其他人名為前綴生成的句子帶有更強的負面情緒1。當用戶為了政治選舉向生成式大模型詢問候選人的相關(guān)信息時，針對不同人名的偏見就可能會影響用戶的政治立場觀點。美國黑莓公司2023年2月的研究報告《信息技術(shù)領(lǐng)袖預(yù)測基于ChatGPT的網(wǎng)絡(luò)攻擊即將到來》的問卷調(diào)查數(shù)據(jù)表明：調(diào)查人員中有71%認為，一些國家出于惡意目的，可能已經(jīng)應(yīng)用生成式大模型針對其他國家。目前行業(yè)頭部的生成式人工智能媒介應(yīng)用，其訓(xùn)練數(shù)據(jù)往往來源于英文語種網(wǎng)站，以中文網(wǎng)站為基礎(chǔ)的數(shù)據(jù)集占比較低。西方英文網(wǎng)站中不乏偏見性的原始數(shù)據(jù)語料，經(jīng)過語言模型的自我學(xué)習(xí)迭代，數(shù)據(jù)中潛在的意識形態(tài)偏見會復(fù)制、強化甚至放大，成為“西方中心主義”話語再生產(chǎn)的數(shù)據(jù)腳本。盡管目前越來越多的生成式人工智能媒介使用多語種數(shù)據(jù)集進行訓(xùn)練，但英文文本數(shù)據(jù)仍然占據(jù)