2024大模型安全研究報(bào)告

3.34.24.2大模型賦能安 1.1安全目1.21.2爆發(fā)期：語言大模型（2022年-2023年1.31.4訓(xùn)練數(shù)據(jù)安全風(fēng) 算法模型安全風(fēng) 系統(tǒng)平臺安全風(fēng) 業(yè)務(wù)應(yīng)用安全風(fēng)

3.4模型偏見緩 系統(tǒng)安全加固保 大模型插件安全保 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT5.2

2.12.22.32.42.5

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT其 自動化數(shù)據(jù)分類分 自動化APP（SDK）違規(guī)處理個人信息檢 智能文本內(nèi)容安全檢

ImageNet中以壓倒性優(yōu)勢獲得第一名，拉開了全球深度神經(jīng)網(wǎng)絡(luò)研究浪潮。2020年，OpenAI推出了GPT- 1.2爆發(fā)期：語言大模型（2022年-2023年 2022年末，OpenAI發(fā)布的ChatGPT引爆了全球大模型技術(shù)競賽。此后，谷歌的PaLM、MetaLLaMA、AnthropicClaudeFalconNOOR、阿里云的通義千問、百度的文心一言等語 2024OpenAISoraGPT-4o了全球多模態(tài)大模型研發(fā)和應(yīng)用熱潮。谷歌的GeminiUltra、阿里云的Qwen-VLMax、百度的Ernie-ViLG3.0

MindSpore FOUNDATIONMODELSAFETYFOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT

開發(fā)工具鏈安全風(fēng)險(xiǎn)：大模型系統(tǒng)開發(fā)過程中使用的工具鏈（如Langchain、Llama-Index、pandas-

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONMODELSAFETYRESEARCHREPORT ISO/IEC22989:2022GB/T41867-2022《信息技

大模型展現(xiàn)其正確實(shí)現(xiàn)這些要求的性質(zhì)。 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 算法模型安全措施：算法模型安全措施指針對大模型算法模型部署的安全防御能力。算法模型安全措施主要

FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT KDEKLK-S

FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 評測數(shù)據(jù)集主要包括AdvGLUE、ANLI、PromptBench等。魯棒性評測指標(biāo)主要包括模型預(yù)測的準(zhǔn)確性、性能TruthfulQA、HalluQA、UHGEval

模型偏見性評測。該測評旨在全面客觀定量評價(jià)大模型在訓(xùn)練階段和推理階段的偏見歧視程度。模型偏見性評測流程可分為偏見風(fēng)險(xiǎn)分析、評測任務(wù)選擇、評測指標(biāo)選擇和數(shù)據(jù)集構(gòu)建。主流的偏見性評測數(shù)據(jù)集包括WINOGENDEROLD 一是檢索增強(qiáng)生成（RetrievalAugmentedGeneration,FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT三是思維鏈技術(shù)（Chain-of-基于人工反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromHumanFeedback,RLHF）。RLHF基于人工智能反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromArtificialIntelligenceFeedback，RLAIF）。Anthropic、OpenAIGoogle

鍵部分。例如，OpenAIGPT-4GPT-2FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 建立良好的安全開發(fā)機(jī)制。首先，在大模型系統(tǒng)開發(fā)過程中建立安全開發(fā)標(biāo)準(zhǔn)，制定詳細(xì)的安全編碼規(guī)范、架將安全管控活動嵌入到大模型系統(tǒng)開發(fā)流程中,包括需求分析、設(shè)計(jì)、編碼、測試、部署和運(yùn)維階段，實(shí)現(xiàn)安全與開發(fā)的深度融合；再次，加強(qiáng)安全開發(fā)培訓(xùn)，定期舉辦安全培訓(xùn)課程，提升安全設(shè)計(jì)、安全編碼、安全開發(fā)的意識、素養(yǎng)；同時，持續(xù)跟進(jìn)安全開發(fā)技術(shù)，加強(qiáng)大模型系統(tǒng)安全開發(fā)實(shí)踐；最后，定期進(jìn)行內(nèi)部或第三方安全審計(jì)，評估安全開發(fā)機(jī)制的有效性，識別改進(jìn)點(diǎn)。

加強(qiáng)對大模型插件輸入內(nèi)容的檢測。第一，插件開發(fā)人員應(yīng)根據(jù)OWASPASVS的建議，進(jìn)行有效的輸入驗(yàn)證FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 4

AIGC

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT1 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT5結(jié)合行業(yè)實(shí)踐情況，本報(bào)告重點(diǎn)闡述大模型在網(wǎng)絡(luò)安全、數(shù)據(jù)安全、內(nèi)容安全三個領(lǐng)域的探索應(yīng)用情況。網(wǎng)絡(luò)領(lǐng)域，大模型可應(yīng)用于數(shù)據(jù)分類分級、APP（SDK）違規(guī)處理個人信息檢測等場景。內(nèi)容安全領(lǐng)域，大模型可應(yīng)用于文本內(nèi)容安全檢測、圖像視頻內(nèi)容安全檢測和音頻內(nèi)容安全檢測等場景。2

IPURL、惡意文件哈希值等各類IPFOUNDATIONMODELSAFETYFOUNDATIONMODELSAFETYRESEARCHREPORTC&C(CommandandControl)DNSIPC&C服務(wù)器、惡意域名和僵尸網(wǎng)絡(luò)節(jié)點(diǎn)等惡意基礎(chǔ)設(shè)施。

APTFOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORTL3

TCP FOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONMODELSAFETYRESEARCHREPORT

大模型憑借文本理解、文本生成等能力，可在精準(zhǔn)理解與解答、上下文感知與個性化推薦等方面發(fā)揮重要作etrieal-AugmentedGeneation,RG）、知識圖譜等技術(shù)，大模型能夠從外部知識庫中檢索關(guān)聯(lián)信息，API3

3.2自動化APP（SDK）違規(guī)處理個人信息檢 APP（SDK）違規(guī)處理個人信息檢測技術(shù)旨在識別APP、軟件開發(fā)工具包（SoftwareDevelopmentKit,APP（SDK）違APP、SDKAPP、SDKAPPAPP（SDK）L3APPFOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELF