大模型安全實(shí)踐（2024）白皮書-清華大學(xué)螞蟻中關(guān)村

螞蟻集ANTGROUP螞蟻集ANTGROUP 螞蟻集ANTGROUP螞蟻集ANTGROUP 0505螞蟻集ANTGROUP螞蟻集ANTGROUP一、大模型發(fā)展趨勢(shì)與挑戰(zhàn)0606會(huì)高質(zhì)量發(fā)展的重要推動(dòng)力，它將繼續(xù)發(fā)揮更為廣泛和深遠(yuǎn)的影響，式，正受到廣泛關(guān)注。該模式以柔韌、流動(dòng)、靈活及自適應(yīng)為特點(diǎn)，07071.2大模型發(fā)展挑戰(zhàn)攻擊也在增多。大模型應(yīng)用降低了查找漏洞和發(fā)動(dòng)系統(tǒng)攻擊的難度，080809092.1總體框架 踐，將總體框架分為五個(gè)部分。首先，提出了“以人為本，AI向 1010信息篩選、決策判斷、任務(wù)執(zhí)行、內(nèi)容生成、藝術(shù)創(chuàng)作、方案優(yōu)化、人工智能倫理準(zhǔn)則旨在確保人工智能技術(shù)的應(yīng)用符合人類的道1111時(shí)間政策《歐盟人工智能倫理準(zhǔn)準(zhǔn)，強(qiáng)調(diào)人工智能的發(fā)展和應(yīng)用應(yīng)以增進(jìn)人類1212人工智能應(yīng)是以人為本的技術(shù)，強(qiáng)調(diào)了人工智能技術(shù)的發(fā)展和應(yīng)用應(yīng)該以提高人類福祉為最《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的協(xié)調(diào)發(fā)展與治理的關(guān)系，確保人工智能安全可《中國(guó)新一代人工智能提出人工智能的發(fā)展必須以人為本，關(guān)注其對(duì)人類社會(huì)的影響，并確保其發(fā)展的可持續(xù)性和《全球人工智能治理倡國(guó)《關(guān)于人工智能和全球強(qiáng)調(diào)中法兩國(guó)充分致力于促進(jìn)安全、可靠和可這是美國(guó)迄今為止最全面的人工智能監(jiān)管原則，提出應(yīng)確保數(shù)據(jù)隱私和網(wǎng)絡(luò)安全、防止歧《以人為中心的人工智提出了以尊嚴(yán)、多元包容和可持續(xù)作為人工智能社會(huì)的基本理念，確立了以人為中心等七項(xiàng)《實(shí)施人工智能原則的推進(jìn)人工智能治理七項(xiàng)原則從理念向落地邁《人工智能倫理問題建為應(yīng)對(duì)人工智能大模型所帶來的挑戰(zhàn)，這是首個(gè)關(guān)于以符合倫理要求的方式運(yùn)用人工智能的《以人為本的人工智能提出了建立人工智能國(guó)際治理機(jī)構(gòu)的指導(dǎo)原所人工智能在某些任務(wù)上已經(jīng)達(dá)到或超越了人類關(guān)注人工智能對(duì)人類社會(huì)、經(jīng)濟(jì)和文化等方面13131414抗攻擊測(cè)試和對(duì)抗學(xué)習(xí)等方法來發(fā)現(xiàn)漏洞和提升模型魯棒性和安全151516162.4大模型落地的三種主要模式:端、邊、云企業(yè)和組織在考慮將大模型整合到其業(yè)務(wù)流程或服務(wù)中時(shí),對(duì)于如何部署和使用這些先進(jìn)的人工智能系統(tǒng)有多種選擇。選擇最佳的部署模式,不僅關(guān)系到模型的性能和效率,而且影響整體的運(yùn)營(yíng)成本和用戶體驗(yàn)。當(dāng)前大模型的三種主要落地模式:端側(cè)部署、邊緣計(jì)算和云平臺(tái)服務(wù)。端側(cè)部署模式涉及將大模型直接整合到用戶的終端設(shè)備中,如智能手機(jī)、個(gè)人電腦或?qū)I(yè)工作站。這種模式的主要優(yōu)點(diǎn)是能夠?qū)崿F(xiàn)高度個(gè)性化的用戶體驗(yàn),并且由于計(jì)算過程在本地進(jìn)行,因此能夠最小化數(shù)據(jù)傳輸延遲和提升響應(yīng)速度。端側(cè)部署模式適合那些對(duì)隱私保護(hù)和實(shí)時(shí)性有極高要求的場(chǎng)景,如離線語音識(shí)別、即時(shí)翻譯和全知個(gè)人助理等。邊緣計(jì)算模式將大模型放置在接近用戶但不在端側(cè)設(shè)備上的邊緣服務(wù)器。邊緣計(jì)算集中了云計(jì)算的強(qiáng)大處理能力和端側(cè)部署的低延遲優(yōu)勢(shì),適合處理計(jì)算和數(shù)據(jù)要求較高、而又需要快速響應(yīng)的應(yīng)用程序。此外,由于數(shù)據(jù)不需要傳輸?shù)竭h(yuǎn)端云服務(wù)器,邊緣計(jì)算還能夠有效降低帶寬需求和改進(jìn)數(shù)據(jù)安全性。為大模型提供了充足的存儲(chǔ)和計(jì)算資源,讓它們能夠運(yùn)行最復(fù)雜的算法并處理大量數(shù)據(jù)。云平臺(tái)的模型服務(wù)(Maas)為模型的升級(jí)和維護(hù)提供了靈活性,同時(shí)確保了從任何地方都能訪問模型的便利性。然而,這種模式可能面臨網(wǎng)絡(luò)延遲和數(shù)據(jù)隱私的問題,這需要通過合理的系統(tǒng)設(shè)計(jì)和策略來緩解。操作效率進(jìn)行細(xì)致考量。每種部署模式的安全性也是決策過程中的一1717安全解決方案需要在流量安全管理和數(shù)據(jù)隱私保護(hù)方面提供堅(jiān)固的181819193.1大模型安全性技術(shù)研究和進(jìn)展現(xiàn)的核心在于其大規(guī)模的模型參數(shù)以及對(duì)來源于海量數(shù)據(jù)的知識(shí)的戶信息和對(duì)話的所有內(nèi)容，以及互動(dòng)網(wǎng)頁(yè)內(nèi)的各種隱私信息（包括），212021202222法十分多樣。例如圖3-3，用戶可直接要求模型忽視自己的安2323（1）硬件安全。用于訓(xùn)練和推理的復(fù)雜硬件系統(tǒng)，提供了巨大并構(gòu)建可靠的替代模型。針對(duì)內(nèi)存和存儲(chǔ)等硬件基礎(chǔ)設(shè)施，Row2424（2）軟件安全。在生成式人工智能時(shí)代下，開發(fā)生成式人工智2525（3）框架安全。大模型系統(tǒng)通常使用深度學(xué)習(xí)框架來實(shí)現(xiàn)，近學(xué)習(xí)框架存在的安全漏洞無疑給人工智能系統(tǒng)帶來了巨大的安全隱26262727會(huì)捕捉到訓(xùn)練數(shù)據(jù)中的偏見，導(dǎo)致生成的文本也帶有類似的偏見。虛假圖像和視頻，這些圖像和視頻極其逼真，難息，忽略真實(shí)的證據(jù)，這給網(wǎng)絡(luò)安全和社會(huì)安定種隱蔽的意識(shí)形態(tài)滲透可能會(huì)潛移默化地影響人們的價(jià)值觀和世界29282928發(fā)的新型版權(quán)侵權(quán)風(fēng)險(xiǎn)已成為整個(gè)行業(yè)發(fā)展所面臨的緊迫問題。（2）教育行業(yè)誠(chéng)信危機(jī)。大模型及其應(yīng)用也引發(fā)了教育行業(yè)關(guān)3030（3）偏見誘發(fā)公平性問題。大型模型在實(shí)際應(yīng)用中可能會(huì)對(duì)不31313232安全性，有效遏制可能產(chǎn)生的越獄威脅。當(dāng)前的防御方法可以分為，333334343535依賴庫(kù)威脅的防范主要通過挖掘深度學(xué)習(xí)常用底層依賴庫(kù)中的功能要體現(xiàn)在對(duì)操作系統(tǒng)管理和調(diào)度計(jì)算機(jī)的硬件資源時(shí)所產(chǎn)生的物理37363736化學(xué)習(xí)的大模型對(duì)齊技術(shù)已逐漸成為當(dāng)下大模型安全研究的主流技393839384040414142423.2大模型可靠性技術(shù)研究和進(jìn)展4343題對(duì)于提升大模型系統(tǒng)的信任度、安全性和廣泛454445444646的智能體是一個(gè)面向未來的研究課題目前大部分的研究還是讓模型3.3大模型可控性技術(shù)研究和進(jìn)展成多個(gè)單步動(dòng)作進(jìn)行執(zhí)行。在執(zhí)行的過程中會(huì)產(chǎn)生大量的過程信4747模不斷增長(zhǎng)、基準(zhǔn)數(shù)據(jù)集的缺乏、商業(yè)化因素導(dǎo)致模型閉源性問題，49484948攻擊類型主要是指原圖在直接傳播過程中受到的簡(jiǎn)單干擾，包括5050等操作，提升泛化性，但是其多樣性和創(chuàng)造性仍然非常受限。Self-51513.4大模型安全評(píng)測(cè)技術(shù)研究和進(jìn)展進(jìn)行全面的評(píng)測(cè)。在大模型的安全評(píng)測(cè)領(lǐng)域，重點(diǎn)關(guān)注的技術(shù)挑戰(zhàn)5252通過文字同音詞替換或者把輸入圖像進(jìn)行風(fēng)格遷移的操作來構(gòu)造出5353多輪交互引導(dǎo)的形式來誘導(dǎo)模型繞過防御策略輸出帶有風(fēng)險(xiǎn)的內(nèi)容。4.1金融領(lǐng)域大模型安全實(shí)踐它致力于為用戶提供透明可信賴的金融服務(wù)和高度智能化的專業(yè)建55545554支小寶通過復(fù)合方法確保模型安全：1.預(yù)訓(xùn)練語料清掃，清除575657564.2醫(yī)療領(lǐng)域大模型安全實(shí)踐心功能，患者無需在紛繁的產(chǎn)品界面尋找特定功能，只需與醫(yī)療AI患者的病情和就醫(yī)訴求，并通過自然語言及語音的方式與患者互動(dòng)，5858片敏感信息的識(shí)別和馬賽克/遮蓋；醫(yī)院紅章、二維碼等圖片敏感信5959控和控制進(jìn)出API的數(shù)據(jù)流。達(dá)到防止惡意流量和攻擊的效果。在60604.3政務(wù)領(lǐng)域大模型安全實(shí)踐6161626263634.4人力資源領(lǐng)域大模型安全實(shí)踐65646564如薪資水平異常高/低，通過可視化工具或數(shù)據(jù)統(tǒng)計(jì)與分析，可以識(shí)侵防御系統(tǒng)（IPS使用雙因素認(rèn)證等技術(shù)，或使用虛擬專用網(wǎng)絡(luò)6766676668684.5智能助理領(lǐng)域大模型安全實(shí)踐696970705.1未來展望717172727373