金融業(yè)人工智能應(yīng)用風(fēng)險研究報告

I本報告版權(quán)屬于北京金融科技產(chǎn)業(yè)聯(lián)盟，并受法律保護。轉(zhuǎn)載、編摘或利用其他方式使用本白皮書文字或觀點的，應(yīng)注明來源。違反上述聲明者，將被追究相關(guān)法律責任。I編委會成員：編寫組成員：林杉王翰琛李建興龍凡黃本濤劉昌娟參編單位：北京金融股科技產(chǎn)業(yè)聯(lián)盟秘書處、中國工商銀行股份有限公司、中央國債登記結(jié)算有限責任公司、中國銀聯(lián)股份有限公司、深圳前海微眾銀行股份有限公司、螞蟻科技集團股份有限公司、中國郵政儲蓄銀行股份有限公司、深信服科技股份有限公司、中國光大銀行股份有限公司、國家開發(fā)銀行、云南南天電子信息產(chǎn)業(yè)股份有限公司、馬上消費金融股份有限公司、中國農(nóng)業(yè)銀行股份有限公司i （一）研究背景 （二）政策與標準 （三）技術(shù)發(fā)展路線 （一）基礎(chǔ)設(shè)施風(fēng)險 （二）數(shù)據(jù)風(fēng)險 （三）模型算法風(fēng)險 （四）應(yīng)用風(fēng)險 （五）倫理風(fēng)險 （六）隱私風(fēng)險 （七）管理風(fēng)險 （八）大模型安全風(fēng)險 （一）基礎(chǔ)設(shè)施防護 （二）數(shù)據(jù)防護 （三）模型算法防護 （四）應(yīng)用防護 （五）倫理防護 （六）隱私防護 （七）管理防護 （八）大模型安全防護 （一）工商銀行人工智能安全框架 （二）螞蟻集團大模型安全一體化解決方案 （三）郵儲銀行人工智能安全技術(shù)體系 1一、概述隨著金融行業(yè)數(shù)字化轉(zhuǎn)型的快速發(fā)展，人工智能相關(guān)技術(shù)在金融領(lǐng)域的應(yīng)用場景日趨廣泛，已涵蓋了產(chǎn)品創(chuàng)新、客服營銷、業(yè)務(wù)運營及風(fēng)險防控等多個業(yè)務(wù)場景，特別是大模型的出現(xiàn)，加速了人工智能金融業(yè)應(yīng)用的進程，與此同時深度偽造、對抗樣本等針對人工智能的新型攻擊手法不斷涌現(xiàn)，人工智能應(yīng)用風(fēng)險已引起金融業(yè)的高度關(guān)注。（二）政策與標準針對人工智能應(yīng)用風(fēng)險，國內(nèi)外均提出發(fā)展和安全并重、加強監(jiān)管和測評的核心思想，規(guī)范和保障人工智能的安全發(fā)展。國內(nèi)側(cè)重于宏觀審慎監(jiān)管和國家戰(zhàn)略服務(wù)，中央金融工作會議強調(diào)加快建設(shè)金融強國，全面加強金融監(jiān)管，推動金融資源用于科技創(chuàng)新，不斷優(yōu)化金融服務(wù)，防范和化解金融風(fēng)險。國家網(wǎng)信辦聯(lián)合七部門于2023年公布《生成式人工智能服務(wù)管理暫行辦法》，該辦法旨在促進生成式人工智能健康發(fā)展和規(guī)范應(yīng)用，并規(guī)定了AI服務(wù)提供方的責任義務(wù)。金融監(jiān)管總局在《銀行保險機構(gòu)數(shù)據(jù)安全管理辦法（征求意見稿）》中提出，應(yīng)當對人工智能模型開發(fā)應(yīng)用進行統(tǒng)一管理，實現(xiàn)模型算法可驗證、可審核、可追溯，就數(shù)據(jù)對決策結(jié)果影響進行解釋說明和信息披露，建立人工智能應(yīng)用的風(fēng)險緩釋措施等。中國人民銀行在《人工智能算法金融應(yīng)用評價規(guī)范》中規(guī)定了人工智能算法在金融領(lǐng)域應(yīng)用的基本要求、評價方法和判定標準，適用于開展人工智能算法金融應(yīng)用的金融機構(gòu)、算法提供商2及第三方安全評估機構(gòu)等；在《人工智能算法金融應(yīng)用信息披露指南》中明確金融機構(gòu)在使用人工智能算法提供金融產(chǎn)品和服務(wù)時，規(guī)范地開展算法信息披露活動，增強人工智能算法的可解釋性和透明度，維護金融消費者合法權(quán)益。國外監(jiān)管更注重市場效率和消費者保護，確保金融機構(gòu)在提供產(chǎn)品和服務(wù)的同時遵守相關(guān)法律和道德準則，同時建立完善的消費者投訴和糾紛解決機制。美國《人工智能應(yīng)用監(jiān)管指南》標志著歐美人工智能政策從倫理規(guī)范向監(jiān)管規(guī)制逐步轉(zhuǎn)變，也顯示了AI主導(dǎo)權(quán)開始轉(zhuǎn)向通過立法和監(jiān)管來謀求科技主導(dǎo)地位；《人工智能權(quán)利法案藍圖》中提出，在不損害公眾利益的情況下，用戶應(yīng)可以自主選擇使用人工服務(wù)替代人工智能服務(wù)。歐盟《通用數(shù)據(jù)保護條例》等隱私及數(shù)據(jù)安全要求的發(fā)布，監(jiān)管部門要求金融機構(gòu)在建設(shè)和使用人工智能的同時，需滿足民眾對隱私保護的需求；在《人工智能法》中為人工智能制定了一套覆蓋全過程的風(fēng)險規(guī)制體系，提出了風(fēng)險分類思路、產(chǎn)品規(guī)制路徑、負責任創(chuàng)新和實驗主義治理理念?，F(xiàn)有行業(yè)規(guī)范主要從管理和治理的角度進行要求，尚未充分針對具體應(yīng)用場景，進行技術(shù)攻擊視角開展深入的風(fēng)險分析，在實際應(yīng)用中的防護措施也討論較少。（三）技術(shù)發(fā)展路線人工智能風(fēng)險及防護已成為技術(shù)研究的新興領(lǐng)域，其技術(shù)發(fā)展也經(jīng)歷了從初步探索到逐漸深化的過程。3對抗樣本攻擊技術(shù)自2016年起成為學(xué)術(shù)界研究的熱點，研究人員發(fā)現(xiàn)通過構(gòu)造輕微擾動來干擾輸入樣本，可以使深度神經(jīng)網(wǎng)絡(luò)輸出攻擊者想要的任意錯誤結(jié)果。初期（2016—2019年研究者開始探索對抗樣本識別模型技術(shù)，旨在區(qū)分正常輸入與精心設(shè)計的對抗輸入。進入2020年，對抗樣本生成技術(shù)進一步細分，包括多模態(tài)對抗攻擊、針對不同場景的白盒攻擊和黑盒攻擊。2021年起，物理世界對抗樣本生成、目標定位對抗攻擊等新技術(shù)涌現(xiàn)，豐富了對抗樣本的實戰(zhàn)應(yīng)用。模型竊取攻擊技術(shù)作為新興的安全威脅，2019年，初步出現(xiàn)了用于模型竊取攻擊的替代模型技術(shù)，標志著該領(lǐng)域研究的起步。隨著時間的推移，模型竊取攻擊技術(shù)不斷演變。2021年，研究者們提出了通過對比分析不同模型提取的時序和空間特征，以及利用圖形碼解析技術(shù)來竊取模型信息的方案，展現(xiàn)了模型竊取攻擊技術(shù)的復(fù)雜性和多樣性。2022年至今，基于梯度驅(qū)動數(shù)據(jù)生成的模型竊取攻擊方法成為新的研究熱點。該方法利用梯度信息指導(dǎo)數(shù)據(jù)生成，從而更有效地竊取目標模型的內(nèi)部結(jié)構(gòu)和參數(shù)，對模型安全構(gòu)成了新的挑戰(zhàn)。數(shù)據(jù)投毒攻擊技術(shù)作為一種隱蔽而有效的攻擊手段，2021年基于深度學(xué)習(xí)中特征碰撞的投毒攻擊方法和基于聯(lián)邦學(xué)習(xí)的圖分類任務(wù)中毒攻擊方法相繼問世。這些技術(shù)通過向訓(xùn)練數(shù)據(jù)中注入惡意樣本，破壞模型的正常學(xué)習(xí)過程，從而實現(xiàn)對目標模型的攻擊。近年來，數(shù)據(jù)投毒攻擊技術(shù)進一步發(fā)展，出現(xiàn)了通過直接破壞訓(xùn)練數(shù)據(jù)來影響整個學(xué)習(xí)過程的技術(shù)。這類攻擊不僅難以被察4覺，而且能夠?qū)δＰ托阅茉斐砷L期且深遠的影響，對機器學(xué)習(xí)系統(tǒng)的安全性構(gòu)成了嚴峻挑戰(zhàn)。對抗性數(shù)據(jù)增強技術(shù)在2016年后逐步成熟，成為提升機器學(xué)習(xí)模型魯棒性的重要手段。早期（2016—2018年），研究者們通過基于對抗示例的防御策略更新、對抗訓(xùn)練系統(tǒng)改進及模型置信水平交換等方法，增強了模型的防御能力。2019年，基于對抗樣本增強的抗攻擊能力訓(xùn)練等技術(shù)進一步提升了模型的魯棒性。2020年，模型訓(xùn)練方法的創(chuàng)新，如對抗補丁的生成與防御、魯棒深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練等，推動了數(shù)據(jù)增強技術(shù)的多元化發(fā)展。2021年，聯(lián)邦遷移學(xué)習(xí)、優(yōu)化訓(xùn)練方法等技術(shù)方案的出現(xiàn)，為分布式環(huán)境下的對抗性數(shù)據(jù)增強提供了新的思路。2022年至今，基于對抗訓(xùn)練的文本解析、多任務(wù)建模與集成、視頻級目標檢測訓(xùn)練等技術(shù)的融合應(yīng)用，進一步提升了復(fù)雜場景下的對抗性數(shù)據(jù)增強效數(shù)據(jù)隱私計算技術(shù)在2016年后成為研究熱點，旨在保護數(shù)據(jù)隱私的同時實現(xiàn)數(shù)據(jù)的有效利用。早期（2016—2018年），基于隱私保護技術(shù)的聯(lián)合深度學(xué)習(xí)訓(xùn)練方法初步成型。2019年，數(shù)據(jù)隱私保護下的機器學(xué)習(xí)模型特征篩選、多方聯(lián)合訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)等技術(shù)方案的提出，推動了隱私保護技術(shù)的發(fā)展。2020年，橫向聯(lián)邦學(xué)習(xí)、全同態(tài)加密等技術(shù)的出現(xiàn)，為數(shù)據(jù)隱私計算提供了更為安全高效的解決方案?；诙诉呍萍軜?gòu)的分布式聯(lián)邦學(xué)習(xí)安全防御、聯(lián)邦神經(jīng)網(wǎng)絡(luò)訓(xùn)練等技術(shù)的融合應(yīng)用，進一步提升了數(shù)據(jù)隱私保護的能力。5AI框架漏洞挖掘技術(shù)在2018年后快速發(fā)展，成為保障AI系統(tǒng)安全的重要環(huán)節(jié)。初期（2016—2018年），深度學(xué)習(xí)系統(tǒng)漏洞檢測技術(shù)初步形成。2019年，人工智能和模糊測試漏洞掃描系統(tǒng)（AIFuzz）的推出，標志著自動化漏洞挖掘技術(shù)的興起。2020年，對抗性漏洞審計工具、深度學(xué)習(xí)漏洞危害評估指標技術(shù)的出現(xiàn)，進一步提升了漏洞挖掘的精度和效率。2021年，基于遺傳算法的深度學(xué)習(xí)模型安全漏洞測試和修復(fù)技術(shù)、圖神經(jīng)網(wǎng)絡(luò)在智能合約漏洞檢測中的應(yīng)用等技術(shù)，為AI框架安全提供了更加全面的保障。2023年至今，基于圖神經(jīng)網(wǎng)絡(luò)的源代碼缺陷檢測、漏洞檢測模型優(yōu)化等技術(shù)的融合應(yīng)用，推動了AI框架漏洞挖掘技術(shù)的持整體而言，人工智能攻防領(lǐng)域的研究聚焦于模型防護與攻擊方法技術(shù)，其中模型攻擊技術(shù)則涵蓋對抗樣本、竊取、投毒等多種手段，而模型防護技術(shù)為核心與熱點，包括數(shù)據(jù)增強、漏洞挖掘與隱私計算等，部分技術(shù)尚處于探索階段。二、金融業(yè)人工智能安全風(fēng)險框架1.AI框架開源風(fēng)險AI框架開源風(fēng)險主要存在斷供層面的風(fēng)險。在人工智能領(lǐng)域，開源人工智能框架TensorFlow和PyTorch目前在我國占據(jù)了約85%的市場份額，開源框架在提供靈活性和創(chuàng)新性的同時，也可能使金融機構(gòu)更加脆弱于供應(yīng)鏈的不確定性。一旦開源框架的維護者決定終止支持或因政治原因停止合作，金融機構(gòu)可能會陷入斷供的境地，導(dǎo)致AI應(yīng)用系統(tǒng)的不穩(wěn)定甚至癱瘓。這種情況下，6金融機構(gòu)將面臨遷移至其他框架的轉(zhuǎn)換成本，進而增加了整體的運營成本。2.AI框架和芯片安全漏洞AI框架和芯片安全漏洞問題是人工智能領(lǐng)域不容忽視的挑戰(zhàn)。以硬件加速芯片和AI框架為核心支撐的人工智能系統(tǒng)，在不斷提升算力以及模型能力的同時，也面臨著安全漏洞的潛在威脅。芯片安全漏洞作為硬件層面的問題，也對人工智能的安全性構(gòu)成威脅。高性能計算所需的芯片在設(shè)計和制造過程中可能存在漏洞，這為惡意攻擊提供了潛在入口。AI框架的開源本質(zhì)為創(chuàng)新提供了契機，但也可能為潛在的安全漏洞留下后門。攻擊者可以利用這些漏洞進入系統(tǒng)，威脅到敏感數(shù)據(jù)和模型的安全性。特別是在金融領(lǐng)域，安全性至關(guān)重要，一旦AI框架存在漏洞，可能導(dǎo)致機密信息泄露、模型被篡改等嚴重后果。例如主流人工智能分布式處理框架Ray就被爆出存在遠程命令執(zhí)行漏洞（CVE-2023-48022）,該漏洞可使得攻擊者控制服務(wù)器的計算能力并竊取敏感數(shù)據(jù)。此漏洞源于Ray框架提供了用于提交計算任務(wù)或作業(yè)以供執(zhí)行的接口，攻擊者可通過該接口提交任意系統(tǒng)命令，從而竊取數(shù)據(jù)庫憑證、SSH密鑰等敏感信息。3.AI供應(yīng)鏈安全風(fēng)險AI供應(yīng)鏈安全風(fēng)險涉及外部引入的數(shù)據(jù)集、模型、工具包及服務(wù)等多個場景，如果外部引入的數(shù)據(jù)不準確或模型存在漏洞后門，將直接影響模型的性能和決策。AI服務(wù)和外部工具的引入也增加了供應(yīng)鏈的復(fù)雜性和風(fēng)險，這些服務(wù)或者工具本身也可能存7在缺陷或漏洞，可能面臨數(shù)據(jù)隱私泄露、未經(jīng)授權(quán)的數(shù)據(jù)訪問等問題，對人工智能應(yīng)用場景造成風(fēng)險。AI系統(tǒng)的復(fù)雜性和對外部資源的依賴性增加了系統(tǒng)被攻擊的風(fēng)險。與傳統(tǒng)軟件不同，AI系統(tǒng)與供應(yīng)鏈的強耦合特性造成風(fēng)險隱藏在訓(xùn)練集和模型中，很難通過代碼審計、成分分析等傳統(tǒng)的安全技術(shù)手段識別風(fēng)險，并且也無法通過打補丁的方式進行快速修復(fù)，提高了整體風(fēng)險被發(fā)現(xiàn)和修復(fù)的難度；AI供應(yīng)鏈的安全風(fēng)險是伴隨在系統(tǒng)開發(fā)和運行階段，需要對供應(yīng)鏈全生命周期進行持續(xù)監(jiān)控。4.AI算力消耗風(fēng)險作為人工智能的重要底層支撐，算力成本問題是金融人工智能應(yīng)用發(fā)展過程中不可忽視的一大挑戰(zhàn)。隨著人工智能能力的不斷增強，模型架構(gòu)不斷升級，對算力與存儲的要求也越來越高。金融人工智能應(yīng)用需要龐大的計算資源來進行訓(xùn)練和推理，對許多金融機構(gòu)來說，建立和維護這樣的計算基礎(chǔ)設(shè)施往往會需要高昂的成本，主要體現(xiàn)在硬件成本與能耗成本上：（1）硬件成本是指構(gòu)建和維護高性能計算設(shè)備所需的硬件設(shè)備和設(shè)施的成本較高。（2）能耗成本是大規(guī)模金融人工智能應(yīng)用所需的計算資源導(dǎo)致的高能耗，進而增加電力成本。若不能提升算力資源利用率，或與相關(guān)機構(gòu)合作共享算力，則會造成收益比下降，前沿技術(shù)所帶來的科技進步無法轉(zhuǎn)化為經(jīng)85.AI系統(tǒng)實現(xiàn)風(fēng)險人工智能系統(tǒng)實現(xiàn)依賴于軟硬件平臺的支撐，軟件開發(fā)和硬件編碼過程中如存在漏洞，會引發(fā)人工智能系統(tǒng)實現(xiàn)風(fēng)險。（1）Python是當前使用較為廣泛的人工智能編程語言,編碼不當?shù)木幊棠_本可能會觸發(fā)漏洞，使系統(tǒng)容易受到潛在的拒絕服務(wù)、遠程命令執(zhí)行等攻擊。自動化的軟件開發(fā)過程中使用的CI工具提供許多可利用的插件供開發(fā)者使用，這些插件可能會無意中暴露模型的代碼和訓(xùn)練數(shù)據(jù)，同樣可能造成重大的安全問題。（2）與傳統(tǒng)程序一樣，硬件漏洞也會引發(fā)人工智能安全風(fēng)險。如rowhammer內(nèi)存硬件漏洞利用了相鄰內(nèi)存單元之間的電荷泄漏問題，通過重復(fù)訪問某一列的存儲單元，可以引起電壓波動，0，可以被利用來操縱篡改模型的參數(shù)和輸出結(jié)果。（二）數(shù)據(jù)風(fēng)險1.數(shù)據(jù)污染風(fēng)險若訓(xùn)練數(shù)據(jù)集存在錯誤、異?；虮粣阂獯鄹牡那闆r，會導(dǎo)致模型性能下降、預(yù)測結(jié)果不準確，甚至出現(xiàn)安全漏洞等問題。數(shù)據(jù)采集錯誤、數(shù)據(jù)預(yù)處理不當、惡意攻擊或人為失誤都可以造成數(shù)據(jù)污染。被污染的數(shù)據(jù)在訓(xùn)練過程中會導(dǎo)致模型對噪聲數(shù)據(jù)過擬合，而在推理時則可能導(dǎo)致模型做出錯誤的預(yù)測或決策。數(shù)據(jù)投毒是其中最典型的惡意攻擊方式，攻擊者可根據(jù)神經(jīng)網(wǎng)絡(luò)的復(fù)雜性和非線性特性，找到在特征空間中與目標樣本相近的中毒樣本,并將中毒樣本注入數(shù)據(jù)集，以此修改決策邊界，來破壞模型的可用性，從而產(chǎn)生各種不正確的預(yù)測。92.數(shù)據(jù)質(zhì)量風(fēng)險數(shù)據(jù)質(zhì)量在決定人工智能模型上限方面發(fā)揮著至關(guān)重要的作用，數(shù)據(jù)質(zhì)量風(fēng)險主要包括數(shù)據(jù)完整性與多樣性風(fēng)險、數(shù)據(jù)準確性及標注質(zhì)量風(fēng)險和數(shù)據(jù)可擴展性風(fēng)險三方面：（1）數(shù)據(jù)完整性與多樣性風(fēng)險：訓(xùn)練數(shù)據(jù)集應(yīng)包含足夠多的樣本，每個樣本應(yīng)包含所需的特征，并包含各種分布和變化，包括不同的類別、場景、時間等，否則模型將趨于過擬合，無法對新數(shù)據(jù)做出高準確率的預(yù)測或分類。金融數(shù)據(jù)的量級很大，某些交易類型或客戶類型呈現(xiàn)長尾分布，數(shù)據(jù)采集時易產(chǎn)生有偏數(shù)（2）數(shù)據(jù)準確性及數(shù)據(jù)標注質(zhì)量風(fēng)險：訓(xùn)練數(shù)據(jù)的標簽和特征值應(yīng)準確無誤，避免引入錯誤的標簽或錯誤的特征值。對于需要人工標注的數(shù)據(jù)，標注應(yīng)準確反映樣本的真實情況，且標注過程應(yīng)遵循一致的標準和規(guī)范。否則訓(xùn)練出的模型可能會產(chǎn)生錯誤的預(yù)測結(jié)果，導(dǎo)致錯誤決策。（3）數(shù)據(jù)可擴展性風(fēng)險：隨著時間的推移，新的數(shù)據(jù)源可能不斷涌現(xiàn)，訓(xùn)練數(shù)據(jù)應(yīng)易于擴展和更新。如果模型只能使用舊數(shù)據(jù)來訓(xùn)練，那么它的預(yù)測能力和泛化能力可能會受到限制。3.數(shù)據(jù)竊取風(fēng)險數(shù)據(jù)竊取風(fēng)險主要包括數(shù)據(jù)還原風(fēng)險以及成員推理風(fēng)險。數(shù)據(jù)還原風(fēng)險是通過分析機器學(xué)習(xí)或人工智能模型的輸出，嘗試還原模型的訓(xùn)練數(shù)據(jù)，以推斷出原始數(shù)據(jù)的一些特征和敏感信息。攻擊者利用各種技術(shù)手段，例如生成對抗樣本、附加噪聲、反向工程等方法，試圖逆向還原模型，從而獲取訓(xùn)練數(shù)據(jù)的敏感成員推理風(fēng)險通過分析機器學(xué)習(xí)模型的輸出來確定某個特定樣本是否被用于該模型的訓(xùn)練。攻擊者利用生成對抗樣本、附加噪聲等方式判斷某個輸入數(shù)據(jù)是否屬于模型的訓(xùn)練集，從而揭示有關(guān)訓(xùn)練數(shù)據(jù)的敏感信息。例如，攻擊者可能利用成員推理來確定某人是否有過貸款記錄、是否在銀行黑名單上，或者判斷某個客戶是否被認為是高價值客戶。（三）模型算法風(fēng)險1.算法失竊風(fēng)險算法模型作為技術(shù)的核心載體，一旦被竊取，將可能使擁有該技術(shù)的金融機構(gòu)暴露在風(fēng)險中。例如，金融機構(gòu)的AI模型被黑客惡意盜取后，黑客就可以復(fù)制該公司的業(yè)務(wù)，來搶占金融市場，獲取間接經(jīng)濟利益，或者將模型出售給第三方，甚至勒索該公司，來獲取直接經(jīng)濟利益。在算法失竊方式中，一方面通過供應(yīng)鏈直接竊取，算法模型因為沒有加密混淆，在傳輸和存儲過程中被竊取。另一方面可通過模型竊取算法實現(xiàn)，如代理模型攻擊實現(xiàn)竊取，主要通過訓(xùn)練與原模型功能相似的代理模型來蒸餾原模型的知識，將原模型的輸入作為其輸入，原模型的輸出作為其訓(xùn)練標簽，并進行參數(shù)優(yōu)化，不斷擬合原模型的輸出，最終達到竊取原模型知識的目的。2.算法失效風(fēng)險金融場景的復(fù)雜性決定了沒有一個模型能夠涵蓋市場的所有特征，只能采取簡化的辦法，通過選取重要特征來描述真實的市場。但這種以局部特征代替整體特征的方法，使得算法具備很大的局限性，非常容易導(dǎo)致算法失效。比如，在程序化交易中，策略模型算法的實質(zhì)是按照既定的規(guī)則進行買賣交易。投資者依據(jù)經(jīng)驗或者數(shù)理化的方法從歷史行情中發(fā)掘出某些特定的規(guī)律，然后據(jù)此制定出相應(yīng)的買賣規(guī)則。但不同時間內(nèi)，市場規(guī)律會呈現(xiàn)出不一樣的特征，策略模型也就失效了。并且大部分的交易模型都是有時間限制的，程序化交易在國內(nèi)的發(fā)展趨勢很快，交易模型算法如果不及時更新，也會發(fā)生失效的風(fēng)險。3.算法指標失衡風(fēng)險在模型算法評估過程中，分類問題、回歸問題等往往需要使用不同的指標進行評估，如準確率、召回率等。在諸多的評估指標中，大部分指標只能片面地反映模型的一部分性能。如果不能合理地運用評估指標，不僅不能發(fā)現(xiàn)模型本身的問題，而且會得出錯誤的結(jié)論。比如在反欺詐場景下，如果過分追求識別黑產(chǎn)用戶的準確率，而忽視將正常用戶被誤判為黑產(chǎn)用戶的誤殺率，則會影響正常用戶體驗，增加用戶投訴。4.算法同質(zhì)化風(fēng)險算法同質(zhì)化風(fēng)險指的是當多個機器學(xué)習(xí)模型使用相似的訓(xùn)練數(shù)據(jù)和相似的學(xué)習(xí)方法時，相似環(huán)境中共同犯錯或共同受到某些不利影響。造成這種同質(zhì)化風(fēng)險的原因主要有兩方面：一是由于使用的訓(xùn)練數(shù)據(jù)相似比例較大，導(dǎo)致算法對相同類型的噪聲產(chǎn)生敏感性從而在類似的場景中犯同樣的錯誤。二是由于使用相似的結(jié)構(gòu)和超參數(shù)進行訓(xùn)練的模型，在面對對抗攻擊樣本時會表現(xiàn)出相似的脆弱性，攻擊者可能會更容易將成功的對抗攻擊擴展到不例如，銀行內(nèi)部風(fēng)險防范通常由多個環(huán)節(jié)不同部門協(xié)同進行。如果風(fēng)險防控中的一道防線、二道防線使用的風(fēng)險模型存在同質(zhì)化問題，會導(dǎo)致風(fēng)險無法被發(fā)現(xiàn)，減弱多道防線的風(fēng)險防控能力，使其失去效果。5.算法可審計風(fēng)險人工智能算法模型的訓(xùn)練、部署到使用全流程應(yīng)當建立一套完整且規(guī)范的記錄模式，否則將會給該算法的可審計性帶來風(fēng)險。在這個流程中如果不能對算法使用的歷史數(shù)據(jù)集進行溯源和備份，沒有對模型的迭代訓(xùn)練過程中產(chǎn)生的中間結(jié)果進行記錄，沒有記錄模型運行日志及操作日志，都有可能會給后續(xù)審計和回溯工作帶來無法溯源的風(fēng)險。6.文件木馬風(fēng)險人工智能算法在使用算法模型時，需要進行反序列化，從而將模型數(shù)據(jù)存入內(nèi)存。目前大部分人工智能計算框架使用的模型文件反序化組件支持代碼執(zhí)行，攻擊者可在模型文件中增加代碼，當使用者在執(zhí)行模型文件的反序列過程中引發(fā)任意代碼執(zhí)行，導(dǎo)致受害者使用的計算機遭受攻擊。目前應(yīng)用較為廣泛的人工智能計算框架Pytorch，使用了Pickle組件來實現(xiàn)反序列化。該組件的反序列化過程支持任意代碼執(zhí)行。攻擊者可向模型文件中加入惡意代碼。使用者在加載惡意模型文件時惡意代碼被執(zhí)行，進而導(dǎo)致遠程控制、勒索病毒等7.模型后門風(fēng)險當購買第三方人工智能算法模型或使用第三方的人工智能算法模型服務(wù)時，如果第三方的模型沒有通過安全審計，那么使用的模型有被后門植入的風(fēng)險。后門風(fēng)險是指在人工智能模型的訓(xùn)練階段，通過特定數(shù)據(jù)對模型效果進行定制化干擾的攻擊手法，帶有后門的模型針對正常輸入的輸出依舊正常，而帶有特定標記的輸入將會被識別為攻擊者想要偽裝成的對象，從而操縱模型的判斷結(jié)果。一些人工智能模型的提供商出于政治、商業(yè)競爭等特殊目的，可能在預(yù)訓(xùn)練過程中植入模型后門，使其在應(yīng)用過程中輸出錯誤的結(jié)果。一旦不法分子利用人工智能模型的這種風(fēng)險，操控金融風(fēng)控模型將會給整個金融行業(yè)帶來極大的威脅。8.對抗攻擊風(fēng)險對抗攻擊指的是對人工智能模型的輸入進行微小，人工難以察覺的改動，從而使產(chǎn)生錯誤的決策甚至操縱決策的輸出。這類風(fēng)險的特點在于不需要參與人工智能模型的訓(xùn)練，只要有權(quán)使用該模型就可以進行對抗攻擊。此類攻擊之所以能夠成功的根源還是在于人工智能模型算法的可解釋性差，面對極端的輸入數(shù)據(jù)，算法模型的處理邏輯發(fā)生偏離，從而給出錯誤的結(jié)果。目前金融業(yè)中普遍面向大眾使用的人臉識別，ocr識別、交易場景異常行為監(jiān)控等人工智能應(yīng)用都存在對抗攻擊風(fēng)險。（四）應(yīng)用風(fēng)險1.操作性風(fēng)險操作性風(fēng)險主要包括信息繭房、算法共謀等風(fēng)險。信息繭房是指由于個性化推薦算法的存在，用戶傾向于只接觸和接收與自己已有觀點和偏好相符的信息，而忽視或排斥那些不同觀點的信息，這種現(xiàn)象可能導(dǎo)致用戶陷入信息的封閉空間，無法接觸到多樣的觀點和互相沖突的意見。算法共謀是以智能算法作為促進共謀的技術(shù)因素，利用算法“黑箱化”的特性通過編碼和數(shù)據(jù)進行自動化決策，使企業(yè)可以在不需要溝通和互動的情況下實現(xiàn)某種共同的目標，這種協(xié)作可能會對市場競爭、社會公平產(chǎn)生負面影響。金融機構(gòu)利用智能算法推薦技術(shù)，如果違規(guī)構(gòu)建充斥高風(fēng)險金融產(chǎn)品服務(wù)的信息繭房，以算法優(yōu)勢排除和限制市場競爭、阻礙消費者自主選擇，將會導(dǎo)致“劣幣驅(qū)逐良幣”，甚至與同行機構(gòu)達成“算法共謀”，將中小微企業(yè)、社會低收入人群、民營經(jīng)濟組織拒之門外，引發(fā)市場壟斷。2.算法應(yīng)用風(fēng)險人工智能算法在應(yīng)用過程中同樣存在風(fēng)險，以算法濫用、算法思維依賴兩種最為典型。（1）惡意濫用：算法的滲透力和影響力日趨強大，當算法在應(yīng)用過程中如果被不加約束地使用會帶來較為嚴重的算法惡意濫用風(fēng)險。比如借助神經(jīng)網(wǎng)絡(luò)拼接合成虛假內(nèi)容的深度偽造攻擊、通過人工智能生成惡意釣魚郵件、通過算法生成即拿即用的惡意代碼編寫、通過人工智能生成逼真欺詐話術(shù)，極大壓縮電信詐騙人力成本的欺詐客服機器人等形式的算法惡意濫用，降低了攻擊的技術(shù)門檻。（2）思維依賴：隨著人工智能技術(shù)在業(yè)務(wù)場景大量應(yīng)用，容易造成人員過度依靠生成式人工智能提供的答案，從而使人自身的觀察與理解、歸納與演繹、比較與推理等感知和邏輯能力缺乏鍛煉，日常怠于思考與創(chuàng)新。金融業(yè)具有較高的系統(tǒng)可用性及業(yè)務(wù)連續(xù)性要求，若核心業(yè)務(wù)使用了人工智能算法模型進行輔助決策，甚至直接決策，一旦人工智能系統(tǒng)出現(xiàn)故障，導(dǎo)致短期內(nèi)無法使用或恢復(fù)，業(yè)務(wù)人員長期對人工智能的思維依賴可能影響業(yè)務(wù)運營及時恢復(fù)。（五）倫理風(fēng)險1.金融倫理風(fēng)險金融模型在訓(xùn)練過程中需要依賴大量的金融數(shù)據(jù)，包括客戶信息、交易記錄等。如果這些數(shù)據(jù)本身存在偏見，如種族、性別、地域等方面的歧視，那么模型在訓(xùn)練過程中就會學(xué)習(xí)到這些偏見，并在后續(xù)的應(yīng)用中表現(xiàn)出來。這可能導(dǎo)致模型在風(fēng)險評估、信貸審批等金融決策過程中產(chǎn)生不公平的結(jié)果，損害部分群體的利益。金融模型的應(yīng)用也會引發(fā)利益沖突。例如，在智能投顧領(lǐng)域，模型可能會根據(jù)特定的投資策略或利益訴求來推薦金融產(chǎn)品，而不是基于客戶的最佳利益。這可能導(dǎo)致客戶利益受損，引發(fā)信任危機。在某些情況下，金融模型可能會面臨道德困境。例如，在風(fēng)險管理領(lǐng)域，模型需要在控制風(fēng)險和保護客戶利益之間做出權(quán)衡。如果模型過于保守，可能會限制客戶的投資選擇；如果過于激進，則可能增加客戶的投資風(fēng)險。這種權(quán)衡過程需要考慮到倫理道德因素，以確保決策的合理性和公正性。2.歧視性風(fēng)險算法歧視也被稱為算法偏見，是指在信息的生產(chǎn)、分發(fā)及核查的過程中對用戶造成的非中立立場影響，從而導(dǎo)致片面、失實等信息觀念的傳播。大數(shù)據(jù)殺熟是一種典型的算法偏見，大數(shù)據(jù)殺熟是指經(jīng)營者通過對用戶的數(shù)據(jù)進行采集和分析，從而形成對用戶的特定形象描摹，進而對不同的用戶提供特定價格的商品或者服務(wù)。經(jīng)營者主要根據(jù)顧客選購頻次的增加，對顧客的消費心態(tài)，消費喜好，消費規(guī)律性進行記錄和分析，制訂出更為“合適”顧客的價錢。經(jīng)常表現(xiàn)為對于同樣的商品或者服務(wù)，老客戶看到的價格反而比新客戶要貴出許多的現(xiàn)象。3.算法黑箱風(fēng)險目前算法模型的決策由海量數(shù)據(jù)和復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)驅(qū)動，難以人為干預(yù)，不可控性較強，天然具備黑箱屬性。金融機構(gòu)應(yīng)用算法技術(shù)時，根據(jù)已知的輸入完成一系列特定操作并進行結(jié)果輸出，但過程性環(huán)節(jié)實際如何進行運算和推演卻無法進一步獲悉，輸出的結(jié)果也非常規(guī)所能控制和解釋。海量數(shù)據(jù)及其所驅(qū)動形成的算法模型存在于黑箱的內(nèi)部，大部分金融消費者對其僅僅只能停留于模糊的外觀認知邊界，無法知悉其得出結(jié)果的主要依據(jù)和具體過程。比如，在信貸領(lǐng)域使用深度神經(jīng)網(wǎng)絡(luò)測算客戶貸款額度，由于具體額度通過一系列非線性函數(shù)疊加計算生成，算法黑箱風(fēng)險導(dǎo)致模型難以輸出更多解釋信息，考慮到金融管理部門要求、客戶解釋等因素，模型算法在應(yīng)用過程中存在一定局限性。4.責任界定風(fēng)險傳統(tǒng)意義的責任界定風(fēng)險通常是指因個人或團體的疏忽或過失行為，造成他人的財產(chǎn)損失或人身傷亡，按照法律、契約應(yīng)負法律責任或契約責任的風(fēng)險。金融機構(gòu)利用人工智能向客戶提供更加多樣化、高效、便捷的服務(wù)的同時，也會導(dǎo)致責任界定不清的問題。當客戶在使用服務(wù)過程中，出現(xiàn)了財產(chǎn)等損失而需要追究責任時，產(chǎn)生的原因是多層面的，既可能有數(shù)據(jù)集的問題，也可能有模型算法的問題，還可能存在系統(tǒng)服務(wù)引發(fā)的問題，甚至存在客戶自身使用不當?shù)葐栴}。以基于大模型的智能投顧為例，在正常情況下可以得出極為精確的預(yù)測分析，助力客戶取得預(yù)期收益。但出現(xiàn)極端情況時，如類似1929年美國股災(zāi)的事件，投資者可能遭受巨大損失，追究責任卻無從下手。人工智能本身是一個黑箱，數(shù)據(jù)提供商、模型提供商、服務(wù)提供商、客戶自身都可能需要為此負責，具體界定主要責任還是次要責任很難劃分。（六）隱私風(fēng)險1.個人數(shù)據(jù)泄露風(fēng)險人工智能模型訓(xùn)練所需的數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)（數(shù)值、標簽等）或非結(jié)構(gòu)化數(shù)據(jù)（文本、圖像、音頻等），其中用戶的人機交互對話、搜索記錄、交易記錄和行為軌跡等訓(xùn)練數(shù)據(jù)中可能含有個人隱私信息，若過度收集并在未獲得用戶授權(quán)同意的情況下違規(guī)使用此類數(shù)據(jù)進行模型訓(xùn)練，由于模型強大的記憶能力可能會在處理用戶請求時無意間泄露，對個人的隱私造成侵犯。同時泄露的個人隱私信息可能被惡意利用，導(dǎo)致身份盜用、開設(shè)虛假賬戶或詐騙等違法行為，導(dǎo)致嚴重的后果和風(fēng)險。2019年，蘋果智能語音助手Siri被曝出竊取用戶隱私，蘋果公司在未明確告知用戶被錄音和分析的情況下，存在定期錄下用戶與Siri的交流，并將其發(fā)送給外包公司進行分析的行為，導(dǎo)致用戶隱私泄露。2.商業(yè)數(shù)據(jù)泄露風(fēng)險企業(yè)的商業(yè)隱私數(shù)據(jù)可大體分為兩類，一類是企業(yè)核心代碼、算法、技術(shù)或密碼等敏感信息，例如軟件核心源代碼、密鑰和憑證等；另一類是企業(yè)的商業(yè)機密文件和資料，例如商業(yè)合同、商業(yè)協(xié)議、機密報告和會議紀要等。人工智能模型會根據(jù)開發(fā)者需求收集相關(guān)的數(shù)據(jù)用于模型優(yōu)化訓(xùn)練，例如生成式模型會收集用戶在人機交互過程中的對話內(nèi)容、問答信息等進行持續(xù)的學(xué)習(xí)，但用戶可能在使用過程中泄露包含企業(yè)商業(yè)隱私的信息并成為后續(xù)算法訓(xùn)練的數(shù)據(jù)源，造成新的數(shù)據(jù)泄露風(fēng)險點，導(dǎo)致企業(yè)面臨商業(yè)損失，包括競爭對手獲取企業(yè)商業(yè)機密信息，或灰黑產(chǎn)的敲詐勒索等。例如2023年4月，據(jù)《Economist》報道三星半導(dǎo)體員工疑似因使用ChatGPT，導(dǎo)致在三起不同事件中泄露公司機密。調(diào)查原因皆因員工將公司機密資訊輸入ChatGPT而導(dǎo)致。（七）管理風(fēng)險1.侵犯版權(quán)風(fēng)險人工智能應(yīng)用過程會涉及大量的第三方數(shù)據(jù)和模型，如果金融機構(gòu)在未經(jīng)版權(quán)（著作權(quán)）所有者授權(quán)的情況下使用了這些數(shù)據(jù)和模型，則可能會面臨侵犯版權(quán)的風(fēng)險。（1）在數(shù)據(jù)方面，人工智能在內(nèi)容獲取、數(shù)據(jù)處理以及內(nèi)容輸出的各個階段均有侵犯版權(quán)的風(fēng)險。其中，內(nèi)容獲取階段可能涉及對版權(quán)人復(fù)制權(quán)的侵犯，在此階段，人工智能往往通過爬蟲等數(shù)據(jù)收集手段大批量地從互聯(lián)網(wǎng)中爬取數(shù)據(jù)，所用技術(shù)往往是數(shù)字化形式的掃描和文本提取，如果未經(jīng)版權(quán)人許可，此種行為往往落入《著作權(quán)法》中所規(guī)定的侵犯“復(fù)制權(quán)”的范圍之中；數(shù)據(jù)處理階段可能涉及對版權(quán)人的翻譯權(quán)、改編權(quán)以及匯編權(quán)的侵犯，由于人工智能的訓(xùn)練往往需要將所收集的數(shù)據(jù)轉(zhuǎn)碼為相應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，而轉(zhuǎn)碼的行為必不可少地涉及對原有數(shù)據(jù)內(nèi)容的調(diào)整，包括對數(shù)據(jù)格式的轉(zhuǎn)換修改、整理刪除以及匯總等，這難免會構(gòu)成對版權(quán)人的翻譯權(quán)、改編權(quán)以及匯編權(quán)的侵犯；內(nèi)容輸出階段輸出的結(jié)果常在互聯(lián)網(wǎng)上以數(shù)字化的方式傳播呈現(xiàn)，如果輸出的分析結(jié)果涉及原有作品的內(nèi)容而未經(jīng)版權(quán)人許可，與原作品構(gòu)成“實質(zhì)性相似”，很有可能造成對版權(quán)人信息網(wǎng)絡(luò)傳播權(quán)（2）在算法和模型方面，金融機構(gòu)也可能面臨相應(yīng)的侵犯版權(quán)風(fēng)險。一方面，人工智能算法和模型本身具有版權(quán)或?qū)＠視艿椒杀Ｗo，如果金融機構(gòu)未經(jīng)授權(quán)地復(fù)制或改編現(xiàn)有的算法或模型，將構(gòu)成侵犯版權(quán)行為。另一方面，金融機構(gòu)可能會采用開源算法進行金融產(chǎn)品分析和交易決策，如果這些算法沒有遵循相應(yīng)的開源協(xié)議，可能會違反版權(quán)規(guī)定，導(dǎo)致法律糾紛，這是因為開源社區(qū)提供的算法是由開發(fā)者在開源社區(qū)（如GitHub等）發(fā)布，任何人都可以免費使用、修改和分發(fā)，而這些開源算法通常附有開源許可協(xié)議（如ALv2、GPL等），且這些協(xié)議規(guī)定了算法的使用、修改和分發(fā)條件，例如某些協(xié)議要求使用者在發(fā)布衍生作品時必須公開源代碼，或者必須在使用時保留原作者的版權(quán)聲明，金融機構(gòu)在使用這些開源算法時，必須遵守相應(yīng)的開源協(xié)議條款，如果未能遵守，則會構(gòu)成版權(quán)侵權(quán)。2.消費者知情風(fēng)險消費者知情權(quán)要求金融機構(gòu)向消費者告知所提供服務(wù)的真實、全面信息。在人工智能應(yīng)用場景下，金融機構(gòu)違反消費者知情權(quán)的情形主要表現(xiàn)為模型結(jié)果誤導(dǎo)消費者、消費者信息收集和使用過程未充分說明等。金融機構(gòu)在收集消費者數(shù)據(jù)時，若未能詳盡闡述數(shù)據(jù)范圍、使用規(guī)則并充分征得消費者同意，便可能侵犯其個人信息保護知情權(quán)。常見做法如冗長晦澀的隱私政策或隱蔽的同意鏈接，使消費者難以全面理解并預(yù)見其數(shù)據(jù)去向。這種“點擊即同意”的模式，實質(zhì)上剝奪了消費者的真實知情權(quán)和選擇權(quán)。同樣，數(shù)據(jù)使用過程中的不透明也引發(fā)廣泛關(guān)注。以Google與Ascension合作為例，未經(jīng)患者明確同意，數(shù)百萬健康數(shù)據(jù)被用于AI訓(xùn)練，此舉不僅觸動了公眾對個人隱私安全的敏感神經(jīng)，也暴露了數(shù)據(jù)使用透明度缺失的嚴重問題。此類事件加劇了社會對數(shù)據(jù)濫用和隱私侵犯的擔憂，強調(diào)了在數(shù)據(jù)收集與使用各環(huán)節(jié)中加強透明度和用戶同意機制的重要性。3.組織流程風(fēng)險人工智能的引入可能會造成金融機構(gòu)的現(xiàn)有人員不勝任與AI人才流失、組織方式及業(yè)務(wù)流程不匹配等風(fēng)險。一是現(xiàn)有人員可能因AI技能不足影響應(yīng)用效率，同時技術(shù)快速迭代加劇人才流失風(fēng)險。二是傳統(tǒng)組織模式的數(shù)據(jù)孤島現(xiàn)象阻礙AI全面應(yīng)用，企業(yè)決策方式向數(shù)據(jù)驅(qū)動轉(zhuǎn)變，對現(xiàn)有管理層級與結(jié)構(gòu)帶來挑戰(zhàn)。例如摩根士丹利在引入“NextBestAction”人工智能系統(tǒng)時，AI系統(tǒng)部署中遭遇部門間協(xié)調(diào)難題，影響系統(tǒng)集成與數(shù)據(jù)共享。三是AI應(yīng)用可能改變現(xiàn)有工作流程與決策機制，過度依賴自動化可能削弱人工審查，增加流程錯誤與決策失誤風(fēng)險，導(dǎo)致交易延遲或數(shù)據(jù)錯誤等問題。4.監(jiān)管合規(guī)風(fēng)險目前尚未建立行業(yè)層面統(tǒng)一的人工智能治理框架，行業(yè)法規(guī)和標準規(guī)范仍在制定和不斷完善過程中，缺乏人工智能系統(tǒng)的合規(guī)性和安全性要求相對應(yīng)的機制和標準。例如在人工智能技術(shù)的應(yīng)用中，大模型技術(shù)會存在透明性不足等問題，如何準確評估其潛在風(fēng)險并進行有效監(jiān)管會是一個挑戰(zhàn)。在沒有明確約束和規(guī)范的情況下，人工智能的風(fēng)險可能會進一步放大。（八）大模型安全風(fēng)險隨著大模型能力的不斷增強和適用范圍的延伸，大模型安全風(fēng)險與防護也引發(fā)了業(yè)界高度關(guān)注。從技術(shù)角度上看，大模型作為一種算力更高、能力更強的人工智能模型，很大程度上繼承了傳統(tǒng)人工智能安全風(fēng)險點。由于大模型更大規(guī)模的訓(xùn)練數(shù)據(jù)、更為復(fù)雜的模型維度，盡管使得數(shù)據(jù)投毒、模型后門等原有風(fēng)險的攻擊難度增大，但攻擊隱蔽性及影響程度也一定程度上的提升。從第三方服務(wù)角度看，由于大模型的建模及預(yù)訓(xùn)練往往由第三方完成，甚至部分場景的大模型直接部署在第三方，導(dǎo)致模型結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)及訓(xùn)練過程無法管控，由此帶來了全新、更為突出的供應(yīng)鏈安全風(fēng)險。1.提示注入風(fēng)險提示注入風(fēng)險是指通過構(gòu)造設(shè)計特定的提示詞，繞過安全對齊等防護機制，達到操縱大模型輸出的目的。攻擊者可以通過在提升詞中注入模擬對話、角色扮演、目標劫持等攻擊話術(shù)，操縱大模型輸出有害內(nèi)容，如要求大模型扮演一個虛擬角色，誘導(dǎo)大模型在虛構(gòu)的場景下輸出有害信息。2.后綴對抗風(fēng)險后綴對抗風(fēng)險是一種針對安全對齊機制的新型攻擊風(fēng)險，是提示注入風(fēng)險的進一步升級。與提示注入攻擊主要依賴專家經(jīng)驗設(shè)計話術(shù)不同，后綴對抗攻擊在模型算法層面提出了后綴對抗風(fēng)險。攻擊者可通過人工智能算法自動生成攻擊后綴，添加到惡意提問文本后部，達到繞過大模型安全對齊產(chǎn)生惡意輸出的目的。AI幻覺風(fēng)險是指大模型由于過度泛化生成虛假信息。為了得到更好的反饋效果，大模型往往需要盡可能多的關(guān)聯(lián)信息進行回答，但由于信息的泛化聯(lián)想與客觀事實的一致性天然存在矛盾，一定程度上會影響結(jié)果的準確性。由于大模型不能自動量化評估答案的準確性，使得大模型在對準確度有較高要求的場景下如智能客服、財報分析、金融分析報告，可能存在答案嚴重違背客觀事實的風(fēng)險。4.智能體安全風(fēng)險大模型智能體作為能夠利用大語言模型實現(xiàn)復(fù)雜任務(wù)智能決策和行為輸出的重要應(yīng)用，為大模型的實際落地提供了重要的技術(shù)基礎(chǔ)和支持。由于大模型智能體應(yīng)用需要通過調(diào)用外鏈應(yīng)用完成復(fù)雜任務(wù)執(zhí)行，攻擊者可以通過向智能體應(yīng)用提出服務(wù)請求的方式對智能體應(yīng)用開發(fā)框架及其外鏈應(yīng)用發(fā)起攻擊，因此大模型智能體應(yīng)用除面臨大模型自身的提示詞注入、后綴對抗等攻擊風(fēng)險外，還可能存在智能體應(yīng)用自身框架漏洞、智能體外鏈應(yīng)用權(quán)限失控、智能體外鏈應(yīng)用漏洞等風(fēng)險，且這些風(fēng)險的觸發(fā)方式及利用難度因大模型提供的智能化服務(wù)而變得更為容易，風(fēng)險影響范圍也更加廣泛。5.內(nèi)容合規(guī)風(fēng)險生成式人工智能的內(nèi)容安全廣義上包括輸出內(nèi)容的社會安全性，是否合法合規(guī)、遵守道德倫理和公序良俗等，具體表現(xiàn)在違法不良信息、內(nèi)容失實、偏見歧視、違反倫理道德等方面。生成內(nèi)容的安全性是公眾選擇使用相關(guān)產(chǎn)品和服務(wù)的重要影響因素之一，也是全球人工智能監(jiān)管的重要事項。對用戶而言，便捷高效地得到文本、圖片、音視頻、代碼等內(nèi)容是使用生成式人工智能技術(shù)的主要用途，生成的內(nèi)容越是接近或超過一般人類的創(chuàng)作能力，往往越能獲得用戶的青睞。然而，語言風(fēng)格越接近人類、合成的音視頻越逼真，用戶越是難以鑒別其中的真假。一旦訓(xùn)練數(shù)據(jù)遭受偏見、錯誤、不良等信息毒害，抑或模型存在缺陷，生成內(nèi)容很可能是錯誤甚至是具有社會危害性的。6.調(diào)用交互風(fēng)險大模型通常以高頻次API調(diào)用形式提供服務(wù)，攻擊者利用API安全漏洞實施攻擊，如以未授權(quán)的方式訪問或執(zhí)行更高權(quán)限的操作、利用對外提供服務(wù)的API接口漏洞執(zhí)行惡意代碼命令等。此外，大模型會利用第三方應(yīng)用的API接口豐富自身能力，但API的泄露會導(dǎo)致模型的外部能力直接泄露，導(dǎo)致越權(quán)、未授權(quán)訪問他人信息等風(fēng)險。如利用提示詞注入誘導(dǎo)模型輸出內(nèi)置API地址列表以及調(diào)用方式，既可以讓攻擊者從針對模型應(yīng)用的攻擊轉(zhuǎn)到針對所屬企業(yè)的攻擊，還可能變成新型的網(wǎng)絡(luò)資產(chǎn)測繪手段。7.基座模型風(fēng)險基座模型經(jīng)過大規(guī)模數(shù)據(jù)集進行預(yù)訓(xùn)練，具有通用的語言理解和生成能力，因此很多大模型產(chǎn)品基于預(yù)訓(xùn)練的基座模型進行修改和定制化，但其造成的風(fēng)險也同時傳導(dǎo)到了下游模型和應(yīng)用，主要表現(xiàn)在以下幾個方面：從質(zhì)量風(fēng)險看，模型基座自身的缺陷來自其訓(xùn)練數(shù)據(jù)的缺陷，可能會產(chǎn)生有害內(nèi)容、偏見、泄露敏感信息和錯誤信息等，一旦模型生成不當，會給下游模型或應(yīng)用帶來商業(yè)或法律問題；從技術(shù)層面看，由于模型基座技術(shù)細節(jié)的復(fù)雜性，下游模型和應(yīng)用很難完全理解或者管控其帶來的風(fēng)險，基座提供方和下游使用方也無法獨立去治理在應(yīng)用過程中的風(fēng)險；從供應(yīng)鏈層面來看，海外開源大模型受到屬地管轄，政治因素會帶來大模型基座閉源后的供應(yīng)鏈風(fēng)險。三、金融業(yè)人工智能安全防護框架1.基礎(chǔ)硬件國產(chǎn)化在目前國際局勢復(fù)雜，無法大量進口高性能AI加速芯片的前提下，應(yīng)考慮推動AI系統(tǒng)基礎(chǔ)硬件的國產(chǎn)化進程，在現(xiàn)有GPU、CPU算力云化集群的基礎(chǔ)上，建設(shè)“訓(xùn)練推理分離、異構(gòu)國產(chǎn)AI芯片并存、容器化供給”的國產(chǎn)AI算力集群?；谠苹悸罚赏ㄟ^引入多種國產(chǎn)化訓(xùn)練推理芯片、改造現(xiàn)有容器調(diào)度與國產(chǎn)芯片的適配能力、統(tǒng)一資源監(jiān)控等手段，實現(xiàn)云化供給的國產(chǎn)AI算力集群建設(shè)?？紤]到國產(chǎn)的AI推理服務(wù)器相較訓(xùn)練服務(wù)器成熟，優(yōu)先搭建和推廣國產(chǎn)AI推理服務(wù)器集群，并同步采用小范圍試點方式推進國產(chǎn)訓(xùn)練服務(wù)器集群建設(shè)。2.國產(chǎn)AI計算框架規(guī)模化應(yīng)用為面對開源AI框架的斷供風(fēng)險，應(yīng)從存量場景和增量場景兩方面加大對國產(chǎn)開源AI計算框架的應(yīng)用推廣力度。針對存量模型場景，應(yīng)采用逐步遷移方式，優(yōu)先在自然語言處理、計算機視覺、智能推薦等國產(chǎn)AI框架適配較為成熟的領(lǐng)域試點推廣國產(chǎn)開源計算框架。針對增量模型場景，應(yīng)優(yōu)化現(xiàn)有建模流水線，實現(xiàn)對國產(chǎn)框架和算法的集成支持，降低國產(chǎn)引擎和算法的應(yīng)用門檻，滿足低門檻、自主可控的規(guī)?；Ｐ枰?。3.基礎(chǔ)框架安全檢測框架漏洞的檢測與防范是保障AI系統(tǒng)安全的關(guān)鍵環(huán)節(jié)。對于引入的第三方框架，應(yīng)建立完備的外部威脅情報監(jiān)控及漏洞檢測修復(fù)機制，對于自研的基礎(chǔ)框架，建議引入模糊測試和符號執(zhí)行等技術(shù)開展安全檢測。4.開源可控防護人工智能的開源應(yīng)用是激發(fā)金融業(yè)務(wù)靈活創(chuàng)新的重要驅(qū)動力，其在賦能業(yè)務(wù)發(fā)展的同時，也為應(yīng)用安全帶來新的潛在風(fēng)險。如何防范開源應(yīng)用風(fēng)險，構(gòu)建開源可控的防護策略，或?qū)⒊蔀榻鹑跇I(yè)AI開源應(yīng)用之路上的重要命題。對于開源AI技術(shù)平臺及AI應(yīng)用，應(yīng)建立體系化的風(fēng)險防控體系。在組織管理層面，應(yīng)建立風(fēng)險防范協(xié)同機制，明確開源可控防護政策、制度與原則。在AI開源應(yīng)用引入方面，應(yīng)著重加強軟硬件的安全審查工作，針對AI應(yīng)用在算法層面、數(shù)據(jù)層面、算力框架層面所面臨的特有風(fēng)險，進行安全技術(shù)測試與漏洞掃描。在開源應(yīng)用代碼管理方面，應(yīng)建立審慎的開發(fā)運行管理機制，嚴格按照規(guī)范使用開源代碼和應(yīng)用，形成代碼使用備案與回溯機制，便于長期跟蹤管理。（二）數(shù)據(jù)防護1.數(shù)據(jù)合規(guī)性數(shù)據(jù)合規(guī)性要求數(shù)據(jù)的采集、傳輸、存儲、使用、刪除及銷毀等全生命周期合法合規(guī)。為確保數(shù)據(jù)合規(guī)性，應(yīng)定期開展數(shù)據(jù)合規(guī)性評測，建立內(nèi)外審計制度，定期開展合規(guī)審計?；诮y(tǒng)一的大數(shù)據(jù)平臺日志標準，建立數(shù)據(jù)訪問行為監(jiān)控服務(wù)和日志分析服務(wù)，面向接入應(yīng)用提供敏感數(shù)據(jù)訪問情況、用數(shù)訪問等行為數(shù)據(jù)，從而保證數(shù)據(jù)使用安全合規(guī)。同時，加強對員工的培訓(xùn)和合規(guī)宣傳，增強員工的合規(guī)和風(fēng)險意識，確保員工在日常工作中能夠遵循相關(guān)規(guī)定和準則。此外，在設(shè)計和訓(xùn)練人工智能時，應(yīng)該確保其擁有正確價值觀的數(shù)據(jù)。這些價值觀應(yīng)該與人類社會的普遍倫理和道德原則相符合，例如尊重個人隱私、平等、公正等。2.數(shù)據(jù)機密性保證數(shù)據(jù)機密性主要包括外部數(shù)據(jù)隱私保護和內(nèi)部數(shù)據(jù)權(quán)限（1）外部數(shù)據(jù)隱私保護：一是應(yīng)將相關(guān)數(shù)據(jù)和程序代碼部署于封閉、安全、可靠環(huán)境中運行，防止數(shù)據(jù)和程序代碼在未經(jīng)授權(quán)情況下被訪問或修改。二是應(yīng)用多方安全計算、聯(lián)邦學(xué)習(xí)等技術(shù)，使各參與方應(yīng)在無需交換原始數(shù)據(jù)、僅交換模型訓(xùn)練中間計算結(jié)果的情況下，聯(lián)合完成機器學(xué)習(xí)模型構(gòu)建。（2）內(nèi)部數(shù)據(jù)權(quán)限控制：一是應(yīng)對數(shù)據(jù)進行密級分類，通過對各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進行采樣，依據(jù)數(shù)據(jù)分類分級策略，自動識別出敏感數(shù)據(jù)及分類分級結(jié)果，并基于內(nèi)置脫敏算法提供統(tǒng)一的脫敏服務(wù)及工具。二是應(yīng)對任務(wù)執(zhí)行進行動態(tài)控權(quán)，按用戶維度通過SQL解析、改寫等技術(shù)提供統(tǒng)一的數(shù)據(jù)訪問控制能力。三是在與外部或第三方進行數(shù)據(jù)交換場景中，應(yīng)對數(shù)據(jù)文件進行水印標記，若數(shù)據(jù)文件出現(xiàn)泄露，可針對文件進行水印解析和溯源分析，追蹤泄露源頭。3.數(shù)據(jù)可用性數(shù)據(jù)可用性通過數(shù)據(jù)流轉(zhuǎn)的一致性、數(shù)據(jù)防投毒等技術(shù)保障訓(xùn)練數(shù)據(jù)的可靠可用。通過建立上下游數(shù)據(jù)校驗修正機制，確保數(shù)據(jù)在不同系統(tǒng)間一致流轉(zhuǎn)?？蓮囊韵氯齻€維度保證數(shù)據(jù)可用性，一是在數(shù)據(jù)準備階段，通過數(shù)據(jù)分布檢測、錯誤數(shù)據(jù)清理等方式，剔除被污染的數(shù)據(jù)樣本，同時要確保訓(xùn)練數(shù)據(jù)的完整性、多樣性、準確性。二是在模型訓(xùn)練階段，采用自動化建模技術(shù)，防止訓(xùn)練人員人為修改樣本標簽、插入中毒樣本、修改訓(xùn)練數(shù)據(jù)特征。三是在模型應(yīng)用階段，通過構(gòu)建輸入數(shù)據(jù)的異常檢測機制，防止投毒樣本的源頭采集。最終建立端到端的數(shù)據(jù)清洗與防投毒能力。（三）模型算法防護1.模型穩(wěn)健性穩(wěn)健性（魯棒性）較好的模型算法具有較高的識別精度，能較好識別噪音、異常點等干擾樣本。業(yè)界一般采用對抗樣本生成、對抗訓(xùn)練、模型集成、遷移學(xué)習(xí)等技術(shù)增強算法穩(wěn)健性。（1）對抗樣本生成是一種數(shù)據(jù)增強技術(shù)，對已有數(shù)據(jù)集添加細微的擾動特征，模生成新的樣本，進而豐富訓(xùn)練數(shù)據(jù)樣本，提升模型穩(wěn)健性。（2）對抗訓(xùn)練是一種算法優(yōu)化技術(shù)，在訓(xùn)練迭代過程中，每次算法迭代對自動生成的新對抗樣本進行測試，將測試不通過的對抗樣本加入下一輪訓(xùn)練，使得最終得到的模型能夠識別對抗（3）模型集成使用多個獨立訓(xùn)練的模型進行集成，可以降低對單一模型的攻擊成功率。攻擊者需要克服多個模型的防御機制，這增加了攻擊的難度。（4）遷移學(xué)習(xí)利用預(yù)訓(xùn)練的模型，在新任務(wù)上進行微調(diào)。這有助于利用先前學(xué)到的知識來提高模型的性能，并減少在新任務(wù)上的對抗性攻擊的影響。2.模型公平性算法的公平指模型及智能應(yīng)用需要遵循法律和道德規(guī)范，規(guī)避性別歧視、種族歧視等風(fēng)險。為了解決此類問題，需要從具體場景出發(fā)，涵蓋數(shù)據(jù)、特征、模型、應(yīng)用等模型全生命周期。（1）數(shù)據(jù)糾偏、均衡采樣：通過黑白樣本的重新采樣、縮小占比較大的樣本比例、通過造數(shù)擴大占比較小的樣本比例等方式，實現(xiàn)黑白樣本的均衡分布。（2）剔除或替換引起偏見的特征：按照業(yè)務(wù)目標，在特征工程階段開展特征分析工作，分析引起偏見的特征，將其剔除或采用其他特征進行替代。（3）模型融合訓(xùn)練：采用分而治之的思想將訓(xùn)練樣本按照不同視角進行差異化抽樣（未改變數(shù)據(jù)分布），形成多份數(shù)據(jù)集，并訓(xùn)練多個子模型，子模型對部分數(shù)據(jù)能較好識別，融合子模型形成強模型，提升全局數(shù)據(jù)的識別能力。（4）后處理補償：利用模型的可解釋能力和場景的特性，進行業(yè)務(wù)模擬測試，分析發(fā)現(xiàn)不公平發(fā)生的原因針對性地設(shè)計和部署對應(yīng)的業(yè)務(wù)補償規(guī)則。3.模型可解釋性提高人工智能模型的可解釋性可以提高對模型的內(nèi)部決策過程的理解，增強模型的信任度、降低潛在的風(fēng)險，并促進其在實際應(yīng)用中的可接受性。目前人工智能模型可解釋性的方法主要有基于樣本可解釋方法、基于知識可解釋方法和基于反事實可解釋方法三種。（1）基于樣本的方法主要構(gòu)造一個與原模型效果相當?shù)暮唵尉€性方程利用特征權(quán)重對模型決策進行解釋。（2）基于知識的方法利用知識圖譜點邊關(guān)聯(lián)關(guān)系，推導(dǎo)待解釋事件的可能成因。（3）基于反事實的方法則以舉反例的模式，構(gòu)建正反示例比對情境，通過展示正反兩者的差異來解釋模型背后的機制。4.模型訓(xùn)練監(jiān)控模型訓(xùn)練監(jiān)控是保障人工智能安全性的一種重要手段，涉及對模型訓(xùn)練過程中的各種指標和行為進行實時監(jiān)控，以確保模型的可靠性、穩(wěn)定性和公正性。一是跟蹤模型在訓(xùn)練過程中的性能指標，如準確率、召回率、F1分數(shù)等，確保訓(xùn)練數(shù)據(jù)集的質(zhì)量和一致性。二是監(jiān)控模型輸出結(jié)果，以便發(fā)現(xiàn)與預(yù)期行為不符的情況，識別潛在的安全問題或模型故障。三是監(jiān)控參數(shù)、梯度等模型訓(xùn)練中間結(jié)果的統(tǒng)計學(xué)分布性質(zhì)，有效識別訓(xùn)練數(shù)據(jù)中的潛在問題或攻擊行為。5.模型訪問控制在模型的訓(xùn)練及使用過程中，建立訪問控制及授權(quán)機制，確保其使用合法性，通過實施細粒度的權(quán)限管理，為不同用戶或用戶組分配適當?shù)脑L問級別，確保他們只能執(zhí)行其權(quán)限范圍內(nèi)的操作。同時模型的部署和API服務(wù)也可以通過使用許可證和服務(wù)協(xié)議來明確使用規(guī)則，規(guī)范模型使用的合規(guī)性。6.模型遺忘如果在模型訓(xùn)練時，訓(xùn)練數(shù)據(jù)中含有錯誤素材，過期內(nèi)容，涉密數(shù)據(jù)，違反法律法規(guī)的內(nèi)容，則訓(xùn)練出的模型中就會包含這部分的知識。由于人工智能算法的特殊性，修復(fù)不良數(shù)據(jù)需要對模型本身進行調(diào)整，而模型重新訓(xùn)練成本很高，因此可以使用模型遺忘（也可以稱為反學(xué)習(xí)、機器遺忘、MachineUnlearning）的方式進行防護。模型遺忘是指先前獲取的信息或知識的損失或退化，存在于人工智能學(xué)習(xí)中所有研究領(lǐng)域中。模型遺忘可以達到以下目的：一是解決數(shù)據(jù)集偏差問題，丟棄無用的信息以增強模型的泛化能力。二是可以刪除模型中的隱私訓(xùn)練數(shù)據(jù)，用于保護隱私和防止信息泄露。三是修復(fù)數(shù)據(jù)污染、模型后門等漏洞，通過模型遺忘的方式，減少或消除不當數(shù)據(jù)或模型后門對模型決策的影響。一般模型遺忘的幾種常見的方法有：利用差分隱私的技術(shù)衡量和限制對個人數(shù)據(jù)的查詢結(jié)果的敏感性，從而間接實現(xiàn)遺忘能力；或者利用數(shù)據(jù)集拆分和分布式訓(xùn)練（SISA）的思想重新訓(xùn)練模型，完成模型遺忘。目前模型遺忘技術(shù)仍處于研究階段，還需要進一步的實驗和驗證，以確定其在實際應(yīng)用中的可行性和有效（四）應(yīng)用防護1.應(yīng)用場景規(guī)范性為降低人工智能安全風(fēng)險對金融業(yè)務(wù)帶來的不利影響，應(yīng)規(guī)范人工智能的使用場景。在金融領(lǐng)域，人工智能的應(yīng)用涉及信貸審批、風(fēng)險評估、交易監(jiān)控等多個環(huán)節(jié)，因此制定明確的應(yīng)用標準和操作規(guī)程是至關(guān)重要的，在高風(fēng)險業(yè)務(wù)場景中宜將人工智能模型作為輔助使用，避免其直接進行決策。合規(guī)的AI應(yīng)用還有助于金融機構(gòu)遵守相關(guān)的法律法規(guī)，避免因違規(guī)使用AI而受到處罰或聲譽損失。2.應(yīng)用安全檢測承載人工智能業(yè)務(wù)系統(tǒng)的安全檢測與傳統(tǒng)應(yīng)用安全檢測基本一致，需從身份鑒別、訪問控制、安全審計、數(shù)據(jù)安全性、交易安全性、軟件容錯、資源控制、客戶端安全等方面開展安全檢測。這些安全檢測活動有助于提高AI系統(tǒng)的安全性，防止由于技術(shù)缺陷或惡意攻擊導(dǎo)致的安全事故，保障人工智能業(yè)務(wù)應(yīng)用系統(tǒng)的3.運營異常監(jiān)控通過監(jiān)控模型接口調(diào)用頻率和次數(shù)等方式進行運營監(jiān)控是一種有效的防護策略，這種監(jiān)控可以幫助識別異常的訪問模式，例如短時間內(nèi)的高頻調(diào)用或來自單一來源的大量請求，這些可能是惡意試探或攻擊的跡象。通過實時跟蹤和分析這些指標，可以及時發(fā)現(xiàn)潛在的安全問題，并采取相應(yīng)的防御措施，如限制訪問頻率、實施更強的認證機制等。這樣的監(jiān)控不僅有助于保護模型免受惡意試探，還能維護系統(tǒng)的穩(wěn)定運行和用戶的良好體驗。4.安全意識培訓(xùn)在金融機構(gòu)中，員工是人工智能系統(tǒng)操作和管理的一線人員，員工的安全意識和行為直接影響到整個系統(tǒng)的安全性，因此定期進行安全意識培訓(xùn)對于提高員工對潛在風(fēng)險的認識至關(guān)重要。培訓(xùn)應(yīng)當包括人工智能系統(tǒng)的工作原理、可能遇到的安全威脅，以及如何識別和應(yīng)對這些威脅等內(nèi)容。5.責任認定借鑒2024年5月新加坡政府發(fā)布的《生成式人工智能治理模型框架》，在責任認定上采取事前責任分配和事后“安全網(wǎng)”相結(jié)合的機制。“事前”明確了人工智能產(chǎn)業(yè)鏈上各方能夠按照其控制水平分擔責任，“事后”將開發(fā)商承諾承擔責任、產(chǎn)品損害責任與無過失保險三者統(tǒng)籌結(jié)合，確保風(fēng)險發(fā)生時能夠獲得補償。事前責任分配采用“食品標簽”式披露和數(shù)字水印進行處理，“食品標簽”披露方法將數(shù)據(jù)來源、模型風(fēng)險、安全措施等用戶關(guān)心的主要問題一一列舉，形成廣泛的透明度，便于監(jiān)督；數(shù)字水印針對人工智能各層服務(wù)要求加入獨特的數(shù)字水印標識，從而確保其真實性和可追溯性。事后“安全網(wǎng)”模式構(gòu)建了三層防護網(wǎng)，第一層是人工智能開發(fā)鏈中的各方對終端用戶負責，參考云或軟件開發(fā)棧的責任劃分，為用戶提供可預(yù)期、可解釋的問責空間，并依據(jù)其便捷地保護相關(guān)權(quán)益；第二層是更新產(chǎn)品責任等相關(guān)法律框架，使人工智能產(chǎn)品（通常是虛擬產(chǎn)品）的損害責任證明更加明確；第三層是在自律與法律之外的第三方保險，既能提供技術(shù)創(chuàng)新所需的合規(guī)管理冗余空間，也能給予因意外事件受害的用戶獲得兜底性補償?shù)臋C會。（五）倫理防護1.加強科技倫理治理各單位應(yīng)遵循制度要求，加強科技倫理治理，尤其需要加強法律監(jiān)管，明確責任主體，強化倫理審查，推進依法治理，實現(xiàn)科技發(fā)展與倫理治理相互促進、動態(tài)調(diào)適。在科技倫理方面，中共中央辦公廳、國務(wù)院辦公廳于2022年3月印發(fā)了《關(guān)于加強科技倫理治理的意見》，從倫理原則、治理體制、制度頂層設(shè)計、監(jiān)管措施以及教育和宣傳等方面作出系統(tǒng)部署，填補了我國科技倫理治理的制度空白。2023年7月，國家網(wǎng)信辦等七部門聯(lián)合公布《生成式人工智能服務(wù)管理暫行辦法》，為科技倫理治理指明了發(fā)展方向。2023年9月，科技部等十部門聯(lián)合研究起草、經(jīng)中央科技委員會同意并印發(fā)了《科技倫理審查辦法（試行）》，將人工智能列入應(yīng)設(shè)立科技倫理（審查）委員會的科技活動單位范圍內(nèi)，在7大類需要實行清單管理的重大風(fēng)險新興科技活動中，有4大類涉及人工智能倫理審查。2.全生命周期倫理管控以可信賴人工智能的生命周期為線索，秉持科技向善的人文理念和倫理先行的價值觀念，將倫理道德融入AI全生命周期，增強全社會的AI科技倫理意識與行為自覺。在設(shè)計階段，可信賴的人工智能首先要解決不可解釋性和“幻覺”問題，讓人類清楚生成式人工智能工作機制并且要保證在極端情況下的安全穩(wěn)定性。在使用階段，必須盡可能避免人工智能輸出歧視性偏見性內(nèi)容，最后如果出現(xiàn)事故，則必須保證追責性，明確設(shè)計者、提供者以及使用者等等各方的責任。（六）隱私防護1.數(shù)據(jù)隱私保護數(shù)據(jù)隱私可從數(shù)據(jù)機密性角度進行相關(guān)防護，一是確保人工智能模型訓(xùn)練數(shù)據(jù)的合法合規(guī)，面向用戶提高數(shù)據(jù)收集和使用的透明度，在用戶知情同意的前提下遵守最小化原則收集與使用數(shù)據(jù)；二是對訓(xùn)練數(shù)據(jù)采用隱私保護算法進行處理，例如匿名化技術(shù)、去標識化技術(shù)、數(shù)據(jù)脫敏技術(shù)和差分隱私技術(shù)等,確保數(shù)據(jù)在處理和分析過程中無法直接關(guān)聯(lián)到具體個人。也可以使用DLP監(jiān)測訓(xùn)練數(shù)據(jù)中是否含有涉及商業(yè)機密、源代碼等企業(yè)隱私信息。2.隱私安全意識培訓(xùn)培訓(xùn)員工數(shù)據(jù)隱私安全意識，在應(yīng)用人工智能模型時避免輸入個人或企業(yè)的隱私信息，降低隱私泄露的風(fēng)險；控制數(shù)據(jù)訪問及人工智能模型使用權(quán)限，只有經(jīng)過授權(quán)的員工通過身份驗證后（七）管理防護1.建立版權(quán)審核機制為防范侵犯版權(quán)風(fēng)險，金融機構(gòu)應(yīng)在內(nèi)部管理上建立嚴格的版權(quán)審核機制，確保數(shù)據(jù)和算法模型的合法合規(guī)。一是合法購買數(shù)據(jù)或通過合同明確各方需要承擔的風(fēng)險。金融機構(gòu)應(yīng)購買高價值的版權(quán)內(nèi)容，并以授權(quán)合同約定各方風(fēng)險承擔的交易模式獲取訓(xùn)練數(shù)據(jù)。二是在應(yīng)用和部署前，金融機構(gòu)應(yīng)對算法和相關(guān)技術(shù)進行全面的知識產(chǎn)權(quán)審查，確保沒有侵權(quán)風(fēng)險。對于受版權(quán)保護的算法和相關(guān)技術(shù)，應(yīng)獲得相應(yīng)的授權(quán)或許可；對于來自開源社區(qū)的算法和相關(guān)技術(shù)，應(yīng)確保遵守相應(yīng)的開源許可協(xié)議。2.信息充分披露對應(yīng)用人工智能提供服務(wù)的全流程進行真實全面的說明，推進模型準確性和透明性治理、規(guī)范消費者數(shù)據(jù)收集和使用程序。（1）模型準確性和透明性治理：在部署人工智能模型前，金融機構(gòu)應(yīng)進行充分的驗證和測試，確保模型的預(yù)測準確性和公平性；在模型使用過程中，定期監(jiān)控模型的性能，及時發(fā)現(xiàn)和糾正問題。針對算法不透明問題，金融機構(gòu)應(yīng)當主動向消費者聲明其所使用算法模型的能力缺陷及風(fēng)險提示；向公眾披露對算法產(chǎn)品自動化決策起決定性的主要參數(shù)，賦予消費者對特定人工智能服務(wù)的“算法解釋請求權(quán)”。（2）規(guī)范消費者數(shù)據(jù)收集程序：對于信息收集而言，應(yīng)當為消費者履行如實告知義務(wù)并確定合理邊界，尊重金融消費者的個人信息自決權(quán)。在收集客戶個人信息過程中要遵循最小必要的原則，處理個人信息符合公開透明原則。（3）規(guī)范消費者數(shù)據(jù)使用程序：對于信息使用而言，用于服務(wù)內(nèi)容輸出和優(yōu)化模型的個人信息要分別明確其具體使用方式，且在獲得客戶同意后才能進行使用。同時，依據(jù)《個人金融信息保護技術(shù)規(guī)范》提及的C1（賬戶開立時間、開戶機構(gòu)等）、C2（支付賬號、財產(chǎn)信息等）、C3（賬戶交易密碼、銀行卡密碼等）三類信息，在使用過程中應(yīng)實施針對性的保護措施。對于敏感程度較高的個人信息，應(yīng)進行特別說明，包括但不限于對個人信息使用的方式和使用該類信息可能產(chǎn)生的風(fēng)險和后果，且需要獲得消費者的單獨同意。3.建立內(nèi)部管理機制金融機構(gòu)應(yīng)根據(jù)自身的戰(zhàn)略、成本等方面審慎地評估自身需求和技術(shù)能力，平衡人工智能應(yīng)用與合規(guī)風(fēng)險治理。在引入人工智能技術(shù)時，內(nèi)部應(yīng)建立靈活的治理架構(gòu)，成立專門的人工智能治理委員會或工作組，建立合規(guī)治理評估機制，推進人工智能應(yīng)用的內(nèi)部監(jiān)督與管理。同時，為應(yīng)對人工智能帶來的人員結(jié)構(gòu)、組織方式和業(yè)務(wù)流程等挑戰(zhàn)，管理層應(yīng)制定詳細的變革管理計劃，創(chuàng)建適配的組織架構(gòu)，降低人工智能應(yīng)用過程中各個環(huán)節(jié)的潛在風(fēng)險。（1）針對員工的技能缺口，金融機構(gòu)應(yīng)提供全面的培訓(xùn)和持續(xù)的教育計劃，幫助員工掌握人工智能相關(guān)技能；針對新技術(shù)的人才需求，應(yīng)制定有吸引力的人才引進政策和創(chuàng)新激勵政策。（2）調(diào)整適配的組織形態(tài)：金融機構(gòu)應(yīng)基于戰(zhàn)略、能力、資源等特征，選擇匹配不同階段人工智能應(yīng)用的組織模式。（3）建立人工智能應(yīng)用的三道防線。可借鑒銀行業(yè)經(jīng)典的“三道防線”風(fēng)險管理理念與模型風(fēng)險管理（ModelRiskManagement，簡稱MRM）的理論及方法進行有效結(jié)合，對人工智能應(yīng)用風(fēng)險形成有效防控。首先，可在一線模型開發(fā)活動中，針對不同的場景和功能，安排不同的團隊進行模型開發(fā)，實現(xiàn)風(fēng)險分散，將其作為第一道防線。其次，通過增加模型驗證環(huán)節(jié)，并設(shè)置專門的模型驗證部門對模型進行審核和驗證，形成第二道防線。最后，由內(nèi)部審計部門或外部第三方的專業(yè)審計機構(gòu)，對人工智能模型進行專業(yè)審計并反饋意見，形成第三道防線。通過建立人工智能治理的三道防線，對人工智能相關(guān)的數(shù)據(jù)、算法等風(fēng)險進行有效管控。（八）大模型安全防護除了傳統(tǒng)人工智能模型防護措施外，針對大模型特有的安全風(fēng)險，有以下幾點防護層面。1.提示防御面對大模型提示注入攻擊，當前的防御方法有以下幾類：模型對抗訓(xùn)練優(yōu)化：通過迭代地收集這些攻擊樣本，使用指令微調(diào)等方法對模型進行迭代的優(yōu)化，使模型面對不斷出現(xiàn)的新型惡意提示輸入時能通過拒絕等方式正確應(yīng)對，提高對抗攻擊場景下的魯棒性。系統(tǒng)提示優(yōu)化：指大模型內(nèi)置的提示詞，在用戶