金融業(yè)人工智能應用風險研究報告 2025

i （一）研究背景 （二）政策與標準 （三）技術發(fā)展路線 （一）基礎設施風險 （二）數(shù)據(jù)風險 （三）模型算法風險 （四）應用風險 （五）倫理風險 （六）隱私風險 （七）管理風險 （八）大模型安全風險 （一）基礎設施防護 （二）數(shù)據(jù)防護 （三）模型算法防護 （四）應用防護 （五）倫理防護 （六）隱私防護 （七）管理防護 （八）大模型安全防護 （一）工商銀行人工智能安全框架 （二）螞蟻集團大模型安全一體化解決方案 （三）郵儲銀行人工智能安全技術體系 1一、概述（一）研究背景隨著金融行業(yè)數(shù)字化轉型的快速發(fā)展，人工智能相關技術在金融領域的應用場景日趨廣泛，已涵蓋了產(chǎn)品創(chuàng)新、客服營銷、業(yè)務運營及風險防控等多個業(yè)務場景，特別是大模型的出現(xiàn)，加速了人工智能金融業(yè)應用的進程，與此同時深度偽造、對抗樣本等針對人工智能的新型攻擊手法不斷涌現(xiàn)，人工智能應用風險已引起金融業(yè)的高度關注。（二）政策與標準針對人工智能應用風險，國內外均提出發(fā)展和安全并重、加強監(jiān)管和測評的核心思想，規(guī)范和保障人工智能的安全發(fā)展。國內側重于宏觀審慎監(jiān)管和國家戰(zhàn)略服務，中央金融工作會議強調加快建設金融強國，全面加強金融監(jiān)管，推動金融資源用于科技創(chuàng)新，不斷優(yōu)化金融服務，防范和化解金融風險。國家網(wǎng)信辦聯(lián)合七部門于2023年公布《生成式人工智能服務管理暫行辦法》，該辦法旨在促進生成式人工智能健康發(fā)展和規(guī)范應用，并規(guī)定了AI服務提供方的責任義務。金融監(jiān)管總局在《銀行保險機構數(shù)據(jù)安全管理辦法（征求意見稿）》中提出，應當對人工智能模型開發(fā)應用進行統(tǒng)一管理，實現(xiàn)模型算法可驗證、可審核、可追溯，就數(shù)據(jù)對決策結果影響進行解釋說明和信息披露，建立人工智能應用的風險緩釋措施等。中國人民銀行在《人工智能算法金融應用評價規(guī)范》中規(guī)定了人工智能算法在金融領域應用的基本要求、評價方法和判定標準，適用于開展人工智能算法金融應用的金融機構、算法提供商2及第三方安全評估機構等；在《人工智能算法金融應用信息披露指南》中明確金融機構在使用人工智能算法提供金融產(chǎn)品和服務時，規(guī)范地開展算法信息披露活動，增強人工智能算法的可解釋性和透明度，維護金融消費者合法權益。國外監(jiān)管更注重市場效率和消費者保護，確保金融機構在提供產(chǎn)品和服務的同時遵守相關法律和道德準則，同時建立完善的消費者投訴和糾紛解決機制。美國《人工智能應用監(jiān)管指南》標志著歐美人工智能政策從倫理規(guī)范向監(jiān)管規(guī)制逐步轉變，也顯示了AI主導權開始轉向通過立法和監(jiān)管來謀求科技主導地位；《人工智能權利法案藍圖》中提出，在不損害公眾利益的情況下，用戶應可以自主選擇使用人工服務替代人工智能服務。歐盟《通用數(shù)據(jù)保護條例》等隱私及數(shù)據(jù)安全要求的發(fā)布，監(jiān)管部門要求金融機構在建設和使用人工智能的同時，需滿足民眾對隱私保護的需求；在《人工智能法》中為人工智能制定了一套覆蓋全過程的風險規(guī)制體系，提出了風險分類思路、產(chǎn)品規(guī)制路徑、負責任創(chuàng)新和實驗主義治理理念?，F(xiàn)有行業(yè)規(guī)范主要從管理和治理的角度進行要求，尚未充分針對具體應用場景，進行技術攻擊視角開展深入的風險分析，在實際應用中的防護措施也討論較少。（三）技術發(fā)展路線人工智能風險及防護已成為技術研究的新興領域，其技術發(fā)展也經(jīng)歷了從初步探索到逐漸深化的過程。3對抗樣本攻擊技術自2016年起成為學術界研究的熱點，研究人員發(fā)現(xiàn)通過構造輕微擾動來干擾輸入樣本，可以使深度神經(jīng)網(wǎng)絡輸出攻擊者想要的任意錯誤結果。初期（2016—2019年研究者開始探索對抗樣本識別模型技術，旨在區(qū)分正常輸入與精心設計的對抗輸入。進入2020年，對抗樣本生成技術進一步細分，包括多模態(tài)對抗攻擊、針對不同場景的白盒攻擊和黑盒攻擊。2021年起，物理世界對抗樣本生成、目標定位對抗攻擊等新技術涌現(xiàn)，豐富了對抗樣本的實戰(zhàn)應用。模型竊取攻擊技術作為新興的安全威脅，2019年，初步出現(xiàn)了用于模型竊取攻擊的替代模型技術，標志著該領域研究的起步。隨著時間的推移，模型竊取攻擊技術不斷演變。2021年，研究者們提出了通過對比分析不同模型提取的時序和空間特征，以及利用圖形碼解析技術來竊取模型信息的方案，展現(xiàn)了模型竊取攻擊技術的復雜性和多樣性。2022年至今，基于梯度驅動數(shù)據(jù)生成的模型竊取攻擊方法成為新的研究熱點。該方法利用梯度信息指導數(shù)據(jù)生成，從而更有效地竊取目標模型的內部結構和參數(shù)，對模型安全構成了新的挑戰(zhàn)。數(shù)據(jù)投毒攻擊技術作為一種隱蔽而有效的攻擊手段，2021年基于深度學習中特征碰撞的投毒攻擊方法和基于聯(lián)邦學習的圖分類任務中毒攻擊方法相繼問世。這些技術通過向訓練數(shù)據(jù)中注入惡意樣本，破壞模型的正常學習過程，從而實現(xiàn)對目標模型的攻擊。近年來，數(shù)據(jù)投毒攻擊技術進一步發(fā)展，出現(xiàn)了通過直接破壞訓練數(shù)據(jù)來影響整個學習過程的技術。這類攻擊不僅難以被察4覺，而且能夠對模型性能造成長期且深遠的影響，對機器學習系統(tǒng)的安全性構成了嚴峻挑戰(zhàn)。對抗性數(shù)據(jù)增強技術在2016年后逐步成熟，成為提升機器學習模型魯棒性的重要手段。早期（2016—2018年），研究者們通過基于對抗示例的防御策略更新、對抗訓練系統(tǒng)改進及模型置信水平交換等方法，增強了模型的防御能力。2019年，基于對抗樣本增強的抗攻擊能力訓練等技術進一步提升了模型的魯棒性。2020年，模型訓練方法的創(chuàng)新，如對抗補丁的生成與防御、魯棒深度神經(jīng)網(wǎng)絡訓練等，推動了數(shù)據(jù)增強技術的多元化發(fā)展。2021年，聯(lián)邦遷移學習、優(yōu)化訓練方法等技術方案的出現(xiàn)，為分布式環(huán)境下的對抗性數(shù)據(jù)增強提供了新的思路。2022年至今，基于對抗訓練的文本解析、多任務建模與集成、視頻級目標檢測訓練等技術的融合應用，進一步提升了復雜場景下的對抗性數(shù)據(jù)增強效數(shù)據(jù)隱私計算技術在2016年后成為研究熱點，旨在保護數(shù)據(jù)隱私的同時實現(xiàn)數(shù)據(jù)的有效利用。早期（2016—2018年），基于隱私保護技術的聯(lián)合深度學習訓練方法初步成型。2019年，數(shù)據(jù)隱私保護下的機器學習模型特征篩選、多方聯(lián)合訓練圖神經(jīng)網(wǎng)絡等技術方案的提出，推動了隱私保護技術的發(fā)展。2020年，橫向聯(lián)邦學習、全同態(tài)加密等技術的出現(xiàn)，為數(shù)據(jù)隱私計算提供了更為安全高效的解決方案?；诙诉呍萍軜嫷姆植际铰?lián)邦學習安全防御、聯(lián)邦神經(jīng)網(wǎng)絡訓練等技術的融合應用，進一步提升了數(shù)據(jù)隱私保護的能力。5AI框架漏洞挖掘技術在2018年后快速發(fā)展，成為保障AI系統(tǒng)安全的重要環(huán)節(jié)。初期（2016—2018年），深度學習系統(tǒng)漏洞檢測技術初步形成。2019年，人工智能和模糊測試漏洞掃描系統(tǒng)（AIFuzz）的推出，標志著自動化漏洞挖掘技術的興起。2020年，對抗性漏洞審計工具、深度學習漏洞危害評估指標技術的出現(xiàn)，進一步提升了漏洞挖掘的精度和效率。2021年，基于遺傳算法的深度學習模型安全漏洞測試和修復技術、圖神經(jīng)網(wǎng)絡在智能合約漏洞檢測中的應用等技術，為AI框架安全提供了更加全面的保障。2023年至今，基于圖神經(jīng)網(wǎng)絡的源代碼缺陷檢測、漏洞檢測模型優(yōu)化等技術的融合應用，推動了AI框架漏洞挖掘技術的持整體而言，人工智能攻防領域的研究聚焦于模型防護與攻擊方法技術，其中模型攻擊技術則涵蓋對抗樣本、竊取、投毒等多種手段，而模型防護技術為核心與熱點，包括數(shù)據(jù)增強、漏洞挖掘與隱私計算等，部分技術尚處于探索階段。二、金融業(yè)人工智能安全風險框架（一）基礎設施風險1.AI框架開源風險AI框架開源風險主要存在斷供層面的風險。在人工智能領域，開源人工智能框架TensorFlow和PyTorch目前在我國占據(jù)了約85%的市場份額，開源框架在提供靈活性和創(chuàng)新性的同時，也可能使金融機構更加脆弱于供應鏈的不確定性。一旦開源框架的維護者決定終止支持或因政治原因停止合作，金融機構可能會陷入斷供的境地，導致AI應用系統(tǒng)的不穩(wěn)定甚至癱瘓。這種情況下，6金融機構將面臨遷移至其他框架的轉換成本，進而增加了整體的運營成本。2.AI框架和芯片安全漏洞AI框架和芯片安全漏洞問題是人工智能領域不容忽視的挑戰(zhàn)。以硬件加速芯片和AI框架為核心支撐的人工智能系統(tǒng)，在不斷提升算力以及模型能力的同時，也面臨著安全漏洞的潛在威脅。芯片安全漏洞作為硬件層面的問題，也對人工智能的安全性構成威脅。高性能計算所需的芯片在設計和制造過程中可能存在漏洞，這為惡意攻擊提供了潛在入口。AI框架的開源本質為創(chuàng)新提供了契機，但也可能為潛在的安全漏洞留下后門。攻擊者可以利用這些漏洞進入系統(tǒng)，威脅到敏感數(shù)據(jù)和模型的安全性。特別是在金融領域，安全性至關重要，一旦AI框架存在漏洞，可能導致機密信息泄露、模型被篡改等嚴重后果。例如主流人工智能分布式處理框架Ray就被爆出存在遠程命令執(zhí)行漏洞（CVE-2023-48022）,該漏洞可使得攻擊者控制服務器的計算能力并竊取敏感數(shù)據(jù)。此漏洞源于Ray框架提供了用于提交計算任務或作業(yè)以供執(zhí)行的接口，攻擊者可通過該接口提交任意系統(tǒng)命令，從而竊取數(shù)據(jù)庫憑證、SSH密鑰等敏感信息。3.AI供應鏈安全風險AI供應鏈安全風險涉及外部引入的數(shù)據(jù)集、模型、工具包及服務等多個場景，如果外部引入的數(shù)據(jù)不準確或模型存在漏洞后門，將直接影響模型的性能和決策。AI服務和外部工具的引入也增加了供應鏈的復雜性和風險，這些服務或者工具本身也可能存7在缺陷或漏洞，可能面臨數(shù)據(jù)隱私泄露、未經(jīng)授權的數(shù)據(jù)訪問等問題，對人工智能應用場景造成風險。AI系統(tǒng)的復雜性和對外部資源的依賴性增加了系統(tǒng)被攻擊的風險。與傳統(tǒng)軟件不同，AI系統(tǒng)與供應鏈的強耦合特性造成風險隱藏在訓練集和模型中，很難通過代碼審計、成分分析等傳統(tǒng)的安全技術手段識別風險，并且也無法通過打補丁的方式進行快速修復，提高了整體風險被發(fā)現(xiàn)和修復的難度；AI供應鏈的安全風險是伴隨在系統(tǒng)開發(fā)和運行階段，需要對供應鏈全生命周期進行持續(xù)監(jiān)控。4.AI算力消耗風險作為人工智能的重要底層支撐，算力成本問題是金融人工智能應用發(fā)展過程中不可忽視的一大挑戰(zhàn)。隨著人工智能能力的不斷增強，模型架構不斷升級，對算力與存儲的要求也越來越高。金融人工智能應用需要龐大的計算資源來進行訓練和推理，對許多金融機構來說，建立和維護這樣的計算基礎設施往往會需要高昂的成本，主要體現(xiàn)在硬件成本與能耗成本上：（1）硬件成本是指構建和維護高性能計算設備所需的硬件設備和設施的成本較高。（2）能耗成本是大規(guī)模金融人工智能應用所需的計算資源導致的高能耗，進而增加電力成本。若不能提升算力資源利用率，或與相關機構合作共享算力，則會造成收益比下降，前沿技術所帶來的科技進步無法轉化為經(jīng)85.AI系統(tǒng)實現(xiàn)風險人工智能系統(tǒng)實現(xiàn)依賴于軟硬件平臺的支撐，軟件開發(fā)和硬件編碼過程中如存在漏洞，會引發(fā)人工智能系統(tǒng)實現(xiàn)風險。（1）Python是當前使用較為廣泛的人工智能編程語言,編碼不當?shù)木幊棠_本可能會觸發(fā)漏洞，使系統(tǒng)容易受到潛在的拒絕服務、遠程命令執(zhí)行等攻擊。自動化的軟件開發(fā)過程中使用的CI工具提供許多可利用的插件供開發(fā)者使用，這些插件可能會無意中暴露模型的代碼和訓練數(shù)據(jù)，同樣可能造成重大的安全問題。（2）與傳統(tǒng)程序一樣，硬件漏洞也會引發(fā)人工智能安全風險。如rowhammer內存硬件漏洞利用了相鄰內存單元之間的電荷泄漏問題，通過重復訪問某一列的存儲單元，可以引起電壓波動，0，可以被利用來操縱篡改模型的參數(shù)和輸出結果。（二）數(shù)據(jù)風險1.數(shù)據(jù)污染風險若訓練數(shù)據(jù)集存在錯誤、異?；虮粣阂獯鄹牡那闆r，會導致模型性能下降、預測結果不準確，甚至出現(xiàn)安全漏洞等問題。數(shù)據(jù)采集錯誤、數(shù)據(jù)預處理不當、惡意攻擊或人為失誤都可以造成數(shù)據(jù)污染。被污染的數(shù)據(jù)在訓練過程中會導致模型對噪聲數(shù)據(jù)過擬合，而在推理時則可能導致模型做出錯誤的預測或決策。數(shù)據(jù)投毒是其中最典型的惡意攻擊方式，攻擊者可根據(jù)神經(jīng)網(wǎng)絡的復雜性和非線性特性，找到在特征空間中與目標樣本相近的中毒樣本,并將中毒樣本注入數(shù)據(jù)集，以此修改決策邊界，來破壞模型的可用性，從而產(chǎn)生各種不正確的預測。92.數(shù)據(jù)質量風險數(shù)據(jù)質量在決定人工智能模型上限方面發(fā)揮著至關重要的作用，數(shù)據(jù)質量風險主要包括數(shù)據(jù)完整性與多樣性風險、數(shù)據(jù)準確性及標注質量風險和數(shù)據(jù)可擴展性風險三方面：（1）數(shù)據(jù)完整性與多樣性風險：訓練數(shù)據(jù)集應包含足夠多的樣本，每個樣本應包含所需的特征，并包含各種分布和變化，包括不同的類別、場景、時間等，否則模型將趨于過擬合，無法對新數(shù)據(jù)做出高準確率的預測或分類。金融數(shù)據(jù)的量級很大，某些交易類型或客戶類型呈現(xiàn)長尾分布，數(shù)據(jù)采集時易產(chǎn)生有偏數(shù)（2）數(shù)據(jù)準確性及數(shù)據(jù)標注質量風險：訓練數(shù)據(jù)的標簽和特征值應準確無誤，避免引入錯誤的標簽或錯誤的特征值。對于需要人工標注的數(shù)據(jù)，標注應準確反映樣本的真實情況，且標注過程應遵循一致的標準和規(guī)范。否則訓練出的模型可能會產(chǎn)生錯誤的預測結果，導致錯誤決策。（3）數(shù)據(jù)可擴展性風險：隨著時間的推移，新的數(shù)據(jù)源可能不斷涌現(xiàn)，訓練數(shù)據(jù)應易于擴展和更新。如果模型只能使用舊數(shù)據(jù)來訓練，那么它的預測能力和泛化能力可能會受到限制。3.數(shù)據(jù)竊取風險數(shù)據(jù)竊取風險主要包括數(shù)據(jù)還原風險以及成員推理風險。數(shù)據(jù)還原風險是通過分析機器學習或人工智能模型的輸出，嘗試還原模型的訓練數(shù)據(jù)，以推斷出原始數(shù)據(jù)的一些特征和敏感信息。攻擊者利用各種技術手段，例如生成對抗樣本、附加噪聲、反向工程等方法，試圖逆向還原模型，從而獲取訓練數(shù)據(jù)的敏感成員推理風險通過分析機器學習模型的輸出來確定某個特定樣本是否被用于該模型的訓練。攻擊者利用生成對抗樣本、附加噪聲等方式判斷某個輸入數(shù)據(jù)是否屬于模型的訓練集，從而揭示有關訓練數(shù)據(jù)的敏感信息。例如，攻擊者可能利用成員推理來確定某人是否有過貸款記錄、是否在銀行黑名單上，或者判斷某個客戶是否被認為是高價值客戶。（三）模型算法風險1.算法失竊風險算法模型作為技術的核心載體，一旦被竊取，將可能使擁有該技術的金融機構暴露在風險中。例如，金融機構的AI模型被黑客惡意盜取后，黑客就可以復制該公司的業(yè)務，來搶占金融市場，獲取間接經(jīng)濟利益，或者將模型出售給第三方，甚至勒索該公司，來獲取直接經(jīng)濟利益。在算法失竊方式中，一方面通過供應鏈直接竊取，算法模型因為沒有加密混淆，在傳輸和存儲過程中被竊取。另一方面可通過模型竊取算法實現(xiàn)，如代理模型攻擊實現(xiàn)竊取，主要通過訓練與原模型功能相似的代理模型來蒸餾原模型的知識，將原模型的輸入作為其輸入，原模型的輸出作為其訓練標簽，并進行參數(shù)優(yōu)化，不斷擬合原模型的輸出，最終達到竊取原模型知識的目的。2.算法失效風險金融場景的復雜性決定了沒有一個模型能夠涵蓋市場的所有特征，只能采取簡化的辦法，通過選取重要特征來描述真實的市場。但這種以局部特征代替整體特征的方法，使得算法具備很大的局限性，非常容易導致算法失效。比如，在程序化交易中，策略模型算法的實質是按照既定的規(guī)則進行買賣交易。投資者依據(jù)經(jīng)驗或者數(shù)理化的方法從歷史行情中發(fā)掘出某些特定的規(guī)律，然后據(jù)此制定出相應的買賣規(guī)則。但不同時間內，市場規(guī)律會呈現(xiàn)出不一樣的特征，策略模型也就失效了。并且大部分的交易模型都是有時間限制的，程序化交易在國內的發(fā)展趨勢很快，交易模型算法如果不及時更新，也會發(fā)生失效的風險。3.算法指標失衡風險在模型算法評估過程中，分類問題、回歸問題等往往需要使用不同的指標進行評估，如準確率、召回率等。在諸多的評估指標中，大部分指標只能片面地反映模型的一部分性能。如果不能合理地運用評估指標，不僅不能發(fā)現(xiàn)模型本身的問題，而且會得出錯誤的結論。比如在反欺詐場景下，如果過分追求識別黑產(chǎn)用戶的準確率，而忽視將正常用戶被誤判為黑產(chǎn)用戶的誤殺率，則會影響正常用戶體驗，增加用戶投訴。4.算法同質化風險算法同質化風險指的是當多個機器學習模型使用相似的訓練數(shù)據(jù)和相似的學習方法時，相似環(huán)境中共同犯錯或共同受到某些不利影響。造成這種同質化風險的原因主要有兩方面：一是由于使用的訓練數(shù)據(jù)相似比例較大，導致算法對相同類型的噪聲產(chǎn)生敏感性從而在類似的場景中犯同樣的錯誤。二是由于使用相似的結構和超參數(shù)進行訓練的模型，在面對對抗攻擊樣本時會表現(xiàn)出相似的脆弱性，攻擊者可能會更容易將成功的對抗攻擊擴展到不例如，銀行內部風險防范通常由多個環(huán)節(jié)不同部門協(xié)同進行。如果風險防控中的一道防線、二道防線使用的風險模型存在同質化問題，會導致風險無法被發(fā)現(xiàn)，減弱多道防線的風險防控能力，使其失去效果。5.算法可審計風險人工智能算法模型的訓練、部署到使用全流程應當建立一套完整且規(guī)范的記錄模式，否則將會給該算法的可審計性帶來風險。在這個流程中如果不能對算法使用的歷史數(shù)據(jù)集進行溯源和備份，沒有對模型的迭代訓練過程中產(chǎn)生的中間結果進行記錄，沒有記錄模型運行日志及操作日志，都有可能會給后續(xù)審計和回溯工作帶來無法溯源的風險。6.文件木馬風險人工智能算法在使用算法模型時，需要進行反序列化，從而將模型數(shù)據(jù)存入內存。目前大部分人工智能計算框架使用的模型文件反序化組件支持代碼執(zhí)行，攻擊者可在模型文件中增加代碼，當使用者在執(zhí)行模型文件的反序列過程中引發(fā)任意代碼執(zhí)行，導致受害者使用的計算機遭受攻擊。目前應用較為廣泛的人工智能計算框架Pytorch，使用了Pickle組件來實現(xiàn)反序列化。該組件的反序列化過程支持任意代碼執(zhí)行。攻擊者可向模型文件中加入惡意代碼。使用者在加載惡意模型文件時惡意代碼被執(zhí)行，進而導致遠程控制、勒索病毒等7.模型后門風險當購買第三方人工智能算法模型或使用第三方的人工智能算法模型服務時，如果第三方的模型沒有通過安全審計，那么使用的模型有被后門植入的風險。后門風險是指在人工智能模型的訓練階段，通過特定數(shù)據(jù)對模型效果進行定制化干擾的攻擊手法，帶有后門的模型針對正常輸入的輸出依舊正常，而帶有特定標記的輸入將會被識別為攻擊者想要偽裝成的對象，從而操縱模型的判斷結果。一些人工智能模型的提供商出于政治、商業(yè)競爭等特殊目的，可能在預訓練過程中植入模型后門，使其在應用過程中輸出錯誤的結果。一旦不法分子利用人工智能模型的這種風險，操控金融風控模型將會給整個金融行業(yè)帶來極大的威脅。8.對抗攻擊風險對抗攻擊指的是對人工智能模型的輸入進行微小，人工難以察覺的改動，從而使產(chǎn)生錯誤的決策甚至操縱決策的輸出。這類風險的特點在于不需要參與人工智能模型的訓練，只要有權使用該模型就可以進行對抗攻擊。此類攻擊之所以能夠成功的根源還是在于人工智能模型算法的可解釋性差，面對極端的輸入數(shù)據(jù)，算法模型的處理邏輯發(fā)生偏離，從而給出錯誤的結果。目前金融業(yè)中普遍面向大眾使用的人臉識別，ocr識別、交易場景異常行為監(jiān)控等人工智能應用都存在對抗攻擊風險。（四）應用風險1.操作性風險操作性風險主要包括信息繭房、算法共謀等風險。信息繭房是指由于個性化推薦算法的存在，用戶傾向于只接觸和接收與自己已有觀點和偏好相符的信息，而忽視或排斥那些不同觀點的信息，這種現(xiàn)象可能導致用戶陷入信息的封閉空間，無法接觸到多樣的觀點和互相沖突的意見。算法共謀是以智能算法作為促進共謀的技術因素，利用算法“黑箱化”的特性通過編碼和數(shù)據(jù)進行自動化決策，使企業(yè)可以在不需要溝通和互動的情況下實現(xiàn)某種共同的目標，這種協(xié)作可能會對市場競爭、社會公平產(chǎn)生負面影響。金融機構利用智能算法推薦技術，如果違規(guī)構建充斥高風險金融產(chǎn)品服務的信息繭房，以算法優(yōu)勢排除和限制市場競爭、阻礙消費者自主選擇，將會導致“劣幣驅逐良幣”，甚至與同行機構達成“算法共謀”，將中小微企業(yè)、社會低收入人群、民營經(jīng)濟組織拒之門外，引發(fā)市場壟斷。2.算法應用風險人工智能算法在應用過程中同樣存在風險，以算法濫用、算法思維依賴兩種最為典型。（1）惡意濫用：算法的滲透力和影響力日趨強大，當算法在應用過程中如果被不加約束地使用會帶來較為嚴重的算法惡意濫用風險。比如借助神經(jīng)網(wǎng)絡拼接合成虛假內容的深度偽造攻擊、通過人工智能生成惡意釣魚郵件、通過算法生成即拿即用的惡意代碼編寫、通過人工智能生成逼真欺詐話術，極大壓縮電信詐騙人力成本的欺詐客服機器人等形式的算法惡意濫用，降低了攻擊的技術門檻。（2）思維依賴：隨著人工智能技術在業(yè)務場景大量應用，容易造成人員過度依靠生成式人工智能提供的答案，從而使人自身的觀察與理解、歸納與演繹、比較與推理等感知和邏輯能力缺乏鍛煉，日常怠于思考與創(chuàng)新。金融業(yè)具有較高的系統(tǒng)可用性及業(yè)務連續(xù)性要求，若核心業(yè)務使用了人工智能算法模型進行輔助決策，甚至直接決策，一旦人工智能系統(tǒng)出現(xiàn)故障，導致短期內無法使用或恢復，業(yè)務人員長期對人工智能的思維依賴可能影響業(yè)務運營及時恢復。（五）倫理風險1.金融倫理風險金融模型在訓練過程中需要依賴大量的金融數(shù)據(jù)，包括客戶信息、交易記錄等。如果這些數(shù)據(jù)本身存在偏見，如種族、性別、地域等方面的歧視，那么模型在訓練過程中就會學習到這些偏見，并在后續(xù)的應用中表現(xiàn)出來。這可能導致模型在風險評估、信貸審批等金融決策過程中產(chǎn)生不公平的結果，損害部分群體的利益。金融模型的應用也會引發(fā)利益沖突。例如，在智能投顧領域，模型可能會根據(jù)特定的投資策略或利益訴求來推薦金融產(chǎn)品，而不是基于客戶的最佳利益。這可能導致客戶利益受損，引發(fā)信任危機。在某些情況下，金融模型可能會面臨道德困境。例如，在風險管理領域，模型需要在控制風險和保護客戶利益之間做出權衡。如果模型過于保守，可能會限制客戶的投資選擇；如果過于激進，則可能增加客戶的投資風險。這種權衡過程需要考慮到倫理道德因素，以確保決策的合理性和公正性。2.歧視性風險算法歧視也被稱為算法偏見，是指在信息的生產(chǎn)、分發(fā)及核查的過程中對用戶造成的非中立立場影響，從而導致片面、失實等信息觀念的傳播。大數(shù)據(jù)殺熟是一種典型的算法偏見，大數(shù)據(jù)殺熟是指經(jīng)營者通過對用戶的數(shù)據(jù)進行采集和分析，從而形成對用戶的特定形象描摹，進而對不同的用戶提供特定價格的商品或者服務。經(jīng)營者主要根據(jù)顧客選購頻次的增加，對顧客的消費心態(tài)，消費喜好，消費規(guī)律性進行記錄和分析，制訂出更為“合適”顧客的價錢。經(jīng)常表現(xiàn)為對于同樣的商品或者服務，老客戶看到的價格反而比新客戶要貴出許多的現(xiàn)象。3.算法黑箱風險目前算法模型的決策由海量數(shù)據(jù)和復雜的網(wǎng)絡結構驅動，難以人為干預，不可控性較強，天然具備黑箱屬性。金融機構應用算法技術時，根據(jù)已知的輸入完成一系列特定操作并進行結果輸出，但過程性環(huán)節(jié)實際如何進行運算和推演卻無法進一步獲悉，輸出的結果也非常規(guī)所能控制和解釋。海量數(shù)據(jù)及其所驅動形成的算法模型存在于黑箱的內部，大部分金融消費者對其僅僅只能停留于模糊的外觀認知邊界，無法知悉其得出結果的主要依據(jù)和具體過程。比如，在信貸領域使用深度神經(jīng)網(wǎng)絡測算客戶貸款額度，由于具體額度通過一系列非線性函數(shù)疊加計算生成，算法黑箱風險導致模型難以輸出更多解釋信息，考慮到金融管理部門要求、客戶解釋等因素，模型算法在應用過程中存在一定局限性。4.責任界定風險傳統(tǒng)意義的責任界定風險通常是指因個人或團體的疏忽或過失行為，造成他人的財產(chǎn)損失或人身傷亡，按照法律、契約應負法律責任或契約責任的風險。金融機構利用人工智能向客戶提供更加多樣化、高效、便捷的服務的同時，也會導致責任界定不清的問題。當客戶在使用服務過程中，出現(xiàn)了財產(chǎn)等損失而需要追究責任時，產(chǎn)生的原因是多層面的，既可能有數(shù)據(jù)集的問題，也可能有模型算法的問題，還可能存在系統(tǒng)服務引發(fā)的問題，甚至存在客戶自身使用不當?shù)葐栴}。以基于大模型的智能投顧為例，在正常情況下可以得出極為精確的預測分析，助力客戶取得預期收益。但出現(xiàn)極端情況時，如類似1929年美國股災的事件，投資者可能遭受巨大損失，追究責任卻無從下手。人工智能本身是一個黑箱，數(shù)據(jù)提供商、模型提供商、服務提供商、客戶自身都可能需要為此負責，具體界定主要責任還是次要責任很難劃分。（六）隱私風險1.個人數(shù)據(jù)泄露風險人工智能模型訓練所需的數(shù)據(jù)多為結構化數(shù)據(jù)（數(shù)值、標簽等）或非結構化數(shù)據(jù)（文本、圖像、音頻等），其中用戶的人機交互對話、搜索記錄、交易記錄和行為軌跡等訓練數(shù)據(jù)中可能含有個人隱私信息，若過度收集并在未獲得用戶授權同意的情況下違規(guī)使用此類數(shù)據(jù)進行模型訓練，由于模型強大的記憶能力可能會在處理用戶請求時無意間泄露，對個人的隱私造成侵犯。同時泄露的個人隱私信息可能被惡意利用，導致身份盜用、開設虛假賬戶或詐騙等違法行為，導致嚴重的后果和風險。2019年，蘋果智能語音助手Siri被曝出竊取用戶隱私，蘋果公司在未明確告知用戶被錄音和分析的情況下，存在定期錄下用戶與Siri的交流，并將其發(fā)送給外包公司進行分析的行為，導致用戶隱私泄露。2.商業(yè)數(shù)據(jù)泄露風險企業(yè)的商業(yè)隱私數(shù)據(jù)可大體分為兩類，一類是企業(yè)核心代碼、算法、技術或密碼等敏感信息，例如軟件核心源代碼、密鑰和憑證等；另一類是企業(yè)的商業(yè)機密文件和資料，例如商業(yè)合同、商業(yè)協(xié)議、機密報告和會議紀要等。人工智能模型會根據(jù)開發(fā)者需求收集相關的數(shù)據(jù)用于模型優(yōu)化訓練，例如生成式模型會收集用戶在人機交互過程中的對話內容、問答信息等進行持續(xù)的學習，但用戶可能在使用過程中泄露包含企業(yè)商業(yè)隱私的信息并成為后續(xù)算法訓練的數(shù)據(jù)源，造成新的數(shù)據(jù)泄露風險點，導致企業(yè)面臨商業(yè)損失，包括競爭對手獲取企業(yè)商業(yè)機密信息，或灰黑產(chǎn)的敲詐勒索等。例如2023年4月，據(jù)《Economist》報道三星半導體員工疑似因使用ChatGPT，導致在三起不同事件中泄露公司機密。調查原因皆因員工將公司機密資訊輸入ChatGPT而導致。（七）管理風險1.侵犯版權風險人工智能應用過程會涉及大量的第三方數(shù)據(jù)和模型，如果金融機構在未經(jīng)版權（著作權）所有者授權的情況下使用了這些數(shù)據(jù)和模型，則可能會面臨侵犯版權的風險。（1）在數(shù)據(jù)方面，人工智能在內容獲取、數(shù)據(jù)處理以及內容輸出的各個階段均有侵犯版權的風險。其中，內容獲取階段可能涉及對版權人復制權的侵犯，在此階段，人工智能往往通過爬蟲等數(shù)據(jù)收集手段大批量地從互聯(lián)網(wǎng)中爬取數(shù)據(jù)，所用技術往往是數(shù)字化形式的掃描和文本提取，如果未經(jīng)版權人許可，此種行為往往落入《著作權法》中所規(guī)定的侵犯“復制權”的范圍之中；數(shù)據(jù)處理階段可能涉及對版權人的翻譯權、改編權以及匯編權的侵犯，由于人工智能的訓練往往需要將所收集的數(shù)據(jù)轉碼為相應的結構化數(shù)據(jù)，而轉碼的行為必不可少地涉及對原有數(shù)據(jù)內容的調整，包括對數(shù)據(jù)格式的轉換修改、整理刪除以及匯總等，這難免會構成對版權人的翻譯權、改編權以及匯編權的侵犯；內容輸出階段輸出的結果常在互聯(lián)網(wǎng)上以數(shù)字化的方式傳播呈現(xiàn)，如果輸出的分析結果涉及原有作品的內容而未經(jīng)版權人許可，與原作品構成“實質性相似”，很有可能造成對版權人信息網(wǎng)絡傳播權（2）在算法和模型方面，金融機構也可能面臨相應的侵犯版權風險。一方面，人工智能算法和模型本身具有版權或專利，且會受到法律保護，如果金融機構未經(jīng)授權地復制或改編現(xiàn)有的算法或模型，將構成侵犯版權行為。另一方面，金融機構可能會采用開源算法進行金融產(chǎn)品分析和交易決策，如果這些算法沒有遵循相應的開源協(xié)議，可能會違反版權規(guī)定，導致法律糾紛，這是因為開源社區(qū)提供的算法是由開發(fā)者在開源社區(qū)（如GitHub等）發(fā)布，任何人都可以免費使用、修改和分發(fā)，而這些開源算法通常附有開源許可協(xié)議（如ALv2、GPL等），且這些協(xié)議規(guī)定了算法的使用、修改和分發(fā)條件，例如某些協(xié)議要求使用者在發(fā)布衍生作品時必須公開源代碼，或者必須在使用時保留原作者的版權聲明，金融機構在使用這些開源算法時，必須遵守相應的開源協(xié)議條款，如果未能遵守，則會構成版權侵權。2.消費者知情風險消費者知情權要求金融機構向消費者告知所提供服務的真實、全面信息。在人工智能應用場景下，金融機構違反消費者知情權的情形主要表現(xiàn)為模型結果誤導消費者、消費者信息收集和使用過程未充分說明等。金融機構在收集消費者數(shù)據(jù)時，若未能詳盡闡述數(shù)據(jù)范圍、使用規(guī)則并充分征得消費者同意，便可能侵犯其個人信息保護知情權。常見做法如冗長晦澀的隱私政策或隱蔽的同意鏈接，使消費者難以全面理解并預見其數(shù)據(jù)去向。這種“點擊即同意”的模式，實質上剝奪了消費者的真實知情權和選擇權。同樣，數(shù)據(jù)使用過程中的不透明也引發(fā)廣泛關注。以Google與Ascension合作為例，未經(jīng)患者明確同意，數(shù)百萬健康數(shù)據(jù)被用于AI訓練，此舉不僅觸動了公眾對個人隱私安全的敏感神經(jīng)，也暴露了數(shù)據(jù)使用透明度缺失的嚴重問題。此類事件加劇了社會對數(shù)據(jù)濫用和隱私侵犯的擔憂，強調了在數(shù)據(jù)收集與使用各環(huán)節(jié)中加強透明度和用戶同意機制的重要性。3.組織流程風險人工智能的引入可能會造成金融機構的現(xiàn)有人員不勝任與AI人才流失、組織方式及業(yè)務流程不匹配等風險。一是現(xiàn)有人員可能因AI技能不足影響應用效率，同時技術快速迭代加劇人才流失風險。二是傳統(tǒng)組織模式的數(shù)據(jù)孤島現(xiàn)象阻礙AI全面應用，企業(yè)決策方式向數(shù)據(jù)驅動轉變，對現(xiàn)有管理層級與結構帶來挑戰(zhàn)。例如摩根士丹利在引入“NextBestAction”人工智能系統(tǒng)時，AI系統(tǒng)部署中遭遇部門間協(xié)調難題，影響系統(tǒng)集成與數(shù)據(jù)共享。三是AI應用可能改變現(xiàn)有工作流程與決策機制，過度依賴自動化可能削弱人工審查，增加流程錯誤與決策失誤風險，導致交易延遲或數(shù)據(jù)錯誤等問題。4.監(jiān)管合規(guī)風險目前尚未建立行業(yè)層面統(tǒng)一的人工智能治理框架，行業(yè)法規(guī)和標準規(guī)范仍在制定和不斷完善過程中，缺乏人工智能系統(tǒng)的合規(guī)性和安全性要求相對應的機制和標準。例如在人工智能技術的應用中，大模型技術會存在透明性不足等問題，如何準確評估其潛在風險并進行有效監(jiān)管會是一個挑戰(zhàn)。在沒有明確約束和規(guī)范的情況下，人工智能的風險可能會進一步放大。（八）大模型安全風險隨著大模型能力的不斷增強和適用范圍的延伸，大模型安全風險與防護也引發(fā)了業(yè)界高度關注。從技術角度上看，大模型作為一種算力更高、能力更強的人工智能模型，很大程度上繼承了傳統(tǒng)人工智能安全風險點。由于大模型更大規(guī)模的訓練數(shù)據(jù)、更為復雜的模型維度，盡管使得數(shù)據(jù)投毒、模型后門等原有風險的攻擊難度增大，但攻擊隱蔽性及影響程度也一定程度上的提升。從第三方服務角度看，由于大模型的建模及預訓練往往由第三方完成，甚至部分場景的大模型直接部署在第三方，導致模型結構、訓練數(shù)據(jù)及訓練過程無法管控，由此帶來了全新、更為突出的供應鏈安全風險。1.提示注入風險提示注入風險是指通過構造設計特定的提示詞，繞過安全對齊等防護機制，達到操縱大模型輸出的目的。攻擊者可以通過在提升詞中注入模擬對話、角色扮演、目標劫持等攻擊話術，操縱大模型輸出有害內容，如要求大模型扮演一個虛擬角色，誘導大模型在虛構的場景下輸出有害信息。2.后綴對抗風險后綴對抗風險是一種針對安全對齊機制的新型攻擊風險，是提示注入風險的進一步升級。與提示注入攻擊主要依賴專家經(jīng)驗設計話術不同，后綴對抗攻擊在模型算法層面提出了后綴對抗風險。攻擊者可通過人工智能算法自動生成攻擊后綴，添加到惡意提問文本后部，達到繞過大模型安全對齊產(chǎn)生惡意輸出的目的。AI幻覺風險是指大模型由于過度泛化生成虛假信息。為了得到更好的反饋效果，大模型往往需要盡可能多的關聯(lián)信息進行回答，但由于信息的泛化聯(lián)想與客觀事實的一致性天然存在矛盾，一定程度上會影響結果的準確性。由于大模型不能自動量化評估答案的準確性，使得大模型在對準確度有較高要求的場景下如智能客服、財報分析、金融分析報告，可能存在答案嚴重違背客觀事實的風險。4.智能體安全風險大模型智能體作為能夠利用大語言模型實現(xiàn)復雜任務智能決策和行為輸出的重要應用，為大模型的實際落地提供了重要的技術基礎和支持。由于大模型智能體應用需要通過調用外鏈應用完成復雜任務執(zhí)行，攻擊者可以通過向智能體應用提出服務請求的方式對智能體應用開發(fā)框架及其外鏈應用發(fā)起攻擊，因此大模型智能體應用除面臨大模型自身的提示詞注入、后綴對抗等攻擊風險外，還可能存在智能體應用自身框架漏洞、智能體外鏈應用權限失控、智能體外鏈應用漏洞等風險，且這些風險的觸發(fā)方式及利用難度因大模型提供的智能化服務而變得更為容易，風險影響范圍也更加廣泛。5.內容合規(guī)風險生成式人工智能的內容安全廣義上包括輸出內容的社會安全性，是否合法合規(guī)、遵守道德倫理和公序良俗等，具體表現(xiàn)在違法不良信息、內容失實、偏見歧視、違反倫理道德等方面。生成內容的安全性是公眾選擇使用相關產(chǎn)品和服務的重要影響因素之一，也是全球人工智能監(jiān)管的重要事項。對用戶而言，便捷高效地得到文本、圖片、音視頻、代碼等內容是使用生成式人工智能技術的主要用途，生成的內容越是接近或超過一般人類的創(chuàng)作能力，往往越能獲得用戶的青睞。然而，語言風格越接近人類、合成的音視頻越逼真，用戶越是難以鑒別其中的真假。一旦訓練數(shù)據(jù)遭受偏見、錯誤、不良等信息毒害，抑或模型存在缺陷，生成內容很可能是錯誤甚至是具有社會危害性的。6.調用交互風險大模型通常以高頻次API調用形式提供服務，攻擊者利用API安全漏洞實施攻擊，如以未授權的方式訪問或執(zhí)行更高權限的操作、利用對外提供服務的API接口漏洞執(zhí)行惡意代碼命令等。此外，大模型會利用第三方應用的API接口豐富自身能力，但API的泄露會導致模型的外部能力直接泄露，導致越權、未授權訪問他人信息等風險。如利用提示詞注入誘導模型輸出內置API地址列表以及調用方式，既可以讓攻擊者從針對模型應用的攻擊轉到針對所屬企業(yè)的攻擊，還可能變成新型的網(wǎng)絡資產(chǎn)測繪手段。7.基座模型風險基座模型經(jīng)過大規(guī)模數(shù)據(jù)集進行預訓練，具有通用的語言理解和生成能力，因此很多大模型產(chǎn)品基于預訓練的基座模型進行修改和定制化，但其造成的風險也同時傳導到了下游模型和應用，主要表現(xiàn)在以下幾個方面：從質量風險看，模型基座自身的缺陷來自其訓練數(shù)據(jù)的缺陷，可能會產(chǎn)生有害內容、偏見、泄露敏感信息和錯誤信息等，一旦模型生成不當，會給下游模型或應用帶來商業(yè)或法律問題；從技術層面看，由于模型基座技術細節(jié)的復雜性，下游模型和應用很難完全理解或者管控其帶來的風險，基座提供方和下游使用方也無法獨立去治理在應用過程中的風險；從供應鏈層面來看，海外開源大模型受到屬地管轄，政治因素會帶來大模型基座閉源后的供應鏈風險。三、金融業(yè)人工智能安全防護框架（一）基礎設施防護1.基礎硬件國產(chǎn)化在目前國際局勢復雜，無法大量進口高性能AI加速芯片的前提下，應考慮推動AI系統(tǒng)基礎硬件的國產(chǎn)化進程，在現(xiàn)有GPU、CPU算力云化集群的基礎上，建設“訓練推理分離、異構國產(chǎn)AI芯片并存、容器化供給”的國產(chǎn)AI算力集群?；谠苹悸?，可通過引入多種國產(chǎn)化訓練推理芯片、改造現(xiàn)有容器調度與國產(chǎn)芯片的適配能力、統(tǒng)一資源監(jiān)控等手段，實現(xiàn)云化供給的國產(chǎn)AI算力集群建設。考慮到國產(chǎn)的AI推理服務器相較訓練服務器成熟，優(yōu)先搭建和推廣國產(chǎn)AI推理服務器集群，并同步采用小范圍試點方式推進國產(chǎn)訓練服務器集群建設。2.國產(chǎn)AI計算框架規(guī)?；瘧脼槊鎸﹂_源AI框架的斷供風險，應從存量場景和增量場景兩方面加大對國產(chǎn)開源AI計算框架的應用推廣力度。針對存量模型場景，應采用逐步遷移方式，優(yōu)先在自然語言處理、計算機視覺、智能推薦等國產(chǎn)AI框架適配較為成熟的領域試點推廣國產(chǎn)開源計算框架。針對增量模型場景，應優(yōu)化現(xiàn)有建模流水線，實現(xiàn)對國產(chǎn)框架和算法的集成支持，降低國產(chǎn)引擎和算法的應用門檻，滿足低門檻、自主可控的規(guī)?；Ｐ枰?.基礎框架安全檢測框架漏洞的檢測與防范是保障AI系統(tǒng)安全的關鍵環(huán)節(jié)。對于引入的第三方框架，應建立完備的外部威脅情報監(jiān)控及漏洞檢測修復機制，對于自研的基礎框架，建議引入模糊測試和符號執(zhí)行等技術開展安全檢測。4.開源可控防護人工智能的開源應用是激發(fā)金融業(yè)務靈活創(chuàng)新的重要驅動力，其在賦能業(yè)務發(fā)展的同時，也為應用安全帶來新的潛在風險。如何防范開源應用風險，構建開源可控的防護策略，或將成為金融業(yè)AI開源應用之路上的重要命題。對于開源AI技術平臺及AI應用，應建立體系化的風險防控體系。在組織管理層面，應建立風險防范協(xié)同機制，明確開源可控防護政策、制度與原則。在AI開源應用引入方面，應著重加強軟硬件的安全審查工作，針對AI應用在算法層面、數(shù)據(jù)層面、算力框架層面所面臨的特有風險，進行安全技術測試與漏洞掃描。在開源應用代碼管理方面，應建立審慎的開發(fā)運行管理機制，嚴格按照規(guī)范使用開源代碼和應用，形成代碼使用備案與回溯機制，便于長期跟蹤管理。（二）數(shù)據(jù)防護1.數(shù)據(jù)合規(guī)性數(shù)據(jù)合規(guī)性要求數(shù)據(jù)的采集、傳輸、存儲、使用、刪除及銷毀等全生命周期合法合規(guī)。為確保數(shù)據(jù)合規(guī)性，應定期開展數(shù)據(jù)合規(guī)性評測，建立內外審計制度，定期開展合規(guī)審計?；诮y(tǒng)一的大數(shù)據(jù)平臺日志標準，建立數(shù)據(jù)訪問行為監(jiān)控服務和日志分析服務，面向接入應用提供敏感數(shù)據(jù)訪問情況、用數(shù)訪問等行為數(shù)據(jù)，從而保證數(shù)據(jù)使用安全合規(guī)。同時，加強對員工的培訓和合規(guī)宣傳，增強員工的合規(guī)和風險意識，確保員工在日常工作中能夠遵循相關規(guī)定和準則。此外，在設計和訓練人工智能時，應該確保其擁有正確價值觀的數(shù)據(jù)。這些價值觀應該與人類社會的普遍倫理和道德原則相符合，例如尊重個人隱私、平等、公正等。2.數(shù)據(jù)機密性保證數(shù)據(jù)機密性主要包括外部數(shù)據(jù)隱私保護和內部數(shù)據(jù)權限（1）外部數(shù)據(jù)隱私保護：一是應將相關數(shù)據(jù)和程序代碼部署于封閉、安全、可靠環(huán)境中運行，防止數(shù)據(jù)和程序代碼在未經(jīng)授權情況下被訪問或修改。二是應用多方安全計算、聯(lián)邦學習等技術，使各參與方應在無需交換原始數(shù)據(jù)、僅交換模型訓練中間計算結果的情況下，聯(lián)合完成機器學習模型構建。（2）內部數(shù)據(jù)權限控制：一是應對數(shù)據(jù)進行密級分類，通過對各業(yè)務系統(tǒng)數(shù)據(jù)進行采樣，依據(jù)數(shù)據(jù)分類分級策略，自動識別出敏感數(shù)據(jù)及分類分級結果，并基于內置脫敏算法提供統(tǒng)一的脫敏服務及工具。二是應對任務執(zhí)行進行動態(tài)控權，按用戶維度通過SQL解析、改寫等技術提供統(tǒng)一的數(shù)據(jù)訪問控制能力。三是在與外部或第三方進行數(shù)據(jù)交換場景中，應對數(shù)據(jù)文件進行水印標記，若數(shù)據(jù)文件出現(xiàn)泄露，可針對文件進行水印解析和溯源分析，追蹤泄露源頭。3.數(shù)據(jù)可用性數(shù)據(jù)可用性通過數(shù)據(jù)流轉的一致性、數(shù)據(jù)防投毒等技術保障訓練數(shù)據(jù)的可靠可用。通過建立上下游數(shù)據(jù)校驗修正機制，確保數(shù)據(jù)在不同系統(tǒng)間一致流轉?？蓮囊韵氯齻€維度保證數(shù)據(jù)可用性，一是在數(shù)據(jù)準備階段，通過數(shù)據(jù)分布檢測、錯誤數(shù)據(jù)清理等方式，剔除被污染的數(shù)據(jù)樣本，同時要確保訓練數(shù)據(jù)的完整性、多樣性、準確性。二是在模型訓練階段，采用自動化建模技術，防止訓練人員人為修改樣本標簽、插入中毒樣本、修改訓練數(shù)據(jù)特征。三是在模型應用階段，通過構建輸入數(shù)據(jù)的異常檢測機制，防止投毒樣本的源頭采集。最終建立端到端的數(shù)據(jù)清洗與防投毒能力。（三）模型算法防護1.模型穩(wěn)健性穩(wěn)健性（魯棒性）較好的模型算法具有較高的識別精度，能較好識別噪音、異常點等干擾樣本。業(yè)界一般采用對抗樣本生成、對抗訓練、模型集成、遷移學習等技術增強算法穩(wěn)健性。（1）對抗樣本生成是一種數(shù)據(jù)增強技術，對已有數(shù)據(jù)集添加細微的擾動特征，模生成新的樣本，進而豐富訓練數(shù)據(jù)樣本，提升模型穩(wěn)健性。（2）對抗訓練是一種算法優(yōu)化技術，在訓練迭代過程中，每次算法迭代對自動生成的新對抗樣本進行測試，將測試不通過的對抗樣本加入下一輪訓練，使得最終得到的模型能夠識別對抗（3）模型集成使用多個獨立訓練的模型進行集成，可以降低對單一模型的攻擊成功率。攻擊者需要克服多個模型的防御機制，這增加了攻擊的難度。（4）遷移學習利用預訓練的模型，在新任務上進行微調。這有助于利用先前學到的知識來提高模型的性能，并減少在新任務上的對抗性攻擊的影響。2.模型公平性算法的公平指模型及智能應用需要遵循法律和道德規(guī)范，規(guī)避性別歧視、種族歧視等風險。為了解決此類問題，需要從具體場景出發(fā)，涵蓋數(shù)據(jù)、特征、模型、應用等模型全生命周期。（1）數(shù)據(jù)糾偏、均衡采樣：通過黑白樣本的重新采樣、縮小占比較大的樣本比例、通過造數(shù)擴大占比較小的樣本比例等方式，實現(xiàn)黑白樣本的均衡分布。（2）剔除或替換引起偏見的特征：按照業(yè)務目標，在特征工程階段開展特征分析工作，分析引起偏見的特征，將其剔除或采用其他特征進行替代。（3）模型融合訓練：采用分而治之的思想將訓練樣本按照不同視角進行差異化抽樣（未改變數(shù)據(jù)分布），形成多份數(shù)據(jù)集，并訓練多個子模型，子模型對部分數(shù)據(jù)能較好識別，融合子模型形成強模型，提升全局數(shù)據(jù)的識別能力。（4）后處理補償：利用模型的可解釋能力和場景的特性，進行業(yè)務模擬測試，分析發(fā)現(xiàn)不公平發(fā)生的原因針對性地設計和部署對應的業(yè)務補償規(guī)則。3.模型可解釋性提高人工智能模型的可解釋性可以提高對模型的內部決策過程的理解，增強模型的信任度、降低潛在的風險，并促進其在實際應用中的可接受性。目前人工智能模型可解釋性的方法主要有基于樣本可解釋方法、基于知識可解釋方法和基于反事實可解釋方法三種。（1）基于樣本的方法主要構造一個與原模型效果相當?shù)暮唵尉€性方程利用特征權重對模型決策進行解釋。（2）基于知識的方法利用知識圖譜點邊關聯(lián)關系，推導待解釋事件的可能成因。（3）基于反事實的方法則以舉反例的模式，構建正反示例比對情境，通過展示正反兩者的差異來解釋模型背后的機制。4.模型訓練監(jiān)控模型訓練監(jiān)控是保障人工智能安全性的一種重要手段，涉及對模型訓練過程中的各種指標和行為進行實時監(jiān)控，以確保模型的可靠性、穩(wěn)定性和公正性。一是跟蹤模型在訓練過程中的性能指標，如準確率、召回率、F1分數(shù)等，確保訓練數(shù)據(jù)集的質量和一致性。二是監(jiān)控模型輸出結果，以便發(fā)現(xiàn)與預期行為不符的情況，識別潛在的安全問題或模型故障。三是監(jiān)控參數(shù)、梯度等模型訓練中間結果的統(tǒng)計學分布性質，有效識別訓練數(shù)據(jù)中的潛在問題或攻擊行為。5.模型訪問控制在模型的訓練及使用過程中，建立訪問控制及授權機制，確保其使用合法性，通過實施細粒度的權限管理，為不同用戶或用戶組分配適當?shù)脑L問級別，確保他們只能執(zhí)行其權限范圍內的操作。同時模型的部署和API服務也可以通過使用許可證和服務協(xié)議來明確使用規(guī)則，規(guī)范模型使用的合規(guī)性。6.模型遺忘如果在模型訓練時，訓練數(shù)據(jù)中含有錯誤素材，過期內容，涉密數(shù)據(jù)，違反法律法規(guī)的內容，則訓練出的模型中就會包含這部分的知識。由于人工智能算法的特殊性，修復不良數(shù)據(jù)需要對模型本身進行調整，而模型重新訓練成本很高，因此可以使用模型遺忘（也可以稱為反學習、機器遺忘、MachineUnlearning）的方式進行防護。模型遺忘是指先前獲取的信息或知識的損失或退化，存在于人工智能學習中所有研究領域中。模型遺忘可以達到以下目的：一是解決數(shù)據(jù)集偏差問題，丟棄無用的信息以增強模型的泛化能力。二是可以刪除模型中的隱私訓練數(shù)據(jù)，用于保護隱私和防止信息泄露。三是修復數(shù)據(jù)污染、模型后門等漏洞，通過模型遺忘的方式，減少或消除不當數(shù)據(jù)或模型后門對模型決策的影響。一般模型遺忘的幾種常見的方法有：利用差分隱私的技術衡量和限制對個人數(shù)據(jù)的查詢結果的敏感性，從而間接實現(xiàn)遺忘能力；或者利用數(shù)據(jù)集拆分和分布式訓練（SISA）的思想重新訓練模型，完成模型遺忘。目前模型遺忘技術仍處于研究階段，還需要進一步的實驗和驗證，以確定其在實際應用中的可行性和有效（四）應用防護1.應用場景規(guī)范性為降低人工智能安全風險對金融業(yè)務帶來的不利影響，應規(guī)范人工智能的使用場景。在金融領域，人工智能的應用涉及信貸審批、風險評估、交易監(jiān)控等多個環(huán)節(jié)，因此制定明確的應用標準和操作規(guī)程是至關重要的，在高風險業(yè)務場景中宜將人工智能模型作為輔助使用，避免其直接進行決策。合規(guī)的AI應用還有助于金融機構遵守相關的法律法規(guī)，避免因違規(guī)使用AI而受到處罰或聲譽損失。2.應用安全檢測承載人工智能業(yè)務系統(tǒng)的安全檢測與傳統(tǒng)應用安全檢測基本一致，需從身份鑒別、訪問控制、安全審計、數(shù)據(jù)安全性、交易安全性、軟件容錯、資源控制、客戶端安全等方面開展安全檢測。這些安全檢測活動有助于提高AI系統(tǒng)的安全性，防止由于技術缺陷或惡意攻擊導致的安全事故，保障人工智能業(yè)務應用系統(tǒng)的3.運營異常監(jiān)控通過監(jiān)控模型接口調用頻率和次數(shù)等方式進行運營監(jiān)控是一種有效的防護策略，這種監(jiān)控可以幫助識別異常的訪問模式，例如短時間內的高頻調用或來自單一來源的大量請求，這些可能是惡意試探或攻擊的跡象。通過實時跟蹤和分析這些指標，可以及時發(fā)現(xiàn)潛在的安全問題，并采取相應的防御措施，如限制訪問頻率、實施更強的認證機制等。這樣的監(jiān)控不僅有助于保護模型免受惡意試探，還能維護系統(tǒng)的穩(wěn)定運行和用戶的良好體驗。4.安全意識培訓在金融機構中，員工是人工智能系統(tǒng)操作和管理的一線人員，員工的安全意識和行為直接影響到整個系統(tǒng)的安全性，因此定期進行安全意識培訓對于提高員工對潛在風險的認識至關重要。培訓應當包括人工智能系統(tǒng)的工作原理、可能遇到的安全威脅，以及如何識別和應對這些威脅等內容。5.責任認定借鑒2024年5月新加坡政府發(fā)布的《生成式人工智能治理模型框架》，在責任認定上采取事前責任分配和事后“安全網(wǎng)”相結合的機制?！笆虑啊泵鞔_了人工智能產(chǎn)業(yè)鏈上各方能夠按照其控制水平分擔責任，“事后”將開發(fā)商承諾承擔責任、產(chǎn)品損害責任與無過失保險三者統(tǒng)籌結合，確保風險發(fā)生時能夠獲得補償。事前責任分配采用“食品標簽”式披露和數(shù)字水印進行處理，“食品標簽”披露方法將數(shù)據(jù)來源、模型風險、安全措施等用戶關心的主要問題一一列舉，形成廣泛的透明度，便于監(jiān)督；數(shù)字水印針對人工智能各層服務要求加入獨特的數(shù)字水印標識，從而確保其真實性和可追溯性。事后“安全網(wǎng)”模式構建了三層防護網(wǎng)，第一層是人工智能開發(fā)鏈中的各方對終端用戶負責，參考云或軟件開發(fā)棧的責任劃分，為用戶提供可預期、可解釋的問責空間，并依據(jù)其便捷地保護相關權益；第二層是更新產(chǎn)品責任等相關法律框架，使人工智能產(chǎn)品（通常是虛擬產(chǎn)品）的損害責任證明更加明確；第三層是在自律與法律之外的第三方保險，既能提供技術創(chuàng)新所需的合規(guī)管理冗余空間，也能給予因意外事件受害的用戶獲得兜底性補償?shù)臋C會。（五）倫理防護1.加強科技倫理治理各單位應遵循制度要求，加強科技倫理治理，尤其需要加強法律監(jiān)管，明確責任主體，強化倫理審查，推進依法治理，實現(xiàn)科技發(fā)展與倫理治理相互促進、動態(tài)調適。在科技倫理方面，中共中央辦公廳、國務院辦公廳于2022年3月印發(fā)了《關于加強科技倫理治理的意見》，從倫理原則、治理體制、制度頂層設計、監(jiān)管措施以及教育和宣傳等方面作出系統(tǒng)部署，填補了我國科技倫理治理的制度空白。2023年7月，國家網(wǎng)信辦等七部門聯(lián)合公布《生成式人工智能服務管理暫行辦法》，為科技倫理治理指明了發(fā)展方向。2023年9月，科技部等十部門聯(lián)合研究起草、經(jīng)中央科技委員會同意并印發(fā)了《科技倫理審查辦法（試行）》，將人工智能列入應設立科技倫理（審查）委員會的科技活動單位范圍內，在7大類需要實行清單管理的重大風險新興科技活動中，有4大類涉及人工智能倫理審查。2.全生命周期倫理管控以可信賴人工智能的生命周期為線索，秉持科技向善的人文理念和倫理先行的價值觀念，將倫理道德融入AI全生命周期，增強全社會的AI科技倫理意識與行為自覺。在設計階段，可信賴的人工智能首先要解決不可解釋性和“幻覺”問題，讓人類清楚生成式人工智能工作機制并且要保證在極端情況下的安全穩(wěn)定性。在使用階段，必須盡可能避免人工智能輸出歧視性偏見性內容，最后如果出現(xiàn)事故，則必須保證追責性，明確設計者、提供者以及使用者等等各方的責任。（六）隱私防護1.數(shù)據(jù)隱私保護數(shù)據(jù)隱私可從數(shù)據(jù)機密性角度進行相關防護，一是確保人工智能模型訓練數(shù)據(jù)的合法合規(guī)，面向用戶提高數(shù)據(jù)收集和使用的透明度，在用戶知情同意的前提下遵守最小化原則收集與使用數(shù)據(jù)；二是對訓練數(shù)據(jù)采用隱私保護算法進行處理，例如匿名化技術、去標識化技術、數(shù)據(jù)脫敏技術和差分隱私技術等,確保數(shù)據(jù)在處理和分析過程中無法直接關聯(lián)到具體個人。也可以使用DLP監(jiān)測訓練數(shù)據(jù)中是否含有涉及商業(yè)機密、源代碼等企業(yè)隱私信息。2.隱私安全意識培訓培訓員工數(shù)據(jù)隱私安全意識，在應用人工智能模型時避免輸入個人或企業(yè)的隱私信息，降低隱私泄露的風險；控制數(shù)據(jù)訪問及人工智能模型使用權限，只有經(jīng)過授權的員工通過身份驗證后（七）管理防護1.建立版權審核機制為防范侵犯版權風險，金融機構應在內部管理上建立嚴格的版權審核機制，確保數(shù)據(jù)和算法模型的合法合規(guī)。一是合法購買數(shù)據(jù)或通過合同明確各方需要承擔的風險。金融機構應購買高價值的版權內容，并以授權合同約定各方風險承擔的交易模式獲取訓練數(shù)據(jù)。二是在應用和部署前，金融機構應對算法和相關技術進行全面的知識產(chǎn)權審查，確保沒有侵權風險。對于受版權保護的算法和相關技術，應獲得相應的授權或許可；對于來自開源社區(qū)的算法和相關技術，應確保遵守相應的開源許可協(xié)議。2.信息充分披露對應用人工智能提供服務的全流程進行真實全面的說明，推進模型準確性和透明性治理、規(guī)范消費者數(shù)據(jù)收集和使用程序。（1）模型準確性和透明性治理：在部署人工智能模型前，金融機構應進行充分的驗證和測試，確保模型的預測準確性和公平性；在模型使用過程中，定期監(jiān)控模型的性能，及時發(fā)現(xiàn)和糾正問題。針對算法不透明問題，金融機構應當主動向消費者聲明其所使用算法模型的能力缺陷及風險提示；向公眾披露對算法產(chǎn)品自動化決策起決定性的主要參數(shù)，賦予消費者對特定人工智能服務的“算法解釋請求權”。（2）規(guī)范消費者數(shù)據(jù)收集程序：對于信息收集而言，應當為消費者履行如實告知義務并確定合理邊界，尊重金融消費者的個人信息自決權。在收集客戶個人信息過程中要遵循最小必要的原則，處理個人信息符合公開透明原則。（3）規(guī)范消費者數(shù)據(jù)使用程序：對于信息使用而言，用于服務內容輸出和優(yōu)化模型的個人信息要分別明確其具體使用方式，且在獲得客戶同意后才能進行使用。同時，依據(jù)《個人金融信息保護技術規(guī)范》提及的C1（賬戶開立時間、開戶機構等）、C2（支付賬號、財產(chǎn)信息等）、C3（賬戶交易密碼、銀行卡密碼等）三類信息，在使用過程中應實施針對性的保護措施。對于敏感程度較高的個人信息，應進行特別說明，包括但不限于對個人信息使用的方式和使用該類信息可能產(chǎn)生的風險和后果，且需要獲得消費者的單獨同意。3.建立內部管理機制金融機構應根據(jù)自身的戰(zhàn)略、成本等方面審慎地評估自身需求和技術能力，平衡人工智能應用與合規(guī)風險治理。在引入人工智能技術時，內部應建立靈活的治理架構，成立專門的人工智能治理委員會或工作組，建立合規(guī)治理評估機制，推進人工智能應用的內部監(jiān)督與管理。同時，為應對人工智能帶來的人員結構、組織方式和業(yè)務流程等挑戰(zhàn)，管理層應制定詳細的變革管理計劃，創(chuàng)建適配的組織架構，降低人工智能應用過程中各個環(huán)節(jié)的潛在風險。（1）針對員工的技能缺口，金融機構應提供全面的培訓和持續(xù)的教育計劃，幫助員工掌握人工智能相關技能；針對新技術的人才需求，應制定有吸引力的人才引進政策和創(chuàng)新激勵政策。（2）調整適配的組織形態(tài)：金融機構應基于戰(zhàn)略、能力、資源等特征，選擇匹配不同階段人工智能應用的組織模式。（3）建立人工智能應用的三道防線?？山梃b銀行業(yè)經(jīng)典的“三道防線”風險管理理念與模型風險管理（ModelRiskManagement，簡稱MRM）的理論及方法進行有效結合，對人工智能應用風險形成有效防控。首先，可在一線模型開發(fā)活動中，針對不同的場景和功能，安排不同的團隊進行模型開發(fā)，實現(xiàn)風險分散，將其作為第一道防線。其次，通過增加模型驗證環(huán)節(jié)，并設置專門的模型驗證部門對模型進行審核和驗證，形成第二道防線。最后，由內部審計部門或外部第三方的專業(yè)審計機構，對人工智能模型進行專業(yè)審計并反饋意見，形成第三道防線。通過建立人工智能治理的三道防線，對人工智能相關的數(shù)據(jù)、算法等風險進行有效管控。（八）大模型安全防護除了傳統(tǒng)人工智能模型防護措施外，針對大模型特有的安全風險，有以下幾點防護層面。1.提示防御面對大模型提示注入攻擊，當前的防御方法有以下幾類：模型對抗訓練優(yōu)化：通過迭代地收集這些攻擊樣本，使用指令微調等方法對模型進行迭代的優(yōu)化，使模型面對不斷出現(xiàn)的新型惡意提示輸入時能通過拒絕等方式正確應對，提高對抗攻擊場景下的魯棒性。系統(tǒng)提示優(yōu)化：指大模型內置的提示詞，在用戶輸入提示詞后，系統(tǒng)提示詞和用戶輸入的提示詞進行拼接之后輸入到大模型輸入輸出檢