2024人工智能AI安全白皮書(shū)

44人工智能AI安全白皮書(shū)202488目錄賦能安全 10AI賦能安全 10AI伴生安全 26安全的生態(tài) 36AI安全的監(jiān)管生態(tài) 36AI安全的技術(shù)生態(tài) 57安全的熱門(mén)問(wèn)題 90大模型安全 90對(duì)抗樣本攻擊 92數(shù)據(jù)投毒攻擊 94供應(yīng)鏈攻擊 96數(shù)據(jù)泄露攻擊 99模型竊取攻擊 102AI倫理/對(duì)齊 104AI輔助安全 108安全的行業(yè)發(fā)展 121監(jiān)管發(fā)展 121技術(shù)發(fā)展 126總結(jié)與展望 135PAGE100PAGE100AI賦能安全AI賦能安全AI賦能漏洞挖掘漏洞挖掘的發(fā)展歷史人工智能技術(shù)的發(fā)展和應(yīng)用不斷推動(dòng)著網(wǎng)絡(luò)安全攻防自動(dòng)化和智能化的水量的漏洞代碼樣本，學(xué)習(xí)漏洞代碼的語(yǔ)義、結(jié)構(gòu)、指令序列等特征,從而能夠自AI第一階段，人工代碼安全審計(jì)，60第二階段，靜態(tài)分析工具輔助，70SASTSAST和誤報(bào)率，所以還是需要人工進(jìn)行驗(yàn)證和復(fù)審。第三階段，結(jié)合動(dòng)態(tài)測(cè)試技術(shù)，90是有一定的限制。10AIAIGC全球業(yè)界的大力推動(dòng)20183（CSIS）在題為《美國(guó)機(jī)器智能?chē)?guó)家AI圖1美國(guó)CGC比賽現(xiàn)場(chǎng)2023年9月份美國(guó)宣布發(fā)起為期兩年的人工智能網(wǎng)絡(luò)挑戰(zhàn)賽（AICyberChallenge，AIxCC），以推動(dòng)自動(dòng)化網(wǎng)絡(luò)攻防技術(shù)的發(fā)展，保護(hù)美國(guó)的關(guān)AIDARPACGC(CyberGrandChallenge)18501.33時(shí)間成本，還是資金投入，都可見(jiàn)美國(guó)政府對(duì)此賽事的重視程度非同一般。放眼國(guó)內(nèi)，近年來(lái)我國(guó)信息安全體系日趨完善，20176圖2中國(guó)首屆國(guó)際機(jī)器人網(wǎng)絡(luò)安全大賽RHG智能化攻防技術(shù)也得到了迅速發(fā)展，RHG（RobotHackingGame）競(jìng)賽在國(guó)AI向演進(jìn)。漏洞挖掘的相關(guān)技術(shù)6掘技術(shù)作一下簡(jiǎn)要的介紹。（SymbolicExecution）故障修復(fù)或其他類(lèi)型的漏洞利用的目的。模糊測(cè)試（Fuzzing）用于向目標(biāo)軟件輸入各種測(cè)試數(shù)據(jù)來(lái)發(fā)現(xiàn)漏洞或測(cè)（CodeInstrumentation）是一種修改程序源代碼或二進(jìn)制代碼獲取代碼執(zhí)行過(guò)程中的指令序列，學(xué)習(xí)漏洞代碼的動(dòng)態(tài)執(zhí)行特征。控制流程圖(ControlFlowGraph,CFG)，遺傳算法（GeneticAlgorithm，GA）根據(jù)大自然中生物體進(jìn)化規(guī)律而設(shè)計(jì)圖3神經(jīng)網(wǎng)絡(luò)示意圖（來(lái)源互聯(lián)網(wǎng)）人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），從信息處理角度訓(xùn)練，提取漏洞代碼的靜態(tài)語(yǔ)義特征。自動(dòng)挖掘流程與場(chǎng)景AIGC（ArtificialIntelligenceGenerated和驗(yàn)證目標(biāo)程序中的漏洞。自動(dòng)化漏洞利用（AutomaticExploitGeneration,AEG）的技術(shù)體系已經(jīng)用程序中的漏洞，主要應(yīng)用于如下幾個(gè)場(chǎng)景：AEG者或廠商確保漏洞已經(jīng)得到適當(dāng)?shù)男迯?fù)。探索目標(biāo)系統(tǒng)或應(yīng)用程序中的未知漏洞。通過(guò)嘗試不同的輸入和攻擊方式，AEG合，通常情些技術(shù)是結(jié)合使用，以自動(dòng)化生成針對(duì)漏洞的利用代碼。自動(dòng)化挖洞未來(lái)展望腳本、payloadsAIAI賦能安全防御人工智能應(yīng)用于網(wǎng)絡(luò)安全防御的特點(diǎn)網(wǎng)絡(luò)安全已經(jīng)從人人對(duì)抗、人機(jī)對(duì)抗逐漸向基于人工智能的攻防對(duì)抗發(fā)展演化，人工智能技術(shù)應(yīng)用于網(wǎng)絡(luò)安全防御領(lǐng)域主要有以下方面特點(diǎn)：1、有效抵御復(fù)雜網(wǎng)絡(luò)系統(tǒng)的安全漏洞更快發(fā)現(xiàn)并解決安全漏洞，提升整體安全防御水平。2、大幅縮短對(duì)攻擊的響應(yīng)時(shí)間潛在損失，提高網(wǎng)絡(luò)安全防御的效能。3、增強(qiáng)網(wǎng)絡(luò)安全防御的協(xié)作能力全防御主動(dòng)權(quán)，最大限度阻斷威脅、降低風(fēng)險(xiǎn)。人工智能在網(wǎng)絡(luò)安全防御中的應(yīng)用人工智能技術(shù)應(yīng)用可以提升網(wǎng)絡(luò)安全防御的智能化水平，在網(wǎng)絡(luò)安全防御中的應(yīng)用包括以下幾個(gè)方面：1、智能安全漏洞防御傳統(tǒng)的安全漏洞檢測(cè)主要依靠人工的方式進(jìn)行，專(zhuān)家依賴(lài)性強(qiáng)且耗時(shí)長(zhǎng)，通過(guò)人工智能技術(shù)實(shí)現(xiàn)自動(dòng)化漏洞發(fā)現(xiàn)與修復(fù)，極大提升安全漏防御能力。安全漏洞發(fā)現(xiàn)：可通過(guò)機(jī)器學(xué)習(xí)算法分析網(wǎng)絡(luò)流量、系統(tǒng)日志、攻擊特征等多維數(shù)據(jù)，識(shí)別漏洞特征，通過(guò)深度學(xué)習(xí)準(zhǔn)確地判斷是否存在漏洞。洞的時(shí)間。安全漏洞修復(fù)：與，自動(dòng)化漏洞修復(fù)技術(shù)能夠極大提升漏洞修復(fù)效能。機(jī)器學(xué)習(xí)算法可以通過(guò)分析漏洞特征和歷史修復(fù)方案，自動(dòng)學(xué)習(xí)漏洞修復(fù)方復(fù)代碼或提供修復(fù)工具，幫助工程師快速修復(fù)漏洞，提升漏洞修復(fù)效率。2、智能安全態(tài)勢(shì)感知提高網(wǎng)絡(luò)安全性：提升海量數(shù)據(jù)處理效率：速、準(zhǔn)確地識(shí)別出威脅。增強(qiáng)威脅數(shù)據(jù)挖掘能力：像、建立威脅情報(bào)庫(kù)，更全面掌握高級(jí)威脅情報(bào)。智能檢測(cè)和預(yù)警：對(duì)歷史數(shù)據(jù)的分析和預(yù)測(cè)，預(yù)警未來(lái)可能出現(xiàn)的威脅趨勢(shì)和攻擊模式。3、智能安全運(yùn)營(yíng)網(wǎng)絡(luò)安全運(yùn)營(yíng)面臨諸多挑戰(zhàn)，例如安全設(shè)備種類(lèi)繁多、威脅數(shù)據(jù)量龐大、專(zhuān)業(yè)人才短缺以及人工處理效率低下等問(wèn)題。將人工智能技術(shù)與安全運(yùn)營(yíng)相結(jié)合，能夠顯著提升安全運(yùn)營(yíng)的智能化水平，極大提高處理效率。AISecOps（智能驅(qū)動(dòng)安全運(yùn)營(yíng)）是人工智能技術(shù)與安全運(yùn)營(yíng)的融合，以安全運(yùn)營(yíng)目標(biāo)為導(dǎo)向，以人、流程、技術(shù)與數(shù)據(jù)的融合為基礎(chǔ)，面向預(yù)防、檢測(cè)、精準(zhǔn)判斷安全事件影響范圍，快速指揮調(diào)度及響應(yīng)。人工智能技術(shù)應(yīng)用可以從以下幾方面提升安全運(yùn)營(yíng)效能：智能化響應(yīng)與處置：將NLP安全運(yùn)營(yíng)流程智能化：規(guī)性檢查、安全事件處理等。智能分析預(yù)測(cè)與決策：提供重要信息，優(yōu)化安全運(yùn)營(yíng)戰(zhàn)略和決策。自動(dòng)化生成合規(guī)性報(bào)告：析整體安全態(tài)勢(shì)，生成多維度、安全運(yùn)營(yíng)報(bào)告。打造智能安全防御體系：絡(luò)安全整體水平。4、智能網(wǎng)絡(luò)攻擊溯源的網(wǎng)絡(luò)安全保護(hù)。網(wǎng)絡(luò)攻擊溯源通過(guò)安全設(shè)備告警、日志和流量分析、服務(wù)資源異常、蜜罐IPID人工智能在網(wǎng)絡(luò)安全防御中的挑戰(zhàn)1、網(wǎng)絡(luò)安全場(chǎng)景攻擊趨于復(fù)雜化，基于已知樣本集預(yù)測(cè)未知難度較大于已知樣本構(gòu)建的人工智能算法模型難以覆蓋所有攻擊場(chǎng)景。2、算法模型如果不能自適應(yīng)優(yōu)化，可能導(dǎo)致無(wú)效告警產(chǎn)生3、人工智能算法模型檢出告警的可解釋性需要關(guān)注IOC值等特征原始數(shù)值，將很難支撐安全專(zhuān)家進(jìn)行響應(yīng)處置。AI賦能威脅檢測(cè)AIAI4090現(xiàn)。受限于篇幅，同時(shí)也從時(shí)效性的角度出發(fā)，本節(jié)將對(duì)近些年來(lái)更為流行的AI賦能威脅檢測(cè)應(yīng)用的相關(guān)技術(shù)給出簡(jiǎn)要介紹。惡意代碼檢測(cè)攻擊為典型代PEAI（如病毒的特征碼等類(lèi)別的多個(gè)惡意代碼特征進(jìn)一步總結(jié)出識(shí)別的規(guī)則?；趧?dòng)態(tài)分析的方法：在虛擬環(huán)境中運(yùn)行惡意代碼并監(jiān)控其行為，如系模式，并作為識(shí)別的依據(jù)。AIAIAI惡意流量檢測(cè)帶來(lái)了新的挑戰(zhàn)。AI基于歷史流量數(shù)據(jù)構(gòu)建異常檢測(cè)模型。這類(lèi)方法相對(duì)較為簡(jiǎn)單，但也AI3σARIMAOne-ClassSVM、自編碼器等。另一ABOD針對(duì)流量數(shù)據(jù)提取多維度特征構(gòu)建基于機(jī)器學(xué)習(xí)的分類(lèi)檢測(cè)模型。其HTTPURL、referer、user-agentcookie量與特定類(lèi)型的惡意流量，如信息熵、可見(jiàn)字符占比、參數(shù)個(gè)數(shù)及意義分值、base64LGBMxgboostPECNNRNN、LSTM、Transformer惡意域名檢測(cè)DGAC&CAI基于域名字符串的檢測(cè)方法DGAAILSTM、Transformer基于域名請(qǐng)求解析記錄的檢測(cè)方法IP的惡意域名檢測(cè)分類(lèi)模型?；诰W(wǎng)站內(nèi)容的檢測(cè)方法JS檢測(cè)分類(lèi)模型。威脅情報(bào)提取AI很多來(lái)源的漏洞描述信息是以非結(jié)構(gòu)化文本形式呈現(xiàn)的，包括CVE、ExploitDBSecurityFocusSecurityTrackerOpenwallSecurityFocus語(yǔ)言處理算法難以駕馭；（3）（即期望提取的情報(bào)元素BiLSTM、BiGRU、BERT、UIEHAN、CasRel、TPLinker、UIE敏感信息識(shí)別文檔，可能不包含特定的敏感詞語(yǔ)，比如內(nèi)部會(huì)議紀(jì)要等。AI實(shí)現(xiàn)一次性對(duì)大量文檔完成標(biāo)記工作。信息識(shí)別分類(lèi)模型，然后再在決策層使用融合算法進(jìn)行最終判定。AI伴生安全概述AIAI系統(tǒng)的脆弱（比如機(jī)器人類(lèi)安全，這些都是人工智能的衍生安全問(wèn)題。ChatGPTAI衍生安全影響AI的合規(guī)使用，還涉及人身安全、隱私保護(hù)、軍事與國(guó)家安全、倫理道德和法律規(guī)范等一系列與社會(huì)治理有關(guān)的挑戰(zhàn)性問(wèn)題。AI內(nèi)生安全AI帶來(lái)的問(wèn)題。AIAI脅在總體上分為三個(gè)大方面，即AIAIAI內(nèi)生安全涉及多個(gè)方面：人工智能依賴(lài)的框架、組件、環(huán)境等存在問(wèn)題人工智能數(shù)據(jù)的噪聲、不平衡、錯(cuò)誤等問(wèn)題人工智能算法缺陷問(wèn)題人工智能模型的知識(shí)產(chǎn)權(quán)保護(hù)、污染等問(wèn)題2023年, OWASP發(fā)布的機(jī)器學(xué)習(xí)安全風(fēng)險(xiǎn)TOP10就涵蓋諸多方面。圖4OWASP機(jī)器學(xué)習(xí)安全風(fēng)險(xiǎn)TOP10TensorFlowCaffe）等風(fēng)險(xiǎn)。有知識(shí)產(chǎn)權(quán)保護(hù)和風(fēng)險(xiǎn)防范與檢測(cè)機(jī)制。變形、噪聲數(shù)據(jù)的輸入，都會(huì)對(duì)人工智能系統(tǒng)形成嚴(yán)重的干擾。AI框架安全務(wù)邏輯,目前使用較多的深度學(xué)習(xí)框架包括TensorFlowPyTorch此外，算法模型和框架還強(qiáng)依賴(lài)于大量三方包，如numpy、pandas、計(jì)算機(jī)openCVNLTK框架和三方包中存在漏洞，就會(huì)被引入模型，并破壞模型的可用性。例如，CVECVE-2019-9635TensorFlow1.12.2GIF文件對(duì)系統(tǒng)進(jìn)行“拒AI幸免，漏洞類(lèi)型涵蓋緩沖區(qū)溢出、CSRF、XSS算法安全算法是人工智能系統(tǒng)的大腦，定義了其智能行為的模式與效力。不成熟而導(dǎo)致的。模型安全對(duì)其知識(shí)產(chǎn)權(quán)的保護(hù)也成為挑戰(zhàn)。Saver.ckptTensorFlow以獲取模型參數(shù)，而這些模型參數(shù)的意義巨大，一旦丟失會(huì)造成嚴(yán)重的后果。段防止模型被非法竊取。數(shù)據(jù)安全一個(gè)重要的原因便是近十幾年來(lái)大數(shù)據(jù)的蓬勃發(fā)展為機(jī)器學(xué)習(xí)等人工智能算法抗樣本都可以影響人工智能的安全。統(tǒng)形成嚴(yán)重的干擾，直接影響到人工智能算法的執(zhí)行效果。使得人工智能算法訓(xùn)練得到不正確的模型參數(shù)，從而引發(fā)算法錯(cuò)誤。相比于數(shù)據(jù)投毒，通過(guò)對(duì)抗樣本實(shí)施攻擊是近年來(lái)新出現(xiàn)的一種攻擊方法。運(yùn)行安全觀的原因?qū)е氯斯ぶ悄苣Ｐ瓦\(yùn)行時(shí)出現(xiàn)安全問(wèn)題。AI衍生安全人工智能衍生安全指人工智能系統(tǒng)因其自身脆弱性被利用而引起其他領(lǐng)域的問(wèn)題，AI衍生安全影響AI的合規(guī)使用，還涉及人身安全、隱私保護(hù)等?？傮w來(lái)說(shuō)，人工智能的衍生安全包括以下兩大類(lèi)：支付等方面。時(shí)是保護(hù)司機(jī)還是乘坐者。型帶來(lái)的安全問(wèn)題和人工智能武器引發(fā)軍備競(jìng)賽等三個(gè)方面簡(jiǎn)要介紹衍生安全的挑戰(zhàn)。1、人工智能系統(tǒng)失誤而引發(fā)的安全事故（如機(jī)器人3制和危及人類(lèi)安全的可能。IOActive5010502、大模型廣泛應(yīng)用帶來(lái)的衍生安全問(wèn)題ChatGPT新聞則可能引發(fā)更加復(fù)雜的社會(huì)問(wèn)題。AIGC3、人工智能武器研發(fā)可能引發(fā)國(guó)際軍備競(jìng)賽20162018強(qiáng)化美軍的戰(zhàn)爭(zhēng)能力。題，AIAIAI安全的生態(tài)AI安全的監(jiān)管生態(tài)法律法規(guī)美國(guó)白宮20231030日發(fā)布拜登簽署的《關(guān)于安全、可靠和可信AI行政命令》，以確保美國(guó)在把握AI的前景和管理其風(fēng)險(xiǎn)方面處于領(lǐng)先地位。作為美政府負(fù)責(zé)任創(chuàng)新綜合戰(zhàn)略的一部分，該行政令以美國(guó)總統(tǒng)之前采取的行動(dòng)為基礎(chǔ)，包括促使15家領(lǐng)軍企業(yè)自愿承諾推動(dòng)安全、可靠和可信的AI發(fā)展的工作。該行政令包含8AI安全的新標(biāo)準(zhǔn)；保護(hù)美國(guó)民眾的隱私；促進(jìn)公平和公民權(quán)利；維護(hù)消費(fèi)者、病患和學(xué)生的權(quán)益；支持勞動(dòng)者；促進(jìn)創(chuàng)新和競(jìng)爭(zhēng)；提升美國(guó)在海外的領(lǐng)導(dǎo)力；確保美國(guó)政府負(fù)責(zé)任且有效地使用AI。美國(guó)《2020年國(guó)家人工智能倡議法案》（NationalAIInitiativeActof2020）頒布于2021年1月，旨在強(qiáng)化和協(xié)調(diào)各聯(lián)邦機(jī)構(gòu)之間的人工智能研發(fā)活動(dòng)，確保美國(guó)在全球人工智能技術(shù)領(lǐng)域的領(lǐng)先地位?！?020年國(guó)家AI倡議法案》通過(guò)將美國(guó)AI計(jì)劃編入法典以幫助增加研究投資、改善計(jì)算和數(shù)據(jù)資源的獲取、設(shè)置技術(shù)標(biāo)準(zhǔn)、建立勞動(dòng)力系統(tǒng)并跟盟友展開(kāi)合作。其中關(guān)鍵措施有：設(shè)立國(guó)家人工智能倡議辦公室，屬于白宮科技政策辦公室，承擔(dān)監(jiān)督和實(shí)施美國(guó)國(guó)家人工智能戰(zhàn)略等職責(zé)。設(shè)立國(guó)家人工智能咨詢(xún)委員會(huì)，委員會(huì)應(yīng)由商務(wù)部部長(zhǎng)任命，代表廣泛跨學(xué)科的學(xué)術(shù)機(jī)構(gòu)、私營(yíng)企業(yè)、非盈利機(jī)構(gòu)等，并就人工智能相關(guān)事項(xiàng)向總統(tǒng)和國(guó)家人工智能辦公警示提供建議，幫助美國(guó)保持在人工智能領(lǐng)域的領(lǐng)導(dǎo)地位。加大人工智能研發(fā)投入，命令聯(lián)邦機(jī)構(gòu)在其研發(fā)任務(wù)中優(yōu)先考慮人工智能投資的方式，保持美國(guó)對(duì)高回報(bào)、基礎(chǔ)性人工智能研發(fā)的長(zhǎng)期且強(qiáng)有力的重視。開(kāi)放人工智能資源，要求相關(guān)機(jī)構(gòu)將聯(lián)邦數(shù)據(jù)、模型向美國(guó)人工智能和計(jì)算資源研發(fā)專(zhuān)家、研究人員和產(chǎn)業(yè)開(kāi)放，增強(qiáng)公眾對(duì)人工智能技術(shù)的信任,提高這些資源對(duì)人工智能研發(fā)專(zhuān)家的價(jià)值,同時(shí)確保數(shù)據(jù)安全、保護(hù)公民自由與隱私權(quán)又不失機(jī)密性。設(shè)定人工智能治理標(biāo)準(zhǔn)。聯(lián)邦機(jī)構(gòu)將通過(guò)建立適用于不同領(lǐng)域的技術(shù)工業(yè)部門(mén)的人工智能發(fā)展指南來(lái)增強(qiáng)公眾對(duì)人工智能系統(tǒng)的信任，幫助聯(lián)邦監(jiān)管機(jī)構(gòu)制定一套人工智能技術(shù)的治理方法。該倡議還要求美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所領(lǐng)導(dǎo)制定人工智能系統(tǒng)的適當(dāng)技術(shù)標(biāo)準(zhǔn)，使其可靠、安全、便捷、可互操作。依據(jù)此法案，美國(guó)白宮科學(xué)技術(shù)政策辦公室（OSTP）宣布成立國(guó)家人工智能倡議辦公室和國(guó)家人工智能咨詢(xún)委員會(huì)，并建立或指定一個(gè)機(jī)構(gòu)間委員會(huì)，以更健全完備的組織機(jī)構(gòu)推動(dòng)“國(guó)家人工智能計(jì)劃”實(shí)施。該法案顯示了兩黨AIAI和舉措編入法律并加以擴(kuò)展。例如，將美國(guó)AI5（加大人工智能研發(fā)投入、開(kāi)放人工智能資源、設(shè)定人工智能治理標(biāo)準(zhǔn)、培養(yǎng)人工智能勞動(dòng)力，以及國(guó)際協(xié)作和保護(hù)美國(guó)人工智能優(yōu)勢(shì)）納入法律，擴(kuò)大2018年成立的人工智能專(zhuān)責(zé)委員會(huì)并使其成為常設(shè)機(jī)構(gòu)，承認(rèn)20202019AI2019AIAI架等。美國(guó)《人工智能權(quán)利法案藍(lán)圖》202210的建設(shè)、部署和治理中保護(hù)公民的權(quán)利和促進(jìn)民主價(jià)值。核心內(nèi)容如下：安全和有效的系統(tǒng)。自動(dòng)化系統(tǒng)應(yīng)該通過(guò)咨詢(xún)不同的社區(qū)、利益相關(guān)者和領(lǐng)域?qū)＜?，以確定系統(tǒng)的關(guān)注點(diǎn)、風(fēng)險(xiǎn)和潛在影響。算法歧視的保護(hù)。系統(tǒng)應(yīng)該以公平的方式使用和設(shè)計(jì)，當(dāng)自動(dòng)化系統(tǒng)導(dǎo)致人們因其種族、膚色、民族、性別（包括懷孕、性別認(rèn)同等）、宗教、年齡、國(guó)籍、殘疾、退伍軍人身份或其他任何法律保護(hù)的分類(lèi)而受到不合理的待遇或影響時(shí)，就會(huì)發(fā)生算法歧視。數(shù)據(jù)隱私保護(hù)。系統(tǒng)應(yīng)該通過(guò)內(nèi)置的保護(hù)措施，以免受到濫用數(shù)據(jù)行為的影響，而且應(yīng)該確保用戶(hù)應(yīng)該對(duì)關(guān)于自己數(shù)據(jù)的使用方式擁有自主權(quán)。自動(dòng)系統(tǒng)的設(shè)計(jì)者、開(kāi)發(fā)者和部署者應(yīng)該以適當(dāng)?shù)姆绞讲⒃谧畲蟪潭壬汐@取用戶(hù)的同意，并且尊重用戶(hù)關(guān)于收集、使用、訪問(wèn)、轉(zhuǎn)移和刪除用戶(hù)數(shù)據(jù)的決定。告知和解釋。自動(dòng)化系統(tǒng)的設(shè)計(jì)者、開(kāi)發(fā)者和部署者應(yīng)該提供可訪問(wèn)的通俗語(yǔ)言文件，包括對(duì)整個(gè)系統(tǒng)功能和自動(dòng)化所起作用的清晰描述，關(guān)于這些系統(tǒng)使用的告知，負(fù)責(zé)該系統(tǒng)的個(gè)人或組織，應(yīng)當(dāng)對(duì)結(jié)果給出清晰、及時(shí)和可訪問(wèn)的解釋。歐洲歐洲擬議的《人工智能法》主要側(cè)重于加強(qiáng)圍繞數(shù)據(jù)質(zhì)量、透明度、人類(lèi)監(jiān)督和責(zé)任的規(guī)則。它還旨在解決從醫(yī)療和教育到金融和能源等各個(gè)領(lǐng)域的道德問(wèn)題和實(shí)施挑戰(zhàn)?！度斯ぶ悄芊ā返幕A(chǔ)是一個(gè)分類(lèi)系統(tǒng)，用來(lái)明確人工智能技術(shù)可能對(duì)個(gè)體的健康和安全或基本權(quán)利構(gòu)成的風(fēng)險(xiǎn)水平。該框架包括四個(gè)風(fēng)險(xiǎn)等級(jí)：不可接受的、高的、有限的和最低的。具有有限和最低風(fēng)險(xiǎn)的人工智能系統(tǒng)，如垃圾郵件過(guò)濾器或視頻游戲等是允許使用的，除了透明度義務(wù)外，沒(méi)有什么要求。而如政府的社會(huì)評(píng)分和公共場(chǎng)所的實(shí)時(shí)生物識(shí)別系統(tǒng)會(huì)被認(rèn)為構(gòu)成不可接受的風(fēng)險(xiǎn)的系統(tǒng)，禁止使用且?guī)缀鯖](méi)有例外。高風(fēng)險(xiǎn)的人工智能系統(tǒng)是被允許的，但開(kāi)發(fā)者和使用者必須遵守規(guī)定，要進(jìn)行嚴(yán)格的測(cè)試，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行適當(dāng)?shù)挠涗洠⒅贫ㄔ敿?xì)的人類(lèi)監(jiān)督問(wèn)責(zé)框架。被視為高風(fēng)險(xiǎn)的人工智能包括自動(dòng)駕駛汽車(chē)、醫(yī)療設(shè)備和關(guān)鍵基礎(chǔ)設(shè)施機(jī)械，以上僅為枚舉。擬議的法案還概述了圍繞所謂的通用人工智能的規(guī)定，這些人工智能系統(tǒng)可用于不同的目的，具有不同程度的風(fēng)險(xiǎn)。此類(lèi)技術(shù)包括，例如，像ChatGPT這樣的大型語(yǔ)言模型生成型人工智能系統(tǒng)?！度斯ぶ悄芊ā诽岢隽藝?yán)厲的違規(guī)處罰措施。對(duì)于公司來(lái)說(shuō)，罰款可高達(dá)3000萬(wàn)歐元或全球收入的6%。向監(jiān)管機(jī)構(gòu)提交虛假或誤導(dǎo)性文件也會(huì)導(dǎo)致罰款。歐盟GDPR法規(guī)歐盟通用數(shù)據(jù)保護(hù)監(jiān)管法（GDPR）是為個(gè)人的數(shù)據(jù)在處理和數(shù)據(jù)流動(dòng)方面提供保護(hù)。該監(jiān)管法于20165242018525開(kāi)始在歐盟所有成員國(guó)都具有約束力并直接適用。GDPR要求從事個(gè)人數(shù)據(jù)處理的所有人必須遵守其規(guī)定，并賦予個(gè)人數(shù)據(jù)正在處理的個(gè)人一些重要的權(quán)利。參與個(gè)人數(shù)據(jù)處理的自然人和法人，包括公司和政府機(jī)構(gòu)，都被要求按照GDPR行事。潛在的不合規(guī)行為可能導(dǎo)致高額罰金，并導(dǎo)致法院訴訟和名譽(yù)損害的后果。GDPR適用于在歐盟設(shè)立的參與個(gè)人數(shù)據(jù)處理的自然人和法人。但是，對(duì)于位于歐盟以外國(guó)家的公司、機(jī)構(gòu)和個(gè)人，當(dāng)他們處理歐盟公民或居民的個(gè)人數(shù)據(jù)時(shí)，他們須按照GDPR開(kāi)展活動(dòng)。該法案重點(diǎn)保護(hù)的是自然人的“個(gè)人數(shù)據(jù)”，號(hào)稱(chēng)史上最嚴(yán)的數(shù)據(jù)保護(hù)法案。根據(jù)該法案規(guī)定的“市場(chǎng)地原則”，只要數(shù)據(jù)的收集方、數(shù)據(jù)的提供方（被收集數(shù)據(jù)的用戶(hù)）和數(shù)據(jù)的處理方（比如第三方數(shù)據(jù)處理機(jī)構(gòu)）這三方之中，有任何一方是歐盟公民或法人，就將受到該法案管轄。這就是說(shuō)，任何企業(yè)只要是在歐盟市場(chǎng)提供商品或服務(wù)，或者收集歐盟公民的個(gè)人數(shù)據(jù)，都將受到這部法律的管轄。對(duì)于違法企業(yè)的罰金，最高可達(dá)2000（約1.5億元人民幣）或者其全球營(yíng)業(yè)額的4%，以這二者中高者為準(zhǔn)。中國(guó)中國(guó)在第三屆“一帶一路”國(guó)際合作高峰論壇提出了《全球人工智能治理倡議》互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定近年來(lái)，隨著中國(guó)《網(wǎng)絡(luò)安全法》、《數(shù)據(jù)安全法》、《個(gè)人信息保護(hù)法》等相關(guān)法律的不斷完善，人民群眾對(duì)于個(gè)人信息、數(shù)據(jù)安全以及網(wǎng)絡(luò)安全不斷重視。黨中央在《法治社會(huì)建設(shè)實(shí)施綱要（2020-2025年）》明確提出制定完善對(duì)算法推薦等新技術(shù)應(yīng)用的規(guī)范管理辦法。2021年九部委出臺(tái)《關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見(jiàn)》，為《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》（以下簡(jiǎn)稱(chēng)“《規(guī)定》”）的制定奠定了良好的法制基礎(chǔ)。中國(guó)國(guó)家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部、國(guó)家市場(chǎng)監(jiān)督管理總局聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》（以下簡(jiǎn)稱(chēng)《規(guī)定》），自2022年3月1日起施行?！兑?guī)定》明確，應(yīng)用算法推薦技術(shù)，是指利用生成合成類(lèi)、個(gè)性化推送類(lèi)、排序精選類(lèi)、檢索過(guò)濾類(lèi)、調(diào)度決策類(lèi)等算法技術(shù)向用戶(hù)提供信息?！兑?guī)定》明確了算法推薦服務(wù)提供者的信息服務(wù)規(guī)范，要求算法推薦服務(wù)提供者應(yīng)當(dāng)建立健全用戶(hù)注冊(cè)、信息發(fā)布審核、數(shù)據(jù)安全和個(gè)人信息保護(hù)、安全事件應(yīng)急處置等管理制度和技術(shù)措施，定期審核、評(píng)估、驗(yàn)證算法機(jī)制機(jī)理、模型、數(shù)據(jù)和應(yīng)用結(jié)果等；建立健全用于識(shí)別違法和不良信息的特征庫(kù)，發(fā)現(xiàn)違法和不良信息的，應(yīng)當(dāng)采取相應(yīng)的處置措施；加強(qiáng)用戶(hù)模型和用戶(hù)標(biāo)簽管理，完善記入用戶(hù)模型的興趣點(diǎn)規(guī)則和用戶(hù)標(biāo)簽管理規(guī)則；加強(qiáng)算法推薦服務(wù)版面頁(yè)面生態(tài)管理，建立完善人工干預(yù)和用戶(hù)自主選擇機(jī)制，在重點(diǎn)環(huán)節(jié)積極呈現(xiàn)符合主流價(jià)值導(dǎo)向的信息；規(guī)范開(kāi)展互聯(lián)網(wǎng)新聞信息服務(wù)，不得生成合成虛假新聞信息或者傳播非國(guó)家規(guī)定范圍內(nèi)的單位發(fā)布的新聞信息；不得利用算法實(shí)施影響網(wǎng)絡(luò)輿論、規(guī)避監(jiān)督管理以及壟斷和不正當(dāng)競(jìng)爭(zhēng)行為?！兑?guī)定》要求，具有輿論屬性或者社會(huì)動(dòng)員能力的算法推薦服務(wù)提供者應(yīng)當(dāng)在提供服務(wù)之日起十個(gè)工作日內(nèi)通過(guò)互聯(lián)網(wǎng)信息服務(wù)算法備案系統(tǒng)填報(bào)備案信息，履行備案手續(xù)；備案信息發(fā)生變更的，應(yīng)當(dāng)在規(guī)定時(shí)間內(nèi)辦理變更手續(xù)。算法推薦服務(wù)提供者應(yīng)當(dāng)依法留存網(wǎng)絡(luò)日志，配合有關(guān)部門(mén)開(kāi)展安全評(píng)估和監(jiān)督檢查工作，并提供必要的技術(shù)、數(shù)據(jù)等支持和協(xié)助?；ヂ?lián)網(wǎng)彈窗信息服務(wù)管理規(guī)定中國(guó)國(guó)家互聯(lián)網(wǎng)信息辦公室于2022年9月9日，《互聯(lián)網(wǎng)彈窗信息推送服務(wù)管理規(guī)定》（以下簡(jiǎn)稱(chēng)“規(guī)定”）正式發(fā)布，已于2022年9月30日正式施行。《規(guī)定》總共十條，條文簡(jiǎn)短，影響重大?！兑?guī)定》明確了提供信息彈窗的介質(zhì)包括操作系統(tǒng)、應(yīng)用軟件和網(wǎng)站，這也糾正了部分人的認(rèn)知誤區(qū)，《規(guī)定》的主要適用主體和監(jiān)管對(duì)象不僅是PC端桌面和網(wǎng)站彈窗，還包括移動(dòng)APP、小程序、電腦軟件等各種應(yīng)用軟件。這對(duì)企業(yè)來(lái)說(shuō)，尤其要注意，以各種操作系統(tǒng)或硬件類(lèi)型（例如智能穿戴設(shè)備、智慧電視等）為載體的應(yīng)用軟件，通過(guò)所有對(duì)外接口進(jìn)行的彈窗信息，均應(yīng)當(dāng)符合《規(guī)定》的要求。其中，《規(guī)定》第三條明確互聯(lián)網(wǎng)彈窗信息推送服務(wù)應(yīng)當(dāng)遵守的法律法規(guī)明確為“憲法、法律和行政法規(guī)”。事實(shí)上，隨著近兩年互聯(lián)網(wǎng)行業(yè)法律法規(guī)的不斷出臺(tái)，與互聯(lián)網(wǎng)彈窗廣告、信息內(nèi)容安全和用戶(hù)權(quán)益保護(hù)相關(guān)的上位法體系已比較完善，此類(lèi)調(diào)整給監(jiān)管實(shí)務(wù)與企業(yè)合規(guī)治理過(guò)程中，提供了更加清晰的合規(guī)指向?！兑?guī)定》第五條第五款：提供互聯(lián)網(wǎng)彈窗信息推送服務(wù)的，應(yīng)當(dāng)健全彈窗信息推送內(nèi)容管理規(guī)范，完善信息篩選、編輯、推送等工作流程，配備與服務(wù)規(guī)模相適應(yīng)的審核力量，加強(qiáng)彈窗信息內(nèi)容審核。美國(guó)人工智能監(jiān)管側(cè)重于人工智能反對(duì)歧視欺詐濫用，立法關(guān)注應(yīng)對(duì)人工智能帶來(lái)的危害，敦促企業(yè)遵守相關(guān)法律法規(guī)。歐洲人工智能監(jiān)管側(cè)重于可審計(jì)可理解，要求于人類(lèi)交互的人工智能系統(tǒng)需要符合透明度規(guī)則，對(duì)于情感識(shí)別系統(tǒng)或者生物分類(lèi)系統(tǒng)，系統(tǒng)提供者應(yīng)將系統(tǒng)的運(yùn)營(yíng)情況和結(jié)果告知使用者，高風(fēng)險(xiǎn)類(lèi)型的人工智能在上市前，需要進(jìn)行風(fēng)險(xiǎn)評(píng)估。中國(guó)人工智能監(jiān)管側(cè)重于明確標(biāo)準(zhǔn)具體指導(dǎo)，明確人工智能算法推薦服務(wù)者的主體責(zé)任，定期對(duì)算法進(jìn)行審核、評(píng)估和驗(yàn)證，并要求算法推薦服務(wù)i提供者加強(qiáng)算法規(guī)則的透明度和解釋性。行業(yè)標(biāo)準(zhǔn)AIAIAI汽車(chē)行業(yè)：ISO/AWI PAS 8800 Road Vehicles — Safety and intelligence通信行業(yè)：YD/T4044-2022醫(yī)療行業(yè)：YD/T4043-2022IEEE2801-2022IEEERecommendedPracticefortheManagementofDatasetsforMedicalArtificialIntelligence金融行業(yè)：JR/T0221-2021汽車(chē)行業(yè)ISO/AWIPAS8800RoadVehicles—Safetyandartificialintelligence2022920ISO/PAS8800（RoadVehicles—SafetyArtificialIntelligenceAI）9（AIISO/PAS8800ISO/TC22/SC32/WG14AIAI17中汽中心、一汽、華為、商湯、地平線組成的中國(guó)專(zhuān)家代表團(tuán)作為該標(biāo)準(zhǔn)第9小組（AI運(yùn)行監(jiān)控和持續(xù)安全保障）牽頭方參與研究制定工作。SubteamNameSubteam01ConceptsandDefinitionsSubteam02ScopingSubteam03FunctionalSafetyandSOTIFSubteam04Safety LifecycleSubteam05Definitionofsafety-relatedpropertiesoffunctionsSubteam06SelectionofAItechniquesanddesignconsiderationsSubteam07Data-related propertiesSubteam08Evaluatingtheperformance/V&VSubteam09Measuresassuranceduringoperationandcontinuous表1國(guó)際標(biāo)準(zhǔn)內(nèi)容ISO26262、預(yù)期功能安全(SOTIF)ISO21448、ISO/IECTR5469AIISOTS5083AIAIAIAIAIV&V、運(yùn)行監(jiān)控和AI性能不足和故障行為的安9-AIAI搜集、AIYD/T4044-2022基于人工智能的知識(shí)圖譜構(gòu)建技術(shù)要求該標(biāo)準(zhǔn)規(guī)定了基于人工智能的知識(shí)圖譜系統(tǒng)構(gòu)建的技術(shù)要求、基本功能要求、非功能要求，用于規(guī)范基于人工智能的知識(shí)圖譜的框架構(gòu)建流程?？梢詾榭萍计髽I(yè)、用戶(hù)機(jī)構(gòu)、第三方機(jī)構(gòu)等提供指導(dǎo)，包括對(duì)基于人工智能的知識(shí)圖譜系統(tǒng)進(jìn)行設(shè)計(jì)、開(kāi)發(fā)、測(cè)試等內(nèi)容。8.6（GB/T22239—201935273—2020）數(shù)據(jù)機(jī)密性、完整性、可用性要求，數(shù)據(jù)權(quán)限要求等。醫(yī)療行業(yè)YD/T4043-2022基于人工智能的多中心醫(yī)療數(shù)據(jù)協(xié)同分析平臺(tái)參考架構(gòu)該標(biāo)準(zhǔn)件規(guī)定了構(gòu)建多中心醫(yī)學(xué)數(shù)據(jù)協(xié)同分析平臺(tái)的參考構(gòu)架，包括系統(tǒng)架構(gòu)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)分析原則、平臺(tái)特性、功能需求和安全性等。主要為多中心醫(yī)療數(shù)據(jù)協(xié)同分析平臺(tái)的軟件、硬件和網(wǎng)絡(luò)構(gòu)架提供指導(dǎo)。該標(biāo)準(zhǔn)安全部分要求主要包含兩部分內(nèi)容，在4.2章節(jié)數(shù)據(jù)隔離性部分提出及系統(tǒng)安全標(biāo)準(zhǔn)符合要求。金融行業(yè)JR/T0221-2021人工智能算法金融應(yīng)用評(píng)價(jià)規(guī)范2021年3月26日，中國(guó)人民銀行正式發(fā)布金融行業(yè)標(biāo)準(zhǔn)（JR/T0221—2021）《人工智能算法金融應(yīng)用評(píng)價(jià)規(guī)范》。機(jī)構(gòu)加強(qiáng)智能算法應(yīng)用風(fēng)險(xiǎn)管理提供指引。該標(biāo)準(zhǔn)的發(fā)布旨在引導(dǎo)金融機(jī)構(gòu)加強(qiáng)對(duì)人工智能算法金融應(yīng)用的規(guī)范管理更有溫度，打造數(shù)字經(jīng)濟(jì)時(shí)代金融創(chuàng)新發(fā)展新引擎。該標(biāo)準(zhǔn)由全國(guó)金融標(biāo)準(zhǔn)化技術(shù)委員會(huì)歸口管理，由中國(guó)人民銀行科技司提出并負(fù)責(zé)起草，行業(yè)內(nèi)有關(guān)單位共同參與。6章節(jié)安全性評(píng)價(jià)部分針對(duì)目標(biāo)函數(shù)、常見(jiàn)攻擊范圍、算法依指導(dǎo)。國(guó)內(nèi)標(biāo)準(zhǔn)AI安全基礎(chǔ)標(biāo)準(zhǔn)：（報(bào)批稿指導(dǎo)人工智能計(jì)算平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)?！缎畔踩夹g(shù)生成式人工智能預(yù)訓(xùn)練和優(yōu)化訓(xùn)練數(shù)據(jù)安全規(guī)范》在研階段。TC28/SC42學(xué)習(xí)框架多硬件平臺(tái)適配技術(shù)規(guī)范》在研階段。力評(píng)估》已發(fā)布。中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）5可信》在研階段。負(fù)責(zé)/歸口標(biāo)準(zhǔn)類(lèi)型標(biāo)準(zhǔn)編號(hào)標(biāo)準(zhǔn)名稱(chēng)階段全國(guó)信安標(biāo)委國(guó)家標(biāo)準(zhǔn)20211000-T-469信息安全技術(shù)機(jī)器學(xué)習(xí)算法安全評(píng)估規(guī)范報(bào)批稿（TC260）全國(guó)信安標(biāo)委國(guó)家標(biāo)準(zhǔn)20230249-T-469信息安全技術(shù)人工智能計(jì)算平臺(tái)安全框架征求意見(jiàn)稿（TC260）全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)--信息安全技術(shù)生成式人工智能預(yù)訓(xùn)練和優(yōu)化訓(xùn)練數(shù)據(jù)安全規(guī)范在研全國(guó)信標(biāo)委人國(guó)家標(biāo)準(zhǔn)20221791-T-469人工智能管理體系在研工智能分委會(huì)（TC28/SC42）全國(guó)信標(biāo)委人國(guó)家標(biāo)準(zhǔn)20221795-T-469人工智能深度學(xué)習(xí)框架多硬件平臺(tái)適配技術(shù)規(guī)范在研工智能分委會(huì)（TC28/SC42）中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)（CESA）團(tuán)體標(biāo)準(zhǔn)T/CESA1193-2022信息技術(shù)人工智能風(fēng)險(xiǎn)管理能力評(píng)估已發(fā)布中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟--可信人工智能組織治理能力成熟度模型在研中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟--大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用評(píng)估方法第5在研表2AI安全基礎(chǔ)標(biāo)準(zhǔn)AI應(yīng)用相關(guān)安全標(biāo)準(zhǔn)：（TC260）GB/T40660—2021《信息安全技術(shù)生物特征識(shí)別信息保護(hù)基本要求》，以及人臉、聲紋、基因、步態(tài)等4項(xiàng)數(shù)據(jù)安全國(guó)家標(biāo)準(zhǔn)。在智能汽車(chē)方向，發(fā)布了國(guó)家標(biāo)準(zhǔn)GB/T41871—2022《信息安全技術(shù)汽車(chē)數(shù)據(jù)處理安全要求》，有效支撐《汽車(chē)數(shù)據(jù)安全管理若干規(guī)定（試行）》，提升了智能汽車(chē)相關(guān)企業(yè)的數(shù)據(jù)安全水平。（TC標(biāo)準(zhǔn)。CCSA開(kāi)展《人工智能終端產(chǎn)品個(gè)人信息保護(hù)要求和評(píng)估方法》與《人工智能終端設(shè)（征求意見(jiàn)稿別分級(jí)分類(lèi)應(yīng)用標(biāo)準(zhǔn)》（草案）。中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)（CESA）全技術(shù)規(guī)范》已發(fā)布。新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA）發(fā)布了《人工智能視覺(jué)1指南》、《生物特征模板的安全使用要求》等標(biāo)準(zhǔn)，《信息技術(shù)數(shù)字視網(wǎng)膜系11部分：安全與隱私保護(hù)》在草案階段。負(fù)責(zé)/歸口標(biāo)準(zhǔn)類(lèi)型標(biāo)準(zhǔn)編號(hào)標(biāo)準(zhǔn)名稱(chēng)階段全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)GB/T38542-2020信息安全技術(shù)基于生物特征識(shí)別的移動(dòng)智能終端身份鑒別技術(shù)框架發(fā)布全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)GB/T38671-2020信息安全技術(shù)遠(yuǎn)程人臉識(shí)別系統(tǒng)技術(shù)要求發(fā)布全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)GB/T40660-2021信息安全技術(shù)生物特征識(shí)別信息保護(hù)基本要求發(fā)布全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)GB/T41819-2022信息安全技術(shù)人臉識(shí)別數(shù)據(jù)安全要求發(fā)布全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)GB/T41807-2022信息安全技術(shù)聲紋識(shí)別數(shù)據(jù)安全要求發(fā)布全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)GB/T41806-2022信息安全技術(shù)基因識(shí)別數(shù)據(jù)安全要求發(fā)布全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)GB/T41773-2022信息安全技術(shù)步態(tài)識(shí)別數(shù)據(jù)安全要求發(fā)布全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)GB/T41871-2022信息安全技術(shù)汽車(chē)數(shù)據(jù)處理安全要求發(fā)布全國(guó)信安標(biāo)委（TC260）國(guó)家標(biāo)準(zhǔn)20230253-T-469信息安全技術(shù)基于個(gè)人信息的自動(dòng)化決策安全要求在研全國(guó)信標(biāo)委生物特征識(shí)別分委會(huì)(TC28/SC37)國(guó)家標(biāo)準(zhǔn)GB/T 41815.1-2022信息技術(shù)生物特征識(shí)1分：框架發(fā)布別分委會(huì)(TC28/SC37)國(guó)家標(biāo)準(zhǔn)GB/T41815.2-202信息技術(shù)生物特征識(shí)2分：數(shù)據(jù)格式發(fā)布全國(guó)信標(biāo)委生物特征識(shí)別分委會(huì)國(guó)家標(biāo)準(zhǔn)GB/T41815.3-2023信息技術(shù)生物特征識(shí)別呈現(xiàn)攻擊檢3發(fā)布(TC28/SC37)告全國(guó)信標(biāo)委生物特征識(shí)別分委會(huì)國(guó)家標(biāo)準(zhǔn)GB/T37036.3-2019信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別 第3部分人臉發(fā)布（TC28/SC37）全國(guó)信標(biāo)委生物特征識(shí)別分委會(huì)國(guó)家標(biāo)準(zhǔn)GB/T37036.8-2022信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別 第8部分呈現(xiàn)攻擊檢測(cè)發(fā)布(TC28/SC37)全國(guó)信標(biāo)委生物特征識(shí)別分委會(huì)國(guó)家標(biāo)準(zhǔn)GB/T5271.37-202137分：生物特征識(shí)別發(fā)布(TC28/SC37)全國(guó)信標(biāo)委生物特征識(shí)別分委會(huì)國(guó)家標(biāo)準(zhǔn)20221220-T-469信息技術(shù)生物特征識(shí)別人臉識(shí)別系統(tǒng)應(yīng)用要求在研(TC28/SC37）準(zhǔn)化協(xié)會(huì)（CCSA）行業(yè)標(biāo)準(zhǔn)YD/T4087-2022移動(dòng)智能終端人臉識(shí)別安全技術(shù)要求及測(cè)試評(píng)估方法發(fā)布準(zhǔn)化協(xié)會(huì)（CCSA）行業(yè)標(biāo)準(zhǔn)2023-0041TYD人工智能開(kāi)發(fā)平臺(tái)通用2全要求在研準(zhǔn)化協(xié)會(huì)（CCSA）行業(yè)標(biāo)準(zhǔn)2023-0039TYD面向人臉識(shí)別系統(tǒng)的人臉信息保護(hù)基礎(chǔ)能力要求在研準(zhǔn)化協(xié)會(huì)（CCSA）行業(yè)標(biāo)準(zhǔn)--人臉識(shí)別線下支付安全要求草案準(zhǔn)化協(xié)會(huì)（CCSA）行業(yè)標(biāo)準(zhǔn)2021-0630TYD電信網(wǎng)和互聯(lián)網(wǎng)人臉識(shí)別數(shù)據(jù)安全檢測(cè)要求在研上海市市監(jiān)局地方標(biāo)準(zhǔn)--人工智能數(shù)據(jù)通用安全要求征求意見(jiàn)稿上海市市監(jiān)局地方標(biāo)準(zhǔn)--人臉識(shí)別分級(jí)分類(lèi)應(yīng)用標(biāo)準(zhǔn)草案中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技團(tuán)體標(biāo)準(zhǔn)T/CESA1124-2020信息安全技術(shù)人臉比對(duì)模型安全技術(shù)規(guī)范發(fā)布術(shù)協(xié)會(huì)（CESA）新一代人工團(tuán)體標(biāo)T/AI110.1-人工智能視覺(jué)隱私保護(hù)發(fā)布智能產(chǎn)業(yè)技準(zhǔn)2020第1部分：通用技術(shù)要術(shù)創(chuàng)新戰(zhàn)略求聯(lián)盟（AITISA）新一代人工團(tuán)體標(biāo)T/AI110.2-人工智能視覺(jué)隱私保護(hù)發(fā)布智能產(chǎn)業(yè)技準(zhǔn)20222術(shù)創(chuàng)新戰(zhàn)略南聯(lián)盟（AITISA）新一代人工團(tuán)體標(biāo)T/AI113-2021生物特征識(shí)別服務(wù)中的發(fā)布智能產(chǎn)業(yè)技準(zhǔn)隱私保護(hù)技術(shù)指南術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA）新一代人工團(tuán)體標(biāo)T/AI111-2020生物特征模板的安全使發(fā)布智能產(chǎn)業(yè)技準(zhǔn)用要求術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA）新一代人工團(tuán)體標(biāo)2023011205信息技術(shù)數(shù)字視網(wǎng)膜草案智能產(chǎn)業(yè)技準(zhǔn)系統(tǒng)第11部分：安全術(shù)創(chuàng)新戰(zhàn)略與隱私保護(hù)聯(lián)盟（AITISA）表3AI應(yīng)用安全相關(guān)標(biāo)準(zhǔn)國(guó)際標(biāo)準(zhǔn)：國(guó)際標(biāo)準(zhǔn)組織（ISO）在人工智能領(lǐng)域已開(kāi)展大量標(biāo)準(zhǔn)化工作，并專(zhuān)門(mén)成立ISO/IECJTC1SC42管理、可信性、安全與隱私保護(hù)三個(gè)方面。在人工智能管理方面，國(guó)際標(biāo)準(zhǔn)主要研究人工智能數(shù)據(jù)的治理、人工智ISO/IEC38507:2022《信息技術(shù)治理組織使用人工智能的治理影響》、ISO/IEC23894:2023《人工智能風(fēng)險(xiǎn)管理》等。在可信性方面，國(guó)際標(biāo)準(zhǔn)主要關(guān)注人工智能的透明度、可解釋性、健壯ISO/IECTR24028:2020《人工智能人工智能中可信賴(lài)性概述》等。在安全與隱私保護(hù)方面，國(guó)際標(biāo)準(zhǔn)主要聚焦于人工智能的系統(tǒng)安全、功ISO/IEC27090《人工智能解決人工智能系統(tǒng)中安全威脅和故障的指南》、ISO/IECTR5469ISO/IEC27091《人工智能隱私保護(hù)》等。歐洲歐洲電信標(biāo)準(zhǔn)化協(xié)會(huì)（ETSI）近期關(guān)注的重點(diǎn)議題包括人工智能數(shù)據(jù)安全、ETSIGRSAI004ETSIGRSAI005《人工智能安全：緩解策略報(bào)告》等，描述了以人工智能為基礎(chǔ)的系統(tǒng)安全問(wèn)題挑戰(zhàn)，并提出了一系列緩解措施與指南。（CEN）（CENELEC）成立了新的CEN-CENELECJTC21“透明性、健壯性、安全性等多個(gè)方面提出了標(biāo)準(zhǔn)需求。美國(guó)《可解釋人工智NISTIR-8332《信任AI100-1開(kāi)發(fā)、部署和使用提供指南。國(guó)際共識(shí)20171BeneficialAI23全世界在發(fā)展人工智能的同時(shí)嚴(yán)格遵守這些原則,共同保障人類(lèi)未來(lái)的倫理、利益和安全。阿西洛馬人工智能原則(AsilomarAIPrinciples)的機(jī)器人三大法則的擴(kuò)展版本。23（ResearchIssues）、倫理和價(jià)值（Ethicsandvalues）、長(zhǎng)期問(wèn)題（Longer-termIssues）?？蒲蠥I安全的技術(shù)生態(tài)AI環(huán)境的安全AI環(huán)境安全的分類(lèi)AIAIAIAI2AI環(huán)境的干系人（相關(guān)方）AI環(huán)境的干系人，主要有如下的幾類(lèi)：AI展；B）AIAIAI施來(lái)保護(hù)自身和企業(yè)的利益。在本文中，我們將重點(diǎn)關(guān)注AI的相關(guān)方的安全生態(tài)。AI環(huán)境的安全技術(shù)支持AIA）數(shù)據(jù)安全AI泄露或數(shù)據(jù)損壞。算法安全AI意攻擊者利用或操縱。模型安全模型安全是確保AI系統(tǒng)所使用的模型的安全性和可信度。這包括對(duì)模型進(jìn)模型受到對(duì)抗性攻擊的風(fēng)險(xiǎn)。應(yīng)用安全AIAI濫用。供應(yīng)鏈安全AIAIAI基礎(chǔ)架構(gòu)安全AIAIAIAI和威脅。AI環(huán)境安全的相關(guān)方生態(tài)AIAIAI云服務(wù)提供商的安全生態(tài)AIAI應(yīng)用在云平臺(tái)的全生命周期安全。理（IAM）等，滿足客戶(hù)多樣化的安全需求。此外，云服務(wù)提供商需要為AI應(yīng)用提供自動(dòng)化開(kāi)發(fā)和運(yùn)營(yíng)能力，包括：AI規(guī)要求；AI監(jiān)控云環(huán)境中的安全事件，并在檢測(cè)到異常行為時(shí)觸發(fā)報(bào)警；依據(jù)預(yù)設(shè)的安全策略，自動(dòng)執(zhí)行相應(yīng)的安全響應(yīng)措施，例如隔離受影響的系統(tǒng)、阻斷非法訪問(wèn)等。AIAIAIAI硬件供應(yīng)商的安全生態(tài)AI網(wǎng)絡(luò)和數(shù)據(jù)安全工具。他們還應(yīng)增強(qiáng)以下關(guān)鍵安全能力：境因素導(dǎo)致的設(shè)備故障。計(jì)算安全：AI計(jì)算任務(wù)的物理隔離，以防止交叉攻擊。如使用硬件安全模塊（HSM）冗余備份機(jī)制可以確保數(shù)據(jù)的持久性和可靠性。軟件供應(yīng)商的安全生態(tài)AIAI安全開(kāi)發(fā)生命周期：AI擊。24/7安全賦能：AIAISDKAI安全發(fā)展，降低了整個(gè)生態(tài)面臨的安全風(fēng)險(xiǎn)。開(kāi)源社區(qū)的安全生態(tài)開(kāi)源社區(qū)在AIAI可能由于缺乏維護(hù)而存在安全風(fēng)險(xiǎn)。AI研究機(jī)構(gòu)的安全生態(tài)AI最終用戶(hù)的安全生態(tài)AIAI環(huán)境安全的提升建議AIAI1）加強(qiáng)合作與信息共享AI脅情報(bào)和技術(shù)研究成果。AIAIAIAIAIAIAIAIAIAIAIAI全性和穩(wěn)定性。建立應(yīng)急響應(yīng)機(jī)制AIAIAI數(shù)據(jù)的安全AI數(shù)據(jù)的安全威脅AIAI/準(zhǔn)確性，在機(jī)器學(xué)習(xí)的每個(gè)步驟中，都存在著隱私泄露的風(fēng)險(xiǎn)：信息數(shù)據(jù)被收集，會(huì)造成用戶(hù)隱私泄露；此外，通過(guò)AI者可能會(huì)注入一些惡意數(shù)據(jù)，導(dǎo)致數(shù)據(jù)投毒等攻擊。獲取，導(dǎo)致反推出訓(xùn)練數(shù)據(jù)。在這個(gè)階段面臨的主要攻擊是模型反演攻擊。推斷攻擊。機(jī)器學(xué)習(xí)階段可能面臨的攻擊/安全風(fēng)險(xiǎn)數(shù)據(jù)收集/預(yù)處理階段數(shù)據(jù)投毒攻擊、個(gè)人敏感信息泄露訓(xùn)練階段模型逆向攻擊、模型提取攻擊預(yù)測(cè)階段模型逆向攻擊、模型提取攻擊、成員推斷攻擊表4機(jī)器學(xué)習(xí)三個(gè)階段數(shù)據(jù)投毒攻擊是指攻擊者修改一定數(shù)量的數(shù)據(jù)，使得模型訓(xùn)練出錯(cuò)。模型逆向攻擊是指攻擊者從模型預(yù)測(cè)結(jié)果中提取和訓(xùn)練數(shù)據(jù)有關(guān)的信息。學(xué)習(xí)模型。API，從預(yù)測(cè)結(jié)果中獲知某個(gè)特征數(shù)據(jù)是否包含在模型的訓(xùn)練集中。AI數(shù)據(jù)的安全保護(hù)AIAIAI（數(shù)據(jù)投毒、對(duì)抗樣本等）的防護(hù)技術(shù)將在其他相應(yīng)章節(jié)中給出深入分析。聯(lián)邦學(xué)習(xí)聯(lián)邦學(xué)習(xí)是一種特殊的分布式機(jī)器學(xué)習(xí)框架，它僅通過(guò)交互模型中間參數(shù)（或加密參數(shù)這個(gè)過(guò)程直至停止訓(xùn)練。DCFedAvg，典型應(yīng)用包括面向手機(jī)/銀行聯(lián)合風(fēng)控信貸等。公司、政府等多方數(shù)據(jù)的營(yíng)銷(xiāo)風(fēng)控場(chǎng)景。如不同地區(qū)的銀行和電商間的聯(lián)合建模。開(kāi)源框架FATEPySyftFATE2019LRGBDTCNN器學(xué)習(xí)算法，覆蓋常規(guī)商業(yè)應(yīng)用建模場(chǎng)景需求。此外，F(xiàn)ATEPySyftOpenMinedpythonLR、DNNTFF（TensorFlowFederated）2019年由谷歌發(fā)布的基于TensorflowFedAvg,Fed-SGD和線性模型。在計(jì)算范式方面，TFFTFF證數(shù)據(jù)安全。PaddleFLKubernetes集FedAvg、DP-SGDPrivCABY3Flower，F(xiàn)edlearner，阿里巴巴達(dá)摩院研發(fā)的FederatedScope廠商2018用聯(lián)邦學(xué)習(xí)技術(shù)開(kāi)展數(shù)據(jù)增值業(yè)務(wù)。AngelFLAngelAngel的高維支持邏輯回歸、GBDTFedlearnFedlearnFedAvg、DNN、線性模型、邏輯回歸及隨機(jī)森林等算法。平安科技研發(fā)的蜂巢聯(lián)邦智能平臺(tái)，是數(shù)據(jù)安全保護(hù)、企業(yè)數(shù)據(jù)孤島、SM2GPU融等場(chǎng)景，支持橫向和縱向聯(lián)邦學(xué)習(xí)。多方安全計(jì)算1982每一方僅獲取自己的計(jì)算結(jié)果，對(duì)其他參與方的結(jié)果/輸入一無(wú)所知。因此，在AI對(duì)結(jié)果模型的推理攻擊。AI同，可以分為以下三大類(lèi)：SPDZSecureNN等?；诨煜娐返姆椒ǎ和ㄟ^(guò)混淆電路構(gòu)建加密的神經(jīng)網(wǎng)絡(luò)或其他機(jī)器學(xué)FairplayMPDeepSecure基于混合協(xié)議的方法：還有一些協(xié)議充分利用不同技術(shù)的優(yōu)點(diǎn)，將上述ABY3XONNGAZELLE、Delphi開(kāi)源框架TF-EncryptedDropouts、Openmined、阿里巴巴參與組織的基于Tensorflow的隱私保護(hù)機(jī)器學(xué)習(xí)的開(kāi)源框架。目前支持基于秘密共享技術(shù)的PondSecureNNreplicated secretsharing等三方安全計(jì)算協(xié)議支持邏回歸、線性回歸等常見(jiàn)算法。CrypTenFacebookPyTorch支持神經(jīng)網(wǎng)絡(luò)推理和訓(xùn)練。RosettaTensorflowAISecureNNHelix聯(lián)合查詢(xún)、聯(lián)合建模、模型訓(xùn)練等。SyMPCOpenminedPyTorchABY3、Falcon、FSS、SPDZ線性等神經(jīng)網(wǎng)絡(luò)層。Numpy導(dǎo)，提供LR和NN相關(guān)的demopade高精度定點(diǎn)數(shù)擬合算法，支持ABY3、Cheetah協(xié)議。FudanMPL、原語(yǔ)科技研PrimihubEzPC保護(hù)機(jī)器學(xué)習(xí)。廠商AI螞蟻集團(tuán)、阿里巴巴、百度、華控清交、原語(yǔ)科技、矩陣元等科技公司。營(yíng)銷(xiāo)、政務(wù)數(shù)據(jù)安全開(kāi)放、聯(lián)合風(fēng)控、多方聯(lián)合科研等業(yè)務(wù)場(chǎng)景。華控清交研發(fā)的PrivPy多方安全計(jì)算平臺(tái)，實(shí)現(xiàn)了支持通用計(jì)算類(lèi)型高性能集群化和可擴(kuò)展的解決方案。支持標(biāo)準(zhǔn)的 Python 語(yǔ)言和 SQL 操作兼容 NumPy 和 Pytorch 等函數(shù)庫(kù)能夠支持包括絕大多數(shù)機(jī)器學(xué)習(xí)算法在內(nèi)的計(jì)算類(lèi)型和系統(tǒng)實(shí)現(xiàn)，支持聯(lián)合模型訓(xùn)練和AI安全預(yù)測(cè)功能。FMPC同態(tài)加密AI目前主要有三種同態(tài)加密方式：部分同態(tài)加密、類(lèi)同態(tài)加密和全同態(tài)加密。RSAElGamalPaillier類(lèi)同態(tài)加密：是只支持有限次加法和乘法運(yùn)算的加密方案。加密的計(jì)算復(fù)雜度通常要遠(yuǎn)高于部分同態(tài)加密。AI需求。機(jī)器學(xué)習(xí)過(guò)程中使用的非線性運(yùn)算，如神經(jīng)網(wǎng)絡(luò)中的sigmoid和ReLU激活函數(shù)。解決方法主要分為兩類(lèi)：無(wú)需多項(xiàng)式近似的同態(tài)加密隱私保護(hù)機(jī)器學(xué)習(xí)方案：依賴(lài)數(shù)據(jù)持有者與模型所有者交互完成非交互線性激活函數(shù)的計(jì)算問(wèn)題?；诙囗?xiàng)式近似的同態(tài)加密隱私保護(hù)機(jī)器學(xué)習(xí)方案：利用多項(xiàng)式逼近技術(shù)來(lái)對(duì)激活函數(shù)等進(jìn)行模擬，這種近似會(huì)造成精度和效率上的下降。同態(tài)加密開(kāi)源庫(kù)SEAL2015C++BGV、CKKSHElibIBMCKKS種優(yōu)化技術(shù)使同態(tài)運(yùn)算更快。OpenFHEDARPABFVBGVCKKS、DM(FHEW)CGGI等。HehubBGV、CKKSTFHE等全同態(tài)加密算法。開(kāi)源框架TenSEALOpenmined開(kāi)源的一個(gè)支持同態(tài)加密隱私保護(hù)機(jī)器學(xué)習(xí)的pythonSEALtensorflowpytorchAPI，可以簡(jiǎn)化同態(tài)模網(wǎng)絡(luò)等。TF-SEALTensorFlowSEALBFVCKKS的同態(tài)版本，如線性回歸、神經(jīng)網(wǎng)絡(luò)等。Concrete-MLZamaConcrete同態(tài)版本。廠商業(yè)應(yīng)用較少。神經(jīng)網(wǎng)絡(luò)的兩方推理計(jì)算。差分隱私Dwork用戶(hù)的敏感信息。AI（通常為拉普拉斯噪聲或高斯噪聲是在一定程度會(huì)影響模型的精度。機(jī)器學(xué)習(xí)中差分隱私擾動(dòng)方法可以分為以下四類(lèi)：輸入擾動(dòng)：輸入擾動(dòng)是指在模型訓(xùn)練開(kāi)始之前，對(duì)個(gè)人數(shù)據(jù)先進(jìn)行一定人現(xiàn)在本地對(duì)數(shù)據(jù)進(jìn)行擾動(dòng)后，上傳給數(shù)據(jù)收集者。中間參數(shù)擾動(dòng)：是指在模型訓(xùn)練過(guò)程中對(duì)梯度參數(shù)或特征參數(shù)引入噪聲來(lái)防止敵手獲取模型或訓(xùn)練數(shù)據(jù)的隱私。輸出擾動(dòng)：是指模型訓(xùn)練結(jié)束時(shí)，對(duì)模型權(quán)重參數(shù)進(jìn)行擾動(dòng)或?qū)δＰ皖A(yù)測(cè)結(jié)果添加噪聲，可以防止敵手對(duì)模型進(jìn)行成員推理攻擊或模型逆向攻擊。目標(biāo)擾動(dòng)：是指機(jī)器學(xué)習(xí)模型的目標(biāo)函數(shù)或目標(biāo)函數(shù)展開(kāi)式的系數(shù)中添加噪聲。這種方式可以提高效率和可用，但是只能針對(duì)特定的目標(biāo)函數(shù)。開(kāi)源框架TensorflowPrivacy常見(jiàn)模型的差分隱私版本，如線性回歸、邏輯回歸、神經(jīng)網(wǎng)絡(luò)等。OpacusPyTorchDP-SGDDP-AdamCNN、RNN、GANOpenMinedPyDPSecretFlowRDP略，目前主要應(yīng)用于聯(lián)邦學(xué)習(xí)中。廠商IT應(yīng)用。谷歌鍵盤(pán)（Gboard）中利用差分隱私訓(xùn)練語(yǔ)言模型；Microsoft Windows將差分隱私應(yīng)用于對(duì)使用和錯(cuò)誤統(tǒng)計(jì)數(shù)據(jù)的收集中；蘋(píng)果利用差分隱私計(jì)算識(shí)別最流行的表情符號(hào)最佳 QuickType 建和Safari 中的能耗率等內(nèi)容；Jeddak障數(shù)據(jù)統(tǒng)計(jì)查詢(xún)和用戶(hù)數(shù)據(jù)采集過(guò)程中用戶(hù)隱私。技的InsightOne隱私計(jì)算平臺(tái)，百度PaddleFL聯(lián)邦學(xué)習(xí)平臺(tái)、騰訊的AngelPowerFL可信執(zhí)行環(huán)境（Trustedexecution全特性提高終端系統(tǒng)的安全性。TEE2006OpenMobile統(tǒng)解決方案。在傳統(tǒng)系統(tǒng)運(yùn)行（RichExecutionEnvironment，REE）之外，提供一個(gè)隔離的安全系統(tǒng)用于處理敏感數(shù)據(jù)。20107，GlobalPlatform（GP）起草指定了一整套可信執(zhí)范參考。開(kāi)源框架lOP-TEELinaroTrustedOSOP-TEE世界操作系統(tǒng)（OPTEE_OS），普通世界客戶(hù)端（OPTEE_Client），測(cè)試套件（OPTEE_Test/XTest）Linux28/處理器；lOpenTEEOP-TEEOS，TEElTeaclave/MesaTEEApacheFaaS（FunctionasaService）的計(jì)算平臺(tái)服務(wù)。TEE管理框架實(shí)現(xiàn)了多任務(wù)的管理和并發(fā)操作；lOcclumSGXLibOSEnclave計(jì)功能。廠商TEETEElARM、Intel和AMD公司分別提出各自的可信執(zhí)行環(huán)境技術(shù)TrustZone、IntelSGX和AMDSEV及其相關(guān)實(shí)現(xiàn)方案；諾基亞和微軟整合的 TEE 框架稱(chēng)為 目前已經(jīng)部署在諾基亞光設(shè)備上；三星的 TEE 框架名為 TZ-RKP, 已經(jīng)部署在三星的 Galaxy 列設(shè)備上；GPUTEETEE其他傳統(tǒng)數(shù)據(jù)安全技術(shù)露風(fēng)險(xiǎn)。標(biāo)識(shí)、數(shù)字指紋、數(shù)字隱寫(xiě)等技術(shù)實(shí)現(xiàn)，適用于數(shù)據(jù)審計(jì)和溯源等場(chǎng)景。SQLSQL維管理、應(yīng)用訪問(wèn)等場(chǎng)景。數(shù)據(jù)脫敏開(kāi)源工具ldeidentifyPythonlgo-masktagmap廠商IBMSymantec分級(jí)、數(shù)據(jù)脫敏等多種數(shù)據(jù)安全產(chǎn)品。AI算法的安全算法分類(lèi)AIGC預(yù)測(cè)，通常不具有可解釋性，但在解決問(wèn)題時(shí)具有更好的實(shí)用性。202231提到推薦算法技術(shù)，包括個(gè)性化推送類(lèi)：最為人熟悉的應(yīng)用在廣告、短視頻、“大數(shù)據(jù)殺熟”場(chǎng)景；生成合成類(lèi)：例如文章生成算法、換臉?biāo)惴?；排序精選類(lèi)：例如搜索引擎廣告排序算法、電商平臺(tái)店鋪排序算法；擎的過(guò)濾不良信息的搜索引擎；調(diào)度決策類(lèi)：例如網(wǎng)約車(chē)平臺(tái)、外賣(mài)平臺(tái)的訂單匹配算法等。算法黑盒問(wèn)題AIAIAI訓(xùn)練數(shù)據(jù)不足或缺乏導(dǎo)致安全缺陷難發(fā)現(xiàn)；安全測(cè)試標(biāo)準(zhǔn)不統(tǒng)一導(dǎo)致產(chǎn)品安全難掌控；技術(shù)手段探索不足導(dǎo)致安全監(jiān)管難以到位。AI較高的場(chǎng)景，例如在自動(dòng)駕駛領(lǐng)域中，AIAIAI算法模型的可解釋性增強(qiáng)，按模型訓(xùn)練前后階段可分為集成解釋、后期解釋。集成解釋通過(guò)算法優(yōu)化與模塊化提高可解釋性:在訓(xùn)練數(shù)據(jù)較少時(shí)，選擇人類(lèi)較易理解的算法來(lái)訓(xùn)練模型，如決策樹(shù)算法模型; 對(duì)于復(fù)雜模型，可設(shè)計(jì)成相互獨(dú)立的模塊化結(jié)構(gòu)每個(gè)獨(dú)立模塊可單獨(dú)解釋從而提高整體模型的可解釋性深度學(xué)習(xí)里的Attention技術(shù)、模塊化網(wǎng)絡(luò)結(jié)構(gòu)、概率模型（Probabilistic 均可以作為模型內(nèi)部的的獨(dú)立部件通過(guò)特征工程提高可解釋性模型訓(xùn)練前針對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分析處理進(jìn)行特征提取幫助模型更加有效的實(shí)現(xiàn)數(shù)據(jù)處理同時(shí)也方便人們?cè)诤罄m(xù)的推理過(guò)程當(dāng)中分析模型的決策依據(jù)。后期解釋本不同特征對(duì)模型輸出結(jié)果的影響。算法脆弱性問(wèn)題主要表現(xiàn)在：都是可能導(dǎo)致決策偏離預(yù)期甚至出現(xiàn)錯(cuò)誤結(jié)果的原因數(shù)據(jù)“投毒”易導(dǎo)致結(jié)果異常，算法本身無(wú)法識(shí)別出異常樣本，攻擊者型可用性和完整性遭到破壞；模型保密性和穩(wěn)健性易受威脅，攻擊者利用樣本迭代對(duì)目標(biāo)模型進(jìn)行查似模型，構(gòu)造出對(duì)抗樣本，使之做出錯(cuò)誤決策數(shù)據(jù)不均衡易引發(fā)“偏見(jiàn)”，人工智能決策結(jié)果的準(zhǔn)確性、客觀性很大觀性”，導(dǎo)致人工智能決策結(jié)果往往出現(xiàn)偏差脆弱性的增強(qiáng)技術(shù)主要有數(shù)據(jù)增強(qiáng)、對(duì)抗訓(xùn)練等。數(shù)據(jù)增強(qiáng)AI對(duì)抗訓(xùn)練型面對(duì)異常輸入數(shù)據(jù)的判斷決策能力。Goodfellow與真實(shí)樣本一道作為訓(xùn)練數(shù)據(jù)集。算法監(jiān)管與知識(shí)產(chǎn)權(quán)風(fēng)險(xiǎn)算法監(jiān)管風(fēng)險(xiǎn)撐行業(yè)監(jiān)管，都對(duì)算法機(jī)制機(jī)理的審核對(duì)象、程序都提出了更為具體的要求。模型知識(shí)產(chǎn)權(quán)風(fēng)險(xiǎn)模型訓(xùn)練數(shù)據(jù)的采集以及算法模型的設(shè)計(jì)開(kāi)發(fā)已經(jīng)逐漸變成了企業(yè)的重資業(yè)面臨較大的知識(shí)產(chǎn)權(quán)風(fēng)險(xiǎn)：算等API（水印秘鑰技術(shù)主要有靜態(tài)水印技術(shù)、動(dòng)態(tài)水印技術(shù)和主動(dòng)授權(quán)控制技術(shù)。針對(duì)算法模型的攻擊后門(mén)攻擊與傳統(tǒng)應(yīng)用相似，AI（入特定神經(jīng)元達(dá)到破壞模型中可能存在的觸發(fā)器。對(duì)抗攻擊數(shù)據(jù)，訓(xùn)練出來(lái)的模型可以主動(dòng)防御對(duì)抗攻擊。注入攻擊SQL合規(guī)內(nèi)容、在內(nèi)容審查過(guò)濾中繞過(guò)審查機(jī)制等。濾，確保數(shù)據(jù)輸出的安全性。AI應(yīng)用的安全AIGC（人工智能生成內(nèi)容）的高速發(fā)展引起社會(huì)廣泛性關(guān)注，在寫(xiě)論StableDiffusionMidjourneyChatGPT隱私保護(hù)等風(fēng)險(xiǎn)的擔(dān)憂。AIGC2AIGC“AIGCAIGC應(yīng)用安全防御可靠和安全。（一）大模型安全護(hù)欄2和應(yīng)用領(lǐng)域（金融，醫(yī)療）進(jìn)行劃分。（二）可控內(nèi)容生成問(wèn)題。1、基于問(wèn)答庫(kù)的標(biāo)準(zhǔn)回復(fù)2、基于文檔庫(kù)的檢索增強(qiáng)回復(fù)3、生成指令引導(dǎo)令，就可以一定程度抑制生成內(nèi)容中出現(xiàn)不良信息的概率。（三）訓(xùn)練數(shù)據(jù)去毒有很大程度的降低。深度合成內(nèi)容檢測(cè)AIGCAIAIGC容安全審核體系中的一個(gè)重要能力。AIGCAIGC（一）大規(guī)模鑒偽數(shù)據(jù)構(gòu)建AIGCAIGCSentry-Image、GenImage，在音頻領(lǐng)域的SASV2022ADD2022DFDCWildDeepfake（二）深度合成內(nèi)容檢測(cè)算法CQTPitch在探索的重要研究方向。（三）數(shù)字水印技術(shù)AIGCAIGC重點(diǎn)關(guān)注的領(lǐng)域。AI安全的運(yùn)管組織架構(gòu)管理制度AI準(zhǔn)備應(yīng)急技術(shù)工具和方案，并開(kāi)展定期的應(yīng)急響應(yīng)演練等。執(zhí)行。人員運(yùn)營(yíng)人工智能安全產(chǎn)品和工具，能準(zhǔn)確判定企業(yè)所需的最佳技術(shù)工具和具體實(shí)踐。AI安全的熱門(mén)問(wèn)題大模型安全ChatGPT引爆的生成式人工智能熱潮，讓AI模型在過(guò)去幾個(gè)月成為行業(yè)矚用所面臨的安全挑戰(zhàn)、與潛在的威脅也不能夠忽視。（一）大模型的安全風(fēng)險(xiǎn)（二）大模型安全的應(yīng)對(duì)建議批、行為審計(jì)等管理手段確保數(shù)據(jù)安全及隱私保護(hù)。模型安全保護(hù)方向,大模型在訓(xùn)練、管理、部署等各個(gè)環(huán)節(jié)需要重點(diǎn)關(guān)注訓(xùn)型資產(chǎn)的安全，保護(hù)敏感信息，防范惡意攻擊，維護(hù)業(yè)務(wù)的正常運(yùn)行。對(duì)不同類(lèi)別的和主題的輸入內(nèi)容進(jìn)行檢測(cè)并對(duì)不恰當(dāng)內(nèi)容進(jìn)行高質(zhì)量的提示詞多模態(tài)生成內(nèi)容審核等技術(shù)手段實(shí)現(xiàn)。此外，大模型在交互場(chǎng)景中的業(yè)務(wù)運(yùn)營(yíng)中，面臨著多重安全威脅和風(fēng)險(xiǎn)，AIGC方面也應(yīng)采取多種技術(shù)手段保障業(yè)務(wù)運(yùn)營(yíng)安全。綜合運(yùn)用這些措施，可以減輕大模型交互場(chǎng)景中的各種安全風(fēng)險(xiǎn)，保護(hù)用戶(hù)隱私和數(shù)據(jù)安全，維護(hù)業(yè)務(wù)的穩(wěn)定運(yùn)行，同時(shí)，持續(xù)的監(jiān)控、分析和改進(jìn)也是確保業(yè)務(wù)安全的重要環(huán)節(jié)，以適應(yīng)不斷變化的安全威脅。對(duì)抗樣本攻擊描述AI大模型能夠引發(fā)誤判或誤分類(lèi)，欺騙大模型并導(dǎo)致錯(cuò)誤的輸出結(jié)果。攻擊流程如下：1AI個(gè)自然語(yǔ)言處理模型、圖像分類(lèi)器、語(yǔ)言識(shí)別器等大模型。2、收集訓(xùn)練數(shù)據(jù)：攻擊者使用公開(kāi)或其他手段獲取的數(shù)據(jù)集用于訓(xùn)練目標(biāo)模型。3、生成對(duì)抗樣本：攻擊者使用訓(xùn)練數(shù)據(jù)以及例如：梯度優(yōu)化方法、進(jìn)化算法、生成對(duì)抗網(wǎng)絡(luò)等對(duì)抗樣本生成技術(shù)生成對(duì)目標(biāo)模型的對(duì)抗樣本。4、評(píng)估對(duì)抗樣本：攻擊者對(duì)生成的對(duì)抗樣本進(jìn)行評(píng)估，以確保數(shù)據(jù)在人眼看來(lái)與原始樣本相似，但可以欺騙目標(biāo)模型。5、攻擊測(cè)試：攻擊者嘗試不同的對(duì)抗樣本輸入目標(biāo)模型，并觀察模型的輸出結(jié)果，找到最有效的攻擊方式。6、攻擊模型：找到最有效的攻擊方式后，攻擊者將樣本用于目標(biāo)模型的實(shí)際應(yīng)用場(chǎng)景，以欺騙目標(biāo)模型并導(dǎo)致錯(cuò)誤的輸出結(jié)果。攻擊帶來(lái)的風(fēng)險(xiǎn)1、誤導(dǎo)模型：攻擊者通過(guò)精心設(shè)計(jì)的對(duì)抗樣本欺騙模型，使其將圖像、語(yǔ)決策的準(zhǔn)確性和可靠性。2、信息安全隱患：攻擊者可以利用對(duì)抗樣本來(lái)繞過(guò)模型的安全檢測(cè)機(jī)制，的安全問(wèn)題。3、可信度破壞：當(dāng)用戶(hù)或系統(tǒng)無(wú)法信任模型的輸出結(jié)果時(shí)，將會(huì)影響模型的應(yīng)用以及接受程度，最終導(dǎo)致用戶(hù)對(duì)AI技術(shù)的不信任，減少對(duì)模型的使用和采納，破壞了AI大模型的可信度和可靠性。4、社會(huì)影響：對(duì)抗樣本攻擊可能對(duì)社會(huì)產(chǎn)生廣泛并且嚴(yán)重的影響，如：在評(píng)估和投資決策，從而對(duì)經(jīng)濟(jì)產(chǎn)生負(fù)面影響。防御手段1、強(qiáng)化模型的魯棒性：通過(guò)增加訓(xùn)練數(shù)據(jù)的多樣性、使用對(duì)抗訓(xùn)練等方法來(lái)提高模型的魯棒性。2、對(duì)抗樣本檢測(cè)技術(shù)：使用比較輸入樣本和原始樣本之間的差異或者通過(guò)抗樣本。3、輸入數(shù)據(jù)的預(yù)處理：使用去噪、平滑化等技術(shù)來(lái)減少對(duì)抗樣本的干擾。4AI大模型進(jìn)行決成功率。數(shù)據(jù)投毒攻擊數(shù)據(jù)投毒攻擊簡(jiǎn)介獲取敏感信息或產(chǎn)生有害輸出。數(shù)據(jù)投毒攻擊常見(jiàn)攻擊技術(shù)數(shù)據(jù)投毒攻擊的影響和風(fēng)險(xiǎn)安全；三、安全風(fēng)險(xiǎn)，數(shù)據(jù)投毒可能對(duì)個(gè)人隱私和公共安全構(gòu)成威脅。例如攻擊者可以通過(guò)欺騙人臉識(shí)別系統(tǒng)來(lái)繞過(guò)身份驗(yàn)證，或使用大模型進(jìn)行網(wǎng)絡(luò)攻擊甚至通過(guò)誤導(dǎo)自動(dòng)駕駛系統(tǒng)來(lái)引發(fā)交通事故； 四法律和合規(guī)風(fēng)險(xiǎn)數(shù)據(jù)投毒可能導(dǎo)致AI系統(tǒng)違反法律法規(guī)或合規(guī)要求。例如在金融領(lǐng)域，攻擊者可能通過(guò)操縱數(shù)據(jù)來(lái)進(jìn)行欺詐活動(dòng)，從而觸犯金融監(jiān)管機(jī)構(gòu)的規(guī)定。數(shù)據(jù)投毒攻擊的檢測(cè)跟防御數(shù)據(jù)投毒攻擊主要有以下集中檢測(cè)和防御方式。一、檢查數(shù)據(jù)集中的標(biāo)簽、供應(yīng)鏈攻擊供應(yīng)鏈攻擊簡(jiǎn)介供應(yīng)鏈攻擊（SupplyChainAttack）是一種高級(jí)威脅，通常涉及攻擊者試圖通過(guò)滲透和利用目標(biāo)組織或產(chǎn)品的供應(yīng)鏈環(huán)節(jié)來(lái)滲透或破壞目標(biāo)系統(tǒng)或數(shù)據(jù)政府機(jī)構(gòu)、企業(yè)和個(gè)人用戶(hù)。供應(yīng)鏈攻擊具有多方面的關(guān)鍵要點(diǎn)。首先，攻擊目標(biāo)的多樣性是顯著特征，供應(yīng)鏈攻擊常見(jiàn)攻擊技術(shù)還有可能通過(guò)在供應(yīng)鏈組件中插入后門(mén)或木馬程序來(lái)建立持久性的未經(jīng)授權(quán)訪舉例來(lái)說(shuō)，攻擊者可能會(huì)利用脆弱的AI開(kāi)發(fā)庫(kù)，如TensorFlow或PyTorch，AIAIAIAI供應(yīng)鏈攻擊的影響和風(fēng)險(xiǎn)AIAIAI供應(yīng)鏈攻擊的檢測(cè)和防御供應(yīng)鏈攻擊的檢測(cè)是確保組織能夠及時(shí)發(fā)現(xiàn)潛在威脅并采取行動(dòng)的至關(guān)重要的一環(huán)。首先，建立持續(xù)監(jiān)控系統(tǒng)是必要的，通過(guò)實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)和系統(tǒng)活動(dòng)，數(shù)據(jù)泄露攻擊數(shù)據(jù)泄露攻擊簡(jiǎn)介AIAI重要。某一具體數(shù)據(jù)是否被用于訓(xùn)練集，這進(jìn)一步加劇了數(shù)據(jù)泄露的風(fēng)險(xiǎn)。AIAI數(shù)據(jù)泄露發(fā)生時(shí)機(jī)AI根據(jù)模型返回的信息還原算法模型、訓(xùn)練數(shù)據(jù)和運(yùn)行數(shù)據(jù)，例如：算法模型，數(shù)據(jù)泄露攻擊技術(shù)5：圖5成員推理攻擊示意圖數(shù)據(jù)泄露防御方法AIAI更改模型結(jié)構(gòu)：對(duì)模型結(jié)構(gòu)做適當(dāng)?shù)男薷模源藖?lái)減少模型被泄露的信息，或者降低模型的過(guò)擬合程度，從而完成對(duì)模型泄露和數(shù)據(jù)泄露的保護(hù)。例如：通過(guò)修改模型的損失函數(shù)，使目標(biāo)模型給出的輸出數(shù)據(jù)中包含盡可能少的信息。AI露的風(fēng)險(xiǎn)。信息混淆技術(shù)主要包含兩類(lèi)：1）截?cái)嗷煜?，?duì)模型返回的結(jié)果向量做取整操作，抹除小數(shù)點(diǎn)某位之后的信息；2）噪聲混淆，對(duì)輸入樣本或輸出的概率向量中添加微小的噪聲，從而干擾準(zhǔn)確的信息。數(shù)、頻率、時(shí)長(zhǎng)等因素進(jìn)行限制，從而提升攻擊者的攻擊成本。模型竊取攻擊描述的竊取。攻擊流程如下：1AI問(wèn)權(quán)限，包括模型的查詢(xún)接口或訓(xùn)練數(shù)據(jù)。2、模型輸出探測(cè)：攻擊者通過(guò)向模型輸入一系列樣本數(shù)據(jù)，并觀察模型的輸出結(jié)果。攻擊者可能會(huì)探索不同的查詢(xún)方式、輸入數(shù)據(jù)的變化和模型的響應(yīng)，以獲取更多關(guān)于模型行為的信息。3、推理模型結(jié)構(gòu)：基于觀察到的模型輸出和相關(guān)的背景知識(shí)，攻擊者試圖構(gòu)、層數(shù)、激活函數(shù)、參數(shù)等。4、復(fù)制重建模型：使用模型結(jié)構(gòu)與參數(shù)對(duì)模型進(jìn)行重建或復(fù)制。攻擊帶來(lái)的風(fēng)險(xiǎn)1、競(jìng)爭(zhēng)優(yōu)勢(shì)的喪失：通過(guò)模型竊取攻擊使得攻擊者能夠獲取目標(biāo)模型的知可能導(dǎo)致模型擁有者的競(jìng)爭(zhēng)優(yōu)勢(shì)喪失。2如：在金融領(lǐng)域，攻擊者可以使用到風(fēng)險(xiǎn)評(píng)估模型來(lái)規(guī)避安全檢測(cè)和欺騙系統(tǒng)，防御手段1、訪問(wèn)控制：使用身份驗(yàn)證、訪問(wèn)令牌、IP過(guò)濾等機(jī)制，限制對(duì)AI大模型的訪問(wèn)權(quán)限，確保只有授權(quán)的用戶(hù)或系統(tǒng)可以訪問(wèn)模型。2、模型加密：可使用可信計(jì)算環(huán)境，如TEE技術(shù)，對(duì)模型以及輸入&輸出內(nèi)容進(jìn)行保護(hù)，防止以防止攻擊者通過(guò)觀察模型輸出或分析模型參數(shù)來(lái)竊取模型。3、對(duì)抗竊取檢測(cè)：開(kāi)發(fā)模型竊取檢測(cè)算法，通過(guò)監(jiān)測(cè)模型查詢(xún)的模式、檢潛在的模型竊取行為。4、安全審計(jì)和監(jiān)控：建立安全審計(jì)和監(jiān)控機(jī)制，對(duì)模型的訪問(wèn)和使用進(jìn)行監(jiān)測(cè)和記錄。及時(shí)檢測(cè)和響應(yīng)異常行為，以防止模型竊取攻擊的發(fā)生。AI倫理/對(duì)齊背景接管人類(lèi)任務(wù)并取代人類(lèi)決策。AITwitter計(jì)或?qū)嵺`倫理人工智能。AI根據(jù)ChangwuHuangAI圖6人工智能倫理問(wèn)題AI致命的自主武器系統(tǒng)可能違反人的尊嚴(yán)原則。AI控性、民主與公民權(quán)利、工作替代與人際關(guān)系。AI1.解決人工智能倫理問(wèn)題的技術(shù)手段AI（涉及上述五項(xiàng)關(guān)鍵倫理原則的技術(shù)方法進(jìn)行簡(jiǎn)要總結(jié)。原則包含領(lǐng)域TransparencyExplainable AIorinterpretableAIFairness &JusticeFairAINon-maleficenceSafeAISecureAIRobustAIResponsibility &AccountabilityResponsibleAIPrivacyDifferentialPrivacyFederatedorDistributedLearningHomomorphicEncryption表4五原則AI輔助安全一、簡(jiǎn)介人工智能（ArtificialIntelligence，AI）正日益滲透到我們生活的方方面面，從駕駛到醫(yī)療再到客服，AIAIAIAIAIAIAI至關(guān)重要。自動(dòng)駕駛汽車(chē)被認(rèn)為是未來(lái)交通的一個(gè)重要發(fā)展方向，可以提高交通效率、AIAIAIAIAIAIAIAIAIAIAIAIAIAI二、Ai輔助駕駛安全問(wèn)題AI這些問(wèn)題，借助實(shí)際案例來(lái)闡釋它們的重要性和實(shí)際影響。2018ModelX2019Model3AIAI增加事故的風(fēng)險(xiǎn)。2020Model3，AIAI發(fā)爭(zhēng)議。如果系統(tǒng)出現(xiàn)故障或誤識(shí)別，責(zé)任的劃分可能會(huì)成為法律問(wèn)題。三、Ai輔助醫(yī)療診斷安全問(wèn)題a.引言AIAIAIAI數(shù)據(jù)隱私和保護(hù)AI這些信息必須嚴(yán)格保護(hù)。安全和隱私成為一個(gè)重要問(wèn)題。ComputerHeritage全美最大的綜合醫(yī)療服務(wù)網(wǎng)絡(luò)之一）擊，大量患者敏感信息泄露。[1]2（JeremiahFowlerSecure260CenseAI[2]營(yíng)銷(xiāo)目的。160NHS（NationalHealthService，即英國(guó)國(guó)家醫(yī)療服務(wù)體系）并且將因此面臨集體訴訟。[3]以及避免重新識(shí)別是挑戰(zhàn)之一。的準(zhǔn)確性匿名化文本內(nèi)容中的敏感數(shù)據(jù)。[4]模型安全性用或攻擊。據(jù)來(lái)誤導(dǎo)模型，從而導(dǎo)致錯(cuò)誤的診斷。321AI發(fā)不信任和安全擔(dān)憂。CT通常被稱(chēng)為“黑箱”（blackbox）。[6]數(shù)據(jù)質(zhì)量和可信度處理這些數(shù)據(jù)以確保診斷的準(zhǔn)確性？是否感染新冠病毒進(jìn)行判斷，而不是根據(jù)真正的醫(yī)學(xué)病理去診斷、分析。[7]AI果，從而引發(fā)道德和法律問(wèn)題。法規(guī)和合規(guī)性法規(guī)和合規(guī)性（RegulationsandCompliance）重要性。醫(yī)療法規(guī)：AIAI統(tǒng)的合規(guī)性是一個(gè)挑戰(zhàn)。AIAIAI[9]（AI足法規(guī)要求。AIAI[11]數(shù)據(jù)安全數(shù)據(jù)安全是確保數(shù)據(jù)的機(jī)密性、完整性和可用性的過(guò)程和措施。數(shù)據(jù)安全旨在保護(hù)數(shù)據(jù)免受未經(jīng)授權(quán)的訪問(wèn)、篡改、破壞或泄露的威脅。被惡意訪問(wèn)。案例：2020AI（萬(wàn)元培訓(xùn)資料，沒(méi)有AI源代碼，更沒(méi)有客戶(hù)數(shù)據(jù)。[12]數(shù)據(jù)備份：數(shù)據(jù)備份和災(zāi)難恢復(fù)計(jì)劃對(duì)于確保數(shù)據(jù)的安全性至關(guān)重要。11b.AI醫(yī)療輔助診斷安全問(wèn)題的解決方案數(shù)據(jù)隱私和保護(hù)數(shù)據(jù)加密：采用強(qiáng)加密算法來(lái)保護(hù)醫(yī)療數(shù)據(jù)的傳輸和存儲(chǔ)。數(shù)據(jù)。模型安全性對(duì)抗性訓(xùn)練：訓(xùn)練模型以抵抗對(duì)抗性攻擊，增加模型的魯棒性。AI數(shù)據(jù)質(zhì)量和可信度數(shù)據(jù)清洗和驗(yàn)證：對(duì)醫(yī)療數(shù)據(jù)進(jìn)行清洗和驗(yàn)證，以去除噪音和偏差。多樣性數(shù)據(jù)：確保訓(xùn)練數(shù)據(jù)具有多樣性，以減少模型偏差。法規(guī)和合規(guī)性AI報(bào)告機(jī)制：建立詳盡的報(bào)告機(jī)制，記錄系統(tǒng)的決策和結(jié)果。數(shù)據(jù)安全性和可用性。c.結(jié)論AIAI四、Ai輔助客服安全問(wèn)題領(lǐng)域，以提高效率、降低成本并改善客戶(hù)體驗(yàn)。AI提高客戶(hù)服務(wù)質(zhì)量的同時(shí)，也存在一定的安全隱患。AI1400（2017AI出現(xiàn)錯(cuò)誤，可能會(huì)導(dǎo)致用戶(hù)隱私泄露。例如，2018AI（2018語(yǔ)音識(shí)別誤差：雖然語(yǔ)音識(shí)別技術(shù)已經(jīng)取得了很大的進(jìn)步，但仍然存在AIAI（英國(guó)《金融時(shí)報(bào)》）。AI需求，但在某些情況下，仍然需要人工干預(yù)以確保服務(wù)質(zhì)量。然而，由于AI，2019AI（業(yè)頻道）。AIAI未按照相關(guān)規(guī)定處理用戶(hù)投訴而被罰款（案例來(lái)源：中國(guó)新聞網(wǎng)）。五、其他相關(guān)AI輔助安全問(wèn)題AI輔助金融服務(wù)在提高金融業(yè)務(wù)效率、降低成本和優(yōu)化客戶(hù)體驗(yàn)方面發(fā)揮了重要作用。然而，隨著AI技術(shù)的廣泛應(yīng)用，也伴隨著一些安全問(wèn)題。數(shù)據(jù)安全Equifax1.47AIAI部分客戶(hù)的信用評(píng)分被篡改。AIFacebook算法安全公平對(duì)待。例如，2016AI例如，2015AI2系統(tǒng)安全損壞。例如，2017操縱市場(chǎng)：AI2010年一名高頻交易員因使用AI技術(shù)操縱股票市場(chǎng)而被判刑。合規(guī)風(fēng)險(xiǎn)AIGDPR8.7管理。例如，2019AI責(zé)任歸屬責(zé)任界定：AI，2016Uber及如何劃分法律責(zé)任成為爭(zhēng)議焦點(diǎn)。AI這可能導(dǎo)致消費(fèi)者對(duì)金融機(jī)構(gòu)的信任度下降，從而影響業(yè)務(wù)發(fā)展。例如，2018年一家美國(guó)信用卡公司因拒絕為一位患有肺癌的女性提供信用卡服務(wù)而被起訴。金融領(lǐng)域波動(dòng)。1：200010%2009（SEC）50%TABBGroup，2005—2009年，美國(guó)股票市場(chǎng)中高頻交易量所占份額已經(jīng)從21%猛增到2009年的61%。[16]20105日，道瓊斯指數(shù)的閃電崩盤(pán)可以歸因于高頻交易。[16]險(xiǎn)。軍事和安全領(lǐng)域AI安全問(wèn)題。1：美國(guó)軍方高調(diào)推出了包括基于人工智能的“算法戰(zhàn)”“馬賽克戰(zhàn)”等國(guó)的先發(fā)優(yōu)勢(shì)。[17]和尼克（NickAI或被攻擊。能源和基礎(chǔ)設(shè)施領(lǐng)域設(shè)施的運(yùn)行。案例：相比傳統(tǒng)能源關(guān)鍵基礎(chǔ)設(shè)施，用于智能電子設(shè)備互連互通的網(wǎng)元(無(wú)線接入點(diǎn)、工業(yè)交換機(jī)、路由器、網(wǎng)管服務(wù)器等)成為新型能源關(guān)鍵基礎(chǔ)設(shè)施的IP解決方案：實(shí)施網(wǎng)絡(luò)安全措施和應(yīng)急計(jì)劃，以確保能源和基礎(chǔ)設(shè)施的穩(wěn)定運(yùn)行。社交媒體和網(wǎng)絡(luò)領(lǐng)域AI虛假信息傳播。Logically10050,000AILogically過(guò)將目標(biāo)檢測(cè)內(nèi)容上傳至應(yīng)用程序來(lái)驗(yàn)證內(nèi)容的真實(shí)性。該公司還有一個(gè)Chrome160,000解決方案：加強(qiáng)內(nèi)容審核和濫用檢測(cè)，提高算法的透明度，以減輕虛假信息和過(guò)濾問(wèn)題。AI安全的行業(yè)發(fā)展工智能系統(tǒng)和用戶(hù)提供更安全的環(huán)境。監(jiān)管發(fā)展法律法規(guī)2023614ChatGPTBard。它對(duì)風(fēng)險(xiǎn)最高的技術(shù)使用施加OpenAI行風(fēng)險(xiǎn)評(píng)估，并披露更多用于創(chuàng)建程序的數(shù)據(jù)。模型的應(yīng)用。全，責(zé)任追究必將成為執(zhí)法的重要考量依據(jù)。與隱私保護(hù)將成為企業(yè)管理的重要工作之一。斷加強(qiáng)，人機(jī)協(xié)作將更加規(guī)范與高效。促進(jìn)人工智能安全的發(fā)展和應(yīng)用。政策指引2017治理目標(biāo)，最大限度降低風(fēng)險(xiǎn)，確保人工智能安全、可靠、可控發(fā)展。未來(lái)人工智能的政策指引應(yīng)站在人工智能治理角度提出了高層的要求，《新一代人工智能發(fā)展規(guī)劃》提出了全面的規(guī)劃指引：等的全流程監(jiān)管。向，準(zhǔn)確把握技術(shù)和產(chǎn)業(yè)發(fā)展趨勢(shì)。安全防護(hù)。侵犯?jìng)€(gè)人隱私、違背道德倫理等行為的懲戒力度。智能技術(shù)的挑戰(zhàn)和風(fēng)險(xiǎn)。行業(yè)標(biāo)準(zhǔn)（AIISO/IECJTC1SC42目前，與人工智能安全相關(guān)的國(guó)際標(biāo)準(zhǔn)及文件主要為基礎(chǔ)概念與技術(shù)框架在人工智能管理方面，國(guó)際標(biāo)準(zhǔn)主要研究人工智能數(shù)據(jù)的治理、人工智能系統(tǒng)全生命周期管理、人工智能安全風(fēng)險(xiǎn)管理等，并對(duì)相應(yīng)的方面提出建議，相關(guān)ISO/IECISO/IEC23894:2023《人工智能風(fēng)險(xiǎn)管理》等。ISO/IEC標(biāo)準(zhǔn)，我國(guó)也將不斷推出人工智能安全相關(guān)的行業(yè)標(biāo)準(zhǔn)。國(guó)際共識(shí)CSA20235ChatGPTGPT升生產(chǎn)力和改變軟件開(kāi)發(fā)實(shí)踐上的潛力,同時(shí)也指出區(qū)分其人工智能安全的合法和非法使用的挑戰(zhàn)。ChatGPTAIChatGPT關(guān)于人工智能安全的一致意見(jiàn)與重要參考，即：錯(cuò)誤導(dǎo)致的安全風(fēng)險(xiǎn)：以《ChatGPT，ChatGPTAIChatGPT與挑戰(zhàn)。用戶(hù)產(chǎn)生不良影響：以《ChatGPT，ChatGPT際共識(shí)中應(yīng)用戶(hù)產(chǎn)生不良影響。透明度和參與度：以《ChatGPT，ChatGPT度。慮。技術(shù)發(fā)展PaddleSleeve介紹PaddleSleeve，以場(chǎng)景為AI已ResNet、等通用產(chǎn)業(yè)AI模型安全與隱私保護(hù)提供更好的能力支撐。圖7PaddleSleeveAI模型安全和隱私工具框架介紹PaddleSleeve融合了業(yè)界最前沿的攻擊方法與策略，用于評(píng)估模型的安全與隱私性能，并擁有全面、靈活的安全與隱私增強(qiáng)手段。其主要功能包括：模型攻擊與評(píng)估魯棒性（對(duì)抗場(chǎng)景）：集成最新的黑白盒對(duì)抗樣本攻擊算法，測(cè)試和評(píng)估模型在對(duì)抗場(chǎng)景下的魯棒性。非對(duì)抗場(chǎng)景pytorch、模型進(jìn)行比較。AUC、Recall、結(jié)構(gòu)相似度、峰值信噪比（PeakSNR）等隱私攻擊效果評(píng)估指標(biāo)。模型防御TRADES、等。圖像重建/噪聲過(guò)濾：提供多種對(duì)抗噪聲過(guò)濾算法，實(shí)現(xiàn)非侵入式的對(duì)抗魯棒性增強(qiáng)，無(wú)需修改模型。強(qiáng)優(yōu)化器（SGD、Adam、Momentum等），可便捷地訓(xùn)練出有效抵御常見(jiàn)隱私竊取攻擊的模型。PaddleSleeve主要功能AdvboxPaddleSleeveAdvboxpatch全局噪點(diǎn)對(duì)抗樣本生成PaddleSleeveAdvboxFGSMPGDCW還提供了其針對(duì)不同計(jì)算機(jī)視覺(jué)任務(wù)如目標(biāo)識(shí)別、OCR、圖像分割的優(yōu)化版本，patch圖像分類(lèi)和目標(biāo)檢測(cè)AdvboxKL左PGDEOT8（右）所示。圖8基于PGD的對(duì)抗樣本生成算法（左）和EOT變體的對(duì)抗樣本生成算法（右）ResNet、VGG分類(lèi)算法，SSD、系列的檢生的變化，然而模型會(huì)很明顯的發(fā)生誤檢或漏檢的情況。圖9針對(duì)單個(gè)和聯(lián)合多個(gè)檢測(cè)模型進(jìn)行攻擊的的對(duì)抗樣本生成結(jié)果圖像分割PGDBiseNetv2PGD圖10PGD優(yōu)化的圖像分割對(duì)抗樣本生成方法OCR識(shí)別針對(duì)OCRAdvboxPGDRCNNOCRPGD圖11PGD優(yōu)化的OCR識(shí)別對(duì)抗樣本生成方法7對(duì)抗樣本生成算法的有效性。圖12攻擊算法應(yīng)用在單詞和驗(yàn)證碼上的對(duì)抗樣本生成和識(shí)別結(jié)果OCR均獲得了錯(cuò)誤的識(shí)別結(jié)果。patch對(duì)抗樣本生成該方式主要通過(guò)定義patch并設(shè)計(jì)合理的損失函數(shù)和數(shù)據(jù)處理方式，通過(guò)基于梯度下降的優(yōu)化算法進(jìn)行patchCW、EOT、extendedEOT魯棒性測(cè)評(píng)工具RobustnessPaddleSleeveRobustness動(dòng)、空間變換、污漬、天氣、遮擋等，提供基于最小失效擾動(dòng)的評(píng)估指標(biāo)。于數(shù)據(jù)的變形操作，包括形變處理、幾何變換、網(wǎng)格添加和模糊處理等方法。PrivBoxPrivBoxPaddlePaddleAIAIPrivBoxAI自己模型的隱私風(fēng)險(xiǎn)。目前提供的具體隱私攻擊算法包括：模型逆向：包括了基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的逆向方法，以及基于深度梯度還原的逆向方法（DLG）；ML-LeaksRule-based模型竊?。禾峁┝薑nock-offNets模型竊取攻擊方法；另外，PrivBox等。PrivacyGuardPaddleSleevePrivacyGuard增加從模型輸出結(jié)果中推斷原始訓(xùn)練數(shù)據(jù)的難度。目前PrivacyGuard所提供的隱私增強(qiáng)方法有：基于差分隱私的方法：包括帶差分隱私擾動(dòng)的各種優(yōu)化器，如DP-SGD、DP-Adam、DP-Momemtum、DP-Adagrad等，主要用于防范模型逆向、成員推理、參數(shù)竊取等攻擊；Deep-Gradient-CompressionMomentumLabeling、Rouding、TopK主要用于防范成員推斷等攻擊。AI螞蟻集團(tuán)“蟻鑒AI安全檢測(cè)平臺(tái)”大模型安全測(cè)評(píng)介紹蟻鑒基本情況AIAIAIAI全測(cè)評(píng)服務(wù)。蟻鑒大模型安全測(cè)評(píng)（一）測(cè)評(píng)數(shù)據(jù)集構(gòu)成200"未成年保護(hù)"、"個(gè)人隱私"、"