《人工智能安全治理框架》1.0版

1 2 3 3 5 7 7 9 推動政府、國際組織、企業(yè)、科研院所、民間機構(gòu)和社會公眾等各方，就人工秉持共同、綜合、合作、可持續(xù)的安全觀，堅持發(fā)展和安全并重，以促和落腳點，構(gòu)建各方共同參與、技管結(jié)合、分工協(xié)作的治理機制體安全責任，打造全過程全要素治理鏈條，培育安全、可靠、公平工智能技術(shù)研發(fā)和應(yīng)用生態(tài)，推動人工智能健康發(fā)展和規(guī)范應(yīng)用家主權(quán)、安全和發(fā)展利益，保障公民、法人和其他組織的合法權(quán)包容態(tài)度。嚴守安全底線，對危害國家安全、社會公共利益、公眾措施。關(guān)注安全風險發(fā)展變化，快速動態(tài)精準調(diào)整治理措施，持安全風險的表現(xiàn)形式、影響程度、認識感知亦隨之變化，防范2.1安全風險方面。通過分析人工智能技術(shù)特性，以及在不同行業(yè)領(lǐng)域應(yīng)用場景，梳理人工智能技術(shù)本身，及其在應(yīng)用過程中面臨的各種安全風險加固等技術(shù)手段提升人工智能產(chǎn)品及應(yīng)用的安全性、公平性、部門、行業(yè)協(xié)會、社會組織等各方發(fā)現(xiàn)、防范、應(yīng)對人工智能人工智能系統(tǒng)設(shè)計、研發(fā)、訓練、測試、部署、使用、維護等生命周期（a）可解釋性差的風險。以深度學習為代表的人工智能算法內(nèi)部運行邏或者因訓練數(shù)據(jù)集質(zhì)量問題，導(dǎo)致算法設(shè)計目的、輸出結(jié)果存在偏見（c）魯棒性弱風險。由于深度神經(jīng)網(wǎng)絡(luò)存在非線性、大規(guī)模等特點，人（d）被竊取、篡改的風險。參數(shù)、結(jié)構(gòu)、功能等算法核心信息，面臨被（f）對抗攻擊風險。攻擊者通過創(chuàng)建精心設(shè)計的對抗樣本數(shù)據(jù)，隱蔽地（a）違規(guī)收集使用數(shù)據(jù)風險。人工智能訓練數(shù)據(jù)的獲取，以及提供服務(wù)的、偏激的等有害信息內(nèi)容。訓練數(shù)據(jù)還面臨攻擊者篡改、注入錯誤（c）訓練數(shù)據(jù)標注不規(guī)范風險。訓練數(shù)據(jù)標注過程中，存在因標注規(guī)則可靠性、有效性，還可能導(dǎo)致訓練偏差、偏見歧視放大、泛化能（d）數(shù)據(jù)泄露風險。人工智能研發(fā)應(yīng)用過程中，因數(shù)據(jù)處理不當、非授（a）缺陷、后門被攻擊利用風險。人工智能算法模型設(shè)計、訓練和驗證（c）供應(yīng)鏈安全風險。人工智能產(chǎn)業(yè)鏈呈現(xiàn)高度全球化分工協(xié)作格局。但個別國家利用技術(shù)壟斷和出口管制等單邊強制措施制造發(fā)展壁壘歧視偏見、隱私泄露、侵權(quán)等問題，威脅公民生命財產(chǎn)安全、國家安形態(tài)安全和倫理安全。如果用戶輸入的提示詞存在不良內(nèi)容，在（b）混淆事實、誤導(dǎo)用戶、繞過鑒權(quán)的風險。人工智能系統(tǒng)及輸出內(nèi)容（c）不當使用引發(fā)信息泄露風險。政府、企業(yè)等機構(gòu)工作人員在業(yè)務(wù)工（d）濫用于網(wǎng)絡(luò)攻擊的風險。人工智能可被用于實施自動化網(wǎng)絡(luò)攻擊或（e）模型復(fù)用的缺陷傳導(dǎo)風險。依托基礎(chǔ)模型進行二次開發(fā)或微調(diào)，是涉毒等傳統(tǒng)違法犯罪活動，包括傳授違法犯罪技巧、隱匿違法犯（c）兩用物項和技術(shù)濫用風險。因不當使用或濫用人工智能兩用物項和技術(shù)，對國家安全、經(jīng)濟安全、公共衛(wèi)生安全等帶來嚴重風險。包括服務(wù)，收集用戶信息，分析用戶類型、需求、 （b）用于開展認知戰(zhàn)的風險。人工智能可被利用于制作傳播虛假新聞、（a）加劇社會歧視偏見、擴大智能鴻溝的風險。利用人工智能收集分析人類行為、社會地位、經(jīng)濟狀態(tài)、個體性格等，對不同人群進行（c）未來脫離控制的風險。隨著人工智能技術(shù)的快速發(fā)展，不排除人工針對上述安全風險，模型算法研發(fā)者、服務(wù)提供者、系統(tǒng)使用者等需從訓練數(shù)據(jù)、算力設(shè)施、模型算法、產(chǎn)品服務(wù)、應(yīng)用場景各推理邏輯、技術(shù)接口、輸出結(jié)果提供明確說明，正確反映人工智能（b）在設(shè)計、研發(fā)、部署、維護過程中建立并實施安全開發(fā)規(guī)范，盡可供、公開、刪除等各環(huán)節(jié)，應(yīng)遵循數(shù)據(jù)收集使用（b）對聚合多個人工智能模型或系統(tǒng)的平臺，應(yīng)加（c）加強人工智能算力平臺和系統(tǒng)服務(wù)的安全建設(shè)、管理、運維能力，（d）對于人工智能系統(tǒng)采用的芯片、軟件、工具、算力和數(shù)據(jù)資源，應(yīng)高度關(guān)注供應(yīng)鏈安全。跟蹤軟硬件產(chǎn)品的漏洞、缺陷信息并及時（a）建立安全防護機制，防止模型運行過程中被干擾、篡改而輸出不可（b）應(yīng)建立數(shù)據(jù)護欄，確保人工智能系統(tǒng)輸出敏感個人信息和重要數(shù)據(jù)（a）根據(jù)用戶實際應(yīng)用場景設(shè)置服務(wù)提供邊界，裁減人工智能系統(tǒng)可能（b）提高人工智能系統(tǒng)最終用途追溯能力，防止被用于核生化導(dǎo)等大規(guī)（a）通過技術(shù)手段判別不符合預(yù)期、不真實、不準確的輸出結(jié)果，并依（c）加強對人工智能生成合成內(nèi)容的檢測技術(shù)研發(fā)，提升對認知戰(zhàn)手段（a）在算法設(shè)計、模型訓練和優(yōu)化、提供服務(wù)等過程中，應(yīng)采取訓練數(shù)據(jù)篩選、輸出校驗等方式，防止產(chǎn)生民族、信仰、（b）應(yīng)用于政府部門、關(guān)鍵信息基礎(chǔ)設(shè)施以及直接影響公共安全和公民生命健康安全的領(lǐng)域等重點領(lǐng)域的人工智能系統(tǒng)，應(yīng)具備高效精政府部門、行業(yè)協(xié)會、社會組織等多方參與的人工智能安全風險系統(tǒng)被濫用。對算力、推理能力達到一定閾值或應(yīng)用在特定行業(yè)能系統(tǒng)進行登記備案，要求其具備在設(shè)計、研發(fā)、測試、部署、使5.2建立人工智能服務(wù)可追溯管理制度。對面向公眾服務(wù)的人工智能5.3完善人工智能數(shù)據(jù)安全和個人信息保護規(guī)范。針對人工智能技術(shù)及應(yīng)用特點，明確人工智能訓練、標注、使用、輸出等各環(huán)節(jié)的設(shè)計、研發(fā)、應(yīng)用的價值觀、倫理觀對齊。探索適應(yīng)人工智能時發(fā)展提供優(yōu)質(zhì)營養(yǎng)供給。制定人工智能倫理審查準則、規(guī)范和指5.5強化人工智能供應(yīng)鏈安全保障。推動共享人工智能知識成果，開5.6推進人工智能可解釋性研究。從機器學習理論、訓練方法、人機人工智能技術(shù)、軟硬件產(chǎn)品、服務(wù)等方面存在的安全漏洞、缺陷5.8加大人工智能安全人才培養(yǎng)力度。推動人工智能安全教育與人工智能學科同步發(fā)展，依托學校、科研機構(gòu)等加強人工智能安全設(shè)5.9建立健全人工智能安全宣傳教育、行業(yè)自律、社會監(jiān)督機制。面向政府、企業(yè)、社會公用事業(yè)單位加強人工智能安加強人工智能安全風險及防范應(yīng)對知識的宣傳，全面提高全社會人5.10促進人工智能安全治理國際交流合作。積極與各國就人工智能能發(fā)展、安全與治理重大問題。推進APEC、G20、金磚國家等多邊機制下的研究成立人工智能安全治理聯(lián)盟，增強發(fā)展中國家在全球人工智能表性和發(fā)言權(quán)。鼓勵人工智能企業(yè)、機構(gòu)開展跨國交流合作，分享最（a）研發(fā)者應(yīng)在需求分析、項目立項、模型設(shè)計開發(fā)、訓練數(shù)據(jù)選用等取開展內(nèi)部研討、組織專家評議、科技倫理審查、聽取公眾意見（b）研發(fā)者應(yīng)重視數(shù)據(jù)安全和個人信息保護，尊重知識產(chǎn)權(quán)和版權(quán)，確保數(shù)據(jù)來源清晰、途徑合規(guī)。建立完善的數(shù)據(jù)安全管理制度，確保數(shù)和質(zhì)量，以及合規(guī)使用，防范數(shù)據(jù)泄露、流失、擴散等風險，人工智能（c）研發(fā)者應(yīng)確保模型算法訓練環(huán)境的安全性，包括網(wǎng)絡(luò)安全配置和數(shù)（d）研發(fā)者應(yīng)評估模型算法潛在偏見，加強訓練數(shù)據(jù)內(nèi)容和質(zhì)量的抽查（e）研發(fā)者應(yīng)結(jié)合目標市場適用法律要求和風險管理要求，評估人工智（f）研發(fā)者應(yīng)做好人工智能產(chǎn)品及所用數(shù)據(jù)集的版本管理，商用版本應(yīng)（g）研發(fā)者應(yīng)定期開展安全評估測試，測試前明確測試目標、范圍和安（h）研發(fā)者應(yīng)制定明確的測試規(guī)則和方法，包括人工測試、自（i）研發(fā)者應(yīng)評估人工智能模型算法對外界干擾的容忍程度，以適用范（b）服務(wù)提供者應(yīng)在合同或服務(wù)協(xié)議中，以使用者易于理解的方式，告知人工智能產(chǎn)品和服務(wù)的適用范圍、注意事項、使用禁忌，支持（c）服務(wù)提供者應(yīng)在告知同意、服務(wù)協(xié)議等文件中，支持使用者行使人（d）服務(wù)提供者應(yīng)讓使用者了解人工智能產(chǎn)品的精確度，在人工智能決（e）服務(wù)提供者應(yīng)檢查研發(fā)者提供的責任說明文件，確保責任鏈條可以（f）服務(wù)提供者應(yīng)提高人工智能風險防范意識，建立健全實時風險監(jiān)控（g）服務(wù)提供者應(yīng)評估人工智能產(chǎn)品與服務(wù)在面臨故障、攻擊等異常條（h）服務(wù)提供者應(yīng)將人工智能系統(tǒng)運行中發(fā)現(xiàn)的安全事故、安全漏洞等（i）服務(wù)提供者應(yīng)在合同或服務(wù)協(xié)議中明確，一旦發(fā)現(xiàn)不符合使用意圖（j）服務(wù)提供者應(yīng)評估人工智能產(chǎn)品對使用者的影響，防止對使用者身（a）對于政府部門、關(guān)鍵信息基礎(chǔ)設(shè)施以及直接影響公共安全和公民生命健康安全的領(lǐng)域等重點領(lǐng)域使用者，應(yīng)審慎評估目標應(yīng)用場景（c）重點領(lǐng)域使用者在使用人工智能產(chǎn)品前，應(yīng)全面了解其數(shù)據(jù)處理和（e）重點領(lǐng)域使用者應(yīng)增強網(wǎng)絡(luò)安全、供應(yīng)鏈安全等方面的能力，降低（g）重點領(lǐng)域使用者應(yīng)確保操作符合保密規(guī)定，在處理敏感數(shù)據(jù)時使用（h）重點領(lǐng)域使用者應(yīng)對人工智能行為和影響進行有效監(jiān)督，確保人工（i）重點領(lǐng)域使用者應(yīng)避免完全依賴人工智能的決策，監(jiān)控及記錄未采納人工智能決策的情況，并對決策不一致進行分析，在遭遇事故（a）社會公眾應(yīng)提高對人工智能產(chǎn)品安全風險的認識，選擇信譽良好的（b）社會公眾應(yīng)在使用前仔細閱讀產(chǎn)品合同或服務(wù)協(xié)議，了解產(chǎn)品的功（c）社會公眾應(yīng)提高個人信息保護意識，避免在不必要的情況下輸入敏（d）社會公眾應(yīng)了解人工智能產(chǎn)品的數(shù)據(jù)處理方式，避免使用不符合隱（e）社會公眾在使用人工智能產(chǎn)品時，應(yīng)關(guān)注網(wǎng)絡(luò)安全風險，避免人工（f）社會公眾應(yīng)注意人工智能產(chǎn)品