移動智能終端可信人工智能安全指南

YD/TxXXXx—xXXx移動智能終端可信人工智能安全指南本文件給出了移動智能終端中實現(xiàn)可信人工智能(正文中簡稱AI)系統(tǒng)的安全指導，適用于各種制式的移動智能終端中實現(xiàn)的AI系統(tǒng)。本文件為移動智能終端AI系統(tǒng)的研究開發(fā)者、設(shè)計制造者、部署應(yīng)用者和用戶提供安全指導，以判斷該AI系統(tǒng)是否滿足可信AI的基本安全能力。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件：不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T35273信息安全技術(shù)個人信息安全規(guī)范GB/T5271.28-2001信息技術(shù)詞匯第28部分：人工智能基本概念與專家系統(tǒng)YD/T2407-2021移動智能終端安全能力技術(shù)要求3術(shù)語、定義和縮略語3.1術(shù)語和定義下列術(shù)語和定義適用于本文件。移動智能終端mobilesmarttermihal能夠接入移動通信網(wǎng)，具有能夠提供應(yīng)用軟件開發(fā)接口的操作系統(tǒng)，并具有安裝、加載和運行應(yīng)用軟件能力的移動終端。人工智能artificialintelligence表現(xiàn)出于人類智能(如推理和學習)相關(guān)的各種功能的功能單元和能力。人工智能系統(tǒng)artificialintelligencesystem人工智能系統(tǒng)指在計算機系統(tǒng)中實現(xiàn)人工智能能力的軟件、硬件加速器、算法模型與數(shù)據(jù)的集合。YD/Txxxxx—xxxx3.2縮略語下列縮略語適用于本文件。AI:人工智能(ArtificialIntelligence)BI:商業(yè)智能(BusinessIntelligence)CV:計算機視覺(ConmputerVision)DSWW:數(shù)據(jù)安全能力成熟度模型(DataSecurityCapabilityMaturityNLP:自然語言處理(NaturalLanguageProcessing)4可信人工智能概述4.1基本原則可信計算是計算機領(lǐng)域的一個概念，主要強調(diào)的是計算機系統(tǒng)和其處理過程的可預(yù)測性、可驗證性。AI系統(tǒng)中可信AI的概念與可信計算相似，主要強調(diào)的是AI系統(tǒng)安全有序發(fā)展的基本要求。目前國際上對于可信AI的基本概念定義主要包括七點口，分別為人類自主權(quán)，技術(shù)魯棒性與安全性，隱私與數(shù)據(jù)治理，透明度，多樣性、非歧視性與公正性，社會與環(huán)境健康，問責制?？尚臕I可保證人類的基本權(quán)利，且有效評估AI系統(tǒng)是否會危害人類的基本權(quán)利：可信AI的用戶擁有對AI系統(tǒng)的自主決定權(quán)，包括擁有可以和AI系統(tǒng)交互的工具、學習與理解使用AI系統(tǒng)的相關(guān)技能、AI系統(tǒng)支持用戶做出對自己有利的決定等；可信AI受到人類的監(jiān)督，以保證AI系統(tǒng)不會影響人類的自主權(quán)或造成其他不利影響?？尚臕I具有抵御惡意攻擊的能力，包括對數(shù)據(jù)集的攻擊(數(shù)據(jù)投毒)、對模型的攻擊(模型竊取)或?qū)Φ讓踊A(chǔ)架構(gòu)的攻擊等；可信AI在出現(xiàn)問題之后支持回退功能，在系統(tǒng)出現(xiàn)故障時，具備支持回退功能的有效保護措施；可信M具有行為準確性，即做出正確的判定，或在無法做出正確判定時，AI系統(tǒng)給出發(fā)生該類情況的可能性等：可信AI具有行為可靠性，即A系統(tǒng)給出的結(jié)論是可靠且可重現(xiàn)的。4.1.4隱私保護與數(shù)據(jù)治理可信AI保證個人信息與數(shù)據(jù)在整個系統(tǒng)生命周期中的安全性，包括用戶向系統(tǒng)提供的原始數(shù)據(jù)、系統(tǒng)使用用戶原始數(shù)據(jù)生成的數(shù)據(jù)等；可信AI可保證數(shù)據(jù)的可靠性與完整性，防止使用帶有偏見的數(shù)據(jù)、不準確數(shù)據(jù)、錯誤數(shù)據(jù)與惡意數(shù)據(jù)等；可信AI設(shè)置對數(shù)據(jù)的訪問控制權(quán)限，包含環(huán)境設(shè)定、用戶可信AI具有可追湖性，即A系統(tǒng)做出決定時使用的流程與數(shù)據(jù)集被有效記錄，其中包括收集的數(shù)據(jù)、標記的數(shù)據(jù)與使用的算法等：可信AI具有可解釋性，即AI系統(tǒng)做出的決定是人類可以理解的：可信AI在與用戶交流時不能聲稱自己是人類，且人類有權(quán)利獲知他正在與AI系統(tǒng)交互。YD/TxXXXx—xXXx由于AI系統(tǒng)使用的數(shù)據(jù)集中可能包含帶有偏見的歷史信息、不完整或者錯誤的模型等可能導致偏見的數(shù)據(jù)，可信AI可避免使用上述數(shù)據(jù)，且在做出決定時避免產(chǎn)生偏見；可信AI以用戶為中心，并且不論用戶的年齡、性別與性格等差異，都被允許使用AI產(chǎn)品或服務(wù)；在開發(fā)可信AI時，會征求有可能直接或間接受到影響的人員或團體的意見。4.1.7社會與環(huán)境健康可信AI是可持續(xù)的并且是環(huán)境友好的，不消耗過多的資源與能源：當AI系統(tǒng)有可能改變?nèi)祟惖纳鐣P(guān)系與社會觀念時對其加強監(jiān)管：可信AI會評估對社會層面的影響，包括社會體系、民主政治等方可信AI具有可審核性，以保證可以對算法、數(shù)據(jù)和設(shè)計流程進行評估；可信AI保證負面影響的最小化，且在產(chǎn)生負面影響時對其進行記錄；可信AI在滿足上述基本要求時可能會產(chǎn)生一定的矛盾，此時需要根據(jù)當前的技術(shù)發(fā)展水平，以合理可行的方式進行有效取舍；在AI系統(tǒng)對人類社會產(chǎn)生了不公平或不利的影響時，可信AI會采取有效的補償措施?？尚臕I作為保障AI正確發(fā)展方向的指導方案，其基本原則如上所述。在可信AI的基本原則中，安全能力是保證AI系統(tǒng)以正確方式工作的必要前提，是可信AI七項基本原則中的重要組成部分。安全能力可以通過技術(shù)手段實現(xiàn)，因此本文件通過技術(shù)指導的方法，對如何以技術(shù)手段實現(xiàn)可信AI的安全能力做出指導，供行業(yè)參考通過對可信AT基本原則的分析，本文件將其中安全原則進行歸納，得出以下七點安全能力，建議相關(guān)方在構(gòu)建AI系統(tǒng)時加以考慮?？尚臕I的安全能力主要包括可控性(涉及基本原則中人類自主權(quán)條目),魯棒性、安全性(涉及基本原則中技術(shù)魯棒性與安全性條目),個人信息保護能力、數(shù)據(jù)治理能力(涉及基本原則中隱私保護與數(shù)據(jù)治理能力條目),可追溯性、用戶知情能力(涉及基本原則中透明度條目),在第5章節(jié)中分別展開敘述。5可信人工智能安全能力AI系統(tǒng)的可控性指用戶對于AI系統(tǒng)的控制能力，包括關(guān)閉，開啟相關(guān)功能、配置功能參數(shù)等。在移動智能終端場景中，主要指用戶對于商業(yè)智能場景中算法推若服務(wù)的控制能力。5.1.2推薦服務(wù)關(guān)閉AI系統(tǒng)宜向用戶提供便捷的關(guān)閉算法推薦服務(wù)的選項。當用戶選擇關(guān)閉算法推薦服務(wù)時，建議AI系統(tǒng)立即停止相關(guān)服務(wù)。移動智能終端的AI系統(tǒng)的魯棒性指系統(tǒng)對錯誤的容錯能力AI系統(tǒng)宜具備對內(nèi)部錯誤的容錯能力，保證在產(chǎn)生內(nèi)部錯誤之后系統(tǒng)能正常運行。例如使用廣泛數(shù)據(jù)集測試提升模型的魯棒性、使用異常處理機制對代碼運行過程中產(chǎn)生的異常進行捕獲與處理等。AI系統(tǒng)宜保證在產(chǎn)生嚴重內(nèi)部錯誤并影響系統(tǒng)正常運行時，能回滾至之前正常運行狀態(tài)。建議AI系統(tǒng)使用良好的版本控制規(guī)則實現(xiàn)回滾機制。5.2.4備用方案AI系統(tǒng)宜具備備用方案，在系統(tǒng)無法正常運行且回滾失敗時，轉(zhuǎn)為基于規(guī)則的程序化執(zhí)行方式運行，或者在人工介入前停止運行。5.2.5人工介入AI系統(tǒng)在產(chǎn)生嚴重錯誤導致無法正常運行、產(chǎn)生危害人類社會安全的行為、產(chǎn)生歧視性結(jié)論等不良后果時，建議實現(xiàn)人工介入且獲取AI系統(tǒng)控制權(quán)的相關(guān)機制，并及時采取人工控制或停止系統(tǒng)運行等補救措施，保證AI系統(tǒng)不影響個人權(quán)益。5.2.6模型魯棒性模型魯棒性包含以下兩點含義——正確性：AI模型面對干擾數(shù)據(jù)、有損數(shù)據(jù)等非正常數(shù)據(jù)輸入時的正常運行能力：——抗攻擊能力：AI模型面對模型竊取、對抗樣本等攻擊時正常運行的能力。AI系統(tǒng)建議盡可能提升模型的魯棒性，在不偏離系統(tǒng)目標需求的情況下，提升系統(tǒng)在相同輸入與執(zhí)行環(huán)境之下能產(chǎn)生正確輸出的概率。提高算法模型魯棒性的相關(guān)活動包括但不限于：a)利用壓縮、損壞等有損數(shù)據(jù)和加入噪聲、變換等干擾數(shù)據(jù)，測試算法功能實現(xiàn)正確性；b)分別在白盒、黑盒對抗場景下，測試算法準確率，并滿足設(shè)定閾值c)對算法進行對抗樣本攻擊、物理對抗攻擊、后門攻擊測試，確保攻擊成功率低于設(shè)定閾值d)在設(shè)計文檔中設(shè)定模型反饋輸出、查詢次數(shù)、查詢頻率的閾值。移動智能終端的AI系統(tǒng)的安全性指系統(tǒng)受到外部攻擊時的抵御能力，具備安全性的AI系統(tǒng)能在系統(tǒng)受到攻擊時具備保護能力，保證系統(tǒng)功能不受影響、信息及數(shù)據(jù)不泄露或被算改、信息來源真實可靠，保障數(shù)據(jù)的完整性、真實性、可用性5.3.2抗攻擊能力AI系統(tǒng)執(zhí)行過程中宜具備抗攻擊能力，尤其是AI算法模型的抗攻擊能力，降低系統(tǒng)在受到攻擊時影響正常工作的概率。針對AI算法模型的常見攻擊類型包括對抗樣本、模型竊取、模型篡改、數(shù)據(jù)投毒等。5.3.3漏洞處理機制5YD/TxXXXx—xXXxAI系統(tǒng)宜具備系統(tǒng)漏洞處理機制。系統(tǒng)中不宜存在國家信息安全漏洞共享平臺(CNVD)、中國國家信息安全漏洞庫(CNNVD)、CVE、CNCVE等公開發(fā)布了6個月及以上的高危及以上安全漏洞。5.3.4安全性檢測AI系統(tǒng)在投入應(yīng)用前，建議相關(guān)人員通過滲透測試等方式，檢驗AI系統(tǒng)的安全水平、檢測安全漏洞，提前排除潛在風險及損害。5.4個人信息保護能力移動智能終端的AI系統(tǒng)的個人信息保護能力指系統(tǒng)對于用戶個人信息的安全收集、存儲、處理、轉(zhuǎn)移、刪除的能力。AI系統(tǒng)中常見的個人信息如附錄C中所示。5.4.2個人信息數(shù)據(jù)識別AI系統(tǒng)宜保證在對數(shù)據(jù)進行收集、處理、使用等過程中，有效識別與標記個人信息數(shù)據(jù)，例如將所有數(shù)據(jù)分類為個人信息數(shù)據(jù)與非個人信息數(shù)據(jù)兩類，保證AI系統(tǒng)能完整且正確地對個人信息數(shù)據(jù)執(zhí)行安全保護操作，而不會將用戶個人信息數(shù)據(jù)與其他非個人信息數(shù)據(jù)混淆。5.4.3隱私保護技術(shù)AI系統(tǒng)建議使用隱私保護技術(shù)提高系統(tǒng)的個人信息保護能力，常見的隱私保護技術(shù)包括匿名化、去標識化、可信執(zhí)行環(huán)境、聯(lián)邦學習、遷移學習、同態(tài)加密、差分隱私等。5.4.4告知用戶同意AI系統(tǒng)宜在對個人信息收集過程之前告知用戶，并在征得用戶同意之后執(zhí)行相關(guān)操作。5.4.5個人信息溫用AI系統(tǒng)宜確保收集、生成(創(chuàng)建)的用戶個人信息及其相關(guān)數(shù)據(jù)不被用來給用戶增加風險、造成傷害或帶來其他負面影響5.4.6個人信息刪除AI系統(tǒng)宜向用戶提供個人信息刪除能力，具體可參考標準GB/T35273中“個人信息刪除”相關(guān)要5.4.7個人信息轉(zhuǎn)移AI系統(tǒng)宜給用戶提供個人信息及其相關(guān)數(shù)據(jù)的轉(zhuǎn)移能力，當用戶申請個人信息轉(zhuǎn)移時，AI系統(tǒng)可根據(jù)用戶需求，安全且有效的將所有用戶個人信息及其相關(guān)數(shù)據(jù)轉(zhuǎn)移給其他用戶要求的主體5.5數(shù)據(jù)治理能力移動智能終端的AI系統(tǒng)的數(shù)據(jù)治理能力指系統(tǒng)對于所使用數(shù)據(jù)集的可靠性和完整性的保證。包括數(shù)據(jù)收集、創(chuàng)建、存儲、刪除等不同階段的安全控制能力。AI系統(tǒng)宜具備數(shù)據(jù)收集、創(chuàng)建、存儲、刪除等不同階段的控制與記錄能力，對數(shù)據(jù)在不同階段的生命周期進行控制，明確數(shù)據(jù)狀態(tài)轉(zhuǎn)移的范圍、條件與時間等相關(guān)信息，并對上述信息進行有效記錄。5.5.3數(shù)據(jù)完整性保護與驗證AI系統(tǒng)在收集數(shù)據(jù)、訓練模型、推理等階段宜具備數(shù)據(jù)完整性保護與驗證能力，所使用的密碼算法符合密碼相關(guān)法律法規(guī)、國家標準和行業(yè)標準的要求。5.5.4數(shù)據(jù)訪問控制AI系統(tǒng)宜保證對數(shù)據(jù)的訪問控制能力，針對不同用戶與場景執(zhí)行不同的訪問控制策略，提高數(shù)據(jù)的安全保護能力與隱私保護能力。例如在人臉識別、自動駕駛等場景中建議嚴格限制數(shù)據(jù)的訪問權(quán)限，使用物理隔離的方法保護數(shù)據(jù)；在機器翻譯、個性化推薦等場景中可僅使用訪問控制技術(shù)實現(xiàn)上述目5.5.5數(shù)據(jù)安全評估建議AI系統(tǒng)的部署應(yīng)用組織定期使用DSMM(數(shù)據(jù)安全能力成熟度模型)對組織的數(shù)據(jù)安全保護能力進行評估，可參考標準GB/T37988中相關(guān)要求。若發(fā)現(xiàn)組織中存在數(shù)據(jù)安全風險，且影響AI系統(tǒng)的安全能力，建議及時制定并實施相關(guān)對策，降低產(chǎn)生數(shù)據(jù)安全風險的可能性。5.6可追潮性移動智能終端的AI系統(tǒng)的可追溯性指系統(tǒng)的數(shù)據(jù)集與執(zhí)行流程宜被相關(guān)方(研究開發(fā)者、設(shè)計制造者、部署應(yīng)用者等)有效記錄，包括所使用的數(shù)據(jù)、標記、算法等信息?？勺泛员ＷC系統(tǒng)在出錯時可被有效記錄與分析，防止未來產(chǎn)生類似錯誤的場景發(fā)生5.6.2算法設(shè)計與開發(fā)AI系統(tǒng)相關(guān)方宜有效記錄用于設(shè)計與開發(fā)的模型、訓練方法、數(shù)據(jù)集等信息5.6.3算法測試與驗證AI系統(tǒng)相關(guān)方宜有效記錄用于測試和驗證的場景、案例、數(shù)據(jù)等信息。AI系統(tǒng)相關(guān)方宜有效記錄不同場景下的算法輸出或系統(tǒng)決策。移動智能終端的AI系統(tǒng)的用戶知情能力指AI系統(tǒng)與相關(guān)方(包括設(shè)計制造者、部署應(yīng)用者等)宜向用戶告知當前所執(zhí)行AI系統(tǒng)的相關(guān)信息，實際應(yīng)用時相關(guān)信息參考本章節(jié)中下述內(nèi)容。5.7.2AI聲明在用戶使用AI功能之前，AI系統(tǒng)宜向用戶告知此時正在和AI系統(tǒng)交互，而非真實的人。AI系統(tǒng)宜向用戶聲明當前系統(tǒng)的目標用戶群體，包括用戶的年齡、性別、國籍等信息。5.7.4系統(tǒng)特性聲明AI系統(tǒng)與相關(guān)方宜向用戶申明當前系統(tǒng)的特性，包括功能、缺陷、部署方式等信息。告知方式包括系統(tǒng)通知、功能介紹與隱私政策等6安全能力適用場景本文件將目前移動智能終端中AI系統(tǒng)的典型應(yīng)用場景分為三類，分別為商業(yè)智能、計算機視覺與自然語言處理，不同場景的基本內(nèi)容及其在移動智能終端中的應(yīng)用示例如附錄A所示。在實際應(yīng)用場景中，移動智能終端中不同場景的AI系統(tǒng)對于安全能力的要求不同。本章節(jié)根據(jù)行業(yè)實踐，結(jié)合AI應(yīng)用場景的具體特征，提出適用于不同場景的安全能力推薦，具體內(nèi)容如附錄B中所示(資料性)Al系統(tǒng)典型應(yīng)用場景說明表A.1展示了在移動智能終端中AI系統(tǒng)的分類及其典型應(yīng)用。以下分別對不同場景中的典型應(yīng)用進表A.1移動智能終端中A系統(tǒng)典型應(yīng)用新聞推薦、電子商務(wù)推薦、音視頻推薦、APP推薦、個使用用戶生理特征實現(xiàn)的設(shè)備解鎖、關(guān)鍵功能使用、移動支付日標檢測A.2各場景介紹A.2.1商業(yè)智能BI的主要目標為使用AI能力提升產(chǎn)品商業(yè)化水平，是目前AI系統(tǒng)在移動智能終端中最主要的應(yīng)用場景。正確的使用BI可提高用戶粘性，加快關(guān)鍵信息在系統(tǒng)中的流動，以更加高效的方式取得商業(yè)化收入，但如果BI在移動智能終端設(shè)備中被澄用，則可能導致終端用戶個人信息泄露、個人特征數(shù)據(jù)濫BI在移動智能終端領(lǐng)域的典型應(yīng)用主要包括個性化推薦、智能搜索與廣告系統(tǒng)。個性化推薦是互聯(lián)網(wǎng)和電子商務(wù)發(fā)展的產(chǎn)物，是建立在海量數(shù)據(jù)挖掘基礎(chǔ)上的一種高級商務(wù)智能平臺，向用戶提供個性化的信息服務(wù)和決策支持。智能搜索是結(jié)合了AI技術(shù)的新一代搜索引擎，除了能提供傳統(tǒng)的快速檢索、相關(guān)度排序等功能。還能提供用戶角色登記、用戶興趣自動識別、內(nèi)容的語義理解、智能信息化過濾和推送等功能。智能搜索的主要應(yīng)用示例包括系統(tǒng)全局搜索、應(yīng)用搜索、設(shè)備功能搜素等。廣告系統(tǒng)也叫互聯(lián)網(wǎng)廣告，是指通過網(wǎng)頁、APP、移動智能終端等互聯(lián)網(wǎng)媒介，以文字、圖片、音頻、視頻或者其他形式，直接或者間接地推銷商品或者服務(wù)的商業(yè)廣告廣告系統(tǒng)的主要應(yīng)用示例包括使用AI實現(xiàn)的系統(tǒng)廣告、預(yù)置APP廣告等CV的主要目標為用各種成像系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。CV在移動智能終端中的應(yīng)用場景主要涉及用戶音視頻信息的采集、存儲與處理等流程，若不正確使用可能導致終端用戶個人信息泄露、個人特征數(shù)據(jù)濫用、可能危害國家安全的數(shù)據(jù)采集與泄露等危害。CV在移動智能終端的典型應(yīng)用包括生物特征識別、圖像識別、目標檢測與跟蹤、圖像智能處理。A.2.2.1生物特征識別生物特征識別指通過計算機利用人體所固有的指紋、虹膜、人臉、聲紋等生理特征或步態(tài)、擊鍵習慣等行為特征來進行個人身份鑒定的技術(shù)。生物特征識別的主要應(yīng)用示例包括使用用戶生理特征實現(xiàn)的設(shè)備解鎖、關(guān)鍵功能使用、移動支付、賬戶登錄等圖像識別是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技圖像識別的主要應(yīng)用示例包括拍照識圖、智能相冊分類等A.2.2.3目標檢測目標檢測是指利用計算機找出圖像或視頻中所有感興趣的目標，確定目標類別和位置，甚至在視頻中對目標的運動狀態(tài)與方位進行跟蹤的功能。目標檢測的主要應(yīng)用示例包括使用相機功能實現(xiàn)的目標識別與目標跟蹤等功能。智能圖像處理指使用AI系統(tǒng)對圖片或視頻質(zhì)量進行優(yōu)化，內(nèi)容進行修改的技術(shù)。圖像智能處理的主要應(yīng)用示例包括圖像合成、語音模擬、人臉合成、視頻生成等功能A.2.3自然語言處理NLP是實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。NLP在移動智能終端中的應(yīng)用場景主要涉及用戶與終端之間使用文字、語音等方式實現(xiàn)信息理解與交流交互的功能。由于N應(yīng)用場景主要涉及文字、語音等信息的采集、存儲與處理等流程。因此若不正確使用可能導致終端用戶個人信息泄露、信息非法收集、非法竊聽等危害。NLP在移動智能終端的典型應(yīng)用包括語音識別、A.2.3.1語音識別語音識別是指計算機通過識別和理解過程把人類語音中的詞匯內(nèi)容轉(zhuǎn)變?yōu)橛嬎銠C可讀的文本或命語音識別的主要應(yīng)用示例包括語音輸入、語音控制等YD/Txxxxx—xxxxA.2.3.2智能輸入法智能輸入法是指支持智能聯(lián)想、自動糾錯等功能的移動智能終端輸入法。機器翻譯是指利用計算機將一種自然語言轉(zhuǎn)換為另一種自然語言的過程。機器翻譯的主要應(yīng)用示例包括系統(tǒng)翻譯、拍照翻譯等。A.2.3.4問答系統(tǒng)問答系統(tǒng)是信息檢索系統(tǒng)的一種高級形式，它能用準確、簡潔的自然語言回答用戶用自然語言提問答系統(tǒng)的主要應(yīng)用示例包括語音助手、聊天機器人等。YD/Txxxxx—xxxx(資料性)安全能力適用場景推薦可信AI安全能力在移動智能終端中的適用場