【2023高清版】GBT 42888-2023 信息安全技術(shù) 機(jī)器學(xué)習(xí)算法安全評(píng)估規(guī)范

信息安全技術(shù)機(jī)器學(xué)習(xí)算法安全評(píng)估規(guī)范2023-08-06發(fā)布國(guó)家市場(chǎng)監(jiān)督管理總局I 2規(guī)范性引用文件 l3術(shù)語(yǔ)和定義 14概述 24.1安全原則 24.2安全要求分級(jí) 25機(jī)器學(xué)習(xí)算法技術(shù)安全要求和評(píng)估方法 25.1安全要求 25.2評(píng)估方法 56機(jī)器學(xué)習(xí)算法服務(wù)安全要求和評(píng)估方法 96.1安全要求 96.2評(píng)估方法 97機(jī)器學(xué)習(xí)算法安全評(píng)估流程 7.1流程要求 7.2評(píng)估準(zhǔn)備 7.3評(píng)估方案 7.4評(píng)估執(zhí)行 7.5評(píng)估結(jié)論 7.6評(píng)估報(bào)告 附錄A(規(guī)范性)算法推薦服務(wù)安全要求 附錄B(規(guī)范性)算法推薦服務(wù)評(píng)估方法 參考文獻(xiàn) ⅢGB/T42888—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由全國(guó)信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC260)提出并歸口。本文件起草單位：北京賽西科技發(fā)展有限責(zé)任公司、中國(guó)科學(xué)院計(jì)算技術(shù)研究所、清華大學(xué)、國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心、上海商湯智能科技有限公司、北京瑞萊智慧科技有限公司、阿里巴巴(中國(guó))有限公司、中國(guó)科學(xué)院信息工程研究所、中國(guó)信息通信研究院、中國(guó)電子科技集團(tuán)公司第十五研究所、國(guó)家信息技術(shù)安全研究中心、廣州大學(xué)、北京大學(xué)、華東師范大學(xué)、北京航空航天大學(xué)、華為技術(shù)有限公司、北京曠視科技有限公司、北京百度網(wǎng)訊科技有限公司、深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司、浙江大學(xué)、北京奇虎科技有限公司、北京小桔科技有限公司、安徽工程大學(xué)、北京智者天下科技有限公司、北京交通大學(xué)、浙江工業(yè)大學(xué)、上海工業(yè)控制安全創(chuàng)新科技有限公司、中國(guó)人民公安大學(xué)、深圳市大數(shù)據(jù)研究院、北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所、中國(guó)科學(xué)院自動(dòng)化研究所、上海燧原科技有限公司、烽臺(tái)科技(北京)有限公司、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院。朱純超、霍珊珊、劉健、劉赫、蘇航、金濤、劉吉強(qiáng)、任奎、張旭東、成瑾、朱紅儒、楊韜、李欽、劉祥龍、1信息安全技術(shù)機(jī)器學(xué)習(xí)算法安全評(píng)估規(guī)范本文件規(guī)定了機(jī)器學(xué)習(xí)算法技術(shù)和服務(wù)的安全要求和評(píng)估方法，以及機(jī)器學(xué)習(xí)算法安全評(píng)估流程。本文件適用于指導(dǎo)機(jī)器學(xué)習(xí)算法提供者保障機(jī)器學(xué)習(xí)算法生存周期安全以及開展機(jī)器學(xué)習(xí)算法安全評(píng)估，也可為監(jiān)管評(píng)估提供參考。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。機(jī)器學(xué)習(xí)算法machinelearningalgorithm功能單元通過(guò)學(xué)習(xí)新知識(shí)技能或整理已有知識(shí)技能以改進(jìn)其性能的算法。機(jī)器學(xué)習(xí)算法提供者machinelearningalgorithmprovider利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)特定功能的組織。注：本文件中簡(jiǎn)稱算法提供者，包括算法技術(shù)提供者和算法服務(wù)提供者。算法技術(shù)提供者是指算法技術(shù)的開發(fā)和提供方，算法服務(wù)提供者是指使用應(yīng)用算法技術(shù)的服務(wù)提供方。算法推薦服務(wù)algorithmicrecommendationservice互聯(lián)網(wǎng)信息服務(wù)算法推薦internetinformationserviceofalgorithmicrecommendation應(yīng)用算法推薦技術(shù)提供信息的服務(wù)。注1:應(yīng)用算法推薦技術(shù)是指利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)生成合成類、個(gè)性化推送類、排序精選類、檢索過(guò)濾類、調(diào)度決算法生存周期algorithmlifecycle機(jī)器學(xué)習(xí)算法從設(shè)計(jì)到退役的演進(jìn)過(guò)程。注2:一般算法服務(wù)處于部署運(yùn)行階段。2機(jī)器學(xué)習(xí)算法在受到干擾或攻擊等情況下維持其性能等水平的能力。準(zhǔn)確率accuracy對(duì)于給定的數(shù)據(jù)集，得到正確結(jié)果的樣本數(shù)占總樣本數(shù)的比率。利用虛擬現(xiàn)實(shí)、深度學(xué)習(xí)等技術(shù)對(duì)文本、圖像、音頻、視頻、場(chǎng)景模型等進(jìn)行生成或者編輯所得到的信息。4概述4.1安全原則機(jī)器學(xué)習(xí)算法安全原則：a)公平合理：符合社會(huì)倫理道德，遵循社會(huì)公序良俗，維護(hù)我國(guó)社會(huì)群體間權(quán)利公平、機(jī)會(huì)公平、過(guò)程公平和結(jié)果公平的狀態(tài)；b)公開可解釋：工作原理具備一定的可解釋性且向用戶充分公開；c)誠(chéng)實(shí)可信：嚴(yán)格遵照設(shè)計(jì)、遵守承諾，不欺騙、不誤導(dǎo)、不隱瞞，充分尊重服務(wù)對(duì)象和社會(huì)利益。4.2安全要求分級(jí)機(jī)器學(xué)習(xí)算法安全要求分為基本級(jí)與增強(qiáng)級(jí)：a)基本級(jí)：對(duì)機(jī)器學(xué)習(xí)算法的基本安全要求；b)增強(qiáng)級(jí)：當(dāng)機(jī)器學(xué)習(xí)算法可能涉及影響國(guó)家安全、社會(huì)安定、公民生命財(cái)產(chǎn)安全等關(guān)鍵事項(xiàng)決策時(shí)符合的增強(qiáng)安全要求，對(duì)應(yīng)條款用粗體表示。5機(jī)器學(xué)習(xí)算法技術(shù)安全要求和評(píng)估方法5.1安全要求5.1.1通用條款對(duì)機(jī)器學(xué)習(xí)算法提供者的安全要求包括以下內(nèi)容。a)應(yīng)對(duì)使用的軟件及第三方組件、硬件固件及時(shí)進(jìn)行安全更新、漏洞修補(bǔ)，保障算法環(huán)境安全。b)應(yīng)針對(duì)訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)、算法代碼、算法模型等方面的安全需求差異分別設(shè)置數(shù)據(jù)訪問(wèn)控制策略，防止非授權(quán)訪問(wèn)。c)應(yīng)采取密碼技術(shù)對(duì)訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)、算法代碼、算法模型等進(jìn)行保護(hù)，應(yīng)對(duì)算法代碼、算法模型進(jìn)行完整性保護(hù)，應(yīng)對(duì)訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)的存儲(chǔ)、傳輸進(jìn)行加密保護(hù)。d)不應(yīng)將個(gè)人信息用于算法生存周期各項(xiàng)活動(dòng)，以下情況除外：31)已按法律法規(guī)要求取得個(gè)人信息主體同意；2)法律法規(guī)規(guī)定無(wú)需取得個(gè)人信息主體同意。e)確需處理含個(gè)人信息的數(shù)據(jù)時(shí)，應(yīng)采取必要的匿名化、去標(biāo)識(shí)化措施保護(hù)個(gè)人信息；處理個(gè)人信息時(shí)應(yīng)遵循最小必要原則，應(yīng)在存儲(chǔ)、傳輸含個(gè)人信息的數(shù)據(jù)時(shí)進(jìn)行加密保護(hù)，防止數(shù)據(jù)泄露。f)應(yīng)保留算法生存周期各階段算法關(guān)鍵決策的相關(guān)日志記錄，至少達(dá)到可復(fù)現(xiàn)關(guān)鍵決策場(chǎng)景的細(xì)化程度，實(shí)現(xiàn)算法關(guān)鍵決策可審計(jì)、可追溯。對(duì)機(jī)器學(xué)習(xí)算法提供者的安全要求包括以下內(nèi)容。a)應(yīng)根據(jù)算法模型設(shè)計(jì)開發(fā)的技術(shù)路線特點(diǎn)，以及算法相關(guān)服務(wù)的安全需求，分析確定以下訓(xùn)練數(shù)據(jù)指標(biāo)，并采用符合指標(biāo)的訓(xùn)練數(shù)據(jù)：1)訓(xùn)練數(shù)據(jù)規(guī)模閾值；2)訓(xùn)練數(shù)據(jù)均衡性指標(biāo)；3)訓(xùn)練數(shù)據(jù)標(biāo)注準(zhǔn)確率閾值。b)應(yīng)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行安全檢測(cè)，修復(fù)或過(guò)濾被投毒數(shù)據(jù)，包括但不限于以下情況：1)攻擊者以降低算法模型整體表現(xiàn)為目的，置入大量標(biāo)注錯(cuò)誤或與設(shè)計(jì)開發(fā)目的無(wú)關(guān)的投2)攻擊者以使算法模型對(duì)特定數(shù)據(jù)給出錯(cuò)誤輸出為目的，置入部分具備特定特征的投毒c)數(shù)據(jù)標(biāo)注應(yīng)采取多途徑標(biāo)注，通過(guò)交叉驗(yàn)證標(biāo)注結(jié)果推斷標(biāo)注準(zhǔn)確率、預(yù)防數(shù)據(jù)投毒。宜設(shè)置數(shù)據(jù)標(biāo)注質(zhì)量責(zé)任人，負(fù)責(zé)制定質(zhì)檢方案，監(jiān)督標(biāo)注過(guò)程，管控標(biāo)注風(fēng)險(xiǎn)，確保標(biāo)注的結(jié)果d)數(shù)據(jù)標(biāo)注應(yīng)在提供者可控的環(huán)境進(jìn)行。借助外部受托團(tuán)隊(duì)進(jìn)行標(biāo)注的，不應(yīng)將數(shù)據(jù)傳輸給外部標(biāo)注團(tuán)隊(duì)之外的其他組織或個(gè)人。應(yīng)設(shè)置標(biāo)注人員權(quán)限控制策略，防止非法授權(quán)訪問(wèn)。e)應(yīng)根據(jù)算法設(shè)計(jì)開發(fā)的技術(shù)路線特點(diǎn)，以及算法相關(guān)服務(wù)的安全需求，分析確定以下算法指標(biāo)，并按指標(biāo)進(jìn)行設(shè)計(jì)開發(fā)：1)算法可用性相關(guān)指標(biāo)，是指算法安全服務(wù)時(shí)間占總時(shí)間比例指標(biāo)，或算法有效響應(yīng)次數(shù)占總調(diào)用次數(shù)比例指標(biāo)等；2)算法可靠性相關(guān)指標(biāo)，是指算法連續(xù)安全服務(wù)時(shí)長(zhǎng)指標(biāo)，或算法連續(xù)安全響應(yīng)次數(shù)指標(biāo)等。f)應(yīng)采取對(duì)抗訓(xùn)練、惡意樣本過(guò)濾等措施提升算法模型健壯性，評(píng)估算法模型健壯性提升效g)應(yīng)設(shè)計(jì)算法安全應(yīng)急處置機(jī)制，使算法在各類情況，包括算法出現(xiàn)安全意外時(shí)，可被提供者人工中斷運(yùn)行。4對(duì)機(jī)器學(xué)習(xí)算法提供者的安全要求包括以下內(nèi)容。a)應(yīng)對(duì)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的重復(fù)性進(jìn)行檢測(cè)，從測(cè)試數(shù)據(jù)中排除已經(jīng)被用于訓(xùn)練的數(shù)據(jù)，并應(yīng)根據(jù)測(cè)試需要，分析確定以下測(cè)試數(shù)據(jù)指標(biāo)，并采用符合指標(biāo)的測(cè)試數(shù)據(jù)：1)測(cè)試數(shù)據(jù)規(guī)模閾值；2)測(cè)試數(shù)據(jù)均衡性指標(biāo)；3)測(cè)試數(shù)據(jù)標(biāo)注準(zhǔn)確率閾值；4)測(cè)試數(shù)據(jù)與測(cè)試任務(wù)相關(guān)性閾值。b)應(yīng)開展算法的數(shù)字世界抗攻擊測(cè)試，測(cè)試算法對(duì)黑盒攻擊、白盒攻擊和灰盒攻擊的抵抗能力；有條件的宜開展物理世界抗攻擊測(cè)試。注1:物理世界攻擊是指通過(guò)對(duì)物理世界中物體的自身、環(huán)境、視角等因素進(jìn)行修改、遮蓋等方式，對(duì)機(jī)器學(xué)習(xí)算法進(jìn)行對(duì)抗性攻擊。數(shù)字世界攻擊是指通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行修改、增加噪聲等方式，對(duì)機(jī)器學(xué)習(xí)算法進(jìn)行對(duì)抗性攻擊。注2:黑盒攻擊是指攻擊者只能獲得算法的輸入輸出，但不掌握代碼、模型等其他信息時(shí)發(fā)起的攻擊。白盒攻擊是指攻擊者在完全掌握算法輸入輸出、代碼、模型等信息后發(fā)起的攻擊?；液泄羰侵腹粽卟糠终莆账惴ǖ侨啃畔?，例如只掌握模型結(jié)構(gòu)但不掌握參數(shù)時(shí)發(fā)起的攻擊。c)委托驗(yàn)證測(cè)試時(shí)，應(yīng)采取以下措施中的一種以保障模型和數(shù)據(jù)的保密性，并宜對(duì)同一算法使用兩個(gè)或多個(gè)受托方對(duì)不同數(shù)據(jù)類型分別驗(yàn)證測(cè)試：1)只在提供者可控的環(huán)境開展驗(yàn)證測(cè)試，不將模型、數(shù)據(jù)向受托方提供；2)將驗(yàn)證測(cè)試所需的模型、數(shù)據(jù)進(jìn)行加密封裝后再向受托方提供。d)應(yīng)根據(jù)設(shè)計(jì)開發(fā)階段確定的可用性、可靠性、可恢復(fù)性指標(biāo)對(duì)算法開展驗(yàn)證確認(rèn)。e)應(yīng)開展模型健壯性驗(yàn)證確認(rèn)，包括但不限于使用包含對(duì)抗噪聲、自然噪聲、系統(tǒng)噪聲、假造、仿造、隨機(jī)、無(wú)意義或與算法應(yīng)用場(chǎng)景無(wú)關(guān)等類型的數(shù)據(jù)對(duì)算法進(jìn)行測(cè)試。f)應(yīng)驗(yàn)證確認(rèn)算法是否可人工中斷運(yùn)行，重點(diǎn)驗(yàn)證算法在被攻擊或出現(xiàn)意外時(shí)可被人工中斷運(yùn)行的安全機(jī)制是否有效。對(duì)機(jī)器學(xué)習(xí)算法提供者的安全要求包括以下內(nèi)容。a)應(yīng)采取措施降低算法代碼、算法模型參數(shù)、特征數(shù)據(jù)的逆向風(fēng)險(xiǎn)，措施包括但不限于對(duì)算法代碼進(jìn)行混淆、加密存儲(chǔ)算法模型參數(shù)等。b)應(yīng)設(shè)置針對(duì)運(yùn)行時(shí)所使用數(shù)據(jù)的安全機(jī)制，包括但不限于對(duì)所使用的數(shù)據(jù)進(jìn)行完整性校驗(yàn)，以及基于密碼技術(shù)對(duì)輸入輸出數(shù)據(jù)進(jìn)行必要的加密保護(hù)等。c)應(yīng)對(duì)輸入數(shù)據(jù)格式、大小等屬性加以限制，防止特殊數(shù)據(jù)輸入使模型出錯(cuò)；在干擾性輸入較多時(shí)，應(yīng)采用輸入篩選過(guò)濾機(jī)制確保算法穩(wěn)定運(yùn)行。注1:干擾性輸入例如與其余輸入數(shù)據(jù)的差異較大的極端值等。d)應(yīng)分析算法安全性，識(shí)別安全風(fēng)險(xiǎn)，形成算法安全說(shuō)明文檔，文檔應(yīng)準(zhǔn)確說(shuō)明算法局限、安全風(fēng)險(xiǎn)和可能的影響。e)應(yīng)具備算法模型備份還原能力，以支持在必要情況下對(duì)算法模型進(jìn)行恢復(fù)還原。5注2:必要情況是指出現(xiàn)模型文件損壞丟失、模型遭受攻擊、在線學(xué)習(xí)出錯(cuò)等導(dǎo)致模型不能正常運(yùn)行的情況。對(duì)機(jī)器學(xué)習(xí)算法提供者的安全要求包括以下內(nèi)容。a)應(yīng)設(shè)置算法升級(jí)安全校驗(yàn)機(jī)制，在升級(jí)前對(duì)升級(jí)包文件進(jìn)行安全校驗(yàn)，特別是對(duì)模型進(jìn)行單獨(dú)校驗(yàn)，并應(yīng)記錄校驗(yàn)過(guò)程，包括但不限于校驗(yàn)的時(shí)間、版本以及關(guān)鍵校驗(yàn)操作等。b)在對(duì)算法進(jìn)行修改、升級(jí)等變更時(shí)，應(yīng)及時(shí)對(duì)模型參數(shù)和配置文件進(jìn)行必要更新；過(guò)期的模型參數(shù)、配置文件和相關(guān)運(yùn)行數(shù)據(jù)，可能影響算法安全運(yùn)行的，應(yīng)及時(shí)刪除；同時(shí)，應(yīng)記錄算法變更情況，記錄內(nèi)容包括但不限于算法變更的時(shí)間、目的、范圍，以及前述更新與刪除情況。c)應(yīng)設(shè)置備份還原機(jī)制，在升級(jí)前進(jìn)行備份，升級(jí)過(guò)程中出現(xiàn)文件損壞丟失的情況可立刻退回備份點(diǎn)。確認(rèn)更新完成后，可選擇保留或刪除備份。對(duì)機(jī)器學(xué)習(xí)算法提供者的安全要求包括以下內(nèi)容。a)應(yīng)設(shè)置算法退役下線的規(guī)則，并按照規(guī)則開展算法退役下線。注1:退役下線的規(guī)則樣例：算法無(wú)法滿足現(xiàn)實(shí)場(chǎng)景要求時(shí)進(jìn)行退役下線、算法需要被其他算法替代時(shí)進(jìn)行退役下線等。b)按照算法退役下線后，應(yīng)及時(shí)銷毀安全域外的數(shù)據(jù)，數(shù)據(jù)包括訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)、實(shí)例數(shù)據(jù)、派生數(shù)據(jù)、特征數(shù)據(jù)、模型參數(shù)、算法輸出等。對(duì)于部署在用戶的終端設(shè)備上，無(wú)法通過(guò)遠(yuǎn)程控制方式由算法提供者實(shí)施數(shù)據(jù)銷毀的，應(yīng)采取技術(shù)手段保護(hù)數(shù)據(jù)和模型安全。注2:安全域指由提供者專門指定的、物理或邏輯上相對(duì)隔離的非生產(chǎn)環(huán)境中的數(shù)據(jù)存儲(chǔ)位置，專門用于集中存儲(chǔ)提供者所擁有的算法相關(guān)數(shù)據(jù)。c)數(shù)據(jù)銷毀后，應(yīng)采取措施確保數(shù)據(jù)無(wú)法恢復(fù)，措施包括但不限于物理粉碎存儲(chǔ)媒體、對(duì)存儲(chǔ)媒體進(jìn)行多次低級(jí)格式化、重復(fù)覆寫文件等。d)算法退役下線后，應(yīng)對(duì)該算法涉及的個(gè)人信息進(jìn)行刪除或匿名化處理，個(gè)人信息主體授權(quán)同意用于其他用途的除外。5.2評(píng)估方法5.1.1各項(xiàng)要求的評(píng)估方法如下。a)查看算法生存周期中使用的所有軟件以及硬件固件維護(hù)日志，檢查是否定期進(jìn)行安全更新和漏洞修補(bǔ)，檢查安全更新版本是否為最新。b)查看系統(tǒng)配置文件，檢查是否對(duì)訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)、算法代碼、算法模型等設(shè)置了訪問(wèn)權(quán)限，研判權(quán)限設(shè)置是否能夠避免非相關(guān)人員訪問(wèn)；通過(guò)模擬非授權(quán)訪問(wèn)等方式驗(yàn)證訪問(wèn)控制策略有效性。c)查看系統(tǒng)配置文件和保護(hù)方案，檢查是否采取密碼技術(shù)對(duì)訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)、算法代碼、算法模型等數(shù)據(jù)設(shè)置了保護(hù)機(jī)制。d)查看算法生存周期各項(xiàng)活動(dòng)日志，檢查所處理的個(gè)人信息是否已取得個(gè)人信息主體同意，法律法規(guī)規(guī)定無(wú)需取得個(gè)人信息主體同意的除外：61)查看隱私政策相關(guān)文檔，研判個(gè)人信息授權(quán)記錄與個(gè)人信息處理情況是否一致；2)檢查個(gè)人信息授權(quán)記錄，研判其與算法應(yīng)用所涉及的授權(quán)人數(shù)規(guī)模、授權(quán)個(gè)人信息類型規(guī)模是否一致；3)測(cè)試算法接口，解析個(gè)人信息，研判解析出的個(gè)人信息是否具備完備的授權(quán)記錄。e)檢查是否進(jìn)行了處理個(gè)人信息最小必要原則的論證，評(píng)估論證是否合理，檢查個(gè)人信息在存儲(chǔ)、傳輸時(shí)是否進(jìn)行了加密保護(hù)。f)開展下列工作以評(píng)估算法的安全審計(jì)能力：1)查看算法生存周期各階段文檔材料和系統(tǒng)日志，檢查是否記錄了技術(shù)路線選擇、數(shù)據(jù)集構(gòu)建與選擇、敏感個(gè)人信息處理等關(guān)鍵決策日志；2)查看算法評(píng)估報(bào)告或?qū)徲?jì)報(bào)告，研判關(guān)鍵決策環(huán)節(jié)是否具備可審計(jì)、可追溯能力。5.1.2各項(xiàng)要求的評(píng)估方法如下。a)查看設(shè)計(jì)開發(fā)文檔，檢查是否記錄以下訓(xùn)練數(shù)據(jù)指標(biāo)的選擇根據(jù)和論證過(guò)程：2)訓(xùn)練數(shù)據(jù)均衡性指標(biāo)；3)訓(xùn)練數(shù)據(jù)標(biāo)注準(zhǔn)確率閾值。b)檢查是否設(shè)計(jì)了安全檢測(cè)機(jī)制，查看訓(xùn)練數(shù)據(jù)的安全檢測(cè)日志，檢查是否對(duì)標(biāo)注錯(cuò)誤、與設(shè)計(jì)開發(fā)目的無(wú)關(guān)、具備某些特定特征的投毒數(shù)據(jù)進(jìn)行識(shí)別，并對(duì)檢測(cè)出的投毒數(shù)據(jù)進(jìn)行了修復(fù)或過(guò)濾。c)開展下列工作以評(píng)估數(shù)據(jù)標(biāo)注安全情況：1)查看數(shù)據(jù)標(biāo)注系統(tǒng)或記錄，檢查是否采用了多途徑標(biāo)注并對(duì)標(biāo)注結(jié)果采取交叉驗(yàn)證，統(tǒng)計(jì)數(shù)據(jù)標(biāo)注準(zhǔn)確率檢測(cè)結(jié)果是否符合設(shè)計(jì)需求。2)借助外部受托標(biāo)注團(tuán)隊(duì)進(jìn)行標(biāo)注的，查看委托協(xié)議，檢查是否通過(guò)協(xié)議條款明確要求了受托標(biāo)注團(tuán)隊(duì)在提供者的可控環(huán)境中開展數(shù)據(jù)標(biāo)注工作；查看提供者的數(shù)據(jù)標(biāo)注系統(tǒng)，檢查是否禁止了受托標(biāo)注團(tuán)隊(duì)復(fù)制、傳輸待標(biāo)注數(shù)據(jù)。3)查看數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)制度，檢查是否設(shè)置數(shù)據(jù)標(biāo)準(zhǔn)質(zhì)量責(zé)任人，檢查是否制定質(zhì)檢方案，查看標(biāo)注過(guò)程日志、標(biāo)注風(fēng)險(xiǎn)管控日志，檢查標(biāo)注結(jié)果質(zhì)量。d)檢查數(shù)據(jù)標(biāo)注環(huán)境是否可控，查看人員權(quán)限，檢查是否具備與數(shù)據(jù)應(yīng)用場(chǎng)景綁定的標(biāo)注人員權(quán)限控制策略，是否通過(guò)協(xié)議、技術(shù)手段防止非法授權(quán)訪問(wèn)。e)查看算法設(shè)計(jì)開發(fā)文檔，檢查是否對(duì)算法可用性和可靠性指標(biāo)進(jìn)行分析論證，研判指標(biāo)設(shè)置的合理性；查看算法開發(fā)過(guò)程中的指標(biāo)評(píng)估記錄，檢查算法是否按指標(biāo)進(jìn)行了設(shè)計(jì)開發(fā)。f)檢查是否對(duì)所采取的提升模型健壯性的措施進(jìn)行了詳細(xì)記錄，包括但不限于提升目標(biāo)、技術(shù)方案、投入時(shí)間、重要操作、提升效果、評(píng)估結(jié)論等內(nèi)容；研判提升后的模型健壯性是否達(dá)到設(shè)置的提升目標(biāo)。g)查看算法設(shè)計(jì)開發(fā)文檔，檢查是否設(shè)置了算法安全應(yīng)急處置機(jī)制，并開發(fā)了相應(yīng)的功能。5.1.3各項(xiàng)要求的評(píng)估方法如下。7a)查看驗(yàn)證確認(rèn)文檔，檢查是否記錄以下測(cè)試數(shù)據(jù)指標(biāo)的選擇根據(jù)和論證過(guò)程：1)測(cè)試數(shù)據(jù)規(guī)模閾值；2)測(cè)試數(shù)據(jù)均衡性指標(biāo)；3)測(cè)試數(shù)據(jù)標(biāo)注準(zhǔn)確率閾值；4)測(cè)試數(shù)據(jù)與測(cè)試任務(wù)相關(guān)性閾值。b)檢查是否設(shè)置了算法的數(shù)字世界抗攻擊測(cè)試機(jī)制；查看測(cè)試文檔，檢查是否開展了面向黑盒攻擊、白盒攻擊和灰盒攻擊的算法抗攻擊測(cè)試。c)查看委托測(cè)試協(xié)議，確認(rèn)委托測(cè)試是在提供者可控的環(huán)境開展，還是將算法提供給受托方開展：1)在提供者可控的環(huán)境開展測(cè)試的，檢查是否通過(guò)協(xié)議、技術(shù)手段阻止向受托方傳輸代碼、2)在將算法提供給受托方進(jìn)行測(cè)試的，檢查是否在提供前將測(cè)試所需的代碼、模型、數(shù)據(jù)進(jìn)行了加密封裝。d)查看驗(yàn)證確認(rèn)文檔，檢查是否根據(jù)設(shè)計(jì)開發(fā)階段確定的可用性、可靠性、可恢復(fù)性指標(biāo)對(duì)算法開展驗(yàn)證確認(rèn)，研判驗(yàn)證確認(rèn)結(jié)果是否符合設(shè)計(jì)開發(fā)文檔的要求。隨機(jī)、無(wú)意義或與算法應(yīng)用場(chǎng)景無(wú)關(guān)等類型的數(shù)據(jù)對(duì)算法進(jìn)行測(cè)試；與設(shè)計(jì)開發(fā)文檔中所提模型健壯性指標(biāo)進(jìn)行比對(duì)，研判是否符合模型健壯性指標(biāo)要求。f)根據(jù)算法設(shè)計(jì)開發(fā)文檔中設(shè)置的算法安全應(yīng)急處置機(jī)制，測(cè)試所開發(fā)功能的有效性；進(jìn)行模擬測(cè)試，驗(yàn)證確認(rèn)算法在被攻擊或出現(xiàn)意外時(shí)是否可被人工中斷運(yùn)行。5.1.4各項(xiàng)要求的評(píng)估方法如下。a)查看部署運(yùn)行日志，檢查是否對(duì)存儲(chǔ)的算法模型參數(shù)進(jìn)行了加密，并在對(duì)算法代碼進(jìn)行混淆后再進(jìn)行部署。b)查看服務(wù)系統(tǒng)及其運(yùn)行日志，檢查是否對(duì)所使用數(shù)據(jù)進(jìn)行完整性校驗(yàn)，查看采用數(shù)據(jù)完整性校驗(yàn)的方式；查看輸入輸出數(shù)據(jù)分析文檔，檢查是否分析輸入輸出數(shù)據(jù)的安全需求，并基于密碼技術(shù)對(duì)重點(diǎn)保護(hù)的數(shù)據(jù)實(shí)施加密保護(hù)。c)開展下列工作以評(píng)估算法運(yùn)行時(shí)抗干擾性輸入的能力：1)查看服務(wù)系統(tǒng)，檢查是否設(shè)置了數(shù)據(jù)輸入合法性校驗(yàn)功能，包括但不限于數(shù)據(jù)格式、大小等；服務(wù)場(chǎng)景干擾性輸入較多的服務(wù)系統(tǒng)，檢查是否設(shè)置了輸入篩選過(guò)濾機(jī)制；2)查看服務(wù)系統(tǒng)運(yùn)行日志，檢查合法性校驗(yàn)功能是否對(duì)非法數(shù)據(jù)輸入進(jìn)行識(shí)別和有效阻止。d)查看算法安全說(shuō)明文檔，檢查是否記錄了算法安全分析相關(guān)工作的開展情況，以及是否記錄了算法安全性的分析結(jié)論，包括但不限于算法局限、安全風(fēng)險(xiǎn)和可能的影響等內(nèi)容。e)開展下列工作以評(píng)估運(yùn)行時(shí)算法模型備份還原能力：1)查看部署運(yùn)行相關(guān)制度，檢查是否要求定期對(duì)算法模型進(jìn)行備份；2)進(jìn)行模擬測(cè)試，驗(yàn)證在必要情況下算法模型是否可恢復(fù)還原。5.1.5各項(xiàng)要求的評(píng)估方法如下。8a)開展下列工作以評(píng)估算法升級(jí)時(shí)的校驗(yàn)安全情況：1)查看算法升級(jí)相關(guān)制度，檢查是否設(shè)置了算法升級(jí)安全校驗(yàn)機(jī)制，是否要求升級(jí)前對(duì)升級(jí)包文件進(jìn)行安全校驗(yàn)，特別是對(duì)模型進(jìn)行單獨(dú)校驗(yàn)，并對(duì)校驗(yàn)的時(shí)間、版本以及關(guān)鍵校驗(yàn)操作進(jìn)行記錄；2)查看算法升級(jí)日志，檢查是否按照相關(guān)制度對(duì)升級(jí)包進(jìn)行安全校驗(yàn)后才實(shí)施升級(jí)，并詳細(xì)記錄了算法升級(jí)前進(jìn)行校驗(yàn)的時(shí)間、版本以及關(guān)鍵校驗(yàn)操作等。b)開展下列工作以評(píng)估算法升級(jí)時(shí)的變更安全情況：1)查看算法變更相關(guān)制度，檢查是否要求在對(duì)算法進(jìn)行變更時(shí)，及時(shí)對(duì)模型參數(shù)和配置文件進(jìn)行必要的同步更新；2)查看當(dāng)前部署的算法與其模型參數(shù)和配置文件是否匹配；3)查看部署環(huán)境，檢查當(dāng)前算法部署路徑下是否殘留歷史版本的模型參數(shù)、配置文件和相關(guān)運(yùn)行數(shù)據(jù)；4)查看算法變更日志，檢查是否對(duì)算法變更的時(shí)間、目的、范圍，以及前述更新與刪除情況進(jìn)行了詳細(xì)準(zhǔn)確記錄。c)開展下列工作以評(píng)估算法升級(jí)時(shí)的備份還原情況：1)查看算法變更相關(guān)制度，檢查是否要求在升級(jí)前對(duì)原算法進(jìn)行備份，以及更新完成后是否要求刪除備份；2)查看算法變更日志，檢查是否根據(jù)算法變更相關(guān)制度執(zhí)行算法變更。5.1.6各項(xiàng)要求的評(píng)估方法如下。a)開展下列工作以評(píng)估算法觸發(fā)退役下線的規(guī)則：1)查看算法退役下線相關(guān)制度，檢查是否制定明確的算法退役下線觸發(fā)規(guī)則和流程；2)查看算法退役下線日志，研判是否根據(jù)制度要求完成算法退役下線。b)在算法退役下線后：1)查看算法相關(guān)數(shù)據(jù)的梳理日志，檢查是否記錄了每個(gè)算法相關(guān)的數(shù)據(jù)類型和安全域外的2)查看算法退役下線日志，檢查是否根據(jù)算法相關(guān)數(shù)據(jù)的梳理結(jié)果，在實(shí)施數(shù)據(jù)銷毀時(shí)將安全域外的數(shù)據(jù)全部銷毀；3)對(duì)于部署在用戶的終端設(shè)備上，無(wú)法通過(guò)遠(yuǎn)程控制方式由算法提供者實(shí)施數(shù)據(jù)銷毀的，查看退役下線制度，檢查是否采取技術(shù)手段保護(hù)數(shù)據(jù)和模型安全。c)開展下列工作以評(píng)估算法徹底銷毀數(shù)據(jù)的情況：1)查看數(shù)據(jù)銷毀制度，檢查是否規(guī)定數(shù)據(jù)銷毀采用物理粉碎存儲(chǔ)媒體、對(duì)存儲(chǔ)媒體進(jìn)行多次低級(jí)格式化、重復(fù)覆寫文件等方式，以防銷毀后的數(shù)據(jù)被恢復(fù)；2)檢查提供者是否向開展數(shù)據(jù)銷毀的人員提供可實(shí)現(xiàn)上述功能的工具或途徑，并查看數(shù)據(jù)銷毀日志，檢查是否使用上述工具或途徑開展數(shù)據(jù)銷毀工作。d)開展下列工作以評(píng)估算法中個(gè)人信息的刪除情況：1)查看算法設(shè)計(jì)開發(fā)和部署運(yùn)行文檔，檢查是否明確記錄了算法涉及的個(gè)人信息范圍、個(gè)人9信息主體授權(quán)同意情況、數(shù)量、存儲(chǔ)位置等信息；2)查看算法退役下線制度，檢查是否規(guī)定了對(duì)退役下線算法涉及的個(gè)人信息進(jìn)行刪除或匿名化處理，個(gè)人信息主體授權(quán)同意用于其他用戶的除外；3)查看算法退役下線記錄，檢查是否根據(jù)設(shè)計(jì)開發(fā)文檔和部署運(yùn)行文檔中記錄的算法涉及的個(gè)人信息，進(jìn)行刪除或匿名化處理。6機(jī)器學(xué)習(xí)算法服務(wù)安全要求和評(píng)估方法6.1安全要求對(duì)機(jī)器學(xué)習(xí)算法提供者的安全要求包括以下內(nèi)容。a)應(yīng)完整梳理各服務(wù)功能所使用的算法，形成記錄文檔，并根據(jù)服務(wù)功能和算法變更及時(shí)更新。b)應(yīng)以適當(dāng)方式公示算法服務(wù)的基本原理、目的意圖和主要運(yùn)行機(jī)制等。c)應(yīng)對(duì)各服務(wù)功能中所使用的算法進(jìn)行以下算法安全評(píng)估：1)評(píng)估算法在各服務(wù)功能中可能對(duì)用戶、社會(huì)以及應(yīng)用者自身造成的安全風(fēng)險(xiǎn)；2)評(píng)估算法在各服務(wù)功能中的可用性、可靠性、健壯性；3)評(píng)估算法在各服務(wù)功能中面對(duì)相同、相似輸入時(shí)給出相同、相似輸出的能力。d)應(yīng)根據(jù)各服務(wù)的安全需求以及算法本身的技術(shù)特點(diǎn)，設(shè)置算法相關(guān)服務(wù)的可恢復(fù)性指標(biāo)，并按照該指標(biāo)提供服務(wù)。e)應(yīng)設(shè)計(jì)算法相關(guān)服務(wù)的安全應(yīng)急處置機(jī)制，使算法出現(xiàn)安全意外時(shí)服務(wù)可被人工中斷。注1:安全意外包括但不限于被攻擊或算法故障。注2:人工中斷服務(wù)的方式例如強(qiáng)制斷電。f)應(yīng)加強(qiáng)個(gè)人信息收集和使用等環(huán)節(jié)的安全管理，針對(duì)個(gè)人信息收集的必要性進(jìn)行分析和記錄，只收集與服務(wù)相關(guān)的個(gè)人信息。g)當(dāng)利用個(gè)人信息提供信息推送、商業(yè)營(yíng)銷等機(jī)器學(xué)習(xí)算法服務(wù)時(shí)，應(yīng)同時(shí)提供不針對(duì)其個(gè)人特征的選項(xiàng)，或者向個(gè)人提出便捷的拒絕方式，不通過(guò)強(qiáng)迫、變相強(qiáng)迫、頻繁提示等方式誘導(dǎo)用戶選擇基于個(gè)人特征的算法服務(wù)。h)設(shè)置便捷有效的用戶申訴和公眾投訴、舉報(bào)入口，及時(shí)響應(yīng)、及時(shí)處理、及時(shí)反饋關(guān)于算法公平性、決策透明性等方面的用戶申訴和公眾投訴、舉報(bào)，并如實(shí)記錄。i)應(yīng)在服務(wù)中采取措施保護(hù)模型參數(shù)等數(shù)據(jù)，防止被攻擊者通過(guò)爬山攻擊等方式還原推測(cè)數(shù)據(jù)，措施包括但不限于限制賬號(hào)和IP的使用頻率、服務(wù)的反饋輸出、查詢服務(wù)的頻率等。注3:爬山攻擊是指通過(guò)對(duì)樣本進(jìn)行修改，逐漸提高模型輸出比對(duì)得分，直到達(dá)到判定閾值。j)開展具有輿論屬性或者社會(huì)動(dòng)員能力的算法推薦服務(wù)時(shí)，應(yīng)根據(jù)附錄A中安全要求開展算法自評(píng)估，并保存自評(píng)估報(bào)告。6.2評(píng)估方法6.1各項(xiàng)要求的評(píng)估方法如下。a)開展下列工作以評(píng)估算法梳理情況：1)查看算法梳理記錄，檢查是否梳理服務(wù)功能中所使用的算法；2)檢查當(dāng)前版本各服務(wù)功能使用的算法，研判最新版本的梳理結(jié)果是否全面、準(zhǔn)確；3)對(duì)照查看服務(wù)功能和算法變更日志與算法梳理記錄，檢查算法梳理記錄是否根據(jù)服務(wù)功能和算法的變更及時(shí)更新。b)檢查是否對(duì)算法服務(wù)的基本原理、目的意圖和主要運(yùn)行機(jī)制等進(jìn)行公示，研判公示方式是否適當(dāng)。c)查看算法安全評(píng)估報(bào)告，檢查是否在提供算法服務(wù)前開展以下算法安全評(píng)估：1)分析算法在各項(xiàng)服務(wù)中對(duì)用戶、社會(huì)以及應(yīng)用者自身造成的安全風(fēng)險(xiǎn)，研判倫理安全評(píng)估結(jié)果是否符合社會(huì)公德和倫理，對(duì)可能存在的倫理爭(zhēng)議做出選擇并提供解釋；2)算法在各服務(wù)功能中的可用性、可靠性、健壯性等評(píng)估，研判安全評(píng)估結(jié)果是否符合算法服務(wù)場(chǎng)景的安全要求；3)可復(fù)現(xiàn)性評(píng)估，研判算法在各服務(wù)功能中產(chǎn)生的輸出結(jié)果，是否與算法提供者對(duì)算法描述的能力一致。d)開展下列工作以評(píng)估算法相關(guān)服務(wù)的可恢復(fù)性：1)查看算法相關(guān)服務(wù)的安全應(yīng)急處置機(jī)制，檢查是否設(shè)置算法相關(guān)服務(wù)的可恢復(fù)性指標(biāo)，研判該指標(biāo)是否符合算法相關(guān)服務(wù)的安全需求以及算法本身的技術(shù)特點(diǎn)；2)查看算法相關(guān)服務(wù)的安全應(yīng)急處置機(jī)制，檢查是否設(shè)置了恢復(fù)算法相關(guān)服務(wù)的機(jī)制和流程；3)查看算法相關(guān)服務(wù)培訓(xùn)和演練日志，檢查是否對(duì)恢復(fù)算法相關(guān)服務(wù)進(jìn)行培訓(xùn)和演練；4)查看算法相關(guān)服務(wù)的安全應(yīng)急處置日志，檢查是否達(dá)到安全應(yīng)急處置機(jī)制提出的可恢復(fù)性指標(biāo)。e)開展下列工作以評(píng)估算法相關(guān)服務(wù)是否可中斷：1)查看算法相關(guān)服務(wù)的安全應(yīng)急處置機(jī)制，是否針對(duì)算法安全意外設(shè)置了人工中斷服務(wù)的機(jī)制；2)查看算法相關(guān)服務(wù)培訓(xùn)和演練日志，檢查是否就安全應(yīng)急處置機(jī)制進(jìn)行培訓(xùn)和演練；3)查看算法相關(guān)服務(wù)的安全應(yīng)急處置日志，檢查所記錄的安全應(yīng)急處置事件是否符合要求；4)查看投訴舉報(bào)記錄，檢查投訴舉報(bào)是否包含安全意外發(fā)生后服務(wù)無(wú)法被人工中斷的相關(guān)內(nèi)容。f)評(píng)估算法相關(guān)服務(wù)在個(gè)人信息收集和使用等環(huán)節(jié)的安全管理時(shí)：1)查看個(gè)人信息處理必要性分析文檔，研判通過(guò)必要性論證的個(gè)人信息，特別是敏感個(gè)人信息，是否為算法相關(guān)服務(wù)所必需；2)比對(duì)隱私政策與個(gè)人信息處理必要性分析文檔，研判隱私政策中描述的個(gè)人信息處理范圍是否與分析結(jié)果一致。g)當(dāng)利用個(gè)人信息提供信息推送、商業(yè)營(yíng)銷等機(jī)器學(xué)習(xí)算法服務(wù)時(shí)：1)查看用戶操作界面，檢查是否具有關(guān)閉針對(duì)個(gè)人特征的選項(xiàng)或者拒絕方式；2)研判關(guān)閉針對(duì)個(gè)人特征的選項(xiàng)或者拒絕方式的訪問(wèn)窗口是否顯著、便捷，例如通過(guò)彈窗方式主動(dòng)提示入口；3)檢查關(guān)閉針對(duì)個(gè)人特征的選項(xiàng)或者拒絕方式是否具有默認(rèn)的時(shí)效性，是否在關(guān)閉針對(duì)個(gè)人特征的選項(xiàng)或拒絕后仍提供針對(duì)個(gè)人特征的算法服務(wù)、降低服務(wù)質(zhì)量，誘導(dǎo)或頻繁提示用戶開啟基于個(gè)人特征的算法服務(wù)。h)評(píng)估算法相關(guān)服務(wù)對(duì)于投訴舉報(bào)的響應(yīng)、處理、反饋情況時(shí)：1)查看用戶舉報(bào)反饋機(jī)制，檢查是否要求設(shè)置便捷有效的用戶申訴和公眾投訴、舉報(bào)入口；2)查看用戶舉報(bào)反饋機(jī)制，檢查是否設(shè)置專人負(fù)責(zé)響應(yīng)、處理、反饋對(duì)算法公平性、決策透明性等方面的用戶申訴和公眾投訴、舉報(bào)；3)查看用戶舉報(bào)反饋記錄，檢查是否及時(shí)響應(yīng)、及時(shí)處理、及時(shí)反饋用戶申訴和公眾投訴、舉報(bào)。i)查看系統(tǒng)配置文件、系統(tǒng)日志記錄，檢查是否在服務(wù)中采取了措施保護(hù)模型參數(shù)等數(shù)據(jù)，包括研判是否限制了賬號(hào)和IP使用的頻率、服務(wù)的反饋輸出、查詢服務(wù)的次數(shù)；或通過(guò)模擬爬山攻擊測(cè)試措施有效性。j)對(duì)具有輿論屬性或者社會(huì)動(dòng)員能力的算法推薦服務(wù)提供者，查看算法自評(píng)估報(bào)告，研判報(bào)告是否包括附錄B中評(píng)估方法的所有內(nèi)容。7機(jī)器學(xué)習(xí)算法安全評(píng)估流程7.1流程要求對(duì)機(jī)器學(xué)習(xí)算法安全評(píng)估的流程要求包括以下內(nèi)容。a)應(yīng)設(shè)置算法安全評(píng)估機(jī)制。算法發(fā)生重大變更時(shí)，應(yīng)及時(shí)開展評(píng)估；無(wú)重大變更的，宜每年開展一次評(píng)估。b)機(jī)器學(xué)習(xí)算法技術(shù)提供者進(jìn)行安全評(píng)估時(shí)，應(yīng)按照5.1所述安全要求和5.2所述評(píng)估方法開展評(píng)估工作。c)機(jī)器學(xué)習(xí)算法服務(wù)提供者進(jìn)行安全評(píng)估時(shí)，應(yīng)按照6.1所述安全要求和6.2所述評(píng)估方法開展評(píng)估工作。d)算法推薦服務(wù)提供者進(jìn)行安全評(píng)估時(shí)，在按照第6章開展評(píng)估外，還應(yīng)按照附錄A所述安全要求和附錄B所述評(píng)估方法開展評(píng)估工作。7.2評(píng)估準(zhǔn)備評(píng)估工作開展前應(yīng)進(jìn)行充分準(zhǔn)備，包括但不限于以下內(nèi)容。a)確定評(píng)估對(duì)象：應(yīng)明確機(jī)器學(xué)習(xí)算法安全評(píng)估的背景、目標(biāo)、原則和依據(jù)，充分調(diào)研該算法提供者所屬行業(yè)、領(lǐng)域相關(guān)法規(guī)政策及標(biāo)準(zhǔn)文件，確定評(píng)估工作任務(wù)和方向。b)組建評(píng)估團(tuán)隊(duì)：一般應(yīng)以算法安全人員為主組建評(píng)估團(tuán)隊(duì)，團(tuán)隊(duì)成員還可包括管理人員、業(yè)務(wù)人員、審計(jì)人員法務(wù)人員等。c)宣貫學(xué)習(xí)：評(píng)估團(tuán)隊(duì)與評(píng)估對(duì)象的對(duì)接人員應(yīng)充分學(xué)習(xí)了解機(jī)器學(xué)習(xí)算法安全評(píng)估的相關(guān)政策法規(guī)和標(biāo)準(zhǔn)。7.3評(píng)估方案評(píng)估方案的編制應(yīng)結(jié)合評(píng)估對(duì)象的具體情況，包括但不限于以下內(nèi)容。a)評(píng)估范圍。b)評(píng)估對(duì)象。c)評(píng)估目標(biāo)。d)評(píng)估內(nèi)容：1)涉及機(jī)器學(xué)習(xí)算法技術(shù)安全評(píng)估的，評(píng)估內(nèi)容應(yīng)包括5.1所述安全要求；2)涉及機(jī)器學(xué)習(xí)算法服務(wù)安全評(píng)估的，評(píng)估內(nèi)容應(yīng)包括6.1所述安全要求。涉及開展算法推薦服務(wù)安全評(píng)估的，應(yīng)符合附錄A的安全要求，開展算法推薦技術(shù)相關(guān)安全評(píng)估，也應(yīng)參考附錄A。e)實(shí)施方法和時(shí)間進(jìn)度安排。f)使用的軟硬件工具和環(huán)境，如根據(jù)計(jì)算量、評(píng)估時(shí)間、模型使用環(huán)境確定測(cè)試集和對(duì)抗樣本集。g)風(fēng)險(xiǎn)管控措施。h)人員安排、項(xiàng)目管理制度。i)被評(píng)估方需要配合的事項(xiàng)清單。j)被評(píng)估方應(yīng)準(zhǔn)備的文檔、代碼及其他相關(guān)材料清單。k)對(duì)制定的評(píng)估方案的可行性、適用性及針對(duì)性評(píng)價(jià)。7.4評(píng)估執(zhí)行評(píng)估執(zhí)行應(yīng)按照評(píng)估方案逐項(xiàng)評(píng)估、形成分項(xiàng)評(píng)估結(jié)果、留存證明材料，包含以下內(nèi)容。a)逐項(xiàng)評(píng)估：1)涉及機(jī)器學(xué)習(xí)算法技術(shù)安全評(píng)估的，應(yīng)按照5.2所述評(píng)估方法進(jìn)行逐項(xiàng)評(píng)估；2)涉及機(jī)器學(xué)習(xí)算法服務(wù)安全評(píng)估的，應(yīng)按照6.2所述評(píng)估方法進(jìn)行逐項(xiàng)評(píng)估。涉及開展算法服務(wù)安全評(píng)估的，應(yīng)按照附錄B所述評(píng)估方法進(jìn)行逐項(xiàng)評(píng)估。b)形成分項(xiàng)評(píng)估結(jié)果，對(duì)每項(xiàng)評(píng)估內(nèi)容的評(píng)估結(jié)果有“符合”"不符合""不適用"三種：c)留存證明材料：1)分項(xiàng)評(píng)估結(jié)果為“符合”的，需要留存必要的證明材料，包括證明材料的文件名稱、文件格式以及文件內(nèi)容都應(yīng)按照要求準(zhǔn)備；2)分項(xiàng)評(píng)估結(jié)果為“不符合”的，需要留存未能滿足該項(xiàng)安全要求的證明材料；3)分項(xiàng)評(píng)估結(jié)果為“不適用”的，仍需按照證明材料的文件名稱、文件格式準(zhǔn)備，材料內(nèi)容應(yīng)證明該評(píng)估項(xiàng)確實(shí)不適用的情況說(shuō)明。7.5評(píng)估結(jié)論完成所有分項(xiàng)評(píng)估后，所有分項(xiàng)評(píng)估結(jié)果均沒有“不符合”的，本次評(píng)估結(jié)論可記為“增強(qiáng)級(jí)通過(guò)”;評(píng)估結(jié)果“不符合”的分項(xiàng)僅為增強(qiáng)級(jí)要求的評(píng)估結(jié)論為“未通過(guò)”,依據(jù)評(píng)估結(jié)果進(jìn)行整改的，應(yīng)在整改完成后，對(duì)整改項(xiàng)相關(guān)的分項(xiàng)進(jìn)行重新評(píng)估，研判分項(xiàng)評(píng)估結(jié)果，重新形成評(píng)估結(jié)論。7.6評(píng)估報(bào)告評(píng)估報(bào)告由評(píng)估團(tuán)隊(duì)出具，對(duì)評(píng)估報(bào)告的要求如下。a)評(píng)估報(bào)告應(yīng)包括：1)機(jī)器學(xué)習(xí)算法提供者基本信息；2)分項(xiàng)評(píng)估結(jié)果；3)逐項(xiàng)證明材料；4)涉及算法推薦服務(wù)安全評(píng)估的，還應(yīng)包括附錄B中規(guī)定的內(nèi)容。b)評(píng)估方應(yīng)將填寫的所有內(nèi)容形成報(bào)告正文，并將準(zhǔn)備的所有證明材料另存于單獨(dú)文件夾內(nèi)形成證明材料集。c)由評(píng)估機(jī)構(gòu)的主管部門對(duì)報(bào)告有效性進(jìn)行認(rèn)證，加蓋部門印章，評(píng)估團(tuán)隊(duì)負(fù)責(zé)人簽字，表示對(duì)結(jié)果進(jìn)行負(fù)責(zé)。(規(guī)范性)算法推薦服務(wù)安全要求A.1主體責(zé)任要求A.1.1規(guī)章制度對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)建立健全以下制度與措施：1)算法機(jī)制機(jī)理審核制度，圍繞算法的保密性、完整性、可用性、可控性、隱私性等安全屬性，對(duì)技術(shù)提供者與服務(wù)提供者進(jìn)行邊界職責(zé)劃分，全面審核算法機(jī)制機(jī)理的安全風(fēng)險(xiǎn)；2)算法科技倫理審查制度，圍繞算法倫理安全的失控性風(fēng)險(xiǎn)、社會(huì)性風(fēng)險(xiǎn)、侵權(quán)性風(fēng)險(xiǎn)、歧視性風(fēng)險(xiǎn)、責(zé)任性風(fēng)險(xiǎn)，考慮算法可能對(duì)用戶、社會(huì)以及應(yīng)用者自身造成的倫理安全風(fēng)險(xiǎn)；3)防范利用算法開展電信網(wǎng)絡(luò)詐騙以及防范電信網(wǎng)絡(luò)詐騙相關(guān)制度；b)應(yīng)建立數(shù)據(jù)安全和個(gè)人信息保護(hù)制度，特別是對(duì)算法中可能處理的人臉、聲紋、基因等生物識(shí)別信息進(jìn)行嚴(yán)格保護(hù)。c)應(yīng)建立健全算法事件應(yīng)急處置機(jī)制，包括但不限于：1)針對(duì)算法推薦服務(wù)相關(guān)安全事件制定應(yīng)急預(yù)案；2)根據(jù)應(yīng)急預(yù)案定期開展培訓(xùn)及演練。A.1.2機(jī)構(gòu)人員對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)設(shè)立專門的組織機(jī)構(gòu)，負(fù)責(zé)承擔(dān)算法安全工作，一般包括制度措施以及應(yīng)急預(yù)案的制定和執(zhí)行。b)應(yīng)根據(jù)算法服務(wù)規(guī)模、算法復(fù)雜度、算法迭代更新速度等，配備與之在人員規(guī)模、技術(shù)能力等方面相適應(yīng)的專業(yè)人員，進(jìn)行技術(shù)支撐。A.1.3審核評(píng)估對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)對(duì)用于支撐五類算法推薦服務(wù)的核心算法模塊開展算法科技倫理審查、機(jī)制機(jī)理審核，通過(guò)后才可投入應(yīng)用。b)應(yīng)定期開展算法機(jī)制機(jī)理、模型、數(shù)據(jù)和應(yīng)用結(jié)果的審核、評(píng)估、驗(yàn)證。A.2信息服務(wù)要求A.2.1正能量信息對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)建立健全算法推薦服務(wù)中的正能量?jī)?nèi)容儲(chǔ)備；提供新聞資訊類、音視頻類、網(wǎng)絡(luò)社區(qū)類服務(wù)的，應(yīng)建立健全正能量稿源池。注1:正能量信息見《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》第五條鼓勵(lì)傳播的信息。b)應(yīng)建立利用個(gè)性化推送、排序精選、檢索過(guò)濾等算法加強(qiáng)正能量信息傳播的機(jī)制。c)應(yīng)建立加強(qiáng)正能量信息傳播的干預(yù)策略，可采用的方式包括加強(qiáng)正能量信息推送權(quán)重、建立獨(dú)立的召回鏈路等。d)加強(qiáng)重點(diǎn)環(huán)節(jié)正能量信息傳播：1)提供社交娛樂(lè)類、信息資訊類服務(wù)的，應(yīng)在首頁(yè)首屏，熱搜、精選或榜單，彈出窗口等環(huán)節(jié)重點(diǎn)加強(qiáng)正能量信息傳播；或榜單，彈出窗口等環(huán)節(jié)重點(diǎn)加強(qiáng)正能量信息傳播；3)應(yīng)采用其他與服務(wù)形態(tài)相適應(yīng)的方式。注2:重點(diǎn)環(huán)節(jié)見《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》第十一條。e)應(yīng)在重要時(shí)間節(jié)點(diǎn)，加強(qiáng)正能量信息傳播。f)應(yīng)至少建立完善下列一種用戶選擇機(jī)制：1)具有用戶容易進(jìn)入的，集中體現(xiàn)正能量信息的頁(yè)面、板塊；2)具有用戶容易操作的，手動(dòng)選擇增加正能量信息呈現(xiàn)的機(jī)制；3)采用其他與服務(wù)形態(tài)相適應(yīng)的用戶選擇方式。g)宜建設(shè)數(shù)據(jù)看板等進(jìn)行效果評(píng)估。A.2.2違法和不良信息對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)建立健全違法和不良信息特征庫(kù)：1)設(shè)置違法和不良信息特征入庫(kù)標(biāo)準(zhǔn)、規(guī)則和程序；2)綜合考慮政策法規(guī)、業(yè)務(wù)經(jīng)驗(yàn)、科學(xué)研究等方面，對(duì)特征庫(kù)進(jìn)行及時(shí)更新；3)入庫(kù)的特征覆蓋服務(wù)所涉及的所有數(shù)據(jù)類型；4)入庫(kù)的特征覆蓋已識(shí)別違法和不良信息的變形、變體、變異特征。b)應(yīng)具備對(duì)違法和不良信息的變形、變體、變異詞的自動(dòng)擴(kuò)展和檢索過(guò)濾能力。c)應(yīng)建立信息發(fā)布審核制度，至少包括：1)在全部信息發(fā)布前進(jìn)行審核；2)對(duì)審核發(fā)現(xiàn)的敏感信息進(jìn)行確認(rèn)，提前屏蔽過(guò)濾違法和不良信息；3)通過(guò)黑名單、灰名單等措施，對(duì)屢次嘗試發(fā)布違法和不良信息的賬號(hào)進(jìn)行限制。d)應(yīng)具備人工與機(jī)器協(xié)同的違法和不良信息審核機(jī)制：1)違法和不良信息識(shí)別技術(shù)措施具備一定的及時(shí)性、準(zhǔn)確性水平；2)配備與待審核內(nèi)容數(shù)量相適應(yīng)的內(nèi)容審核人員，并對(duì)其進(jìn)行定期培訓(xùn)。e)發(fā)現(xiàn)違法和不良信息內(nèi)容的，應(yīng)立即采取防止信息擴(kuò)散、消除違法和不良信息等處置措施。f)應(yīng)設(shè)立面向用戶的違法和不良信息投訴、舉報(bào)渠道，并保持渠道暢通。g)應(yīng)設(shè)置在必要情況下將違法和不良信息情況向主管部門報(bào)告的機(jī)制。h)應(yīng)對(duì)記入用戶模型的興趣點(diǎn)和用戶標(biāo)簽進(jìn)行違法和不良信息過(guò)濾。A.2.3信息服務(wù)生態(tài)A.2.3.1算法模型倫理道德對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)不應(yīng)使用誘導(dǎo)用戶沉迷的算法模型提供互聯(lián)網(wǎng)信息服務(wù)，網(wǎng)絡(luò)游戲、網(wǎng)絡(luò)直播、網(wǎng)絡(luò)音視頻、網(wǎng)絡(luò)社區(qū)等互聯(lián)網(wǎng)信息服務(wù)提供者宜提供每日使用時(shí)長(zhǎng)上限設(shè)置、使用時(shí)長(zhǎng)提醒、深夜提醒等功能。b)不應(yīng)使用誘導(dǎo)用戶過(guò)度消費(fèi)的算法模型提供互聯(lián)網(wǎng)信息服務(wù)，網(wǎng)絡(luò)游戲、網(wǎng)絡(luò)直播、網(wǎng)絡(luò)音視頻、網(wǎng)絡(luò)社區(qū)等互聯(lián)網(wǎng)信息服務(wù)提供者宜提供提醒消費(fèi)金額、設(shè)置單次消費(fèi)金額上限等功能。A.2.3.2信息呈現(xiàn)對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)算法設(shè)計(jì)及開發(fā)時(shí)，應(yīng)以呈現(xiàn)符合事實(shí)的信息為原則，將信息呈現(xiàn)的真實(shí)性、公平性、合理性等作為重要指標(biāo)。b)算法應(yīng)用時(shí)，不應(yīng)人工操縱信息呈現(xiàn)、改變算法的自然計(jì)算結(jié)果，除非已經(jīng)過(guò)評(píng)估確認(rèn)：1)信息呈現(xiàn)的真實(shí)性、公平性、合理性等未受到影響；2)不會(huì)導(dǎo)致非法違規(guī)屏蔽信息、過(guò)度推薦、操縱榜單或排序、控制熱搜或精選等問(wèn)題。c)利用算法呈現(xiàn)的信息內(nèi)容以及順序不應(yīng)違背事實(shí)，不應(yīng)違反社會(huì)公序良俗。對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)具備對(duì)使用偽冒、仿冒身份進(jìn)行注冊(cè)的防范機(jī)制，阻止識(shí)別出的注冊(cè)行為。b)應(yīng)具備對(duì)使用虛構(gòu)、編造身份進(jìn)行注冊(cè)的防范機(jī)制，阻止識(shí)別出的注冊(cè)行為。c)對(duì)短時(shí)間、大規(guī)模批量注冊(cè)賬號(hào)的行為，應(yīng)具備防范機(jī)制。d)宜建立賬號(hào)分類分級(jí)管理機(jī)制，對(duì)從事經(jīng)濟(jì)、教育、醫(yī)療衛(wèi)生、司法等領(lǐng)域信息內(nèi)容生產(chǎn)的公眾賬號(hào)，宜進(jìn)行資質(zhì)驗(yàn)證和專門標(biāo)識(shí)。f)宜針對(duì)服務(wù)使用者利用算法虛假點(diǎn)贊、評(píng)論、轉(zhuǎn)發(fā)的問(wèn)題，具備防范、識(shí)別、處理的技術(shù)措施和管理手段。A.2.3.4公平競(jìng)爭(zhēng)對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)無(wú)政策法規(guī)要求或用戶權(quán)益保護(hù)等正當(dāng)理由，開展算法推薦服務(wù)時(shí)，不應(yīng)針對(duì)其他特定服務(wù)提供者攔截其信息頁(yè)面或屏蔽其信息內(nèi)容，不應(yīng)針對(duì)其他特定服務(wù)者阻止其賬號(hào)的信息發(fā)布。b)存在屏蔽關(guān)鍵詞或下線商品情況的，應(yīng)定期開展評(píng)估，發(fā)現(xiàn)有減少其他經(jīng)營(yíng)者公平交易機(jī)會(huì)的，應(yīng)取消屏蔽關(guān)鍵詞或重新上線商品。對(duì)提供新聞信息的服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)具有互聯(lián)網(wǎng)新聞信息服務(wù)許可。b)應(yīng)按照已獲得的互聯(lián)網(wǎng)新聞信息服務(wù)許可，規(guī)范開展互聯(lián)網(wǎng)新聞信息采編發(fā)布服務(wù)、轉(zhuǎn)載服務(wù)和傳播平臺(tái)服務(wù)。c)應(yīng)具有互聯(lián)網(wǎng)新聞信息服務(wù)相關(guān)管理制度，不應(yīng)生成合成虛假新聞信息，不應(yīng)傳播非國(guó)家規(guī)定范圍內(nèi)的單位發(fā)布的新聞信息。A.3權(quán)益保護(hù)要求A.3.1通用權(quán)益A.3.1.1知情權(quán)對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)以顯著方式向用戶告知服務(wù)基本情況，包括但不限于：1)服務(wù)的目的意圖；2)服務(wù)的基本原理與規(guī)則；3)服務(wù)的主要運(yùn)行機(jī)制。注：顯著方式一般包括彈出窗口、推送通知、向用戶發(fā)送郵件、短信等。b)基于檢索、排序、選擇、推送、展示等規(guī)則開展互聯(lián)網(wǎng)信息服務(wù)的，應(yīng)優(yōu)化規(guī)則透明度和可解釋性，避免對(duì)用戶產(chǎn)生誤導(dǎo)或其他不良影響。c)應(yīng)對(duì)檢索、排序、選擇、推送、展示等規(guī)則呈現(xiàn)結(jié)果中的廣告內(nèi)容進(jìn)行顯著標(biāo)識(shí)。d)應(yīng)提前向用戶告知個(gè)人信息的收集、使用、提供等處理情況。A.3.1.2選擇權(quán)對(duì)服務(wù)提供者的要求包括但不限于以下方面。a)在用戶使用個(gè)性化推送前，宜同時(shí)提供不基于其個(gè)人特征進(jìn)行推送的選項(xiàng)。b)在用戶使用個(gè)性化推送過(guò)程中，向用戶提供便捷的關(guān)閉基于個(gè)人特征的選項(xiàng)。1)用戶選擇該選項(xiàng)時(shí)，應(yīng)立即停止基于該用戶個(gè)人特征的信息推送；2)用戶選擇該選項(xiàng)時(shí)，應(yīng)繼續(xù)提供不基于該用戶個(gè)人特征的信息推送；3)用戶從服務(wù)主界面開始到達(dá)該選項(xiàng)所需操作不宜超過(guò)4次點(diǎn)擊。c)提供基于個(gè)人特征進(jìn)行推送的算法推薦服務(wù)應(yīng)：1)設(shè)置并向服務(wù)使用者告知管理個(gè)人標(biāo)簽的流程及規(guī)則；2)向用戶提供管理其個(gè)人標(biāo)簽的功能，包括選擇、刪除個(gè)人標(biāo)簽以及使部分標(biāo)簽生效或失效，在用戶選擇刪除個(gè)人標(biāo)簽后，不應(yīng)使用該標(biāo)簽進(jìn)行個(gè)性化推送；3)技術(shù)上確實(shí)無(wú)法實(shí)現(xiàn)2)中所述功能的，向用戶提供對(duì)個(gè)性化推送結(jié)果的影響等同于2)中所述功能的其他功能。注：其他功能例如向用戶提供減少特定類型信息推送量的功能。A.3.1.3異議權(quán)對(duì)服務(wù)提供者的要求包括但不限于以下方面：a)應(yīng)具備有效、暢通的投訴舉報(bào)渠道；b)應(yīng)在用戶要求時(shí)通過(guò)人工受理，不應(yīng)僅提供機(jī)器自動(dòng)受理；c)應(yīng)明確時(shí)效，并在時(shí)效內(nèi)盡快完成投訴舉報(bào)的受理和處理工作，并向用戶反饋處理結(jié)果；d)應(yīng)向用戶提供對(duì)算法投訴舉報(bào)處理結(jié)果的申訴、復(fù)議渠道。A.3.1.4公平交易權(quán)對(duì)具備定價(jià)、優(yōu)惠制定等影響交易條件能力的服務(wù)提供者的要求包括但不限于以下方面。a)不應(yīng)利用算法根據(jù)消費(fèi)者的偏好、交易習(xí)慣、消費(fèi)能力、資產(chǎn)情況等對(duì)交易價(jià)格等交易條件實(shí)施不合理的差別待遇。b)向消費(fèi)者提供影響交易條件的優(yōu)惠時(shí)，以公開且便于消費(fèi)者查閱的方式展示優(yōu)惠規(guī)則。如對(duì)消費(fèi)者獲得或使用優(yōu)惠設(shè)置了前提條件：1)應(yīng)以顯著方式明確告知全部前提條件，不應(yīng)通過(guò)虛假或者引人誤解的方式進(jìn)行誤導(dǎo)；2)對(duì)于符合同等前提條件的消費(fèi)者，規(guī)則應(yīng)公平適用；3)且消費(fèi)者需完成額外提供信息等操作才可判斷是否滿足條件時(shí)，應(yīng)明確告知消費(fèi)者操作方法，對(duì)于操作后仍無(wú)法滿足條件的，應(yīng)明確告知消費(fèi)者無(wú)法獲得或無(wú)法使用該優(yōu)惠，宜告知無(wú)法獲得或使用的原因；4)對(duì)于不符合獲得或使用該優(yōu)惠前提條件的消費(fèi)者，不宜重復(fù)推送該優(yōu)惠相關(guān)信息。A.3.2特定權(quán)益對(duì)向未成年人提供算法推薦服務(wù)的服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)為未成年人獲取有益身心健康、符合身心發(fā)展特點(diǎn)的信息提供便利，可采用的方式包括但不限于：1)提供專門面向未成年人的服務(wù)；2)在服務(wù)中提供未成年人模式；3)在服務(wù)中設(shè)置適合未成年人特點(diǎn)的服務(wù)功能。般應(yīng)設(shè)置未成年人模式，用戶從服務(wù)主界面開始到達(dá)開啟該模式的選項(xiàng)所需操作不宜超過(guò)4次點(diǎn)擊；未設(shè)置未成年人模式的，應(yīng)通過(guò)內(nèi)容精選等方式，便利未成年人獲取有益身心健康的信息。c)提供網(wǎng)絡(luò)游戲、短視頻、網(wǎng)絡(luò)直播、在線影音、網(wǎng)絡(luò)社區(qū)等類型服務(wù)的，一般應(yīng)提供未成年人時(shí)間管理、消費(fèi)管理等功能，包括但不限于設(shè)置使用時(shí)間上限、設(shè)置消費(fèi)金額上限等。d)不應(yīng)向未成年人或在未成年人模式中推送可能影響未成年人身心健康的信息；發(fā)布、傳播包含可能影響未成年人身心健康的信息，應(yīng)以顯著方式作出提示。注：可能影響未成年人身心健康的信息包括可能引發(fā)未成年人模仿不安全行為和違反社會(huì)公德行為、誘導(dǎo)未成年人不良嗜好等的信息。對(duì)向老年人提供算法推薦服務(wù)的服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)根據(jù)老年人使用算法推薦服務(wù)的特點(diǎn)，建立防范年齡歧視的機(jī)制。b)在出行、就醫(yī)、消費(fèi)、辦事等領(lǐng)域，應(yīng)提供智能化適老服務(wù)，宜在服務(wù)主界面直接以顯著方式提供老年人模式入口。A.4五類算法安全要求A.4.1生成合成類算法推薦服務(wù)在符合A.1、A.2、A.3要求的基礎(chǔ)上，對(duì)提供生成合成類算法推薦服務(wù)的提供者的要求包括但不限于以下方面。a)應(yīng)建立算法生成合成信息的安全管理制度，宜具備生成合成信息的識(shí)別能力和自動(dòng)標(biāo)注機(jī)制。b)服務(wù)提供者自身通過(guò)生成合成功能產(chǎn)生的信息，應(yīng)進(jìn)行顯著標(biāo)識(shí)后再進(jìn)行傳輸?shù)忍幚?。c)服務(wù)提供者識(shí)別發(fā)現(xiàn)第三方提供的信息屬于生成合成的，應(yīng)在進(jìn)一步傳輸前進(jìn)行顯著標(biāo)識(shí)。A.4.2個(gè)性化推送類算法推薦服務(wù)在符合A.1、A.2、A.3要求的基礎(chǔ)上，對(duì)提供個(gè)性化推送類算法推薦服務(wù)的提供者的要求包括但不限于以下方面。a)應(yīng)具備內(nèi)容去重機(jī)制，減少向用戶推送重復(fù)信息，在一定時(shí)間內(nèi)不應(yīng)向用戶再次推送其已查看的信息，用戶收到的重復(fù)推送信息數(shù)量占總信息數(shù)量比例不宜超過(guò)10%。b)應(yīng)具備打散干預(yù)機(jī)制，增加向用戶推送的信息類型，除非在用戶自主選擇的、只包含特定類型信息的版面中，不應(yīng)向用戶集中推送只屬于單一類型的信息，用戶收到的同一類型的信息數(shù)量占總信息數(shù)量的比例不宜超過(guò)50%。A.4.3排序精選類算法推薦服務(wù)在符合A.1、A.2、A.3要求的基礎(chǔ)上，對(duì)提供排序精選類算法推薦服務(wù)的提供者的要求包括但不限于以下方面。a)應(yīng)向用戶公開排序類服務(wù)的排序規(guī)則，以及精選類服務(wù)的精選規(guī)則，用戶從服務(wù)主界面開始到達(dá)查看該規(guī)則的入口所需操作不宜超過(guò)4次點(diǎn)擊。b)應(yīng)優(yōu)化排序精選服務(wù)所使用算法的透明度和可解釋性，使規(guī)則易于用戶理解。c)應(yīng)按照已公開的規(guī)則提供排序精選服務(wù)，不在規(guī)則以外擅自調(diào)整排序精選結(jié)果。d)提供基于個(gè)人信息的排序精選服務(wù)的，應(yīng)提前取得用戶明示同意。A.4.4檢索過(guò)濾類算法推薦服務(wù)在符合A.1、A.2、A.3要求的基礎(chǔ)上，對(duì)提供檢索過(guò)濾類算法推薦服務(wù)的提供者的要求包括但不限于以下方面。a)顯示檢索結(jié)果前，應(yīng)提前過(guò)濾其中的違法和不良信息。b)提供通過(guò)算法對(duì)搜索關(guān)鍵詞進(jìn)行聯(lián)想或自動(dòng)化補(bǔ)充，以及提供相關(guān)搜索、周邊搜索、相似搜索等關(guān)鍵詞推薦的，應(yīng)對(duì)所產(chǎn)生關(guān)鍵詞中的違法和不良信息進(jìn)行提前過(guò)濾。注：聯(lián)想或自動(dòng)化補(bǔ)充包括對(duì)用戶的輸入進(jìn)行糾正、補(bǔ)充以及提供備選詞語(yǔ)或語(yǔ)句等情況。c)宜具備識(shí)別虛假信息，以及防止虛假信息擴(kuò)散傳播的能力。d)除非為落實(shí)網(wǎng)絡(luò)安全、用戶權(quán)益等法律法規(guī)相關(guān)要求，不應(yīng)人工干預(yù)、操縱檢索結(jié)果。示例：不應(yīng)針對(duì)特定的組織或個(gè)人進(jìn)行信息過(guò)濾。A.4.5調(diào)度決策類算法推薦服務(wù)在符合A.1、A.2、A.3要求的基礎(chǔ)上，對(duì)利用調(diào)度決策類算法位用戶分配工作訂單的服務(wù)提供者的要求包括但不限于以下方面。a)應(yīng)具有公平的工作訂單分配規(guī)則以及統(tǒng)一的勞務(wù)報(bào)酬計(jì)算規(guī)則，并向用戶公開。b)應(yīng)合理限制每日工作總時(shí)長(zhǎng)、連續(xù)工作時(shí)長(zhǎng)，防止勞動(dòng)者過(guò)度疲勞。保護(hù)相關(guān)要求作為算法優(yōu)化的前提條件。d)應(yīng)合理估算每個(gè)訂單的預(yù)計(jì)時(shí)間，預(yù)留勞動(dòng)者交通時(shí)間以及休息時(shí)間等，避免設(shè)置嚴(yán)格的訂單完成時(shí)間限制。e)應(yīng)在極端天氣或交通意外發(fā)生時(shí)，及時(shí)主動(dòng)采取放寬或取消訂單完成時(shí)間限制、降低或免除訂(規(guī)范性)算法推薦服務(wù)評(píng)估方法B.1主體責(zé)任評(píng)估方法B.1.1規(guī)章制度服務(wù)提供者在落實(shí)算法安全主體責(zé)任方面的評(píng)估方法如下。a)建立健全算法推薦服務(wù)相關(guān)制度措施的評(píng)估方法如下：1)評(píng)估其審核算法制度文件中是否涵蓋算法保密性、完整性、可用性、可控性、隱私性等安全屬性的相關(guān)內(nèi)容，評(píng)估是否對(duì)算法技術(shù)提供商與算法推薦服務(wù)商進(jìn)行邊界職責(zé)劃分；2)評(píng)估其科技倫理審查制度文件中是否涵蓋算法倫理安全的失控性風(fēng)險(xiǎn)、社會(huì)性風(fēng)險(xiǎn)、侵權(quán)性風(fēng)險(xiǎn)、歧視性風(fēng)險(xiǎn)、責(zé)任性風(fēng)險(xiǎn)等算法倫理安全風(fēng)險(xiǎn)的相關(guān)內(nèi)容，評(píng)估是否考慮算法對(duì)用戶、社會(huì)以及應(yīng)用者自身造成的倫理安全風(fēng)險(xiǎn)；3)評(píng)估其是否具備電信網(wǎng)絡(luò)詐騙防范相關(guān)制度；4)評(píng)估其是否具備安全評(píng)估監(jiān)測(cè)制度，算法安全監(jiān)測(cè)預(yù)警制度是否包含人員配備、機(jī)制運(yùn)行b)評(píng)估其是否具有數(shù)據(jù)安全和個(gè)人信息保護(hù)制度；查看培訓(xùn)記錄和工作日志，研判是否在根據(jù)制度文件開展數(shù)據(jù)安全和個(gè)人信息保護(hù)工作，特別是對(duì)算法中可能處理的人臉等生物識(shí)別信息是否進(jìn)行嚴(yán)格保護(hù)。c)建立健全網(wǎng)絡(luò)安全事件應(yīng)急處置機(jī)制的評(píng)估方法如下：1)評(píng)估其是否具有應(yīng)急預(yù)案相關(guān)文件；2)通過(guò)相關(guān)記錄評(píng)估其是否根據(jù)應(yīng)急預(yù)案定期開展了培訓(xùn)和演練。B.1.2機(jī)構(gòu)人員服務(wù)提供者在落實(shí)算法安全主體責(zé)任方面的評(píng)估方法如下。a)查看組織架構(gòu)，評(píng)估是否設(shè)立專門的組織機(jī)構(gòu)負(fù)責(zé)算法安全工作；查看組織職能，評(píng)估是否包含制度措施以及應(yīng)急預(yù)案的制定和執(zhí)行。b)查看算法安全負(fù)責(zé)人職級(jí)，研判是否為服務(wù)提供者主要技術(shù)負(fù)責(zé)人；評(píng)估是否配套了技術(shù)支撐專業(yè)人員，人員數(shù)量、技術(shù)能力是否與算法服務(wù)規(guī)模、算法復(fù)雜度、算法迭代更新速度相適應(yīng)。B.1.3審核評(píng)估服務(wù)提供者在落實(shí)算法安全主體責(zé)任方面的評(píng)估方法如下。a)查看算法安全相關(guān)管理流程文件，研判用于支撐五類算法推薦服務(wù)的核心算法模塊在投入應(yīng)用前是否通過(guò)了科技倫理審查、機(jī)制機(jī)理審核。b)評(píng)估其安全管理流程文件是否具有定期開展審核、評(píng)估、驗(yàn)證算法機(jī)制機(jī)理、模型、數(shù)據(jù)和應(yīng)用結(jié)果的過(guò)程文件。B.2信息服務(wù)評(píng)估方法B.2.1正能量信息服務(wù)提供者加強(qiáng)正能量信息傳播的評(píng)估方法如下。a)檢查其是否具有正能量?jī)?nèi)容儲(chǔ)備，并評(píng)估是否完善；提供新聞資訊類、音視頻類、網(wǎng)絡(luò)社區(qū)類服務(wù)的，檢查其是否設(shè)置了正能量稿源池，稿源是否及時(shí)更新。b)查看個(gè)性化推送、排序精選、檢索過(guò)濾等算法的功能，檢查是否設(shè)置了優(yōu)先傳播正能量的機(jī)制；在采用推送權(quán)重調(diào)節(jié)信息呈現(xiàn)算法計(jì)算結(jié)果的功能中，評(píng)估正能量信息權(quán)重是否顯著高于其他類型；查看是否具備數(shù)據(jù)看板，對(duì)正能量信息的推送效果開展評(píng)估。c)查看信息傳播的相關(guān)機(jī)制文檔，研判是否具有加強(qiáng)正能量信息傳播的干預(yù)策略。d)查看重點(diǎn)環(huán)節(jié)功能設(shè)計(jì)文檔和呈現(xiàn)頁(yè)面，檢查是否在重點(diǎn)環(huán)節(jié)加強(qiáng)正能量信息傳播：行正能量信息傳播的設(shè)計(jì)文檔，檢查相應(yīng)環(huán)節(jié)的呈現(xiàn)頁(yè)面，研判是否從數(shù)量、顯著程度、內(nèi)容豐富程度等方面加強(qiáng)正能量信息傳播；2)提供網(wǎng)絡(luò)銷售類、生活服務(wù)類、金融服務(wù)類、計(jì)算應(yīng)用類服務(wù)的，分別查看首屏首頁(yè)、熱搜、精選、榜單、彈窗等環(huán)節(jié)進(jìn)行正能量信息傳播的設(shè)計(jì)文檔，檢查相應(yīng)環(huán)節(jié)的呈現(xiàn)頁(yè)面，研判是否從數(shù)量、顯著程度、內(nèi)容豐富程度等方面加強(qiáng)正能量信息傳播；3)檢查是否具有其他與服務(wù)形態(tài)相適應(yīng)的方式加強(qiáng)重點(diǎn)環(huán)節(jié)正能量信息傳播。e)查看信息傳播的相關(guān)機(jī)制文檔，研判是否具有在重要時(shí)間節(jié)點(diǎn)加強(qiáng)傳播正能量的制度和實(shí)現(xiàn)f)評(píng)估是否建立完善下列一種用戶選擇機(jī)制：1)查看其重點(diǎn)環(huán)節(jié)的功能設(shè)計(jì)文檔，檢查相應(yīng)功能，判斷是否具有用戶容易進(jìn)入的，集中體現(xiàn)正能量信息的頁(yè)面、板塊；2)查看其重點(diǎn)環(huán)節(jié)的功能設(shè)計(jì)文檔，檢查相應(yīng)功能，判斷是否具有用戶容易操作的，手動(dòng)選擇增加正能量信息呈現(xiàn)的機(jī)制；3)檢查是否具有其他與服務(wù)形態(tài)相適應(yīng)的用戶選擇方式。g)檢查是否具有數(shù)據(jù)看板等進(jìn)行效果評(píng)估。B.2.2違法和不良信息服務(wù)提供者違法和不良信息過(guò)濾的評(píng)估方法如下。a)對(duì)于違法和不良信息特征庫(kù)建立水平評(píng)估方法如下：1)查看設(shè)計(jì)文檔，研判其是否設(shè)置違法和不良信息特征庫(kù)入庫(kù)標(biāo)準(zhǔn)、規(guī)則和程序；2)查看不良信息樣本庫(kù)更新機(jī)制設(shè)計(jì)文檔和更新日志，評(píng)估其不良信息樣本庫(kù)的更新是否及時(shí)，更新參考要素是否合理，是否綜合考慮政策法規(guī)、業(yè)務(wù)經(jīng)驗(yàn)，以及科學(xué)研究等來(lái)源；3)查看設(shè)計(jì)文檔、實(shí)際操作檢驗(yàn)和查看過(guò)濾日志，研判特征樣本庫(kù)是否覆蓋服務(wù)所涉及的所有數(shù)據(jù)類型，具備對(duì)文本、圖片、音頻、視頻等多模態(tài)信息中違法和不良信息能力和置信度判斷能力；4)查看設(shè)計(jì)文檔、實(shí)際操作檢驗(yàn)和查看過(guò)濾日志，檢查是否具有從已識(shí)別違法和不良信息的變形、變體、變異特征中發(fā)現(xiàn)其中違法和不良信息的機(jī)制；查看特征庫(kù)入庫(kù)日志，是否具有將此類特征入庫(kù)的記錄。b)查看設(shè)計(jì)文檔、實(shí)際操作檢驗(yàn)、代碼審計(jì)和查看過(guò)濾日志，評(píng)估其是否具備對(duì)違法和不良信息的變形、變體、變異詞的自動(dòng)擴(kuò)展和檢索過(guò)濾能力。c)對(duì)信息發(fā)布審核制度的評(píng)估方法如下：1)查看信息審核和發(fā)布日志，檢查是否滿足先審核后發(fā)布；2)查看信息審核和發(fā)布日志，檢查是否對(duì)審核過(guò)程中發(fā)現(xiàn)的敏感信息進(jìn)行標(biāo)注、確認(rèn)，并對(duì)違法和不良信息實(shí)施屏蔽過(guò)濾處理；3)查看賬戶管理系統(tǒng)和處置日志，檢查是否對(duì)屢次嘗試發(fā)布違法和不良信息的賬號(hào)進(jìn)行管理，方式方法包括加入黑名單、灰名單，或采取措施限制賬號(hào)的權(quán)限等。d)關(guān)于人工與機(jī)器協(xié)同的違法和不良信息審核機(jī)制評(píng)估方法如下：1)查看信息審核流程、審核系統(tǒng)、審核日志等方式，統(tǒng)計(jì)違法和不良信息識(shí)別技術(shù)對(duì)不同模態(tài)數(shù)據(jù)識(shí)別所需時(shí)間，研判其及時(shí)性是否滿足功能需要；查看人工對(duì)機(jī)器審核結(jié)果的復(fù)核記錄，統(tǒng)計(jì)所采用機(jī)器審核技術(shù)措施的準(zhǔn)確率、漏檢率等指標(biāo)，研判其準(zhǔn)確性是否滿足功2)通過(guò)查看設(shè)計(jì)文檔、人員訪談、資料審核等方式，研判是否配備與待審核內(nèi)容數(shù)量相適應(yīng)的內(nèi)容審核人員，通過(guò)查看培訓(xùn)日志，檢查是否對(duì)配備的內(nèi)容審核人員進(jìn)行定期培訓(xùn)。e)查看設(shè)計(jì)文檔，評(píng)估其是否具有發(fā)現(xiàn)違法不良信息內(nèi)容后的消除等處置措施；實(shí)際操作檢驗(yàn)，評(píng)估違法不良信息機(jī)制處置是否能夠及時(shí)，有效防止信息擴(kuò)散。f)檢查其是否設(shè)置面向用戶的違法和不良信息投訴、舉報(bào)渠道，渠道是否真實(shí)、有效及暢通。g)檢查其是否具有必要情況下將違法和不良信息情況向主管部門報(bào)告的機(jī)制。h)查看違法和不良信息過(guò)濾日志，檢查是否對(duì)記入用戶模型的興趣點(diǎn)和用戶標(biāo)簽進(jìn)行違法和不良信息過(guò)濾。B.2.3信息服務(wù)生態(tài)服務(wù)提供者遵守算法模型倫理道德的評(píng)估方法如下。a)查看算法說(shuō)明文檔，檢查是否使用誘導(dǎo)用戶沉迷的算法模型提供互聯(lián)網(wǎng)信息服務(wù)；查看網(wǎng)絡(luò)游戲、網(wǎng)絡(luò)直播、網(wǎng)絡(luò)音視頻、網(wǎng)絡(luò)社區(qū)等互聯(lián)網(wǎng)信息服務(wù)產(chǎn)品是否提供每日使用時(shí)長(zhǎng)上限設(shè)置、使用時(shí)長(zhǎng)提醒、深夜提醒等功能。b)查看算法說(shuō)明文檔，檢查是否使用誘導(dǎo)用戶過(guò)度消費(fèi)的算法模型提供互聯(lián)網(wǎng)信息服務(wù)；查看網(wǎng)絡(luò)游戲、網(wǎng)絡(luò)直播、網(wǎng)絡(luò)音視頻、網(wǎng)絡(luò)社區(qū)等互聯(lián)網(wǎng)信息服務(wù)產(chǎn)品是否向用戶提供提醒消費(fèi)金額、設(shè)置單次消費(fèi)金額上限等功能。服務(wù)提供者滿足賬號(hào)管理要求的評(píng)估方法如下。a)查看算法設(shè)計(jì)開發(fā)文檔，檢查算法模型的設(shè)計(jì)和開發(fā)是否以呈現(xiàn)符合事實(shí)的信息為原則，檢查是否對(duì)算法模型的輸出結(jié)果的真實(shí)性、公平性、合理性進(jìn)行評(píng)估。b)查看對(duì)算法輸出結(jié)果的人工干預(yù)環(huán)節(jié)，如果存在人工操縱信息呈現(xiàn)、改變算法自然計(jì)算結(jié)果的情況，應(yīng)經(jīng)過(guò)以下評(píng)估確認(rèn)：1)信息呈現(xiàn)的真實(shí)性、公平性、合理性等未受到影響；2)不會(huì)導(dǎo)致非法違規(guī)屏蔽信息、過(guò)度推薦、操縱榜單或排序、控制熱搜或精選等問(wèn)題。c)研判算法呈現(xiàn)的信息內(nèi)容以及順序符合事實(shí)、遵循社會(huì)公序良俗。B.2.3.3賬號(hào)管理服務(wù)提供者滿足賬號(hào)管理要求的評(píng)估方法如下。a)檢查是否具有防范利用算法使用偽冒、仿冒身份注冊(cè)賬號(hào)的機(jī)制，是否阻止識(shí)別出的注冊(cè)b)檢查是否具有防范利用算法使用虛構(gòu)、編造身份注冊(cè)賬號(hào)的機(jī)制，是否阻止識(shí)別出的注冊(cè)行為。c)檢查是否具有防范利用算法短時(shí)間、大規(guī)模批量注冊(cè)賬號(hào)的安全機(jī)制和技術(shù)措施，研判該技術(shù)措施的有效性。d)查看賬戶分類分級(jí)管理系統(tǒng)和相關(guān)文檔，檢查是否對(duì)從事經(jīng)濟(jì)、教育、醫(yī)療衛(wèi)生、司法等領(lǐng)域信息內(nèi)容生產(chǎn)的公眾賬號(hào)進(jìn)行資質(zhì)驗(yàn)證和專門標(biāo)識(shí)。e)檢查是否具有賬號(hào)分類分級(jí)管理制度，研判管理制度是否合理、有效。f)檢查是否具有防范利用算法批量操縱用戶賬號(hào)進(jìn)行虛假點(diǎn)贊、評(píng)論、轉(zhuǎn)發(fā)的安全機(jī)制。g)檢查是否具備識(shí)別虛假點(diǎn)贊、評(píng)論、轉(zhuǎn)發(fā)的技術(shù)措施和管理手段，研判該技術(shù)措施和管理手段的有效性。B.2.3.4公平競(jìng)爭(zhēng)服務(wù)提供者滿足公平競(jìng)爭(zhēng)要求的評(píng)估方法如下。a)查看內(nèi)容和賬號(hào)審核制度，檢查是否對(duì)攔截信息頁(yè)面、屏蔽信息內(nèi)容、阻止賬號(hào)信息發(fā)布等行為制定了管理制度；查看攔截信息頁(yè)面或屏蔽信息內(nèi)容的處理日志，以及阻止其他特定服務(wù)賬號(hào)信息發(fā)布的處理日志，研判所采取的處置是否正當(dāng)。b)查看內(nèi)容和賬戶審核制度，檢查是否組織開展定期評(píng)估；查看內(nèi)容和賬戶評(píng)估報(bào)告和整改記錄，檢查是否對(duì)已發(fā)現(xiàn)的減少其他經(jīng)營(yíng)者公平交易機(jī)會(huì)的行為進(jìn)行整改。服務(wù)提供者滿足新聞信息要求的評(píng)估方法如下。a)查看服務(wù)提供者相關(guān)資質(zhì)文件，評(píng)估其是否具有互聯(lián)網(wǎng)新聞信息服務(wù)許可。b)對(duì)照查看服務(wù)提供者持有的互聯(lián)網(wǎng)新聞信息服務(wù)許可與開展的互聯(lián)網(wǎng)新聞服務(wù)描述相關(guān)文檔，檢查互聯(lián)網(wǎng)新聞信息采編發(fā)布服務(wù)、轉(zhuǎn)載服務(wù)和傳播平臺(tái)服務(wù)是否與在所持服務(wù)許可的范圍內(nèi)。c)評(píng)估其是否具有規(guī)范開展互聯(lián)網(wǎng)新聞信息采編發(fā)布服務(wù)、轉(zhuǎn)載服務(wù)和傳播平臺(tái)服務(wù)的相關(guān)管理制度。研判管理制度是否明確包含不應(yīng)生成合成虛假新聞信息，不應(yīng)傳播非國(guó)家規(guī)定范圍內(nèi)的單位發(fā)布的新聞信息方面的要求。B.3權(quán)益保護(hù)評(píng)估方法B.3.1通用權(quán)益B.3.1.1知情權(quán)服務(wù)提供者保護(hù)知情權(quán)的評(píng)估方法如下。a)評(píng)估其是否向用戶告知了算法推薦服務(wù)的目的意圖、基本原理與規(guī)則、主要運(yùn)行機(jī)制，公示方式是否顯著。b)查看算法設(shè)計(jì)文檔和功能界面，研判其是否從模型、應(yīng)用等方面優(yōu)化了檢索、排序、選擇、推送、展示等規(guī)則的透明性和可解釋性。c)查看在檢索、排序、選擇、推送、展示等規(guī)則呈現(xiàn)的推薦算法結(jié)果呈現(xiàn)的廣告內(nèi)容，檢查是否對(duì)廣告內(nèi)容進(jìn)行了顯著標(biāo)識(shí)。d)驗(yàn)證在用戶首次登錄時(shí)提醒用戶查看個(gè)人信息隱私政策，查看個(gè)人信息隱私政策和第三方共享政策等內(nèi)容，評(píng)估其是否提前向用戶告知個(gè)人信息的收集、使用、提供等處理情況。B.3.1.2選擇權(quán)服務(wù)提供者保護(hù)選擇權(quán)的評(píng)估方法如下。a)檢查是否在用戶使用個(gè)性化推送前，為用戶提供了不針對(duì)用戶個(gè)人特征的選項(xiàng)。b)研判在用戶使用個(gè)性化推送過(guò)程中，是否向用戶提供關(guān)閉基于個(gè)人特征的選項(xiàng)，以及選項(xiàng)是否便捷：1)實(shí)際操作關(guān)閉基于個(gè)人特征的選項(xiàng)，測(cè)試是否立即停止基于該用戶個(gè)人特征的推送；2)實(shí)際操作關(guān)閉基于個(gè)人特征的選項(xiàng)，測(cè)試是否仍提供不基于該用戶個(gè)人特征的信息推送，例如提供基于信息閱讀總量的排序推送；3)實(shí)際操作從服務(wù)主界面開始到達(dá)該選項(xiàng)所需操作數(shù)量，研判是否不超過(guò)4次點(diǎn)擊。c)提供基于個(gè)人特征進(jìn)行推送的算法推薦服務(wù)的評(píng)估方法如下：1)檢查其是否具有管理個(gè)人標(biāo)簽的流程及規(guī)則，并向服務(wù)使用者進(jìn)行告知；2)通過(guò)實(shí)際操作檢驗(yàn)的方式，證實(shí)是否向用戶提供管理其個(gè)人標(biāo)簽的功能，通過(guò)實(shí)際操作檢驗(yàn)、資料審核、代碼審計(jì)等方式證實(shí)選擇、刪除個(gè)人標(biāo)簽后是否實(shí)際生效，用戶選擇刪除個(gè)人標(biāo)簽后，查看個(gè)性化推送系統(tǒng)，檢查是否停止使用該標(biāo)簽進(jìn)行個(gè)性化推送；3)如技術(shù)上確實(shí)無(wú)法實(shí)現(xiàn)，通過(guò)實(shí)際操作檢驗(yàn)、資料審核、代碼審計(jì)等方式證實(shí)是否向用戶提供對(duì)個(gè)性化推送結(jié)果的影響等同于2)中所述功能的其他功能。服務(wù)提供者保護(hù)異議權(quán)的評(píng)估方法如下。a)檢查是否具備投訴舉報(bào)渠道，評(píng)估投訴舉報(bào)渠道是否暢通。b)通過(guò)選擇人工受理方式并驗(yàn)證操作是否能夠完成，評(píng)估其是否在用戶要求時(shí)提供了人工受理方式受理投訴舉報(bào)。c)確定其是否明確時(shí)效，評(píng)估其是否在時(shí)效內(nèi)完成投訴舉報(bào)的受理和處理工作，并向用戶反饋處理結(jié)果。d)確定其是否向用戶提供對(duì)算法投訴舉報(bào)處理結(jié)果的申訴、復(fù)議渠道。B.3.1.4公平交易權(quán)服務(wù)提供者保護(hù)公平交易權(quán)的評(píng)估方法如下。a)檢查是否利用算法，根據(jù)消費(fèi)者的偏好、交易習(xí)慣、消費(fèi)能力、資產(chǎn)情況等對(duì)交易價(jià)格等交易條件實(shí)施不合理的差別待遇。b)查看優(yōu)惠相關(guān)文件，研判其對(duì)于所有消費(fèi)者是否一致適用；實(shí)際操作查看向消費(fèi)者顯示的優(yōu)惠規(guī)則和方法策略，研判是否以顯著方式、用明確清晰的表述向消費(fèi)者告知。對(duì)消費(fèi)者獲得或使用優(yōu)惠設(shè)置了前提條件的：1)對(duì)照查看優(yōu)惠規(guī)則和發(fā)放策略的相關(guān)文檔，以及實(shí)際操作查看向消費(fèi)者顯示的優(yōu)惠規(guī)則和發(fā)放策略，研判告知是否完全，是否存在誤導(dǎo)；2)檢查是否對(duì)符合同等前提條件的消費(fèi)者，設(shè)置了導(dǎo)致破壞公平適用性的條款；3)實(shí)際操作，訪問(wèn)向消費(fèi)者推送的優(yōu)惠鏈接，對(duì)照查看優(yōu)惠規(guī)則和發(fā)放策略的相關(guān)文檔中的對(duì)應(yīng)條款，若消費(fèi)者不符合獲得或使用該優(yōu)惠前提條件，檢查是否會(huì)明確告知消費(fèi)者當(dāng)前該優(yōu)惠無(wú)法獲得或無(wú)法使用，消費(fèi)者需完成額外提供信息等操作才可