TISC 0033-2023 互聯(lián)網(wǎng)信息推 薦技術(shù)影響性評估指南

團(tuán)體ImpactassessmentguidelinesforInternetinformationrecommen中國互聯(lián)網(wǎng)協(xié)會發(fā)布 1 1 1 1 2 2 2 3 3 4 4 5 5 7 8 9 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定本文件起草單位：國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心、長安通信科技有限責(zé)任公司、浙江工業(yè)大學(xué)、北京師范大學(xué)、北京工業(yè)大學(xué)、深圳市騰訊計算機系統(tǒng)有限公司、北京百度網(wǎng)訊科技有限公本文件主要起草人：韓晗、劉美辰、張夏、王魯華、趙蕓偉、崔牧凡、魏海瀟、閔勇、劉茜、李1互聯(lián)網(wǎng)信息推薦技術(shù)影響性評估指南本文件確立了互聯(lián)網(wǎng)信息推薦技術(shù)影響評估框架及流程，描述了評估方法、評估實施步驟及本文件適用于互聯(lián)網(wǎng)內(nèi)容提供商、第三方評估機構(gòu)以及監(jiān)管部門等開展互聯(lián)網(wǎng)信息推薦技術(shù)互聯(lián)網(wǎng)內(nèi)容提供商向用戶提供互聯(lián)網(wǎng)信息服務(wù)時應(yīng)用個性化推送類、排序精選類、檢索過濾類等互聯(lián)網(wǎng)信息推薦技術(shù)影響評估Internetinformationrecommendationtechnologyimpact運用科學(xué)的方法和手段，對使用互聯(lián)網(wǎng)信息推薦技術(shù)可能引發(fā)的社會公眾影響進(jìn)行系統(tǒng)地識別、被評估的主體，本標(biāo)準(zhǔn)指采用互聯(lián)網(wǎng)信息推薦技2經(jīng)評估對象授權(quán)許可用于影響評估的限定業(yè)務(wù)范通過構(gòu)建評估指標(biāo)并明確指標(biāo)量化方式，形成適用于評估算法推薦對社會公眾的影響的模型?；谟脩襞d趣和習(xí)慣，將更多相同類型內(nèi)容分發(fā)給用戶，造成用戶獲取信息內(nèi)容狹隘、單一的現(xiàn)通過量化用戶在連續(xù)時間段內(nèi)的行為特征評價信息繭房風(fēng)險的一種4互聯(lián)網(wǎng)信息推薦技術(shù)影響評估框架及流程4.1評估原則4.1.1標(biāo)準(zhǔn)化原則互聯(lián)網(wǎng)信息推薦技術(shù)影響評估應(yīng)參照本文件確立的評估流程和方4.1.2可控性原則3在影響評估實施過程中，應(yīng)嚴(yán)格按照標(biāo)準(zhǔn)的項目管理方法對服務(wù)過程、人員和工具等進(jìn)行控制，a)服務(wù)可控性。評估方應(yīng)在評估工作前介紹評估服務(wù)流程，明確需要得到評估對象協(xié)調(diào)配合的b)人員與信息可控性。所有參與評估的人員應(yīng)簽署保密協(xié)議，應(yīng)對評估過程數(shù)據(jù)和結(jié)果數(shù)據(jù)嚴(yán)c)過程可控性。成立評估實施團(tuán)隊，采取項目組長負(fù)責(zé)制，應(yīng)對評估工作進(jìn)行記錄并形成相關(guān)d)工具可控性。評估使用的評估工具應(yīng)事先通告用戶，并在評估實施前獲得用戶的許可，包括4.1.3最小影響原則對于在線業(yè)務(wù)系統(tǒng)的影響評估，應(yīng)采用最小影響原則，對于影響評估所需要的數(shù)據(jù)，需與用戶溝4.2影響要素互聯(lián)網(wǎng)信息推薦技術(shù)影響評估圍繞算法導(dǎo)向性、算法客觀性、算法風(fēng)險性、繭房系數(shù)、收斂系數(shù)a)算法導(dǎo)向性。算法導(dǎo)向性評價互聯(lián)網(wǎng)信息推薦算法的輿論導(dǎo)向影響，以政治導(dǎo)向和推薦主題b)算法客觀性。算法客觀性評價互聯(lián)網(wǎng)信息推薦算法的推薦客觀程度，以推薦內(nèi)容商業(yè)化程度、c)算法風(fēng)險性。算法風(fēng)險性評價互聯(lián)網(wǎng)信息推薦算法的推薦傳播風(fēng)險，以推薦內(nèi)容潛在傳播風(fēng)d)繭房系數(shù)。繭房系數(shù)評價互聯(lián)網(wǎng)信息推薦算法推薦分發(fā)的信息內(nèi)容導(dǎo)致用戶形成信息繭房的e)收斂系數(shù)。收斂系數(shù)評價互聯(lián)網(wǎng)信息推薦算法推薦分發(fā)的信息內(nèi)容導(dǎo)致用戶形成信息繭房的可能用時，以時間繭房收斂極值和訪問繭房收斂極值4.3影響分析原理推薦技術(shù)影響分析涉及算法導(dǎo)向性、算法客觀性、算法風(fēng)險性、繭房系數(shù)、收斂系數(shù)等基本要素。各要素包含的具體指標(biāo)及量化方法見表1—推薦技術(shù)影響評4獲取目標(biāo)數(shù)據(jù)影響性要素識別綜合量化影響性評估結(jié)果分級獲取目標(biāo)數(shù)據(jù)影響性要素識別綜合量化影響性評估結(jié)果分級各指標(biāo)影響性量化圖1推薦技術(shù)影響評估原理圖4.4影響評估流程影響評估實施劃分為評估準(zhǔn)備、推薦技術(shù)影響要素識別計算、影響結(jié)果判定與影響風(fēng)險處理四個階段。其中，評估準(zhǔn)備階段工作是有效實施評估的保證；影響要素識別計算階段是針對評估活動中的各類影響要素進(jìn)行識別和量化；影響結(jié)果判定階段是對識別計算階段中獲得的各類影響要素量化結(jié)果進(jìn)行綜合判定，整體評估推薦技術(shù)影響；影響風(fēng)險處理階段針對評估結(jié)果，提出相應(yīng)的整改處置建議，評估準(zhǔn)備評估準(zhǔn)備影響性要素識別計算評估目標(biāo)數(shù)據(jù)選取影響性要素識別計算評估目標(biāo)數(shù)據(jù)選取評估指標(biāo)識別、計算量化影響性評估得分影響性結(jié)果判定影響性處理圖2影響評估流程圖5互聯(lián)網(wǎng)信息推薦技術(shù)影響評估方法評估過程文檔評估過程文檔評估過程文檔評估過程文檔評估過程文檔評估過程文檔評估過程文檔評估過程文檔55.1評估模型概述推薦技術(shù)影響評估模型由推薦算法導(dǎo)向性、推薦算法客觀性、推薦算法風(fēng)險性、推薦算法繭房系數(shù)、推薦算法收斂系數(shù)共5項一級指標(biāo)構(gòu)成，一級指標(biāo)下，各分別設(shè)置相應(yīng)二級指標(biāo)（共11項二級指標(biāo)），量化因子（共12項量化因子）用于計算各評估指標(biāo)對應(yīng)的影響數(shù)值，各指標(biāo)影響數(shù)值之和即推薦算法綜合影響數(shù)值（綜合影響數(shù)值介于0—100之間，數(shù)值大小與影響大小成正比例關(guān)表1推薦技術(shù)影響評估指標(biāo)量化表log2(X1+1)向5.2算法導(dǎo)向性6在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)（N一般取7天的整數(shù)倍，本標(biāo)準(zhǔn)建議N取35，保證時間跨度的一致性和評估數(shù)據(jù)的廣泛性），由推薦算法推送分發(fā)的各采樣用戶接收信息）中，非政務(wù)新媒體發(fā)布（非行政機關(guān)或非承擔(dān)行政職能非政務(wù)數(shù)據(jù)集數(shù)據(jù)集其中，量化因子1為非政務(wù)新媒體發(fā)布數(shù)量占比；非政務(wù)為數(shù)據(jù)集內(nèi)非政務(wù)新媒體發(fā)布數(shù)量；5.2.1.2影響數(shù)值5.2.2.1量化因子在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收災(zāi)害事故數(shù)據(jù)集數(shù)據(jù)集其中，量化因子2為災(zāi)害事故信息占比；災(zāi)害事故為數(shù)據(jù)集內(nèi)涉及災(zāi)害事故信息數(shù)量；數(shù)據(jù)集為數(shù)在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，煽動性信息（包括但不限于傳播搶購、囤積、拋售、擠兌、惡意預(yù)測、虛假宣傳、人身攻煽動信息數(shù)據(jù)集數(shù)據(jù)集其中，量化因子3為煽動性信息占比；煽動信息為數(shù)據(jù)集內(nèi)煽動性信息數(shù)量；數(shù)據(jù)集為數(shù)據(jù)集信息5.2.2.2影響數(shù)值75.3算法客觀性在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收廣告信息數(shù)據(jù)集數(shù)據(jù)集其中，量化因子4為廣告信息數(shù)量占比；廣告信息為數(shù)據(jù)集內(nèi)廣告信息數(shù)量；數(shù)據(jù)集為數(shù)據(jù)集信息5.3.1.2影響數(shù)值5.3.2.1量化因子在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，任意采樣用戶推薦列表中的主題類型數(shù)量主題類型任意用戶主題類型主題類型其中，量化因子5為任意采樣用戶接收的主題類型占比；任意用戶主題類型為任意采樣用戶推薦列表5.3.2.2影響數(shù)值85.3.3.1量化因子在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，任意采樣用戶接收推送賬號數(shù)量在該賬號數(shù)量任意用戶接收賬號數(shù)量賬號數(shù)量其中，量化因子6為任意采樣用戶接收的賬號數(shù)量占比；任意用戶接收賬號數(shù)量為任意采樣用戶接收推送的賬號數(shù)量，賬號數(shù)量為數(shù)據(jù)集內(nèi)全部推送薦賬號數(shù)量。5.3.3.2影響數(shù)值5.4算法風(fēng)險性5.4.1.1量化因子在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，負(fù)面信息（涉黃、涉暴、涉恐、涉賭、涉詐、反宣以及其他對社會穩(wěn)定造成負(fù)面影響的信負(fù)面信息7=數(shù)據(jù)集其中，量化因子7為非負(fù)面信息占比；負(fù)面信息為數(shù)據(jù)集內(nèi)負(fù)面信息數(shù)量；數(shù)據(jù)集為數(shù)據(jù)集信息總5.4.1.2影響數(shù)值5.4.2.1量化因子在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收9負(fù)面信息主體粉絲數(shù)數(shù)據(jù)集主體粉絲總量數(shù)據(jù)集主體粉絲總量其中，量化因子7為非負(fù)面信息占比；負(fù)面信息主體粉絲數(shù)為數(shù)據(jù)集內(nèi)負(fù)面信息主體粉絲數(shù)；數(shù)據(jù)集主體粉絲總量為數(shù)據(jù)集包含的所有賬號主體的粉絲總量。5.4.2.2影響數(shù)值5.5.1.1量化因子在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，計算任意采樣用戶u在第t天的時間繭(,)=((()2)其中，t—第t天；r—recommenders，即目標(biāo)互聯(lián)網(wǎng)=/為用戶u在第t天接收的k種類型推薦信息的概率；式中為推薦算法推薦的k種主題類型信息數(shù)量，為推薦算法推薦的信息總量。（當(dāng)k=1時，時間繭房系數(shù)norm—normalize,將概率平方和進(jìn)行歸一化處理，使得時間繭房系數(shù)落在[0-1]數(shù)值區(qū)間。其中，量化因子9為時間繭房系數(shù)極差；(,)為時間繭房系數(shù)最大值；(,)為時間繭房系數(shù)最小值。時間繭房系數(shù)極差為連續(xù)7天內(nèi)（在上述任意連續(xù)N天內(nèi)截取連續(xù)7天）的時間繭房5.5.1.2影響數(shù)值5.5.2.1量化因子在推薦技術(shù)影響評估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息，宜包括任意采樣用戶點擊的不少于2500個推送信息）中，計算用戶u完成100個點擊的訪問繭房(,)=((()2)其中，c—clicks，即點擊次數(shù)；r—recommenders，即目標(biāo)互聯(lián)網(wǎng)內(nèi)容提供商的特定推薦算法；u=/為用戶u完成100次點擊k類型推薦信息的概率；式中為用戶完成100次推薦信息點擊過程中，推薦算法推薦的k種主題類型信息數(shù)量，為推薦算法推薦的信norm—normalize,將概率平方和進(jìn)行歸一化處理，使得時間繭房系數(shù)落在[0-1]數(shù)值區(qū)間。其中，量化因子10為訪問繭房系數(shù)極差；(,)為訪問繭房系數(shù)最大值；(,)為訪問繭房系數(shù)最小值。訪問繭房系數(shù)極差為用戶u完成N個100次推薦信息點擊（N宜取5）的訪問繭房系數(shù)5.5.2.2影響數(shù)值5.6收斂系數(shù)5.6.1.1量化因子分別計算任意采樣用戶連續(xù)N天各天的時間繭房系數(shù)，比較時間繭房系數(shù)連續(xù)增長的時間區(qū)間（時間繭房系數(shù)在該區(qū)間內(nèi)由最小值連續(xù)增長到最大值所用天數(shù)），若干時間區(qū)間中歷時最短的即為最小5.6.1.2影響數(shù)值其中，時間繭房收斂極值為時間繭房收斂極值影響數(shù)值，11為量化因子，11為權(quán)重，權(quán)重分配情況5.6.2.1量化因子分別計算任意采樣用戶u的25個訪問繭房系數(shù)（單個訪問繭房系數(shù)是通過100次點擊量計算獲得，25個訪問繭房系數(shù)是順序時間段內(nèi)的2500次點擊分別計算獲得），比較訪問繭房系數(shù)連續(xù)增長的時間區(qū)間（訪問繭房系數(shù)從該區(qū)間內(nèi)由最小值連續(xù)增長到最大值所用天數(shù)），若干時間區(qū)間中歷時最短的5.6.2.2影響數(shù)值其中，訪問繭房收斂極值為訪問繭房收斂極值影響數(shù)值，12為量化因子，12為權(quán)重，權(quán)重分配情況根據(jù)評估對象在其業(yè)務(wù)開展過程中使用的信息推薦技術(shù)及其應(yīng)用中產(chǎn)生的互聯(lián)網(wǎng)信息內(nèi)容導(dǎo)向、根據(jù)影響評估的工作形式（自評估或檢查評估）確定影響評估實施團(tuán)隊。評估實施團(tuán)隊?wèi)?yīng)召開影響評估工作啟動會議，做好評估前的表格、文檔、檢測工具等各項準(zhǔn)備工作，進(jìn)行影響評估技術(shù)培訓(xùn)和保密教育，制定影響評估過程管理相關(guān)規(guī)定?？筛鶕?jù)被評估方要求簽署保密協(xié)前期調(diào)研是了解評估對象的業(yè)務(wù)形式、用戶規(guī)模、信息傳播規(guī)模、信息類型等基本業(yè)務(wù)情況的過程，影響評估實施團(tuán)隊?wèi)?yīng)進(jìn)行充分調(diào)研，為影響評估的精準(zhǔn)實施奠定基礎(chǔ)。前期調(diào)研可采取問券調(diào)查、影響評估方案的目的是為后續(xù)的影響評估實施活動提供一個總體計劃，用于指導(dǎo)實施方開展后續(xù)b)評估團(tuán)隊組織：包括評估團(tuán)隊成員、組織結(jié)構(gòu)、角色、責(zé)任等；c)評估工作計劃：包括各階段工作內(nèi)容、工作形式d)風(fēng)險規(guī)避：包括保密協(xié)議、評估工作環(huán)境要求、評估方法、工具選擇、上述所有內(nèi)容確定后，應(yīng)形成較為完整的影響評估實施方案，得到評估對象的支持、批準(zhǔn)。同時，須對評估對象相關(guān)人員、評估團(tuán)隊成員等進(jìn)行傳達(dá)，在組織范圍內(nèi)就影響評估相關(guān)內(nèi)容進(jìn)行培訓(xùn)，以表2影響等級劃分表5應(yīng)用的推薦算法對社會公眾的具有極大的影響，存在較嚴(yán)重4高應(yīng)用的推薦算法對社會公眾的具有較大的影響，存在導(dǎo)向性3應(yīng)用的推薦算法對社會公眾的具有一定的影響，可能存在導(dǎo)觀性、風(fēng)險性問題，可能存在導(dǎo)致信息繭房的2低1b)影響結(jié)果判定為3級的，屬中等影響等級，推薦算法的影響存在一定風(fēng)險，可適當(dāng)采取整改措c)影響結(jié)果判定為4級、5級的，屬高影響等級，推薦算法的影響風(fēng)險較高，需采取必要的整改措施加以調(diào)整，并對整改后的推薦算法進(jìn)行記錄影響評估過程的相關(guān)文檔，應(yīng)符合但不限于以下要b)確保文檔的更改和現(xiàn)行修訂狀態(tài)是可識別的（有版本控制措施d)防止作廢文檔的非預(yù)期適用，若因任何目的需保留作廢文檔時，應(yīng)對這些文檔進(jìn)行適當(dāng)標(biāo)識。a)影響評估方案：闡述影響評估的目標(biāo)、范圍、人員、評估方法、工作計劃和實施進(jìn)度b)影響評估程序：明確評估的目的、職責(zé)、過程、相關(guān)的文檔要求，以及實施本次評估所需的d)影響評估報告：對整個影響評估過程和結(jié)果進(jìn)行總結(jié)，詳細(xì)說明評估對象基本情況、影響評估方法、評估對象所采用的信息推薦技術(shù)算法的總體表現(xiàn)情況、影響要素識別結(jié)果、影響分e)影響風(fēng)險處理計劃：對評估結(jié)果中影響較大的風(fēng)險制定影響風(fēng)險處理計劃，選擇適當(dāng)?shù)目刂颇繕?biāo)及算法調(diào)優(yōu)措施，明確責(zé)任、進(jìn)度，通過對影響較大的要素進(jìn)行二次評估，以確定所選f)影響評估記錄：根據(jù)影響評估程序，要求影響評估過程中的各種現(xiàn)場記錄可復(fù)現(xiàn)評估過程，將影響評估