T-ISC 0033-2023 互聯(lián)網(wǎng)信息推.薦技術(shù)影響性評(píng)估指南

團(tuán)體ImpactassessmentguidelinesforInternetinformationrecommen中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)發(fā)布 1 1 1 1 2 2 2 3 3 4 4 5 5 7 8 9 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定本文件起草單位：國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心、長(zhǎng)安通信科技有限責(zé)任公司、浙江工業(yè)大學(xué)、北京師范大學(xué)、北京工業(yè)大學(xué)、深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司、北京百度網(wǎng)訊科技有限公本文件主要起草人：韓晗、劉美辰、張夏、王魯華、趙蕓偉、崔牧凡、魏海瀟、閔勇、劉茜、李1互聯(lián)網(wǎng)信息推薦技術(shù)影響性評(píng)估指南本文件確立了互聯(lián)網(wǎng)信息推薦技術(shù)影響評(píng)估框架及流程，描述了評(píng)估方法、評(píng)估實(shí)施步驟及本文件適用于互聯(lián)網(wǎng)內(nèi)容提供商、第三方評(píng)估機(jī)構(gòu)以及監(jiān)管部門等開展互聯(lián)網(wǎng)信息推薦技術(shù)互聯(lián)網(wǎng)內(nèi)容提供商向用戶提供互聯(lián)網(wǎng)信息服務(wù)時(shí)應(yīng)用個(gè)性化推送類、排序精選類、檢索過(guò)濾類等互聯(lián)網(wǎng)信息推薦技術(shù)影響評(píng)估Internetinformationrecommendationtechnologyimpact運(yùn)用科學(xué)的方法和手段，對(duì)使用互聯(lián)網(wǎng)信息推薦技術(shù)可能引發(fā)的社會(huì)公眾影響進(jìn)行系統(tǒng)地識(shí)別、被評(píng)估的主體，本標(biāo)準(zhǔn)指采用互聯(lián)網(wǎng)信息推薦技2經(jīng)評(píng)估對(duì)象授權(quán)許可用于影響評(píng)估的限定業(yè)務(wù)范通過(guò)構(gòu)建評(píng)估指標(biāo)并明確指標(biāo)量化方式，形成適用于評(píng)估算法推薦對(duì)社會(huì)公眾的影響的模型。基于用戶興趣和習(xí)慣，將更多相同類型內(nèi)容分發(fā)給用戶，造成用戶獲取信息內(nèi)容狹隘、單一的現(xiàn)通過(guò)量化用戶在連續(xù)時(shí)間段內(nèi)的行為特征評(píng)價(jià)信息繭房風(fēng)險(xiǎn)的一種4互聯(lián)網(wǎng)信息推薦技術(shù)影響評(píng)估框架及流程4.1評(píng)估原則4.1.1標(biāo)準(zhǔn)化原則互聯(lián)網(wǎng)信息推薦技術(shù)影響評(píng)估應(yīng)參照本文件確立的評(píng)估流程和方4.1.2可控性原則3在影響評(píng)估實(shí)施過(guò)程中，應(yīng)嚴(yán)格按照標(biāo)準(zhǔn)的項(xiàng)目管理方法對(duì)服務(wù)過(guò)程、人員和工具等進(jìn)行控制，a)服務(wù)可控性。評(píng)估方應(yīng)在評(píng)估工作前介紹評(píng)估服務(wù)流程，明確需要得到評(píng)估對(duì)象協(xié)調(diào)配合的b)人員與信息可控性。所有參與評(píng)估的人員應(yīng)簽署保密協(xié)議，應(yīng)對(duì)評(píng)估過(guò)程數(shù)據(jù)和結(jié)果數(shù)據(jù)嚴(yán)c)過(guò)程可控性。成立評(píng)估實(shí)施團(tuán)隊(duì)，采取項(xiàng)目組長(zhǎng)負(fù)責(zé)制，應(yīng)對(duì)評(píng)估工作進(jìn)行記錄并形成相關(guān)d)工具可控性。評(píng)估使用的評(píng)估工具應(yīng)事先通告用戶，并在評(píng)估實(shí)施前獲得用戶的許可，包括4.1.3最小影響原則對(duì)于在線業(yè)務(wù)系統(tǒng)的影響評(píng)估，應(yīng)采用最小影響原則，對(duì)于影響評(píng)估所需要的數(shù)據(jù)，需與用戶溝4.2影響要素互聯(lián)網(wǎng)信息推薦技術(shù)影響評(píng)估圍繞算法導(dǎo)向性、算法客觀性、算法風(fēng)險(xiǎn)性、繭房系數(shù)、收斂系數(shù)a)算法導(dǎo)向性。算法導(dǎo)向性評(píng)價(jià)互聯(lián)網(wǎng)信息推薦算法的輿論導(dǎo)向影響，以政治導(dǎo)向和推薦主題b)算法客觀性。算法客觀性評(píng)價(jià)互聯(lián)網(wǎng)信息推薦算法的推薦客觀程度，以推薦內(nèi)容商業(yè)化程度、c)算法風(fēng)險(xiǎn)性。算法風(fēng)險(xiǎn)性評(píng)價(jià)互聯(lián)網(wǎng)信息推薦算法的推薦傳播風(fēng)險(xiǎn)，以推薦內(nèi)容潛在傳播風(fēng)d)繭房系數(shù)。繭房系數(shù)評(píng)價(jià)互聯(lián)網(wǎng)信息推薦算法推薦分發(fā)的信息內(nèi)容導(dǎo)致用戶形成信息繭房的e)收斂系數(shù)。收斂系數(shù)評(píng)價(jià)互聯(lián)網(wǎng)信息推薦算法推薦分發(fā)的信息內(nèi)容導(dǎo)致用戶形成信息繭房的可能用時(shí)，以時(shí)間繭房收斂極值和訪問(wèn)繭房收斂極值4.3影響分析原理推薦技術(shù)影響分析涉及算法導(dǎo)向性、算法客觀性、算法風(fēng)險(xiǎn)性、繭房系數(shù)、收斂系數(shù)等基本要素。各要素包含的具體指標(biāo)及量化方法見表1—推薦技術(shù)影響評(píng)4獲取目標(biāo)數(shù)據(jù)影響性要素識(shí)別綜合量化影響性評(píng)估結(jié)果分級(jí)獲取目標(biāo)數(shù)據(jù)影響性要素識(shí)別綜合量化影響性評(píng)估結(jié)果分級(jí)各指標(biāo)影響性量化圖1推薦技術(shù)影響評(píng)估原理圖4.4影響評(píng)估流程影響評(píng)估實(shí)施劃分為評(píng)估準(zhǔn)備、推薦技術(shù)影響要素識(shí)別計(jì)算、影響結(jié)果判定與影響風(fēng)險(xiǎn)處理四個(gè)階段。其中，評(píng)估準(zhǔn)備階段工作是有效實(shí)施評(píng)估的保證；影響要素識(shí)別計(jì)算階段是針對(duì)評(píng)估活動(dòng)中的各類影響要素進(jìn)行識(shí)別和量化；影響結(jié)果判定階段是對(duì)識(shí)別計(jì)算階段中獲得的各類影響要素量化結(jié)果進(jìn)行綜合判定，整體評(píng)估推薦技術(shù)影響；影響風(fēng)險(xiǎn)處理階段針對(duì)評(píng)估結(jié)果，提出相應(yīng)的整改處置建議，評(píng)估準(zhǔn)備評(píng)估準(zhǔn)備影響性要素識(shí)別計(jì)算評(píng)估目標(biāo)數(shù)據(jù)選取影響性要素識(shí)別計(jì)算評(píng)估目標(biāo)數(shù)據(jù)選取評(píng)估指標(biāo)識(shí)別、計(jì)算量化影響性評(píng)估得分影響性結(jié)果判定影響性處理圖2影響評(píng)估流程圖5互聯(lián)網(wǎng)信息推薦技術(shù)影響評(píng)估方法評(píng)估過(guò)程文檔評(píng)估過(guò)程文檔評(píng)估過(guò)程文檔評(píng)估過(guò)程文檔評(píng)估過(guò)程文檔評(píng)估過(guò)程文檔評(píng)估過(guò)程文檔評(píng)估過(guò)程文檔55.1評(píng)估模型概述推薦技術(shù)影響評(píng)估模型由推薦算法導(dǎo)向性、推薦算法客觀性、推薦算法風(fēng)險(xiǎn)性、推薦算法繭房系數(shù)、推薦算法收斂系數(shù)共5項(xiàng)一級(jí)指標(biāo)構(gòu)成，一級(jí)指標(biāo)下，各分別設(shè)置相應(yīng)二級(jí)指標(biāo)（共11項(xiàng)二級(jí)指標(biāo)），量化因子（共12項(xiàng)量化因子）用于計(jì)算各評(píng)估指標(biāo)對(duì)應(yīng)的影響數(shù)值，各指標(biāo)影響數(shù)值之和即推薦算法綜合影響數(shù)值（綜合影響數(shù)值介于0—100之間，數(shù)值大小與影響大小成正比例關(guān)表1推薦技術(shù)影響評(píng)估指標(biāo)量化表參數(shù)uilog2(X1+1)向ui×wi×1005.2算法導(dǎo)向性6在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)（N一般取7天的整數(shù)倍，本標(biāo)準(zhǔn)建議N取35，保證時(shí)間跨度的一致性和評(píng)估數(shù)據(jù)的廣泛性），由推薦算法推送分發(fā)的各采樣用戶接收信息）中，非政務(wù)新媒體發(fā)布（非行政機(jī)關(guān)或非承擔(dān)行政職能C非政務(wù)C數(shù)據(jù)集其中，量化因子X1為非政務(wù)新媒體發(fā)布數(shù)量占比；C非政務(wù)為數(shù)據(jù)集內(nèi)非政務(wù)新媒體發(fā)布數(shù)量；5.2.1.2影響數(shù)值5.2.2.1量化因子在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收C災(zāi)害事故C數(shù)據(jù)集其中，量化因子X2為災(zāi)害事故信息占比；C災(zāi)害事故為數(shù)據(jù)集內(nèi)涉及災(zāi)害事故信息數(shù)量；C數(shù)據(jù)集為數(shù)在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，煽動(dòng)性信息（包括但不限于傳播搶購(gòu)、囤積、拋售、擠兌、惡意預(yù)測(cè)、虛假宣傳、人身攻C煽動(dòng)信息C數(shù)據(jù)集其中，量化因子X3為煽動(dòng)性信息占比；C煽動(dòng)信息為數(shù)據(jù)集內(nèi)煽動(dòng)性信息數(shù)量；C數(shù)據(jù)集為數(shù)據(jù)集信息5.2.2.2影響數(shù)值75.3算法客觀性在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收C廣告信息C數(shù)據(jù)集其中，量化因子X4為廣告信息數(shù)量占比；C廣告信息為數(shù)據(jù)集內(nèi)廣告信息數(shù)量；C數(shù)據(jù)集為數(shù)據(jù)集信息5.3.1.2影響數(shù)值5.3.2.1量化因子在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，任意采樣用戶推薦列表中的主題類型數(shù)量CX5=任意用戶主題類型C主題類型C其中，量化因子X5為任意采樣用戶接收的主題類型占比；C任意用戶主題類型為任意采樣用戶推薦列表5.3.2.2影響數(shù)值85.3.3.1量化因子在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，任意采樣用戶接收推送賬號(hào)數(shù)量在該CX6=任意用戶接收賬號(hào)數(shù)量C賬號(hào)數(shù)量C其中，量化因子X6為任意采樣用戶接收的賬號(hào)數(shù)量占比；C任意用戶接收賬號(hào)數(shù)量為任意采樣用戶接收推送的賬號(hào)數(shù)量，C賬號(hào)數(shù)量為數(shù)據(jù)集內(nèi)全部推送薦賬號(hào)數(shù)量。5.3.3.2影響數(shù)值5.4算法風(fēng)險(xiǎn)性5.4.1.1量化因子在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，負(fù)面信息（涉黃、涉暴、涉恐、涉賭、涉詐、反宣以及其他對(duì)社會(huì)穩(wěn)定造成負(fù)面影響的信C負(fù)面信息C數(shù)據(jù)集其中，量化因子X7為非負(fù)面信息占比；C負(fù)面信息為數(shù)據(jù)集內(nèi)負(fù)面信息數(shù)量；C數(shù)據(jù)集為數(shù)據(jù)集信息總5.4.1.2影響數(shù)值5.4.2.1量化因子在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收9c負(fù)面信息主體粉絲數(shù)c數(shù)據(jù)集主體粉絲總量其中，量化因子X7為非負(fù)面信息占比；c負(fù)面信息主體粉絲數(shù)為數(shù)據(jù)集內(nèi)負(fù)面信息主體粉絲數(shù)；c數(shù)據(jù)集主體粉絲總量為數(shù)據(jù)集包含的所有賬號(hào)主體的粉絲總量。5.4.2.2影響數(shù)值5.5.1.1量化因子在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息）中，計(jì)算任意采樣用戶u在第t天的時(shí)間繭房系數(shù)cot(r,u)。K1其中，t—第t天；r—recommenders，即目標(biāo)互聯(lián)網(wǎng)P=count/countotal為用戶u在第t天接收的k種類型推薦信息的概率；式中count為推薦算法推薦的k種主題類型信息數(shù)量，countotal為推薦算法推薦的信息總量。（當(dāng)k=1時(shí)，時(shí)間繭房系數(shù)X9=cot(r,u)max?cot(r,u)min其中，量化因子X9為時(shí)間繭房系數(shù)極差；cot(r,u)max為時(shí)間繭房系數(shù)最大值；cot(r,u)min為時(shí)間繭房系數(shù)最小值。時(shí)間繭房系數(shù)極差為連續(xù)7天內(nèi)（在上述任意連續(xù)N天內(nèi)截取連續(xù)7天）的時(shí)間繭房5.5.1.2影響數(shù)值5.5.2.1量化因子在推薦技術(shù)影響評(píng)估數(shù)據(jù)集（此數(shù)據(jù)集指任意連續(xù)N天內(nèi)，由推薦算法推送分發(fā)的各采樣用戶接收信息，宜包括任意采樣用戶點(diǎn)擊的不少于2500個(gè)推送信息）中，計(jì)算用戶u完成100個(gè)點(diǎn)擊的訪問(wèn)繭房系數(shù)coc(r,u)。K1其中，c—clicks，即點(diǎn)擊次數(shù)；r—recommenders，即目標(biāo)互聯(lián)網(wǎng)內(nèi)容提供商的特定推薦算法；uP=count/countotal為用戶u完成100次點(diǎn)擊k類型推薦信息的概率；式中count為用戶完成100次推薦信息點(diǎn)擊過(guò)程中，推薦算法推薦的k種主題類型信息數(shù)量，countotal為推薦算法推薦的信X10=coc(r,u)max?coc(r,u)min其中，量化因子X10為訪問(wèn)繭房系數(shù)極差；coc(r,u)max為訪問(wèn)繭房系數(shù)最大值；coc(r,u)min為訪問(wèn)繭房系數(shù)最小值。訪問(wèn)繭房系數(shù)極差為用戶u完成N個(gè)100次推薦信息點(diǎn)擊（N宜取5）的訪問(wèn)繭房系數(shù)5.5.2.2影響數(shù)值5.6收斂系數(shù)5.6.1.1量化因子分別計(jì)算任意采樣用戶連續(xù)N天各天的時(shí)間繭房系數(shù)，比較時(shí)間繭房系數(shù)連續(xù)增長(zhǎng)的時(shí)間區(qū)間（時(shí)間繭房系數(shù)在該區(qū)間內(nèi)由最小值連續(xù)增長(zhǎng)到最大值所用天數(shù)），若干時(shí)間區(qū)間中歷時(shí)最短的即為最小X11=Tt—min5.6.1.2影響數(shù)值其中，V時(shí)間繭房收斂極值為時(shí)間繭房收斂極值影響數(shù)值，X11為量化因子，w11為權(quán)重，權(quán)重分配情況5.6.2.1量化因子分別計(jì)算任意采樣用戶u的25個(gè)訪問(wèn)繭房系數(shù)（單個(gè)訪問(wèn)繭房系數(shù)是通過(guò)100次點(diǎn)擊量計(jì)算獲得，25個(gè)訪問(wèn)繭房系數(shù)是順序時(shí)間段內(nèi)的2500次點(diǎn)擊分別計(jì)算獲得），比較訪問(wèn)繭房系數(shù)連續(xù)增長(zhǎng)的時(shí)間區(qū)間（訪問(wèn)繭房系數(shù)從該區(qū)間內(nèi)由最小值連續(xù)增長(zhǎng)到最大值所用天數(shù)），若干時(shí)間區(qū)間中歷時(shí)最短的即為最小收斂時(shí)間ct—min，量化因子取最小收斂時(shí)間。X12=ct—min5.6.2.2影響數(shù)值其中，V訪問(wèn)繭房收斂極值為訪問(wèn)繭房收斂極值影響數(shù)值，X12為量化因子，w12為權(quán)重，權(quán)重分配情況根據(jù)評(píng)估對(duì)象在其業(yè)務(wù)開展過(guò)程中使用的信息推薦技術(shù)及其應(yīng)用中產(chǎn)生的互聯(lián)網(wǎng)信息內(nèi)容導(dǎo)向、根據(jù)影響評(píng)估的工作形式（自評(píng)估或檢查評(píng)估）確定影響評(píng)估實(shí)施團(tuán)隊(duì)。評(píng)估實(shí)施團(tuán)隊(duì)?wèi)?yīng)召開影響評(píng)估工作啟動(dòng)會(huì)議，做好評(píng)估前的表格、文檔、檢測(cè)工具等各項(xiàng)準(zhǔn)備工作，進(jìn)行影響評(píng)估技術(shù)培訓(xùn)和保密教育，制定影響評(píng)估過(guò)程管理相關(guān)規(guī)定?？筛鶕?jù)被評(píng)估方要求簽署保密協(xié)前期調(diào)研是了解評(píng)估對(duì)象的業(yè)務(wù)形式、用戶規(guī)模、信息傳播規(guī)模、信息類型等基本業(yè)務(wù)情況的過(guò)程，影響評(píng)估實(shí)施團(tuán)隊(duì)?wèi)?yīng)進(jìn)行充分調(diào)研，為影響評(píng)估的精準(zhǔn)實(shí)施奠定基礎(chǔ)。前期調(diào)研可采取問(wèn)券調(diào)查、影響評(píng)估方案的目的是為后續(xù)的影響評(píng)估實(shí)施活動(dòng)提供一個(gè)總體計(jì)劃，用于指導(dǎo)實(shí)施方開展后續(xù)b)評(píng)估團(tuán)隊(duì)組織：包括評(píng)估團(tuán)隊(duì)成員、組織結(jié)構(gòu)、角色、責(zé)任等；c)評(píng)估工作計(jì)劃：包括各階段工作內(nèi)容、工作形式d)風(fēng)險(xiǎn)規(guī)避：包括保密協(xié)議、評(píng)估工作環(huán)境要求、評(píng)估方法、工具選擇、上述所有內(nèi)容確定后，應(yīng)形成較為完整的影響評(píng)估實(shí)施方案，得到評(píng)估對(duì)象的支持、批準(zhǔn)。同時(shí)，須對(duì)評(píng)估對(duì)象相關(guān)人員、評(píng)估團(tuán)隊(duì)成員等進(jìn)行傳達(dá)，在組織范圍內(nèi)就影響評(píng)估相關(guān)內(nèi)容進(jìn)行培訓(xùn)，以表2影響等級(jí)劃分表5應(yīng)用的推薦算法對(duì)社會(huì)公眾的具有極大的影響，存在較嚴(yán)重4高應(yīng)用的推薦算法對(duì)社會(huì)公眾的具有較大的影響，存在導(dǎo)向性3應(yīng)用的推薦算法對(duì)社會(huì)公眾的具有一定的影響，可能存在導(dǎo)觀性、風(fēng)險(xiǎn)性問(wèn)題，可能存在導(dǎo)致信息繭房的2低1b)影響結(jié)果判定為3級(jí)的，屬中等影響等級(jí)，推薦算法的影響存在一定風(fēng)險(xiǎn)，可適當(dāng)采取整改措c)影響結(jié)果判定為4級(jí)、5級(jí)的，屬高影響等級(jí)，推薦算法的影響風(fēng)險(xiǎn)較高，需采取必要的整改措施加以調(diào)整，并對(duì)整改后的推薦算法進(jìn)行記錄影響評(píng)估過(guò)程的相關(guān)文檔，應(yīng)符合但不限于以下要b)確保文檔的更改和現(xiàn)行修訂狀態(tài)是可識(shí)別的（有版本控制措施d)防止作廢文檔的非預(yù)期適用，若因任何目的需保留作廢文檔時(shí)，應(yīng)對(duì)這些文檔進(jìn)行適當(dāng)標(biāo)識(shí)。a)影響評(píng)估方案：闡述影響評(píng)估的目標(biāo)、范圍、人員、評(píng)估方法、工作計(jì)劃和實(shí)施進(jìn)度b)影響評(píng)估程序：明確評(píng)估的目的、職責(zé)、過(guò)程、相關(guān)的文檔要求，以及實(shí)施本次評(píng)估所需的d)影響評(píng)估報(bào)告：對(duì)整個(gè)影響評(píng)估過(guò)程和結(jié)果進(jìn)行總結(jié)，詳細(xì)說(shuō)明評(píng)估對(duì)象基本情況、影響評(píng)估方法、評(píng)估對(duì)象所采用的信息推薦技術(shù)算法的總體表現(xiàn)情況、影響要素識(shí)別結(jié)果、影響分e)影響風(fēng)險(xiǎn)處理計(jì)劃：對(duì)評(píng)估結(jié)果中影響較大的風(fēng)險(xiǎn)制定影響風(fēng)險(xiǎn)處理計(jì)劃，選擇適當(dāng)?shù)目刂颇繕?biāo)及算法調(diào)優(yōu)措施，明確責(zé)任、進(jìn)度，通過(guò)對(duì)影響較大的要素進(jìn)行二次評(píng)估，以確定所選f)影響評(píng)估記錄：根據(jù)影響評(píng)估程序，要求影響評(píng)估過(guò)程中的各種現(xiàn)場(chǎng)記錄可復(fù)現(xiàn)