《網(wǎng)絡(luò)運營者針對未成年人的有害信息防治體系建設(shè)框架》

ICS35.020

L70

團體標(biāo)準(zhǔn)

T/ISC0004—2020

網(wǎng)絡(luò)運營者針對未成年人的有害信息

防治體系建設(shè)框架

Frameworkfornetworkoperatorsofprotectingminorsfromharmfulcontent

2020-09-24發(fā)布2020-12-01實施

中國互聯(lián)網(wǎng)協(xié)會發(fā)布

T/ISC0004—2020

網(wǎng)絡(luò)運營者針對未成年人的有害信息防治體系建設(shè)框架

１范圍

本文件確立了網(wǎng)絡(luò)運營者針對未成年人的有害信息防治體系建設(shè)框架，給出了有害信息防治手段、

防治保障、防治技術(shù)等內(nèi)容。

本文件適用于網(wǎng)絡(luò)運營者，為其開展未成年人網(wǎng)絡(luò)有害信息防治工作提供參考和指引。

2規(guī)范性引用文件

本文件沒有規(guī)范性引用文件。

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

未成年人minors

未滿十八周歲的公民。

3.2

有害信息harmfulcontent

網(wǎng)絡(luò)中涉及到未成年人以及危害未成年人身心健康的違反我國法律法規(guī)的違法信息和不良信息。

3.3

網(wǎng)絡(luò)運營者networkoperators

網(wǎng)絡(luò)的所有者、管理者和網(wǎng)絡(luò)服務(wù)提供者。

注：參照《中華人民共和國網(wǎng)絡(luò)安全法》第七十六條中網(wǎng)絡(luò)運營者的定義。

4縮略語

下列縮略語適用于本文件：

AI（ArtificialIntelligence）人工智能

OCR（OpticalCharacterRecognition）光學(xué)字符識別

5參考框架

5.1框架概述

網(wǎng)絡(luò)運營者針對未成年人有害信息的防治體系建設(shè)框架應(yīng)分為防治技術(shù)、防治手段、防治保障三個

方面。參考框架見圖1，其中，防治技術(shù)是為實現(xiàn)防治手段所需要建設(shè)和加強的共性技術(shù)和基礎(chǔ)能力；

防治手段為具體防治措施，提供實現(xiàn)未成年人網(wǎng)絡(luò)有害信息防治工作的直接方法、工具和能力，包括預(yù)

1

T/ISC0004—2020

防、防護、治理三個層面，涵蓋有害信息防治事前、事中、事后全過程；防治保障是開展未成年人網(wǎng)絡(luò)

有害信息防治工作的保障措施包括資源保障、人才培養(yǎng)、標(biāo)準(zhǔn)規(guī)范、合規(guī)運營和安全檢測。

圖1有害信息防治體系建設(shè)框架

5.2防治技術(shù)

5.2.1概述

網(wǎng)絡(luò)運營者應(yīng)認(rèn)識到針對未成年人的網(wǎng)絡(luò)有害信息防治工作是一項綜合、復(fù)雜的工作，面臨對抗

技術(shù)不斷升級、防護技術(shù)需不斷演進等技術(shù)挑戰(zhàn)，需要聯(lián)合相關(guān)方進一步加強研究，綜合運用多種技

術(shù)手段實現(xiàn)保護未成年人免受有害信息侵害的安全目標(biāo)。

有害信息防治工作相關(guān)方可參見附錄A。

5.2.2安全技術(shù)

本文件所指安全技術(shù)是與有害信息的安全防護和治理相關(guān)的防治技術(shù)，包括有害信息發(fā)現(xiàn)技術(shù)、

網(wǎng)絡(luò)行為識別技術(shù)、網(wǎng)絡(luò)信息處理基礎(chǔ)技術(shù)、基礎(chǔ)庫建設(shè)。網(wǎng)絡(luò)運營者宜加強以下技術(shù)研發(fā)和實踐工

作：

a）有害信息發(fā)現(xiàn)技術(shù)：

1)多媒體（視頻、音頻、圖片、文字等）內(nèi)容安全識別技術(shù)；

2)基于AI的內(nèi)容分類、有害信息識別等算法的設(shè)計和模型訓(xùn)練，如深度學(xué)習(xí)算法等；

3)基于OCR的圖片內(nèi)容識別技術(shù)；

4)基于相似度的圖片識別技術(shù)等。

b）網(wǎng)絡(luò)行為識別技術(shù)：用于識別違法用戶行為，如惡意注冊、惡意發(fā)布、分享有害信息等惡意

行為。

2

T/ISC0004—2020

c）網(wǎng)絡(luò)信息處理基礎(chǔ)技術(shù)：

1)數(shù)據(jù)采集和預(yù)處理技術(shù)；

2)高速網(wǎng)絡(luò)流量處理技術(shù)，如網(wǎng)絡(luò)協(xié)議解析；

3)大數(shù)據(jù)存儲、查詢技術(shù)等。

d）基礎(chǔ)庫建設(shè)：

1)樣本庫：有害詞庫、語料庫、視頻庫、圖片庫、有害外部鏈接庫、有害IP地址庫等，支

持樣本的新增、修改、刪除等樣本庫管理能力；

2)特征庫：對提取的有害樣本、有害行為等特征的存儲和管理。

5.2.3內(nèi)容分級

網(wǎng)絡(luò)運營者應(yīng)積極研究針對未成年人的內(nèi)容分級管理機制，研究適宜未成年人接觸，與其年齡、

身份相符的網(wǎng)絡(luò)信息篩選標(biāo)準(zhǔn)，例如把網(wǎng)絡(luò)信息分為適宜未成年人觀看和不宜未成年人觀看兩種級

別。

有害信息對未成年人的侵害判定維度可參見附錄B。

5.2.4協(xié)同治理

網(wǎng)絡(luò)運營者之間應(yīng)加強協(xié)同和配合，從技術(shù)協(xié)同、數(shù)據(jù)協(xié)同出發(fā)，逐步實現(xiàn)更大范圍的組織協(xié)

同、機制協(xié)同的協(xié)同治理工作體系。

5.3防治手段

5.3.1預(yù)防

安全課

a)網(wǎng)絡(luò)運營者宜開設(shè)針對未成年人的網(wǎng)絡(luò)安全課程，引導(dǎo)和教育未成年人正確認(rèn)識和使用網(wǎng)

絡(luò)，提高未成年人識別網(wǎng)絡(luò)有害信息的能力和使用未成年人保護相關(guān)工具/技術(shù)的水平，促進

未成年人樹立正確的網(wǎng)絡(luò)觀，自覺抵制有害信息；

b)網(wǎng)絡(luò)運營者宜開設(shè)針對監(jiān)護人、教師等與未成年人有害信息防治工作重要相關(guān)方的網(wǎng)絡(luò)安全

課程，供其了解和掌握如何關(guān)注未成年人網(wǎng)絡(luò)行為，并從自身做起，以身作則，引導(dǎo)未成年

人規(guī)范上網(wǎng)行為；

c)網(wǎng)絡(luò)運營者可聯(lián)合政府、互聯(lián)網(wǎng)企業(yè)或行業(yè)組織、科研機構(gòu)等加強對網(wǎng)絡(luò)安全課程的開發(fā)，

以及增加對未成年人網(wǎng)絡(luò)心理研究等方面的投入，豐富和提升安全課的理論基礎(chǔ)、教學(xué)形式

和宣傳推廣模式等。

未成年人網(wǎng)絡(luò)安全課實踐可參見附錄C。

網(wǎng)絡(luò)素養(yǎng)支持

a)網(wǎng)絡(luò)運營者宜聯(lián)合政府或其他相關(guān)組織，加強未成年人、監(jiān)護人、網(wǎng)民等應(yīng)具備的網(wǎng)絡(luò)素養(yǎng)

（例如未成年人安全上網(wǎng)、女童網(wǎng)絡(luò)素養(yǎng)等）研究，提升未成年人對網(wǎng)絡(luò)信息健康程度辨別

能力，促進未成年人增強自我保護意識和能力；

b)網(wǎng)絡(luò)運營者應(yīng)結(jié)合自身業(yè)務(wù)和技術(shù)特點，開發(fā)未成年人網(wǎng)絡(luò)素養(yǎng)教育工具，例如音視頻教育

產(chǎn)品、輔導(dǎo)手冊、教育功能游戲等。

網(wǎng)絡(luò)素養(yǎng)教育支持實踐可參見附錄C。

平臺生態(tài)安全建設(shè)

3

T/ISC0004—2020

a)網(wǎng)絡(luò)運營者提供網(wǎng)絡(luò)平臺服務(wù)的，應(yīng)加強本平臺網(wǎng)絡(luò)信息內(nèi)容生態(tài)安全治理工作，制定本平

臺網(wǎng)絡(luò)信息內(nèi)容發(fā)布規(guī)則，為未成年人營造清朗的網(wǎng)絡(luò)空間；

b)通過向平臺上的信息內(nèi)容生產(chǎn)者進行平臺網(wǎng)絡(luò)安全培訓(xùn)，為平臺上的信息內(nèi)容生產(chǎn)者提供內(nèi)

容安全服務(wù)（例如內(nèi)容安全API服務(wù)等）等方式，提升平臺上信息內(nèi)容生產(chǎn)者的安全意識和

技術(shù)能力，維護平臺的信息內(nèi)容生態(tài)安全。

平臺生態(tài)安全建設(shè)實踐可參見附錄C。

宣傳推廣

網(wǎng)絡(luò)運營者應(yīng)利用其自身宣傳渠道或聯(lián)合傳統(tǒng)媒體、自媒體等，加強網(wǎng)絡(luò)有害信息防治有關(guān)法

律、政策、方法、工具、產(chǎn)品規(guī)則等網(wǎng)絡(luò)安全宣傳和推廣力度，提升未成年人網(wǎng)絡(luò)保護各相關(guān)方的安

全守法意識和能力，增強未成年人網(wǎng)絡(luò)行為的自覺性和自我保護能力。

宣傳推廣實踐可參見附錄C。

5.3.2防護

未成年人專屬產(chǎn)品/模式

a)專屬產(chǎn)品

針對未成年人的安全需求，網(wǎng)絡(luò)運營者應(yīng)針對性地研發(fā)專門的未成年人專屬網(wǎng)站、專欄、專區(qū)、

產(chǎn)品或服務(wù)，提供教育類、知識類等適宜未成年人接觸的網(wǎng)絡(luò)內(nèi)容。

b)專屬模式

在長視頻、短視頻、直播等視頻和直播類產(chǎn)品和服務(wù)中，網(wǎng)絡(luò)運營者應(yīng)加大對未成年專屬模式的

研制，提供如“青少年模式”等未成年人專屬使用模式，且該模式支持：

1)專門為未成年人精選推薦適合未成年人的網(wǎng)絡(luò)內(nèi)容；

2)支持限制/取消部分功能（如充值、打賞等）的使用；

3)支持使用時長、使用時間段等限制。

舉報機制

網(wǎng)絡(luò)運營者應(yīng)建立舉報機制，包括：

a)設(shè)立相應(yīng)的有害信息投訴/舉報入口和舉報流程（有條件的網(wǎng)絡(luò)運營者還可在提供的產(chǎn)品/服

務(wù)舉報入口中設(shè)置侵害未成年人權(quán)益的專屬舉報標(biāo)簽）；

b)配備專門的舉報處置人員；

c)及時受理和處置相關(guān)舉報。

舉報流程的設(shè)立可參見附錄D。

安全系統(tǒng)

網(wǎng)絡(luò)中每天都產(chǎn)生大量數(shù)據(jù)，從海量公開場景的數(shù)據(jù)中發(fā)現(xiàn)和處理有害信息依賴安全系統(tǒng)和工具

的支持。網(wǎng)絡(luò)運營者宜加強內(nèi)容安全相關(guān)安全系統(tǒng)的建設(shè)，包括但不限于以下系統(tǒng)：

a)內(nèi)容安全機器檢測系統(tǒng)，提供通過基于規(guī)則檢測或基于機器學(xué)習(xí)等方式，對信息內(nèi)容進行自

動化安全檢測，用于提高檢測效率，降低人工成本；

b)人工審核系統(tǒng)，提供審核操作平臺，用于相關(guān)審核人員在平臺上高效的審核各類視頻、圖

像、文本等內(nèi)容，提升審核效率；

c)樣本數(shù)據(jù)標(biāo)注系統(tǒng)，提供對獲取的樣本數(shù)據(jù)的標(biāo)注能力，用于后續(xù)的模型訓(xùn)練等工作；

d)內(nèi)容安全驗證工具，提供對安全策略實施準(zhǔn)確率、相關(guān)安全系統(tǒng)運行狀態(tài)等有效性驗證；

4

T/ISC0004—2020

e)內(nèi)容安全統(tǒng)計分析系統(tǒng)，提供對網(wǎng)絡(luò)運營者整體內(nèi)容安全狀態(tài)的分析、展示等能力。

安全系統(tǒng)實踐可參見附錄C。

未成年人個人信息保護

網(wǎng)絡(luò)運營者應(yīng)加強對未成年人個人信息的保護：

a)收集和使用未成年人個人信息時，應(yīng)經(jīng)過監(jiān)護人同意；

b)在處置相關(guān)安全事件時，可通過對需展示的個人信息采取去標(biāo)識化處理、匿名化等方式，加

強對未成年人個人信息的保護；

c)遵照法律法規(guī)的規(guī)定，嚴(yán)格限制共享、轉(zhuǎn)移、披露未成年人個人信息的情形。

5.3.3治理

有害信息治理

網(wǎng)絡(luò)運營者應(yīng)通過以下方式加強有害信息治理工作：

a)建立有害信息治理相關(guān)的管理制度；

b)設(shè)立有害信息治理相關(guān)的管理機構(gòu)和人員；

c)建設(shè)有害信息治理相關(guān)的安全系統(tǒng)，通過機器檢查和人工審核相結(jié)合的方式及時發(fā)現(xiàn)和處置

有害信息。具體處置方式包括信息清除、功能干預(yù)等。信息清除指通過刪除、展示屏蔽等方

式使有害信息無法被查閱；功能干預(yù)指對違規(guī)賬戶進行限制發(fā)布、限制提現(xiàn)等功能限制。具

體處置方式的選擇應(yīng)根據(jù)網(wǎng)絡(luò)運營者的業(yè)務(wù)特點確定。

協(xié)助犯罪打擊

對于發(fā)現(xiàn)制作、發(fā)布、傳播網(wǎng)絡(luò)有害信息等違法行為，網(wǎng)絡(luò)運營者應(yīng)當(dāng)為公安機關(guān)、國家安全機

關(guān)依法維護國家安全和偵查犯罪的活動提供技術(shù)支持和協(xié)助，提高打擊犯罪的有效性，保護未成年人

權(quán)益。

再次教育

網(wǎng)絡(luò)運營者應(yīng)通過視頻教學(xué)、案例分析、警示參觀等方式，引導(dǎo)未成年人進行相關(guān)法律法規(guī)、知

識的學(xué)習(xí)，達(dá)到再次教育的效果。

5.4防治保障

5.4.1資源保障

網(wǎng)絡(luò)有害信息的產(chǎn)生、傳播、變種速度快，防治工作難度大。網(wǎng)絡(luò)運營者應(yīng)加強投入相關(guān)的資

源，包括經(jīng)費資源、人力資源、技術(shù)資源等，保障本組織有害信息防治工作可以長期有效開展。

5.4.2人才培養(yǎng)

實現(xiàn)有害信息的防治工作離不開專業(yè)人才的技能和經(jīng)驗。網(wǎng)絡(luò)運營者應(yīng)加強培養(yǎng)在法律、技術(shù)、

教育、網(wǎng)絡(luò)安全等專業(yè)上的復(fù)合型人才，提升本組織有害信息治理人員的的專業(yè)水平。

5.4.3標(biāo)準(zhǔn)規(guī)范

網(wǎng)絡(luò)運營者應(yīng)加強參與針對未成年人的有害信息防治相關(guān)標(biāo)準(zhǔn)（如人才評定、安全技術(shù)和系統(tǒng)、

未成年人專屬產(chǎn)品/模式、安全測評驗證等方向）的研制和應(yīng)用推廣工作，滿足對人才培養(yǎng)、能力建

設(shè)、有害信息分類分級、效果評價等有害信息防治工作的實際需求。

5

T/ISC0004—2020

內(nèi)容涉及未成年人的網(wǎng)絡(luò)色情信息分類示例可參見附錄E。

5.4.4合規(guī)運營

網(wǎng)絡(luò)運營者應(yīng)加強對未成年人網(wǎng)絡(luò)有害信息防治相關(guān)法律法規(guī)工作的支持，并在業(yè)務(wù)運營過程中

做到合法合規(guī)。

5.4.5安全檢測

網(wǎng)絡(luò)運營者提供的面向未成年人的產(chǎn)品/服務(wù)上線發(fā)布前，應(yīng)開展相關(guān)安全檢測驗證工作，保障在

內(nèi)容上不含有害信息、在功能上提供了相應(yīng)安全保護能力后方可上線。

6

T/ISC0004—2020

附錄A

（資料性）

針對未成年人的有害信息防治相關(guān)方及工作維度

針對未成年人的有害信息防治相關(guān)方及工作維度如下表A.1所示。

表A.1相關(guān)方及工作維度

序號相關(guān)方工作維度

1網(wǎng)絡(luò)運營者加強針對未成年人的有害信息防治工作，履行企業(yè)社會責(zé)任。

2未成年人堅決抵制網(wǎng)絡(luò)有害信息，保證自身網(wǎng)絡(luò)行為的合法合規(guī)。

依法履行對未成年人的監(jiān)護職責(zé)，保障未成年人網(wǎng)絡(luò)行為安全，保護未

3監(jiān)護人

成年人健康成長。

對未成年人的教育過程以及未成年人在校管理過程進行網(wǎng)絡(luò)安全教育和

4學(xué)校和教師

監(jiān)督等方面發(fā)揮積極作用。

5網(wǎng)民保證自身網(wǎng)絡(luò)行為的合法合規(guī)，積極發(fā)揮網(wǎng)民監(jiān)督作用。

為未成年人有害信息防治工作提供政策基礎(chǔ)和保障，履行相關(guān)的監(jiān)督管

6政府

理職能，引導(dǎo)全社會為未成年人營造清朗健康的網(wǎng)絡(luò)空間。

積極開展有利于未成年人網(wǎng)絡(luò)健康的各項社會活動和服務(wù)。

7社會組織例如科研機構(gòu)開展未成年人網(wǎng)絡(luò)心理、網(wǎng)絡(luò)安全技術(shù)等研究工作；服務(wù)

機構(gòu)開展安全培訓(xùn)、安全咨詢、安全測評等服務(wù)。

7

T/ISC0004—2020

附錄B

（資料性）

網(wǎng)絡(luò)有害信息對未成年人的影響分析維度

分析網(wǎng)絡(luò)信息是否可能危害未成年人身心健康，可以從以下維度開展：

a)引誘未成年人犯罪。通過傳播暴力血腥、賭博、制毒販毒吸毒、制作售賣違禁品、恐怖活動等

方式，直接或間接的誘導(dǎo)未成年人犯罪或?qū)嵤┻`反法規(guī)的行為。

b)引誘未成年人自殺。通過宣傳、介紹、鼓勵自殘、自殺等形式，直接或間接的引誘未成年人實

施自殺行為。

c)影響未成年人性成熟和性心理健康。通過傳播淫穢色情、低俗挑逗等信息，可能造成未成年人

對色情活動的模仿，影響未成年人性心理、性生理、性道德和性法制觀念的扭曲，導(dǎo)致犯罪等

問題出現(xiàn)。

d)對未成年人進行網(wǎng)絡(luò)欺詐。利用未成年人的獵奇心理以及不成熟的認(rèn)知辨別能力等，對未成年

人實施詐騙，或誘導(dǎo)未成年人對他人進行詐騙。

e)侵害未成年人隱私。通過誘騙、隱瞞、黑客等手段，非法搜集、非法使用、售賣、曝光未成年

人的個人信息。

f)對未成年人進行網(wǎng)絡(luò)欺凌。通過辱罵、誹謗、人肉、曝光個人信息、威脅恐嚇、制造散播謠言

等手段，影響到未成年人精神狀態(tài)或現(xiàn)實生活。

8

T/ISC0004—2020

附錄C

（資料性）

有害信息的防治實踐案例

C.1安全課實踐

案例一：騰訊聯(lián)合全國“掃黃打非”工作小組辦公室開展以“護苗網(wǎng)絡(luò)安全進課堂”為代表的未

成年人網(wǎng)絡(luò)安全教育系列活動。案例介紹：

/shdf/contents/767/409224.html《“護苗·網(wǎng)絡(luò)安全進課堂”2019鄉(xiāng)村

行活動》。

C.2網(wǎng)絡(luò)素養(yǎng)教育支持實踐

案例一：騰訊舉報中心刊載《繁星特刊》系列公眾號網(wǎng)絡(luò)素養(yǎng)教育文章，保護未成年人上網(wǎng)安全。

案例介紹：/s/UZFKLyN3q7OMs8Ap6qHq0w《繁星特刊丨未成年人上網(wǎng)避坑指

南》。

C.3平臺安全生態(tài)建設(shè)實踐

案例一：騰訊公司舉辦陽光媒體人大會，為微信公眾平臺和小程序賬號運營者以及直播、短視頻機

構(gòu)代表開展網(wǎng)絡(luò)內(nèi)容安全運營規(guī)則培訓(xùn)、交流內(nèi)容安全生態(tài)建設(shè)經(jīng)驗。

案例介紹：/rain/a/20191231a0700300《2019年度陽光媒體人大會》。

案例二：騰訊微信推出“珊瑚內(nèi)容安全助手”小程序，幫助微信公眾號運營者和小程序開發(fā)者通過

小程序一鍵鑒別內(nèi)容和產(chǎn)品的安全風(fēng)險，在內(nèi)容安全方面為運營者和開發(fā)者提供更多幫助。

案例介紹：/s/j8ZrlikmjpgDLDxzMeP2NA

《騰訊“珊瑚安全”API正式上線，小程序開發(fā)者可接入內(nèi)容安全服務(wù)》

C.4宣傳推廣實踐

案例一：騰訊游戲官網(wǎng)解讀、宣傳騰訊公司發(fā)起的國內(nèi)互聯(lián)網(wǎng)游戲行業(yè)首個面向未成年人健康上網(wǎng)

的系統(tǒng)解決方案。

案例介紹：/a/20170217/023632.htm《騰訊游戲成長守護平臺上線》

C.5安全系統(tǒng)支持實踐

案例一：作業(yè)幫發(fā)布國內(nèi)首個青少年信息安全綜合防護平臺，用大數(shù)據(jù)、AI技術(shù)守護“數(shù)字一代”

網(wǎng)絡(luò)安全，旨在為未成年人營造清朗的網(wǎng)絡(luò)空間。

案例介紹：/s?id=1612855191532377343&wfr=spider&for=pc《“寸

功”初心：用大數(shù)據(jù)、AI技術(shù)守護“數(shù)字一代”網(wǎng)絡(luò)安全》

9

T/ISC0004—2020

附錄D

（資料性）

有害信息舉報流程示例

有害信息舉報流程可以包括信息舉報、信息審核、處置歸檔、配合執(zhí)法四個流程。具體如下：

a)信息舉報。信息舉報是網(wǎng)絡(luò)有害信息的來源之一，該階段用戶通過網(wǎng)絡(luò)平臺的指引尋找到舉報

入口，根據(jù)舉報指引，提交舉報內(nèi)容。有條件的平臺可以研究設(shè)立針對未成年人的專屬舉報標(biāo)

簽，對未成年人提供特殊保護。

b)信息審核。審核確定對舉報信息進行審理鑒定，網(wǎng)絡(luò)平臺員工依據(jù)審核專業(yè)度，處理舉報信息，

過濾無效信息，懲罰惡意舉報。

c)處置歸檔。網(wǎng)