數(shù)據(jù)清洗、去標(biāo)識化、匿名化業(yè)務(wù)規(guī)程（試行） 2023

1 1 1 2 4 4 4 4 4 5 5 5 6 9 12 12 13 18 21 21 21 25 29 29 30 30 30 31 32 36 40 43表1數(shù)據(jù)清洗、去標(biāo)識化、匿名化處理的技術(shù)特點(diǎn)和差異............................1習(xí)近平總書記在2023年中國國際服務(wù)《中共中央國務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用一、處理目標(biāo)及相互關(guān)系（一）數(shù)據(jù)清洗是數(shù)據(jù)可用的保障（二）去標(biāo)識化是數(shù)據(jù)脫敏的關(guān)鍵2數(shù)據(jù)去標(biāo)識化與在先的標(biāo)識形成過程分屬數(shù)據(jù)處理的不同階段（三）匿名化是去標(biāo)識化的強(qiáng)化3（相對原始數(shù)據(jù)）低高低中中中高低高來源：中國信息通信研究院4二、數(shù)據(jù)處理原則（一）合法合規(guī)（二）安全優(yōu)先（三）平衡效用（四）技管結(jié)合組織應(yīng)綜合利用技術(shù)和管理兩方面措施實(shí)現(xiàn)數(shù)據(jù)處理的最佳效5（五）有效溯源三、數(shù)據(jù)清洗規(guī)程（一）處理目的存在空值、無效值，響應(yīng)依據(jù)規(guī)范標(biāo)準(zhǔn)的各2.準(zhǔn)確性3.完整性4.一致性65.可溯源性（二）處理流程1.抽取清洗對象2.定義清洗規(guī)則7（2）確定清洗邏輯規(guī)則3.標(biāo)識錯(cuò)誤數(shù)據(jù)（2）常見錯(cuò)誤類型84.數(shù)據(jù)修正處理5.數(shù)據(jù)轉(zhuǎn)換檢驗(yàn)96.評估清洗結(jié)果數(shù)據(jù)清洗后及時(shí)評價(jià)輸出結(jié)果是否符合事先設(shè)定清洗規(guī)則和規(guī)（三）常見技術(shù)方法1.殘缺數(shù)據(jù)處理份當(dāng)前數(shù)據(jù)后，直接刪除后期加工處理不需（2）填充缺失內(nèi)容（3）重新采集數(shù)據(jù)補(bǔ)全2.偏差（異常）數(shù)據(jù)處理（2）邏輯沖突數(shù)據(jù)3.重復(fù)數(shù)據(jù)處理4.其他錯(cuò)誤數(shù)據(jù)處理四、數(shù)據(jù)去標(biāo)識化規(guī)程（一）處理目的1.標(biāo)識不可識別2.控制被識別風(fēng)險(xiǎn)將去標(biāo)識化后的數(shù)據(jù)可能被未經(jīng)授權(quán)的主體再次識別的風(fēng)險(xiǎn)控3.兼顧數(shù)據(jù)效用目標(biāo)（二）處理流程1.確定去標(biāo)識化對象于外部和內(nèi)部的多方面因素的考量確定需要進(jìn)行去標(biāo)識處理的數(shù)據(jù)（3）數(shù)據(jù)來源方要求根據(jù)數(shù)據(jù)采集時(shí)是否存在對數(shù)據(jù)來源方等作出了去標(biāo)識化的相2.制定去標(biāo)識化目標(biāo)（2）明確滿足數(shù)據(jù)可用性的最低要求3.識別相關(guān)標(biāo)識符（2）規(guī)則判定組織通過總結(jié)可能涉及直接標(biāo)識符和準(zhǔn)標(biāo)識符的數(shù)據(jù)格式和規(guī)（3）人工分析4.對標(biāo)識符進(jìn)行處理5.驗(yàn)證數(shù)據(jù)處理結(jié)果（2）有用性驗(yàn)證6.評估被識別風(fēng)險(xiǎn)信息安全技術(shù)個(gè)人信息去標(biāo)識化效果評估指南》進(jìn)行流高風(fēng)險(xiǎn)（4級能直接識別主體或敏感屬性的數(shù)據(jù)，即包含直接標(biāo)識符的數(shù)據(jù)；較高風(fēng)險(xiǎn)（3級僅消除直接標(biāo)識符的數(shù)據(jù)，即刪除了直接標(biāo)識符，但仍包含準(zhǔn)標(biāo)識符的數(shù)據(jù)；可控風(fēng)險(xiǎn)（2級（三）常見技術(shù)方法1.數(shù)據(jù)抽樣技術(shù)數(shù)據(jù)抽樣是通過選取數(shù)據(jù)集中有代表性的子集來對原始數(shù)據(jù)集2.加解密技術(shù)得到的計(jì)算結(jié)果等價(jià)于基于原始明文數(shù)據(jù)直接進(jìn)行相同計(jì)算所得到3.假名化技術(shù)識符或準(zhǔn)標(biāo)識符的過程。假名化技術(shù)保留了原始數(shù)據(jù)的唯一性特點(diǎn)，4.抑制遮蓋技術(shù)抑制遮蓋技術(shù)即對需要進(jìn)行處理的標(biāo)識符或數(shù)據(jù)項(xiàng)進(jìn)行刪除或五、數(shù)據(jù)匿名化規(guī)程（一）處理目的1.促使標(biāo)識難以復(fù)原數(shù)據(jù)匿名化處理是數(shù)據(jù)去標(biāo)識化后應(yīng)用相關(guān)技術(shù)使相關(guān)標(biāo)識符2.符合風(fēng)險(xiǎn)可接受水平3.支持統(tǒng)計(jì)、訓(xùn)練用途（二）處理流程1.確定匿名化對象例如，組織遵照《汽車數(shù)據(jù)安全管理若干規(guī)定(試（2）遵循最小必要原則確定處理對象（4）基于業(yè)務(wù)開展需要確定處理對象2.設(shè)定匿名化目標(biāo)3.先行去標(biāo)識化處理4.實(shí)施匿名化處理一是考慮所采用的匿名化技術(shù)進(jìn)行處理后數(shù)據(jù)是否仍滿足預(yù)期5.評估匿名化效果化效果評估指南》提供了“基于K匿名模型的重標(biāo)識風(fēng)險(xiǎn)計(jì)算方案1表示記錄是唯一的。k-匿名值需要結(jié)合實(shí)際場景、處理目標(biāo)和安全6.定期追蹤復(fù)原風(fēng)險(xiǎn)組織應(yīng)當(dāng)定期追蹤內(nèi)外部相關(guān)主體對匿名化處理數(shù)據(jù)的使用情（三）常見技術(shù)方法1.聚合統(tǒng)計(jì)技術(shù)聚合統(tǒng)計(jì)技術(shù)指將數(shù)據(jù)集從記錄列表轉(zhuǎn)換為匯總值或相關(guān)統(tǒng)計(jì)屬性將某一條數(shù)據(jù)記錄（女，北京，1.63m，59.8kg，1990年9月12.泛化技術(shù)用高于或低于所設(shè)定的臨界值的描述替換某一特定數(shù)據(jù)記錄在該屬3.隨機(jī)化技術(shù)4.數(shù)據(jù)合成技術(shù)5.隱私計(jì)算技術(shù)隱私計(jì)算技術(shù)是指在保護(hù)數(shù)據(jù)本身不對外泄露的前提下實(shí)現(xiàn)數(shù)合建模和AI協(xié)作，加速隱私計(jì)算在不同場景的應(yīng)用與落地。根據(jù)參六、數(shù)據(jù)處理環(huán)境要求（一）管理制度要求（二）技術(shù)能力要求（三）人員能力要求（四）過程控制要求（五）事故管理要求附件一：常見直接標(biāo)識符和準(zhǔn)標(biāo)識符示例（一）直接標(biāo)識符示例直接標(biāo)識符通常表現(xiàn)為在特定環(huán)境下可以單獨(dú)識別特定自然人123456789123456789123456789（二）準(zhǔn)標(biāo)識符示例準(zhǔn)標(biāo)識符通常指在相應(yīng)環(huán)境下無法單獨(dú)識別特定自然人或數(shù)據(jù)123456789123456789123456附件二：常見標(biāo)識符的去標(biāo)識化或匿名化參考本報(bào)告借鑒《GB/T37964-2019信息安全技術(shù)個(gè)人信息去標(biāo)識化指名化時(shí)根據(jù)按照順序或隨機(jī)選擇一個(gè)人名代替原名。如使用字符，并保持可逆特性。如使用密碼和字符編碼技術(shù)，使用泛化編碼。使用概括、抽象的符號來表示，如使用“張先生”部分抑制遮蓋。屏蔽身份證號中的一部分，以保情況。如對企業(yè)2020年簽訂的設(shè)備采購類合同進(jìn)行統(tǒng)計(jì)，轉(zhuǎn)用“江西省XX市XX縣”來代替"江西省吉安市安?？h”全部抑制遮蓋。直接刪除姓名或使用統(tǒng)一的“*”來表示。如為其設(shè)置一定閾值，如溫度＞30℃,空氣相對濕度低于70%。部分抑制遮蓋。對日期中的一部分做屏蔽，如1880年某月1泛化編碼。使用概括、抽象的日期來表示，如使用1880年代隨機(jī)化-數(shù)據(jù)置換。使用數(shù)據(jù)集中其他記錄的相應(yīng)數(shù)值代替本全部抑制遮蓋。直接刪除數(shù)值或使用統(tǒng)一的“*”來表示。如4個(gè)人，分別是藍(lán)色、綠色和淺褐色的眼睛"來代替"有1個(gè)人是藍(lán)色眼睛，2個(gè)人是綠色的眼睛，1個(gè)人是淺泛化-頂層和底層編碼。大于或小于一個(gè)特定值的處理成某個(gè)隨機(jī)化-數(shù)據(jù)置換。使用數(shù)據(jù)集中其他記錄的相應(yīng)數(shù)值代替本機(jī)數(shù)，將其加到原始數(shù)值上并代替原始數(shù)值。如對于身高附件三：部分?jǐn)?shù)據(jù)處理技術(shù)方法應(yīng)用建議對原始數(shù)據(jù)進(jìn)行加原始數(shù)據(jù)進(jìn)行相同可在不解密情況下對密文進(jìn)行計(jì)算和醫(yī)療數(shù)據(jù)模私數(shù)據(jù)求交計(jì)算消耗和性能要求較技術(shù)應(yīng)用理用化程度還直接刪除或采用字符掩碼屏蔽隱私數(shù)證底層數(shù)據(jù)無法訪主要適用于用于數(shù)值與非數(shù)值數(shù)據(jù)容易導(dǎo)致信抑制會影響執(zhí)行相對容與其他技術(shù)結(jié)合提升抗將個(gè)體的數(shù)據(jù)轉(zhuǎn)化值與最小值等統(tǒng)計(jì)代表原始數(shù)據(jù)集的適用于連續(xù)數(shù)據(jù)的整體且不需要反映每一單獨(dú)數(shù)據(jù)記錄的對個(gè)體特征可能會降低數(shù)據(jù)的有用據(jù)樣本量有適用場景有需結(jié)合應(yīng)用目選擇具體降低數(shù)據(jù)所選屬性多用于數(shù)值被概括處理且仍對預(yù)期目的有用的需注意泛化過大可能過度破壞數(shù)據(jù)面臨較大重泛化技術(shù)實(shí)數(shù)據(jù)可直接用電子表格常數(shù)據(jù)處理隨機(jī)修改數(shù)據(jù)屬性區(qū)別于原來的真實(shí)據(jù)進(jìn)行擾動(dòng)和置換適用于需要保留個(gè)體數(shù)留所選屬性的統(tǒng)計(jì)分布會對原始數(shù)據(jù)記錄真實(shí)對個(gè)體數(shù)據(jù)準(zhǔn)確性有要求時(shí)避免使用隨機(jī)化技術(shù)得到成熟應(yīng)體分析時(shí)較顯著修改所有數(shù)據(jù)的統(tǒng)計(jì)特性重新擬不再保留原始數(shù)據(jù)可作為原始數(shù)據(jù)的替代項(xiàng)適用于應(yīng)如果合成后數(shù)據(jù)與原始數(shù)據(jù)擬合度過高可能會導(dǎo)致信息泄露在實(shí)際應(yīng)用對計(jì)算能力和計(jì)算效率在無可信第三方的計(jì)算結(jié)果外不能獲得其他參與方輸入通常應(yīng)用于聯(lián)合數(shù)據(jù)分全查詢檢索具有去中心算能力和各參與方聯(lián)合協(xié)同要