測試數(shù)據(jù)脫敏綜合評價體系

測試數(shù)據(jù)脫敏綜合評價體系 摘要本文提出一種全面的測試數(shù)據(jù)脫敏方法評價體系，從高效性、有效性、真實性、穩(wěn)定性及多樣性五個方面來對測試數(shù)據(jù)脫敏需求及脫敏方法進(jìn)行綜合評估。 測試數(shù)據(jù)脫敏綜合評價體系測試數(shù)據(jù)脫敏工作通常涉及數(shù)據(jù)使用方及數(shù)據(jù)管理方兩個角色，測試數(shù)據(jù)脫敏不僅要保證數(shù)據(jù)敏感性被去除，還要盡可能滿足測試使用方的測試需求，同時還要確保其技術(shù)方案是可行且易于管理的。綜合兩方面角色考慮，本文從高效性、有效性、真實性、穩(wěn)定性及多樣性五個方面提出了一種全面的測試數(shù)據(jù)脫敏評價指標(biāo)體系。（一）有效性測試數(shù)據(jù)脫敏的最基本原則就是要去掉數(shù)據(jù)的敏感性，保證數(shù)據(jù)安全，這是對測試數(shù)據(jù)脫敏最基本的要求，即有效性。有效性主要從以下兩個方面進(jìn)行評價：1.相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)敏感性的去除程度。例如，對客戶姓名采用置為常數(shù)的方法進(jìn)行脫敏，脫敏后所有敏感的姓名數(shù)據(jù)都被置為某個沒有敏感性的字符串，即數(shù)據(jù)敏感性完全去除；相對的，對客戶姓名采用屏蔽若干位字符的方法（張三置為張*）進(jìn)行脫敏，則脫敏后數(shù)據(jù)仍然保留了具有敏感性的姓信息，即數(shù)據(jù)敏感性部分去除。2.脫敏后數(shù)據(jù)可能被反推回具有敏感性原始數(shù)據(jù)的程度。采用的脫敏方法不一樣，其破壞脫敏軌跡的程度也不一樣，從而最終導(dǎo)致脫敏后數(shù)據(jù)被反推回脫敏錢數(shù)據(jù)的程度也不一樣。例如，對客戶姓名采用置為常數(shù)的方法進(jìn)行脫敏，脫敏結(jié)果不可能被反推回原始數(shù)據(jù)；對客戶姓名采用按偏移值查姓名表的方法（按配置的固定偏移值選取表中假的姓名）進(jìn)行脫敏，如果姓名表及配置偏移值泄露，脫敏結(jié)果是可能被反推出原始數(shù)據(jù)的。（二）真實性測試數(shù)據(jù)最終是需要在測試中使用，越能真實體現(xiàn)原始數(shù)據(jù)特征的脫敏后數(shù)據(jù)，越能更好地滿足測試工作的需求。這是從數(shù)據(jù)使用方的角度來看對測試數(shù)據(jù)脫敏的基本要求，即真實性。真實性主要從以下兩個方面進(jìn)行評價：1.相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)業(yè)務(wù)邏輯特征的保留程度。任何數(shù)據(jù)都是具備一定業(yè)務(wù)邏輯特征的，例如客戶姓名、身份證號、交易金額等數(shù)據(jù)都有明顯的特征。對客戶姓名采用置為常數(shù)的方法進(jìn)行脫敏，脫敏后數(shù)據(jù)完全保留了客戶姓名的特征；相對的，對客戶姓名采用每個姓名字符的碼值偏移固定值的方法進(jìn)行脫敏，則脫敏后數(shù)據(jù)為亂碼，完全喪失了客戶姓名的特征。2.相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)統(tǒng)計分布特征的保留程度。任何數(shù)據(jù)都是具備一定統(tǒng)計分布特征的，例如客戶姓名數(shù)據(jù)中，有單姓多，復(fù)姓少，大姓多，小姓少，一些字符高頻出現(xiàn)，一些字符根本不會出現(xiàn)等。對客戶姓名采用置為常數(shù)的方法進(jìn)行脫敏，脫敏后數(shù)據(jù)統(tǒng)計分布特征完全被破壞；相對的，對客戶姓名采用按偏移值查姓名表的方法（按配置的固定偏移值選取表中假的姓名）進(jìn)行脫敏，由于姓名表的數(shù)量遠(yuǎn)小于真實情況，故脫敏數(shù)據(jù)部分保留了統(tǒng)計分布特征；對客戶姓名采用每個姓名字符的碼值偏移固定值的方法進(jìn)行脫敏，則完全保留了客戶姓名的特征。（三）高效性不同的測試數(shù)據(jù)脫敏方法，其實施難度是不一樣的，是否能高效地完成數(shù)據(jù)脫敏，是從數(shù)據(jù)管理方的角度來看對測試數(shù)據(jù)脫敏的重要要求，即高效性。高效性主要從以下兩個方面進(jìn)行評價：1.測試脫敏方法實施的時間開銷情況。實施脫敏的時間及計算資源占用越少越好。2.測試脫敏方法實施的空間開銷情況。實施脫敏必須的存儲空間越少越好。（四）穩(wěn)定性由于原始數(shù)據(jù)間存在關(guān)聯(lián)性（如兩張表中都有客戶姓名數(shù)據(jù)，并且業(yè)務(wù)要求兩張表的客戶姓名必須一致），如果對兩張表分別脫敏后客戶姓名數(shù)據(jù)不一致了，就會影響后期測試。這要求測試數(shù)據(jù)脫敏方法需要保證對相同的原始數(shù)據(jù)，只要配置參數(shù)一定，無論脫敏多少次，結(jié)果數(shù)據(jù)是相同的，即穩(wěn)定性。（五）多樣性多樣性即測試數(shù)據(jù)脫敏可能根據(jù)需求不同而生成不同脫敏結(jié)果的程度。這是從測試數(shù)據(jù)管理方的角度出發(fā)對測試數(shù)據(jù)脫敏的高級要求，一般情況，有配置參數(shù)的數(shù)據(jù)脫敏方法都可以按照輸入?yún)?shù)不同而產(chǎn)生不同的測試結(jié)果，從而使得測試數(shù)據(jù)管理方可以方便的按測試場景，測試環(huán)境等因素為不同的測試項目提供不同的脫敏后數(shù)據(jù)環(huán)境，去除多個測試項目使用數(shù)據(jù)間的關(guān)聯(lián)性，提高多項目數(shù)據(jù)使用的安全性。不同場景的測試數(shù)據(jù)脫敏需求分析商業(yè)銀行應(yīng)用系統(tǒng)測試過程中，不同的測試場景，測試數(shù)據(jù)脫敏的需求則不同。本節(jié)將上文提出測試數(shù)據(jù)脫敏綜合評價體系中的五維評價指標(biāo)進(jìn)行分級細(xì)化，以此作為分析具體場景測試數(shù)據(jù)脫敏需求的基礎(chǔ)。為簡化分析，本文將場景對于單個指標(biāo)的最低要求從低到高分為三級或者兩級，以數(shù)字1、2、3等代表不同分級，其中1代表場景對于該指標(biāo)的要求最低，能容忍其表現(xiàn)不佳；2代表場景對于該指標(biāo)的要求中等，能容忍其表現(xiàn)一般；3代表場景對于該指標(biāo)的要求最高，需要其表現(xiàn)優(yōu)秀。各指標(biāo)具體分級依據(jù)如下：（一）有效性1級：相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)敏感性可允許部分非關(guān)鍵信息殘留；脫敏后數(shù)據(jù)不易被反推回原始數(shù)據(jù)，如泄露多項關(guān)鍵配置數(shù)據(jù)，可能被反推，但反推難度較大。2級：相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)敏感性必須全部去掉；脫敏后數(shù)據(jù)不易被反推回原始數(shù)據(jù)，如泄露多項關(guān)鍵配置數(shù)據(jù)，可能被反推，但反推難度較大。3級：相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)敏感性必須全部去掉；無論泄露多少配置數(shù)據(jù)，脫敏后數(shù)據(jù)不能被反推回原始數(shù)據(jù)。（二）真實性1級：相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)業(yè)務(wù)邏輯特征可允許被完全破壞；相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)統(tǒng)計分布特征可允許被完全破壞。2級：相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)業(yè)務(wù)邏輯特征要在一定程度保留；相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)統(tǒng)計分布特征要在一定程度保留。3級：相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)業(yè)務(wù)邏輯特征要盡可能保留；相對于原有數(shù)據(jù)，脫敏后數(shù)據(jù)統(tǒng)計分布特征要盡可能保留。（三）高效性1級：測試脫敏方法實施能容忍較大的時間或空間開銷。2級：測試脫敏方法實施能容忍較小的時間或空間開銷。3級：測試脫敏方法實施要盡可能降低時間或空間開銷。（四）穩(wěn)定性1級：測試脫敏方法不用保證配置參數(shù)一定時，多少次處理結(jié)果一致。3級：測試脫敏方法必須保證配置參數(shù)一定時，多少次處理結(jié)果一致。（五）多樣性1級：測試脫敏方法不需要根據(jù)配置參數(shù)不同生成不同的脫敏結(jié)果。2級：測試脫敏方法需要根據(jù)配置參數(shù)不同生成不同的脫敏結(jié)果，可選結(jié)果接近有限集合。3級：測試脫敏方法需要根據(jù)配置參數(shù)不同生成不同的脫敏結(jié)果，可選結(jié)果接近無限集合。在對具體場景進(jìn)行分析時，著重從五個指標(biāo)維度來分析該場景下測試數(shù)據(jù)脫敏的最低需求，如下面兩個場景：場景一，網(wǎng)上銀行“查詢交易”功能測試。執(zhí)行20余個（配套卡數(shù)據(jù)20余個）正反向測試用例，使用卡號和密碼登陸網(wǎng)上銀行，點擊賬戶查詢，輸入要素包括卡號和密碼，輸出要素包括賬號、幣種、開戶行、開戶時間、賬戶注冊類型、賬戶狀態(tài)、當(dāng)前余額、可用余額、交易日期、交易時間、收入金額、支出金額、本次余額、對方賬號、交易行名、交易渠道、交易說明、交易摘要等。場景二，銀行資金交易系統(tǒng)“現(xiàn)券交易_提交合規(guī)交易”性能測試。對現(xiàn)券交易_提交合規(guī)交易進(jìn)行單交易負(fù)載測試，并發(fā)10用戶，單批次執(zhí)行30分鐘，共對比測試5個批次。測試鋪底數(shù)據(jù)及交易數(shù)據(jù)預(yù)估千萬量級。分析場景一，由于涉及密碼等高敏感性數(shù)據(jù)，數(shù)據(jù)脫敏有效性需達(dá)最高級；測試需要詳細(xì)驗證輸出結(jié)果，真實性至少達(dá)到中等級；功能測試數(shù)據(jù)量小，高效性要求可為最低級；交易數(shù)據(jù)中涉及賬號、卡號等有關(guān)聯(lián)性要求數(shù)據(jù)，有穩(wěn)定性要求，其他數(shù)據(jù)沒有；該交易屬于重點回歸測試對象，不同環(huán)境數(shù)據(jù)有多樣性要求，達(dá)到中等級即可。 分析場景二，由于未涉及高敏感性數(shù)據(jù)，但由于數(shù)據(jù)量較多，數(shù)據(jù)脫敏有效性達(dá)到中等級即可；性能測試不驗證交易執(zhí)行詳細(xì)結(jié)果，真實性達(dá)到最低級即可；測試數(shù)據(jù)量大，處理時間空間有要求，高效性需達(dá)到最高級；交易數(shù)據(jù)中涉及賬號等有關(guān)聯(lián)性要求數(shù)據(jù)，有穩(wěn)定性要求，其他數(shù)據(jù)沒有；多輪對比測試批次一般要求相同數(shù)據(jù)環(huán)境，無多樣性要求。 綜上，這兩個場景測試數(shù)據(jù)脫敏的最低需求如下：序號有效性真實性高效性穩(wěn)定性多樣性場景一3211-32場景二2131-31主流數(shù)據(jù)脫敏方法分析 按上節(jié)中的分析方法，下表對目前商業(yè)銀行主流數(shù)據(jù)脫敏方法進(jìn)行歸類后分析，不同的方法類在五個維度指標(biāo)上的表現(xiàn)如下：序號處理方法歸類方法說明測試數(shù)據(jù)脫敏綜合評價體系有效性真實性高效性穩(wěn)定性多樣性1刪除313312置常數(shù)置為固定值，或者其他數(shù)據(jù)列值323333隨機查表替換隨機從中間表中找出數(shù)據(jù)替換原數(shù)據(jù)321-3（視中間表大?。?24固定參數(shù)查表替換通過固定參數(shù)從中間表中找出數(shù)據(jù)替換原數(shù)據(jù)221-3（視中間表大小）325碼值隨機偏移將原數(shù)據(jù)碼值隨機偏移后置為新值323136碼值固定參數(shù)偏移將原數(shù)據(jù)碼值按特定算法及參數(shù)置為特定新值22-3（視特定算法）2-3（視特定算法）327隨機算數(shù)置換對原數(shù)據(jù)（數(shù)字類型）按某種算數(shù)方法計算，參數(shù)為隨機值323138固定參數(shù)算數(shù)置換對原數(shù)據(jù)（數(shù)字類型）按某種算數(shù)方法計算，參數(shù)為固定參數(shù)233139字符串部分屏蔽對字符串中部分字符用特定字符屏蔽1233110隨機生成定長字符串隨機生成固定長度字符串3131211隨機生成不定長字符串隨機生成長度不一的字符串3131312時間