中安威士數(shù)據(jù)安全管理解決方案之大數(shù)據(jù)脫敏項(xiàng)目建設(shè)方案教學(xué)提綱

1、大數(shù)據(jù)脫敏項(xiàng)目建設(shè)方案2016 年 5 月目錄第 1 章概述 21.1. 大數(shù)據(jù)現(xiàn)狀說明 21.2. 大數(shù)據(jù)安全現(xiàn)狀分析 2第 2 章建設(shè)目的 3第 3 章項(xiàng)目范圍 3第 4 章建設(shè)原則 4第 5 章大數(shù)據(jù)安全建設(shè)方案 45.1. 大數(shù)據(jù)脫敏方案 45.1.1. 大數(shù)據(jù)脫敏設(shè)計(jì)架構(gòu) 45.1.2. 大數(shù)據(jù)脫敏工作原理 65.1.3. 大數(shù)據(jù)敏感數(shù)據(jù)發(fā)現(xiàn) 75.1.4. 大數(shù)據(jù)脫敏技術(shù)方案 95.2. 大數(shù)據(jù)安全系統(tǒng)配置部署 165.2.1. 系統(tǒng)部署架構(gòu) 165.2.2. 硬件設(shè)備清單 175.2.3. 軟件清單 175.2.4. 兼容性設(shè)計(jì) 185.2.5. 可靠性設(shè)計(jì) 18第 6 章 附錄

2、 196.1. 大數(shù)據(jù)安全調(diào)研表 19第 1章 概述1.1. 大數(shù)據(jù)現(xiàn)狀說明隨著大數(shù)據(jù)規(guī)模性、多樣性、高速性、真實(shí)性特征的逐步顯現(xiàn)，以及數(shù)據(jù) 資產(chǎn)逐漸成為現(xiàn)代商業(yè)社會的核心競爭力， 大數(shù)據(jù)對行業(yè)用戶的重要性也日益突 出。世界經(jīng)濟(jì)論壇報(bào)告認(rèn)為， “大數(shù)據(jù)為新財(cái)富，價(jià)值堪比石油” ，大數(shù)據(jù)之父 維克托則預(yù)測， 數(shù)據(jù)列入企業(yè)資產(chǎn)負(fù)債表只是時(shí)間問題。 同時(shí)，大數(shù)據(jù)將推動國 民經(jīng)濟(jì)各行業(yè)各領(lǐng)域的創(chuàng)新應(yīng)用， 電子政務(wù)、 電子商務(wù)都將發(fā)生變化， 信息資源 的戰(zhàn)略重要性空前鼎盛， 大數(shù)據(jù)將成為經(jīng)濟(jì)社會管理決策的基本平臺。 另外，大 數(shù)據(jù)也將引領(lǐng)商業(yè)模式的重要創(chuàng)新， 傳統(tǒng)商業(yè)模式將開展大數(shù)據(jù)的挖掘， 信息服 務(wù)

3、商將利用大數(shù)據(jù)開展個(gè)性化服務(wù)，移動互聯(lián)網(wǎng)將開辟新型商務(wù)模式。大數(shù)據(jù)所能帶來的巨大商業(yè)價(jià)值， 被認(rèn)為將引領(lǐng)一場足以與 20 世紀(jì)計(jì)算機(jī) 革命匹敵的巨大變革。 大數(shù)據(jù)正在對每個(gè)領(lǐng)域造成影響， 在商業(yè)、 經(jīng)濟(jì)和其他領(lǐng) 域中，決策行為將日益基于數(shù)據(jù)分析， 而不再是憑借經(jīng)驗(yàn)和直覺。 大數(shù)據(jù)正在成 為政府和企業(yè)競爭的新焦點(diǎn)。 各大企業(yè)正紛紛投向大數(shù)據(jù)促生的新藍(lán)海。 Oracle 、 IBM、Microsoft和SAP共投入超過15億美元成立各自的軟件智能數(shù)據(jù)管理和 分析專業(yè)公司。 在大數(shù)據(jù)時(shí)代， 商業(yè)生態(tài)環(huán)境在不經(jīng)意間發(fā)生了巨大變化： 無處 不在的智能終端、 隨時(shí)在線的網(wǎng)絡(luò)傳輸、 互動頻繁的社交網(wǎng)絡(luò)， 讓

4、以往只是網(wǎng)頁 瀏覽者的網(wǎng)民的面孔從模糊變得清晰， 企業(yè)也有機(jī)會進(jìn)行大規(guī)模的精準(zhǔn)化的消費(fèi) 者行為研究。大數(shù)據(jù)將成為未來競爭的制高點(diǎn)。1.2. 大數(shù)據(jù)安全現(xiàn)狀分析基于 Hadoop 生態(tài)系統(tǒng)的大數(shù)據(jù)平臺隨著企業(yè)的不斷采用及開源組織的持 續(xù)的優(yōu)化、增強(qiáng)，已逐漸成為大數(shù)據(jù)平臺建設(shè)的標(biāo)準(zhǔn)產(chǎn)品。 然而Hadoop最初的 設(shè)計(jì)并未考慮其安全性， 這些平臺專注于發(fā)展數(shù)據(jù)處理能力， 忽視了其他能力的 發(fā)展，但 Hadoop 生態(tài)系統(tǒng)作為一個(gè)分布式系統(tǒng)， 承載了豐富的應(yīng)用， 集中了海 量的數(shù)據(jù)，如何管理和保護(hù)這些數(shù)據(jù)充滿了挑戰(zhàn)， 當(dāng)前市場上， 大數(shù)據(jù)平臺在數(shù) 據(jù)本身的安全管控方面普遍存在嚴(yán)重缺失和較大的漏洞。從企

5、業(yè)內(nèi)部來說，大數(shù)據(jù)平臺的安全管控能力缺失，使得平臺在數(shù)據(jù)存儲、 處理以及使用等各環(huán)節(jié)造成數(shù)據(jù)泄露的風(fēng)險(xiǎn)較大， 安全風(fēng)險(xiǎn)面廣， 且缺乏有效的 處理機(jī)制； 另一方面，企業(yè)敏感數(shù)據(jù)的所有權(quán)和使用權(quán)缺乏明確界定和管理， 可 能造成用戶隱私信息的泄露和企業(yè)內(nèi)部數(shù)據(jù)的泄露， 直接造成企業(yè)聲譽(yù)和經(jīng)濟(jì)的 雙重?fù)p失。從外部來看，數(shù)據(jù)即價(jià)值，大數(shù)據(jù)平臺中復(fù)雜、敏感、全面的數(shù)據(jù)無疑會吸 引更多的潛在攻擊者。 同時(shí)，數(shù)據(jù)的大量匯集， 使得黑客成功攻擊一次就能獲得 更多數(shù)據(jù)， 極大降低了黑客的進(jìn)攻成本。 因此，大數(shù)據(jù)將有可能成為網(wǎng)絡(luò)攻擊的 顯著目標(biāo)。大數(shù)據(jù)平臺安全能力的嚴(yán)重缺失和風(fēng)險(xiǎn)的普遍存在， 導(dǎo)致大數(shù)據(jù)平臺本身是

6、脆弱的，對企業(yè)數(shù)據(jù)安全造成了極大的風(fēng)險(xiǎn)，對企業(yè)來說是難以忽視的風(fēng)險(xiǎn)點(diǎn)。 第 2章 建設(shè)目的通過本項(xiàng)目實(shí)施，可以實(shí)現(xiàn)如下目標(biāo)：1、針對大數(shù)據(jù)敏感數(shù)據(jù)信息，設(shè)計(jì)并落實(shí)敏感數(shù)據(jù)安全解決方案，實(shí)現(xiàn)敏 感數(shù)據(jù)的模糊化，確保敏感數(shù)據(jù)信息安全可靠；2、通過大數(shù)據(jù)平臺安全方案的建設(shè)，填補(bǔ) XXXX 大數(shù)據(jù)平臺數(shù)據(jù)安全防護(hù) 方面的空缺，有效降低大數(shù)據(jù)安全管控方面的風(fēng)險(xiǎn)。第 3章 項(xiàng)目范圍大數(shù)據(jù)平臺范圍：本項(xiàng)目范圍適用于基于開源 Hadoop 架構(gòu)的大數(shù)據(jù)平臺環(huán) 境，包括 Mapreduce、HDFS、Hive、HBse 等大數(shù)據(jù)組件第4章建設(shè)原則大數(shù)據(jù)安全方案設(shè)計(jì)建設(shè)應(yīng)遵循實(shí)用性、前瞻性、兼容性原則，其中：適用

7、性原則：必須適用XXXX實(shí)際大數(shù)據(jù)環(huán)境，能夠與大數(shù)據(jù)平臺順利結(jié) 合，發(fā)揮安全管控效用；前瞻性原則：平臺架構(gòu)設(shè)計(jì)具有良好的前瞻性和擴(kuò)展性，充分考慮未來大數(shù) 據(jù)新技術(shù)的發(fā)展；兼容性原則：大數(shù)據(jù)安全平臺應(yīng)兼容基于 Hadoop的各版本的要求，包括發(fā) 布版和開源版本。安全性原則：系統(tǒng)采取全面的安全保護(hù)措施，采用嚴(yán)格的訪問控制機(jī)制、系 統(tǒng)冗余機(jī)制、數(shù)據(jù)保密機(jī)制等，保證安全平臺的安全性。第5章大數(shù)據(jù)安全建設(shè)方案5.1. 大數(shù)據(jù)脫敏方案5.1.1. 大數(shù)據(jù)脫敏設(shè)計(jì)架構(gòu)大數(shù)據(jù)平臺脫敏及模糊化模塊主要包括兩大功能：敏感數(shù)據(jù)發(fā)現(xiàn)和敏感數(shù)據(jù) 脫敏。架構(gòu)設(shè)計(jì)如下圖所示：1惑融握岌現(xiàn)第懇數(shù)曲脫敏敵根化能 脫及禪功則庫測

8、澳I敏感數(shù)據(jù)發(fā)現(xiàn)： 通過設(shè)置敏感數(shù)據(jù)發(fā)現(xiàn)策略， 平臺自動識別敏感數(shù)據(jù)， 發(fā)現(xiàn) 敏感數(shù)據(jù)后產(chǎn)生報(bào)警， 保障數(shù)據(jù)在產(chǎn)生階段安全。 敏感數(shù)據(jù)發(fā)現(xiàn)功能包括如下內(nèi) 容：? 敏感信息規(guī)則庫建立? 關(guān)系型數(shù)據(jù)檢測? 敏感內(nèi)容描述檢測敏感數(shù)據(jù)脫敏：針對 Hadoop 平臺 Hive 、Hbase 大數(shù)據(jù)存儲組件結(jié)合用戶 權(quán)限提供動態(tài)數(shù)據(jù)脫敏功能， 保障敏感數(shù)據(jù)訪問安全， 同時(shí)基于大數(shù)據(jù)安全分析 技術(shù)，發(fā)現(xiàn)敏感數(shù)據(jù)訪問的異常行為， 并提供敏感數(shù)據(jù)視圖， 實(shí)現(xiàn)全局化數(shù)據(jù)管 理和對各種類別敏感數(shù)據(jù)脫敏的精細(xì)化管理。數(shù)據(jù)脫敏及模糊化功能模塊是在數(shù)據(jù)庫層面對數(shù)據(jù)進(jìn)行屏蔽、加密、隱藏、 審計(jì)或封鎖訪問途徑的方式。 該模塊

9、作為一個(gè)網(wǎng)關(guān)形式部署， 所有需要進(jìn)行敏感 數(shù)據(jù)動態(tài)脫敏的應(yīng)用系統(tǒng)需通過該產(chǎn)品實(shí)現(xiàn)對數(shù)據(jù)庫的訪問。數(shù)據(jù)脫敏：當(dāng)應(yīng)用程序請求通過敏感數(shù)據(jù)脫敏模塊時(shí)，對其進(jìn)行實(shí)時(shí)篩 選，并依據(jù)用戶角色、職責(zé)和其他定義規(guī)則對敏感數(shù)據(jù)進(jìn)行脫敏處理。 脫敏的方式包括如下幾種形式：? 數(shù)據(jù)替換 - 以虛構(gòu)數(shù)據(jù)代替真值；? 截?cái)?、加密、隱藏或使之無效 - 以“無效”或 * 代替真值；? 隨機(jī)化 - 以隨機(jī)數(shù)據(jù)代替真值；? 偏移 - 通過隨機(jī)移位改變數(shù)字?jǐn)?shù)據(jù)；訪問預(yù)警：在大數(shù)據(jù)應(yīng)用正常訪問行為模型自學(xué)習(xí)基礎(chǔ)上，進(jìn)行應(yīng)用異 常行為分析、發(fā)現(xiàn)及告警功能強(qiáng)化應(yīng)用安全管控，保證數(shù)據(jù)安全5.1.2.大數(shù)據(jù)脫敏工作原理通過認(rèn)證授權(quán)服務(wù)進(jìn)行

10、認(rèn)證登錄后，使用 JDBC方式對大數(shù)據(jù)平臺數(shù)據(jù)倉 庫進(jìn)行操作，根據(jù)控制、規(guī)則策略、防火墻網(wǎng)絡(luò)阻斷等技術(shù)手段，達(dá)到模糊化要 求，再分配給業(yè)務(wù)、運(yùn)維人員使用。? 用戶接口層:用戶接口主要有三個(gè)：CLI，Client和 WebUI。其中最常用的是 CLI，Cli 啟動的時(shí)候，會同時(shí)啟動一個(gè) Hive副本。Client是Hive的客戶端，用戶連接 至Hive Server。在啟動 Client模式的時(shí)候，需要指出 Hive Server所在節(jié)點(diǎn)， 并且在該節(jié)點(diǎn)啟動 Hive Server。 WUI是通過瀏覽器訪問 Hive。本方案采用 Client客戶端Beeline的方式對Hive進(jìn)行操作。? 數(shù)據(jù)

11、脫敏平臺：客戶端通過數(shù)據(jù)脫敏平臺登錄 Hive后，對Hive進(jìn)行操作。通過脫敏策略配 置，使用戶可訪問數(shù)據(jù)進(jìn)行脫敏，通過數(shù)據(jù)異常行為分析、發(fā)現(xiàn)，進(jìn)行數(shù)據(jù)訪問 告警，保護(hù)敏感數(shù)據(jù)安全，并在 WEB 前端進(jìn)行視圖展示。? 數(shù)據(jù)存儲：Hive 將元數(shù)據(jù)存儲在數(shù)據(jù)庫中，連接到這些數(shù)據(jù)庫（ mysql ，derby ）的模 式分為三種：單用戶模式、多用戶模式、遠(yuǎn)程服務(wù)器模式。元數(shù)據(jù)包括 Database 、 表名、表的列及類型、存儲空間、分區(qū)、表數(shù)據(jù)所在的目錄等。? Driver ：完成 HQL 的查詢語句的詞法分析、語法分析、編譯、優(yōu)化及查詢計(jì)劃的生 成。生成的查詢計(jì)劃存儲在 HDFS 中，并由 Ma

12、pReduce 調(diào)用執(zhí)行。? Hadoop 環(huán)境：Hive 的數(shù)據(jù)存儲在 HDFS 中，針對大部分的 HQL 查詢請求， Hive 內(nèi)部自 動轉(zhuǎn)換為 MapReduce 任務(wù)執(zhí)行。5.1.3. 大數(shù)據(jù)敏感數(shù)據(jù)發(fā)現(xiàn). 建立大數(shù)據(jù)敏感數(shù)據(jù)規(guī)則防止敏感信息泄漏威脅的首要步驟是定義企業(yè)敏感信息， 通過建立敏感信息 樣本庫，定義企業(yè)的敏感信息的具體特征。敏感信息庫內(nèi)置企業(yè)各類敏感信息的識別規(guī)則，包括但不限于：? 身份證號碼? 手機(jī)號碼? 生日? 信用卡號碼敏感信息規(guī)則應(yīng)支持如下兩類數(shù)據(jù)存儲機(jī)制：? 結(jié)構(gòu)化數(shù)據(jù)，如存儲在數(shù)據(jù)庫中的客戶或員工記錄等；? 半結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)具有一定的結(jié)構(gòu)

13、性。例如： OEM是一種典 型的半結(jié)構(gòu)化數(shù)據(jù)模型。同時(shí)敏感信息規(guī)則應(yīng)支持用戶自定義各類敏感信息規(guī)則以便在不同應(yīng)用場 景中允許用戶進(jìn)行規(guī)則擴(kuò)展。. 大數(shù)據(jù)敏感數(shù)據(jù)檢測脫敏系統(tǒng)支持對大數(shù)據(jù)平臺存儲的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)庫、 表進(jìn)行敏感數(shù) 據(jù)掃描探測， 并對每個(gè)數(shù)據(jù)表進(jìn)行抽樣數(shù)據(jù)匹配， 基于敏感信息庫來檢測存儲在 大數(shù)據(jù)平臺的敏感數(shù)據(jù)如：客戶信息、交易數(shù)據(jù)等。脫敏系統(tǒng)將數(shù)據(jù)庫中的包含敏感信息的表和字段標(biāo)記出來以實(shí)現(xiàn)各類高級 數(shù)據(jù)安全功能。 例如利用敏感數(shù)據(jù)標(biāo)記實(shí)現(xiàn)以下需求： 用戶數(shù)據(jù)庫表中含有很多 客戶信息 （如用戶姓名、身份證號、賬號、手機(jī)號等 ），實(shí)現(xiàn)定義規(guī)則：? 只向外傳輸姓名，

14、不作為信息泄密事件? 姓名、賬號和電話等信息同時(shí)向外泄露，則就認(rèn)定為信息泄露事件。數(shù)據(jù)檢測支持在給定數(shù)據(jù)行的任意列組合的基礎(chǔ)上進(jìn)行檢測。 例如，接受單 一姓名、賬號、電話的檢測， 也能夠接受“姓名”和“身份證號碼” 字段的組合， 因此可以靈活、方便地進(jìn)行敏感數(shù)據(jù)的檢測。. 大數(shù)據(jù)敏感內(nèi)容檢測描述用戶管理人員采用內(nèi)容描述匹配來輔助建立敏感數(shù)據(jù)樣本庫。內(nèi)容描述匹配具有高度準(zhǔn)確性， 對結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)同樣適用， 它通過 用戶輸入關(guān)鍵字、模式匹配、文件類型、文件大小、發(fā)送人、接收人、用戶名和 網(wǎng)絡(luò)協(xié)議等各類條件，來實(shí)現(xiàn)敏感信息的檢測。1. 關(guān)鍵字檢測支持多種模式的關(guān)鍵字檢測：支持“

15、* ”和 “？”通配符檢測；支持忽略大 小寫檢測； 支持多文種關(guān)鍵字檢測； 支持多關(guān)鍵字檢測。 支持支持臨近關(guān)鍵字匹 配，通過定義某一跨度范圍內(nèi)的關(guān)鍵字對等，達(dá)到減少誤報(bào)。2. 正則表達(dá)式檢測敏感數(shù)據(jù)往往具有一些特征， 表現(xiàn)為一些特定字符之間的組合， 這用正則表 達(dá)式來進(jìn)行規(guī)則定義。系統(tǒng)支持基于正則表達(dá)式的檢測，實(shí)現(xiàn)對“規(guī)則字符串” 過濾與檢查。3. 數(shù)據(jù)標(biāo)識符檢測支持?jǐn)?shù)據(jù)標(biāo)識符檢測。像身份證號碼、手機(jī)號、銀行卡號、駕照號等數(shù)據(jù)標(biāo) 示符都是敏感數(shù)據(jù)重要特征， 這些數(shù)據(jù)標(biāo)識符具有特定用處、 特定格式、 特定校 驗(yàn)方式。支持多種類型的數(shù)據(jù)標(biāo)識符模板， 包括如下類型身份證號碼、 銀行卡號、 駕 照、

16、十進(jìn)制 IP 地址、十六進(jìn)制 IP 地址等。同時(shí)提供了相應(yīng)的接口， 用戶可以基于實(shí)際情況自行編輯自己需要的數(shù)據(jù)標(biāo) 識符校驗(yàn)器，如話單、詳單等。5.1.4. 大數(shù)據(jù)脫敏技術(shù)方案. 大數(shù)據(jù)脫敏設(shè)計(jì)思路數(shù)據(jù)脫敏是在用戶層面對數(shù)據(jù)進(jìn)行屏蔽、 隱藏或封鎖訪問途徑， 從而達(dá)到敏 感數(shù)據(jù)保護(hù)的目的。1、首先需要配置對于某個(gè)用戶、某一數(shù)據(jù)庫的表、列，確認(rèn)采用何種脫敏 方式；2、用戶的SQL指令在被數(shù)據(jù)倉庫解析執(zhí)行之前，會首先進(jìn)行脫敏判斷。 如果對該用戶來說，其訪問的某些數(shù)據(jù)被配置了脫敏方式，那么數(shù)據(jù)倉庫僅會將 脫敏后的數(shù)據(jù)返回給用戶，從而保證了原始數(shù)據(jù)對用戶的不可見。流程見下圖所示:4911起:

17、曲盈d| r 厲 0 掙 | HJil數(shù)據(jù)倉幸k 丿 i !，粉 VII皿&1巾11 片讀（小羸5.142.大數(shù)據(jù)脫敏技術(shù)原理分析大數(shù)據(jù)脫敏模塊位于應(yīng)用程序和大數(shù)據(jù)平臺之間， 保護(hù)存儲在大數(shù)據(jù)平臺中 的敏感數(shù)據(jù)。脫敏模塊截取發(fā)送到大數(shù)據(jù)平臺的訪問請求， 并送到規(guī)則引擎進(jìn)行 處理。脫敏模塊提供配置管理工具，管理敏感數(shù)據(jù)脫敏的策略配置并建立連接和安 全規(guī)則。敏感數(shù)據(jù)動態(tài)脫敏模塊通過改寫應(yīng)用系統(tǒng)發(fā)送的訪問請求實(shí)現(xiàn)敏感數(shù)據(jù) 動態(tài)脫敏，處理流程如下：1、數(shù)據(jù)脫敏模塊偵聽并轉(zhuǎn)發(fā)應(yīng)用程序發(fā)送到大數(shù)據(jù)平臺訪問請求。2、當(dāng)應(yīng)用程序發(fā)送一個(gè)請求到大數(shù)據(jù)平臺時(shí)，動態(tài)數(shù)據(jù)屏蔽模塊收到該請 求并識別發(fā)起請求的程序名、用

18、戶名、語法等信息，根據(jù)規(guī)則引擎的策略配置來 確定轉(zhuǎn)發(fā)該請求到大數(shù)據(jù)平臺前需執(zhí)行的動作。3、數(shù)據(jù)脫敏模塊根據(jù)規(guī)則對應(yīng)用程序發(fā)送的 HIVE語法、Hbase語法進(jìn)行改寫, 并發(fā)送修改后的請求發(fā)送到大數(shù)據(jù)平臺中。4、大數(shù)據(jù)平臺處理該請求,并發(fā)送回給應(yīng)用程序的結(jié)果。. 大數(shù)據(jù)解析引擎技術(shù)實(shí)現(xiàn)數(shù)據(jù)解析引擎的實(shí)現(xiàn)機(jī)制如下：1、網(wǎng)絡(luò)協(xié)議解析：對網(wǎng)絡(luò)流量進(jìn)行應(yīng)用層解析；2、語法智能分析：對應(yīng)用層訪問協(xié)議中的大數(shù)據(jù)訪問請求語法進(jìn)行智能識 別；3、安全策略智能匹配：依據(jù)策略中的語法特征對流量中的請求訪問語句進(jìn) 行匹配識別；4、請求語句改寫：對符合安全策略智能匹配的請求語句,按照用戶配置的 模糊化策略

19、進(jìn)行語句重寫；5、協(xié)議轉(zhuǎn)發(fā) :將改寫后的請求語句重新構(gòu)建成網(wǎng)絡(luò)流量,并轉(zhuǎn)發(fā)至大數(shù)據(jù)平 臺數(shù)據(jù)解析引擎的實(shí)現(xiàn)機(jī)制。其中核心功能是通過開發(fā)脫敏 Function 算法,根據(jù)不用的用戶和組、 角色、 權(quán)限、資源（ Server、 Database 、 Table、 Column ）定制開發(fā)不同的模糊化脫敏 規(guī)則。用戶執(zhí)行 SQL 查詢,通過用戶名、權(quán)限、模糊化算法進(jìn)行匹配,最終返 回請求結(jié)果。authorizef)CheckResult脫敏算法5.144.大數(shù)據(jù)脫敏方法數(shù)據(jù)脫敏方法可根據(jù)用戶需求的不同而進(jìn)行定制，我們在系統(tǒng)中默認(rèn)提供了 最常見的兩種脫敏方法示例如下：方法一：隨機(jī)值替換脫敏本方式采用隨

20、機(jī)值替換（字母變?yōu)殡S機(jī)字母，數(shù)字變?yōu)殡S機(jī)數(shù)字）的方式來 改變查詢返回的結(jié)果，該方案的優(yōu)點(diǎn)是可以在一定程度上保留數(shù)據(jù)的格式， 且用 戶在不知情的情況下無法發(fā)現(xiàn)查詢返回的數(shù)據(jù)是經(jīng)過脫敏操作的。方法二：特殊字符替換脫敏與隨機(jī)值替換不同，該方式在處理待脫敏的數(shù)據(jù)時(shí)是采用特殊字符 （如“*” 替換的方式，該方式更好的隱藏敏感數(shù)據(jù)，但缺點(diǎn)是用戶無法得知原數(shù)據(jù)的格式， 在涉及到一些數(shù)據(jù)統(tǒng)計(jì)工作的時(shí)候會有影響。在實(shí)際使用過程中，多種脫敏方法經(jīng)常需要配合使用，對一張數(shù)據(jù)表中不同 資源使用不同的脫敏方法進(jìn)行數(shù)據(jù)脫敏，示例如下：脫敏前：0: icbc;hive2: Aje 1 ect IpiC-aarrtrycHe

21、rt .action from ewts;Getting log thrtid it interru(rtedv sinct 勺Is done1ip| country | cliffit | MtitxiI1Qt L I, IlUSjnclrid1createweI10r ZOO. AS,99IFRwlndwupddtEhnt*10, L ?F)IundraidupdATPhtnifI 10,200.55.77 I MI ioscrtittw(I 10, L roirtfi.otM 屯tond、脫敏后:0： dbc:hiv2: ip.i：wnTyQfm “cdon Froai cveE$；Wt

22、ting log thread is interrupted, since qutty 1s done!* 吞 申止 * 專I a I .dI c2| actionI56.0.?.IIindIcreateNotfIIW.EDO,閒.舲iIw1*5IupditenoteI啊.3.0I11ijn1*!)!upd4(ENoteItOQ,flfl.?7 I i io*i createhoteIi 5et%*.yi i nrt*-s i駅和購NULL I MJLL I MULL6 rem %和杜理恵(a. An fondt):aai在這個(gè)示例中，我們對此表的三個(gè)字段分別用不同的脫敏方法進(jìn)行了處理:第一個(gè)

23、字段采用隨機(jī)數(shù)替換，替換范圍為前 IP地址前兩個(gè)值。第二個(gè)字段采用特殊字符替換，替換范圍為所有字符。第三個(gè)字段采用特殊字符替換，替換范圍為第 3-6個(gè)字符。5.145.大數(shù)據(jù)脫敏方法適用場景目前脫敏方法支持的常用操作主要有：查看表結(jié)構(gòu)帶常用條件的查詢，如 “where” “l(fā)ike “where in等 數(shù)據(jù)分組，max,mi n,avg,sum,co unt 等查詢結(jié)果的group by分組統(tǒng)計(jì)目前脫敏方法不支持操作主要有:多表查詢子查詢（嵌套查詢）用查詢結(jié)果創(chuàng)建新表5.146.大數(shù)據(jù)敏感策略配置敏感策略管理模塊，主要實(shí)現(xiàn)模糊規(guī)則管理、敏感資產(chǎn)管理、脫敏場景規(guī)則管理。如下圖所示：模糊規(guī)則管理

24、，主要實(shí)現(xiàn)對不同敏感數(shù)據(jù)類型進(jìn)行模糊規(guī)則設(shè)置管理，模糊化規(guī)則如下表描述：適用翹砂型說廚翩電話.手札張行做爭閃起伯敷翌直主桃的內(nèi)容時(shí)間戳對時(shí)詢增曲一W軀.時(shí)間圍A定勒質(zhì)線固直1替按昔攪全都內(nèi)客為適1圭內(nèi)容鞍匹回賂走惶式笊氏容為屈圭內(nèi)容列言刪交按魏交換同垃字段內(nèi)容亨符禺養(yǎng)持1旳和別蘑檜證號”只對最后的順序號進(jìn)廳酬BTI白ll勢0制串袴再容替寶為寧符禺J數(shù)字購為數(shù)字，亨翊酬為亨母”其他保持劇樣後NUMBER蓋持簡單的朵件纟勺魁理= 苦零案住価日亂時(shí)硼可設(shè)左対年、月、日、時(shí)、分、秒進(jìn)行翩掩5刪寺符黒旖釀字対轉(zhuǎn)換為遜詞？1. 敏感資產(chǎn)管理，實(shí)現(xiàn)對敏感數(shù)據(jù)和疑似敏感數(shù)據(jù)的庫表字段進(jìn)行梳理、 敏感確認(rèn)過程以

25、及對已有敏感數(shù)據(jù)資產(chǎn)的維護(hù)管理，另外還涉及各類數(shù)據(jù)庫敏感數(shù)據(jù)資產(chǎn)對應(yīng)的庫表的管理。2. 脫敏場景管理，由于不同用戶和數(shù)據(jù)處理情況需求，對于同樣的數(shù)據(jù)源 需要設(shè)置不同的脫敏規(guī)則，需要定義出相應(yīng)脫敏場景。3. 脫敏規(guī)則管理，實(shí)現(xiàn)在不同脫敏場景定義敏感數(shù)據(jù)資產(chǎn)的相應(yīng)脫敏模糊 化規(guī)則。脫敏策略管理頁面：EOIKK如上圖所示，在管理頁面中可根據(jù)需求定制、保存脫敏算法，并且可以“停 用” “使用”的配置選擇是否激活算法，操作靈活，管理便捷。5.147.大數(shù)據(jù)敏感數(shù)據(jù)視圖在大數(shù)據(jù)應(yīng)用正常訪問行為模型自學(xué)習(xí)基礎(chǔ)上，進(jìn)行應(yīng)用異常行為分析、發(fā)現(xiàn)、告警及相關(guān)操作審計(jì)功能，便于管理員及時(shí)發(fā)現(xiàn)大數(shù)據(jù)平臺中可能存在的風(fēng)

26、險(xiǎn)點(diǎn)及攻擊行為，強(qiáng)化應(yīng)用安全管控，保證數(shù)據(jù)安全。操作審計(jì)頁面:慄作口 H&W1T蠟號LOGJD APP_NAMi! U5ER.NAME APP_GROUP USER.GROUPIPLOGJDAPP_NEMXID1號值用中WN；3E1號怪廚中険 離號舌|QIXXID1!KMelSWB 申SMB區(qū)】劉!沖導(dǎo)!500M號!Hft 滋便用中tftttWitl蜃聊中tMRUSb50001!9KM-1便用中観1；主1號tttjg鯊再中dKMl獸丘doooi號兼滋值用中曲Asi厘i號番整承嗆聊中険m 濟(jì)1號音也DiOOOl應(yīng).|1點(diǎn)19ffiAi便鶻中帆鼻;M*號tm叢笛再中1弓 曹1$cwoi曲戰(zhàn)】號音酸

27、禺值用中観m 厘見粵善is灌吩牌中風(fēng)威離uisDOOD1號瞽整嗟便盹申UIM;J胛申nA*ilroooitsini百號it按渣便用中twi百申稽強(qiáng)冒購中紳敗送1號如上圖所示，在“操作日志審計(jì)”頁面中可看到與已使用的脫敏策略相 關(guān)的審計(jì)內(nèi)容信息。52大數(shù)據(jù)安全系統(tǒng)配置部署5.2.1.系統(tǒng)部署架構(gòu)本次大數(shù)據(jù)安全平臺的脫敏網(wǎng)關(guān)、安全基線掃描服務(wù)器工作模式都是獨(dú)立于大數(shù)據(jù)平臺。其中數(shù)據(jù)脫敏網(wǎng)關(guān)部署為集群方式，最少部署兩臺服務(wù)器,通過負(fù)載均衡設(shè)備對外提供服務(wù)，整體拓?fù)淙缦拢簶I(yè)務(wù)用戶大數(shù)據(jù)平臺運(yùn)維用戶大數(shù)據(jù)應(yīng)用核心交換機(jī)i / /接入交換機(jī)以太網(wǎng)絡(luò)訪問數(shù)據(jù)流（出）訪問數(shù)據(jù)流（入）新增硬件設(shè)備安全基線掃描服務(wù)器/負(fù)載均衡% 1叭數(shù)據(jù)脫敏網(wǎng)關(guān)集群橫向擴(kuò) 展集群HIVEHbase NameNode DataNode大數(shù)據(jù)平臺示例5.2.2.硬件設(shè)備清單應(yīng)用模塊主機(jī)型號主機(jī)數(shù)量CPU配置內(nèi)存配置存儲網(wǎng)絡(luò)接口備注大數(shù)據(jù)安全 管控平臺-數(shù)據(jù)脫敏網(wǎng) 關(guān)X86 PC服務(wù)器2臺（標(biāo)配）8*2.4GHz 或更高DDR364GB1TSAS硬盤萬兆網(wǎng)卡，4個(gè)需提供支 持萬兆接 口的交換 機(jī)5.2.3.軟件清單應(yīng)用模塊操作系統(tǒng)應(yīng)用軟件其他軟件備注大數(shù)據(jù)安全管控 平臺-數(shù)據(jù)脫敏Cen tOS 6.564Bit自主開發(fā)大