奇安信網(wǎng)神數(shù)據(jù)脫敏產(chǎn)品白皮書

PAGE1XXXX公司GXTC-0204004-2附件—投標(biāo)文件格式第5頁共49頁奇安信網(wǎng)神數(shù)據(jù)脫敏產(chǎn)品白皮書2018年5月PAGE1目錄TOC\o"1-2"\h\z1. 背景 22. 總體架構(gòu) 33. 技術(shù)架構(gòu) 54. 系統(tǒng)架構(gòu) 65. 產(chǎn)品功能列表 75.1 廣泛的數(shù)據(jù)源支持 75.2 權(quán)限管理 75.3 算法管理 75.4 模板管理 75.5 敏感信息自動掃描 85.6 人工配置敏感信息 85.7 數(shù)據(jù)庫不落地脫敏到數(shù)據(jù)庫 85.8 數(shù)據(jù)庫不落地脫敏到文件 85.9 文件脫敏到文件 85.10 數(shù)據(jù)庫本地脫敏 95.11 脫敏任務(wù)定時執(zhí)行 95.12 狀態(tài)日志管理功能 95.13 測試數(shù)據(jù)子集抽取 95.14 圖形化審計報告 96. 客戶收益 10[鍵入文檔標(biāo)題][選取日期]背景每次在做一個項(xiàng)目的時,測試數(shù)據(jù)對于測試工作來說是舉足輕重的，數(shù)據(jù)庫應(yīng)用系統(tǒng)開發(fā)的最佳做法是在非生產(chǎn)數(shù)據(jù)庫中進(jìn)行測試，以支持測試、QA和培訓(xùn)等工作。數(shù)據(jù)的準(zhǔn)備都需要漫長的時間；測試數(shù)據(jù)的管理浪費(fèi)了很多的原本用于開發(fā)測試案例和測試腳本的寶貴時間；大多數(shù)公司會創(chuàng)建數(shù)據(jù)庫的全副本，但通常測試要求并不需要完整的數(shù)據(jù)集，而是需要具體的測試、品保和培訓(xùn)提取業(yè)務(wù)目標(biāo)的交易集，以創(chuàng)建更小容量的數(shù)據(jù)庫子集，從而減少存儲空間和數(shù)據(jù)抽取時間并降低敏感數(shù)據(jù)在不安全的環(huán)境中曝光的幾率。由此提高數(shù)據(jù)庫管理人員的工作效率。此外大幅減少存儲需求。數(shù)據(jù)增長和測試數(shù)據(jù)的管理迫使平安增加硬件投資，主要是昂貴的主存儲器、服務(wù)器、基礎(chǔ)設(shè)施以及其他硬件。同時，針對測試環(huán)境，確保數(shù)據(jù)隱私權(quán)已成為許多受監(jiān)管行業(yè)的法規(guī)之一；同時，保護(hù)敏感數(shù)據(jù)是一項(xiàng)很好的商業(yè)慣例。泄露機(jī)密客戶、財務(wù)及員工的數(shù)據(jù)會造成重大的財產(chǎn)、法律和名譽(yù)損失。雖然生產(chǎn)系統(tǒng)強(qiáng)制執(zhí)行了數(shù)據(jù)保護(hù)工作，但是非生產(chǎn)測試和開發(fā)系統(tǒng)通常沒有嚴(yán)格實(shí)施相同的保護(hù)措施。在內(nèi)部創(chuàng)建有限的屏蔽算法并由對該算法缺乏了解的團(tuán)隊(duì)執(zhí)行的方式導(dǎo)致出現(xiàn)了嚴(yán)重的漏洞和潛在的敏感數(shù)據(jù)泄漏事故。正是基于上述痛點(diǎn)，很多大中型企業(yè)都需要并且正在尋求通過建立一套完善的測試數(shù)據(jù)管理以及脫敏系統(tǒng)來解決面臨的問題。。總體架構(gòu)奇安信網(wǎng)神脫敏產(chǎn)品通過單一的數(shù)據(jù)脫敏系統(tǒng)支持客戶所有業(yè)務(wù)系統(tǒng)的測試數(shù)據(jù)管理以及脫敏，將生產(chǎn)數(shù)據(jù)抽取、脫敏并生成測試數(shù)據(jù)。本產(chǎn)品不會對生產(chǎn)數(shù)據(jù)進(jìn)行落地，確保了生產(chǎn)數(shù)據(jù)脫敏過程中的安全性。本方案的總體架構(gòu)如下圖所示，主要包括三個部分：生產(chǎn)數(shù)據(jù)客戶需要進(jìn)行測試數(shù)據(jù)管理以及脫敏的數(shù)據(jù)來源數(shù)據(jù)脫敏系統(tǒng)平臺用于測試數(shù)據(jù)的管理以及脫敏的流程控制等。通過數(shù)據(jù)脫敏系統(tǒng)對生產(chǎn)數(shù)據(jù)敏感信息進(jìn)行規(guī)則定義，包括分析、驗(yàn)證、業(yè)務(wù)對象配置、關(guān)聯(lián)性配置等，既保證數(shù)據(jù)的業(yè)務(wù)有效性又保證客戶信息等敏感數(shù)據(jù)的保密性?；谂渲玫囊?guī)則，通過數(shù)據(jù)脫敏系統(tǒng)生產(chǎn)相應(yīng)的測試數(shù)據(jù)并提供給相關(guān)使用者，數(shù)據(jù)脫敏系統(tǒng)支持各種數(shù)據(jù)庫以及文件的脫敏。測試數(shù)據(jù)測試數(shù)據(jù)包含了通過生產(chǎn)數(shù)據(jù)以及數(shù)據(jù)脫敏系統(tǒng)脫敏后生成的所有測試數(shù)據(jù)，包括數(shù)據(jù)庫、文件等格式，用于提供給各項(xiàng)目組使用。數(shù)據(jù)脫敏系統(tǒng)總體架構(gòu)圖技術(shù)架構(gòu)奇安信網(wǎng)神的數(shù)據(jù)脫敏系統(tǒng)遵循JavaEE技術(shù)規(guī)范，采用組件化、動態(tài)化的軟件技術(shù)，利用一致的可共享的數(shù)據(jù)模型，致力于提高系統(tǒng)的靈活性、可擴(kuò)展性、安全性以及并發(fā)處理能力。數(shù)據(jù)脫敏系統(tǒng)按照多層架構(gòu)體系，將界面控制、業(yè)務(wù)邏輯和數(shù)據(jù)映射分離，實(shí)現(xiàn)系統(tǒng)內(nèi)部的松耦合，能夠靈活、快速地響應(yīng)業(yè)務(wù)變化對系統(tǒng)的需求。從技術(shù)架構(gòu)角度，該平臺工具基于先進(jìn)的三層架構(gòu)。下圖所示為脫敏系統(tǒng)平臺的技術(shù)架構(gòu)圖，第一層的基于瀏覽器的用戶界面，通過HTML,JSP,Javascript等技術(shù)手段實(shí)現(xiàn)，充分保證了用戶訪問的簡便性、人性化以及安全性。中間層是應(yīng)用層，通過Java組件、數(shù)據(jù)庫中間件等技術(shù)實(shí)現(xiàn)，保證了技術(shù)的先進(jìn)性，第三層是數(shù)據(jù)庫層，用于存儲脫敏系統(tǒng)的所有元數(shù)據(jù)信息。數(shù)據(jù)脫敏系統(tǒng)技術(shù)架構(gòu)圖系統(tǒng)架構(gòu)奇安信網(wǎng)神數(shù)據(jù)脫敏系統(tǒng)通過采用先進(jìn)理念實(shí)現(xiàn)典型功能，最大限度提升系統(tǒng)的穩(wěn)定性和可靠性。系統(tǒng)分為四個層：元數(shù)據(jù)層、元數(shù)據(jù)管理服務(wù)層、組件服務(wù)層和工具層。元數(shù)據(jù)層提供一個統(tǒng)一的元數(shù)據(jù)庫(mysql數(shù)據(jù)庫)。統(tǒng)一的元數(shù)據(jù)管理設(shè)計滿足了數(shù)據(jù)脫敏平臺可支持多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取與脫敏需求，同一平臺下可滿足多個業(yè)務(wù)系統(tǒng)同時進(jìn)行脫敏設(shè)計。元數(shù)據(jù)管理層針對業(yè)務(wù)對象、脫敏設(shè)置、參數(shù)設(shè)置、用戶權(quán)限、自動執(zhí)行信息、脫敏日志、脫敏策略等信息進(jìn)行管理。組件服務(wù)數(shù)據(jù)脫敏系統(tǒng)在同一架構(gòu)下實(shí)現(xiàn)敏感數(shù)據(jù)屏蔽等數(shù)據(jù)管理功能。工具工具層包括構(gòu)建歸檔所需要的主要工具，包括：權(quán)限管理、分類管理、策略管理、業(yè)務(wù)對象管理等。產(chǎn)品功能列表廣泛的數(shù)據(jù)源支持奇安信網(wǎng)神數(shù)據(jù)脫敏系統(tǒng)支持廣泛的數(shù)據(jù)源，不但支持ORACLE、MYSQL、SQLSERVER、DB2、MariaDB、Informix、Sybase等主流關(guān)系數(shù)據(jù)庫，也支持Teradata、Greenplum、Gbase8a等數(shù)據(jù)倉庫，還支持文本文件、Hadoop大數(shù)據(jù)平臺等。權(quán)限管理系統(tǒng)具備完善、統(tǒng)一的權(quán)限管理體系，可以針對不同用戶、不同角色、不同業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)行級的權(quán)限控制，完成用戶建立、用戶分配、用戶身份驗(yàn)證等管理功能，滿足系統(tǒng)用戶所有資源信息具備最小顆粒度的可配置、可分配的能力，保證針對具體的使用用戶進(jìn)行分配，每個用戶僅能使用其分配的資源。算法管理為了便于脫敏應(yīng)用，減少開發(fā)工作，系統(tǒng)需內(nèi)置豐富的脫敏算法，包括確定隨機(jī)化、模糊化、置空、亂序排列、重復(fù)值屏蔽、隨機(jī)替換、特定規(guī)則替換、身份證號、姓名、地址、電話、郵箱等算法。模板管理系統(tǒng)提供模版化管理，解決系統(tǒng)的統(tǒng)一配置、靈活、簡單操作等要求。敏感信息自動掃描業(yè)務(wù)系統(tǒng)數(shù)據(jù)表信息包含了客戶機(jī)密信息、財務(wù)狀況等，由于業(yè)務(wù)系統(tǒng)的開發(fā)時間長，升級版本較多，即使是系統(tǒng)開發(fā)人員也不能完全確認(rèn)所有的隱私信息，導(dǎo)致部分隱私信息存在泄漏的風(fēng)險。為了解決這個難題，系統(tǒng)需要支持敏感信息的自動發(fā)現(xiàn)和抓取。人工配置敏感信息人工配置敏感信息是更有針對性，對于某些已知的敏感信息，可手工批量配置敏感信息。步驟為：選擇某個用戶，再在用戶下選擇具體的表，最后再在表下面為某個列選擇脫敏算法。這樣既有針對性，也大大地提高了效率。數(shù)據(jù)庫不落地脫敏到數(shù)據(jù)庫數(shù)據(jù)庫不落地脫敏到數(shù)據(jù)庫。根據(jù)數(shù)據(jù)管理中的源和目標(biāo)的配置，在脫敏執(zhí)行中，從源中獲取要脫敏的數(shù)據(jù)，在內(nèi)存中加載脫敏算法和執(zhí)行脫敏處理，脫敏后的數(shù)據(jù)插入到目標(biāo)數(shù)據(jù)庫中，整個過程都是在內(nèi)存中進(jìn)行，不落地。數(shù)據(jù)庫不落地脫敏到文件數(shù)據(jù)庫脫敏到文件。根據(jù)數(shù)據(jù)管理中的源和目標(biāo)的配置，在脫敏執(zhí)行中，從源中獲取要脫敏的數(shù)據(jù)，在內(nèi)存中加載脫敏算法和執(zhí)行脫敏處理，脫敏后的數(shù)據(jù)寫入到目標(biāo)文件中。整個脫敏過程源數(shù)據(jù)不落地。文件脫敏到文件文件脫敏到新的脫敏文件。根據(jù)數(shù)據(jù)管理中的源和目標(biāo)的配置，在脫敏執(zhí)行中，選擇文件到文件類型，那么脫敏就會從源庫文件脫敏到目標(biāo)文件中。數(shù)據(jù)庫本地脫敏數(shù)據(jù)庫直接本地脫敏。只選擇源的基礎(chǔ)上，不再選擇目標(biāo)庫，本地脫敏你就會把本地原有的數(shù)據(jù)變換成脫敏后的數(shù)據(jù)。脫敏任務(wù)定時執(zhí)行任務(wù)支持按日，按月，按周或者自定義時間定時執(zhí)行。選擇“定時執(zhí)行”，輸入“開始時間”和“結(jié)束時間”，再根據(jù)自身需要選擇“月日”、“月周”、“時間”，不同類型時間，就是實(shí)現(xiàn)了定時執(zhí)行任務(wù)。狀態(tài)日志管理功能系統(tǒng)需提供完善的狀態(tài)日志、異常處理機(jī)制等功能來充分保護(hù)用戶的數(shù)據(jù)安全，措施包括：對用戶的信息系統(tǒng)行為的日志記錄，任務(wù)的執(zhí)行日志等。系統(tǒng)能為每一個啟動的任務(wù)生成一個唯一的ID，而這些ID會被存儲在元數(shù)據(jù)中，留作將來的參考，包括輸入的參數(shù)、選擇的記錄、作業(yè)描述、當(dāng)前狀態(tài)（開始、完成、失敗、正在進(jìn)行等），執(zhí)行時間標(biāo)簽和一個詳細(xì)的日志文件。測試數(shù)據(jù)子集抽取系統(tǒng)支持根據(jù)用戶的要求創(chuàng)建生產(chǎn)數(shù)據(jù)較小的子集。并能夠在界面上創(chuàng)建子集抽取規(guī)則，并保存。可以在脫敏流程配置中，調(diào)用定義好的子集規(guī)則。圖形化審計報告統(tǒng)一內(nèi)置常用的審計報告功能，包括用戶信息報告、脫敏配置信息報告、任務(wù)執(zhí)行信息報告，脫敏數(shù)據(jù)