數(shù)據脫敏大數(shù)據架構設計

1、數(shù)據脫敏大數(shù)據架構設計紫金新聞發(fā)布于2019-03-28需求背景系統(tǒng)有數(shù)據識別、數(shù)據脫敏邏輯，支持可配置規(guī)則，自定義等，需要進行異構數(shù)據同步，大數(shù)據量?，F(xiàn)在針對以下幾個需求進行講解1、支持冗余設計2、支持任務自動分發(fā)，支持自動負載均衡3、支持隨時擴容節(jié)點而無需關停原有的系統(tǒng)和業(yè)務架構和模塊架構圖謚取韻摳同歲曲務罌指版進戦數(shù)據同歩阪勞逗行培興握吿脫敏擴展性架構圖五核心模塊及其主要功能調度平臺使用Nginx方式來調用數(shù)據中心，通過注冊中心獲取數(shù)據中心的服務列表可以合理的根據數(shù)據同步的情況，去調用服務；比如數(shù)據同步可能存在的順序性，執(zhí)行延時；讀取控制臺DB的配置信息，定時執(zhí)行數(shù)據同步任務對數(shù)據同步的

2、調用，可以按照簡單的輪詢方式，也可以根據數(shù)據同步服務器的性能情況，進行負載均衡數(shù)據同步負責執(zhí)行數(shù)據庫異構數(shù)據同步任務，可支持增量，全量模式，用DataX框架來實現(xiàn)服務于調度平臺的調用會存儲數(shù)據同步的執(zhí)行結果，供控制臺進行展示會上報服務器的性能指標到數(shù)據同步DB，以供調度平臺參考控制臺配置管理界面，服務于用戶進行數(shù)據同步任務的配置信息，并存儲到控制臺DB中；數(shù)據識別負責針對數(shù)據庫的數(shù)據進行數(shù)據識別任務數(shù)據脫敏按照內置規(guī)則、自定義配置，負責脫敏數(shù)據可提前進行數(shù)據脫敏，以供數(shù)據同步轉換環(huán)節(jié)調用三個輔助服務發(fā)現(xiàn)模塊注冊中心用于服務發(fā)現(xiàn)和注冊數(shù)據同步注冊實例并定期報心跳可以用zookeerper來實現(xiàn)調

3、度平臺通過域名訪問注冊中心獲取數(shù)據同步的地址列表Nginx和域名系統(tǒng)配合，協(xié)助調度平臺訪問注冊中心獲取數(shù)據同步地址列表和域名系統(tǒng)配合，協(xié)助用戶訪問控制臺進行配置管理可用性分析高可用通過Nginx、注冊中心來實現(xiàn)，可以支持動態(tài)擴容。每個主要模塊都是以無狀態(tài)集群方式部署的，各自模塊都可以通過注冊中心來實現(xiàn)服務注冊，模塊之間的調用服務發(fā)現(xiàn)來獲取，并以域名方式實現(xiàn)?？紤]到擴展，所以設想的方案是盡可能的做到每個服務職責單一。這樣的拆分，也是考量到每個環(huán)節(jié)的瓶頸都不一樣，目前預估不是很精確，這樣可以為后續(xù)擴展提供方便性。數(shù)據脫敏、數(shù)據識別需要單獨獨立出來，原因：本身的服務不在數(shù)據同步中，可能提前預處理進行

4、。通過集群部署方式，支持冗余設計。調度平臺、Nginx集群通過數(shù)據同步性能情況，實現(xiàn)任務自動分發(fā)，支持自動負載均衡?？捎眯苑治隹捎眯员砀穹治鰣鼍坝绊懡导壴蚰撑_數(shù)據同步下歩無影響教據冋步無狀態(tài)調痘干甘重連其他的數(shù)據同步服努所有數(shù)據同步T統(tǒng)調度平臺無法執(zhí)行數(shù)據同步任務控制臺lh常運行;調度平臺把數(shù)據同步任務放入執(zhí)行欽列，等待執(zhí)行某個Ngirrx下尢影響多Ngiri工部書數(shù)據完全同步注冊中心、控制臺域名iiiSSLB自動切換到其他存活的NgiriJt控制臺DB宕機調度中心無影響控制臺無法更新配置調度平臺開啟配菁緩存后（對配置的讀取不受數(shù)據庫宕機影響某臺數(shù)據識別、數(shù)據脫敏卞無影響數(shù)擔識剔、數(shù)據脫敏無狀態(tài)”數(shù)據同步重連其他的數(shù)據識別.數(shù)據脫敏同步服務全部數(shù)據識別、數(shù)括脫敏下數(shù)據同步可執(zhí)行會彫響任務時長無彩晌結論數(shù)據同步、控制臺、調度平臺、數(shù)據識別、數(shù)據脫敏是數(shù)據脫敏的幾大核心微服務模塊，相互協(xié)作完成配置中心業(yè)務功能，Nginx、注冊中心是輔助