大數(shù)據(jù)安全架構(gòu)設(shè)計課件

1、大數(shù)據(jù)安全架構(gòu)設(shè)計技術(shù)創(chuàng)新 變革未來安全問題背景大數(shù)據(jù)安全標準體系大數(shù)據(jù)平臺安全架構(gòu)大數(shù)據(jù)安全技術(shù)大數(shù)據(jù)安全技術(shù)體系用戶認證與管理精細化權(quán)限控制元數(shù)據(jù)管理數(shù)據(jù)加密與秘鑰管理監(jiān)控管理大數(shù)據(jù)安全管理系統(tǒng)通用權(quán)限系統(tǒng)產(chǎn)品架構(gòu)設(shè)計與展示安全審計系統(tǒng)產(chǎn)品架構(gòu)設(shè)計與展示總結(jié)與展望演講大綱日新增行為記錄 430億包括ERP、固件及80+業(yè)務(wù)線日新增數(shù)據(jù)量 70TB每年46x增長數(shù)據(jù)規(guī)模 30PB近4年累積集群設(shè)備規(guī)模2000+Hadoop + Spark + HBase數(shù)據(jù)、平臺、業(yè)務(wù)快速發(fā)展安全問題背景安全問題突出令人 煩惱 的安 全問 題安全規(guī)范不完善存在諸多安全漏洞沒有認證系統(tǒng)不能夠精細化控制數(shù)據(jù)權(quán)限

2、沒有對數(shù)據(jù)進行透明有效管理非法查閱敏感數(shù)據(jù)異常非法操作（攻擊者的挑戰(zhàn)）安全問題背景大數(shù)據(jù)安全及標準化納入國家發(fā)展戰(zhàn)略2017年4月，全國信息安全標準化技術(shù)委員會2017年第一次工作組“會議周”在武漢召開。會上，大數(shù)據(jù)安全標準化白皮書正式發(fā)布。安全問題背景大數(shù)據(jù)安全標準體系數(shù)據(jù)分類安全等級支付激活音樂ABC數(shù)據(jù)應(yīng)用概念和框架角色和模型基礎(chǔ)標準平臺和技術(shù)系統(tǒng)平臺安全平臺安全運維安全相關(guān)技術(shù)數(shù)據(jù)安全個人信息安全重要數(shù)據(jù)安全數(shù)據(jù)跨境安全服務(wù)安全服務(wù)安全能力交易服務(wù)安全大數(shù)據(jù)安全標準體系大數(shù)據(jù)平臺安全架構(gòu)大數(shù)據(jù)平臺安全架構(gòu)大數(shù)據(jù)平臺基礎(chǔ)設(shè)施數(shù) 據(jù) 源 層數(shù) 據(jù) 接 入 層數(shù) 據(jù) 倉 庫 層數(shù) 據(jù) 應(yīng) 用

3、 層數(shù)據(jù)開發(fā)門戶數(shù)據(jù)產(chǎn)品門戶身份認證基礎(chǔ)級訪問控制基礎(chǔ)級溯源審計基礎(chǔ)級數(shù)據(jù)加密可選級數(shù)據(jù)安全分級機制監(jiān)控 管理大數(shù)據(jù)安全技術(shù)體系邊界限制只有合法用戶身份的 用戶訪問集群技術(shù)概念： 身份認證 網(wǎng)絡(luò)隔離Aquila（Kerberos、 Ldap、Knox）訪問定義什么樣的用戶和應(yīng)用 可以訪問數(shù)據(jù)技術(shù)概念： 權(quán)限授權(quán)透明報告數(shù)據(jù)從哪來、如何使 用的技術(shù)概念： 審計數(shù)據(jù)溯源數(shù)據(jù)保護集群敏感數(shù)據(jù)避免數(shù) 據(jù)泄露技術(shù)概念： 加密秘鑰管理 數(shù)據(jù)脫敏Hdfs Encryption & Ranger KMSScutum （ApacheApache Atlas Ranger） 大數(shù)據(jù)安全技術(shù)體系架構(gòu)（圖）監(jiān)控管理實

4、時分析集群服務(wù)審計日志、審計預(yù)警用戶行為技術(shù)概念： 實時易擴展 智能分析Apache Eagle大數(shù)據(jù)安全技術(shù)大數(shù)據(jù)安全技術(shù)用戶認證與管理要點：開源Hadoop生態(tài)原生唯 一支持服務(wù)器到服務(wù)器的認證Client到服務(wù)器的認證不足：服務(wù)沒有高可用用戶及組信息不能集中管 理缺乏JAVA API LIB挑戰(zhàn)：運維管理（如keytab、ticket有效期）用戶認證與管理引入LDAP重點解決服務(wù)的高可用，同時兼顧性能，便利了用戶及組信息的注冊與管理。大數(shù)據(jù)安全技術(shù)LDAP replica 1LDAP replica 3LDAP replica 2Peer to Peer replicationKerbe

5、ros datareplicationMaster-replicareplicationMaster-replica replication（read only）（read only）（read only）（read / write）LDAP Master 1 KDC（read / write）LDAP Master 2 KDC精細化權(quán)限控制大數(shù)據(jù)安全技術(shù)Admin基于HIVE表的行列級權(quán)限管理基于HIVE表字段的敏感數(shù)據(jù)掩碼策 略動態(tài)權(quán)限策略管理用戶及組管理審計日志搜索查詢UserSync支持從LDAP中同步用戶及組信息與LDAP解耦Tagsyncs支持從Atlas同步TagPluginsH

6、DFSYARNFileLDAPUserSyncAdmin ServerYARNPluginHDFSPluginHIVEPluginHBASEPluginRESTWEBDBDB裝載裝載同步用戶增、刪、改、查存儲策略審計日志拉取策略精細化權(quán)限控制大數(shù)據(jù)安全技術(shù)元數(shù)據(jù)管理大數(shù)據(jù)安全技術(shù)ApacheAtlas數(shù)據(jù)分類集中策略引擎生命周期（血緣）安全（透明）優(yōu)勢與Ranger、Falcon整合， 形成完整的數(shù)據(jù)治理方案基于標簽的安全策略數(shù)據(jù)加密與密鑰管理大數(shù)據(jù)安全技術(shù)加密KeyHDFS加密Zone加密Zone與創(chuàng)建加密Zone指定的Key相關(guān)聯(lián)加密Zone內(nèi)的每個文件僅有唯一加密Key（DEK）HDFS

7、無法訪問DEK。DN只能看到一串加密字節(jié)。HDFS將“加密數(shù)據(jù)加密密鑰”（EDEK）作為文件元 數(shù)據(jù)存儲在NameNodeClient訪問KMS解密EDEK，得到DEK去讀/寫數(shù)據(jù)HDFS Encryption（端到端數(shù)據(jù)加、 解密)密鑰管理：提供對存儲的加密Zone Key的（增、刪、 改、查）訪問控制策略：控制權(quán)限以生成或管理加密Zone Key，創(chuàng)建EDEK存儲在HDFS審計：提供Ranger KMS訪問事件的完整審計跟蹤Ranger KMS（開源密鑰管理服 務(wù)）大數(shù)據(jù)安全技術(shù)Encryption Zone Key （EZK）file1file3file2Encryption ZoneC

8、lientKeyProvider APINameNodeKeyProvider APIRanger KMSDEKcreategeneratereadwritereturn DEKsupply EDEKsupply EDEKsupply EDEK數(shù)據(jù)加密與密鑰管理官方示例：# 以普通用戶的身份創(chuàng)建一個加密 keyhadoop key create myKey# 以超級用戶的身份創(chuàng)建一個空目 錄,并使之成為加密空間hadoop fs -mkdir /zone hdfs crypto -createZone -keyName myKey -path /zone# 修改此目錄權(quán)限為普通用戶的 hado

9、op fs -chown myuser:myuser /zone# 以普通用戶的身份進行put上傳文件和cat查看文件操作hadoop fs -put helloWorld/zone hadoop fs -cat/zone/helloWorld監(jiān)控管理大數(shù)據(jù)安全技術(shù)Apache Eagle核心能力：監(jiān)控Hadoop中的數(shù)據(jù)訪問流量檢測非法入侵和違反安全規(guī)則的行為檢測并防止敏感數(shù)據(jù)丟失和訪問實現(xiàn)基于策略的實時檢測和預(yù)警實現(xiàn)基于用戶行為模式的異常數(shù)據(jù)行為檢測Apache Eagle框架概覽：LogStashKafkaHbaseHDFS數(shù)據(jù)搜集與存儲數(shù)據(jù)處理數(shù)據(jù)展現(xiàn)實時流處理策略管理機器學習告警框架

10、管理界面第三方工具Apache Eagle主要優(yōu)勢：實時易擴展使用成熟的Hadoop生態(tài)技術(shù)一套現(xiàn)成可用的告警策略規(guī)則引擎機器學習算法大數(shù)據(jù)安全管理系統(tǒng)KDCKDCLDAPRANGERSCetusMZStreamingSCT-AgentSCT-AgentMYSQLYARN/HIVE HDFSSCT-Servicessct-stub.jarLDAP用戶(組) 及權(quán)限設(shè)計用戶權(quán)限 認證密鑰獲取權(quán)限認證 及集群訪問通用權(quán)限系統(tǒng)產(chǎn)品架構(gòu)設(shè)計SCT-WEBsct-stub.jar通用權(quán)限系統(tǒng)產(chǎn)品展示大數(shù)據(jù)安全管理系統(tǒng)1、用戶（組）管理2、客戶端IP與平臺應(yīng)用類型管理3、資源與權(quán)限策略管理（不展示）數(shù)據(jù)源層數(shù)據(jù)接入層數(shù)據(jù)處理層 服務(wù)層通信層ServerServerServerKafka存儲HbaseDruidElasticsearchMysqlAmbari監(jiān)控服務(wù)元數(shù)據(jù)服務(wù)產(chǎn)品集群服務(wù) 層 System/Log/Jmx/Job/Rest ApiServerServerServer 實時處理Policy EngineStorm 離線處理 MLSpark告警框架安全審計成本核算 預(yù)警服務(wù)操作服務(wù)Apache Eagle內(nèi)核框架LogStashYarn Ti