經(jīng)營分析系統(tǒng)隱私數(shù)據(jù)保護(hù)項(xiàng)目

中國移動(dòng)業(yè)務(wù)服務(wù)創(chuàng)新 獎(jiǎng)勵(lì)申報(bào)書 項(xiàng)目名稱： 經(jīng)營分析系統(tǒng) 隱私數(shù)據(jù)保護(hù)項(xiàng)目 申報(bào)單位： 黑龍 江公司 /集團(tuán)公司業(yè)務(wù)支撐系統(tǒng)部 中國移動(dòng)通信集團(tuán)公司 2011 年 11 月 7 日 一、項(xiàng)目基本情況 項(xiàng)目 名稱 中文 經(jīng)營分析系統(tǒng) 隱私數(shù)據(jù)保護(hù)項(xiàng)目 英文 Protection of Business Analysis Support System Private Data 主要完成單位 中國移動(dòng)通信集團(tuán)黑龍江有限公司業(yè)務(wù)支撐中心 中國移動(dòng)通信集團(tuán)業(yè)務(wù)支撐管理部 主 題 詞 隱私數(shù)據(jù) 去隱私化 、 映射 數(shù)據(jù)封裝 、置換 任務(wù)來源 A.中國移動(dòng)通信集團(tuán)公司計(jì)劃 項(xiàng)目起止時(shí)間 起始： 2010 年 10 月 1 日 完成： 2011 年 5 月 31 日 二、項(xiàng)目簡(jiǎn)介 (不超過 800 個(gè)漢字 ) 隨著電信運(yùn)營商的客戶隱私信息泄露而引起不良社會(huì)影響的事件的頻繁發(fā)生，如何進(jìn)行客戶隱私數(shù)據(jù)的保護(hù)越來越重要，經(jīng)分系統(tǒng)不但從上游數(shù)據(jù)源系統(tǒng)中獲取了明細(xì)的客戶基本信息，還將它們進(jìn)行深入分析和挖掘，得到了更為豐富的客戶行為特征信息 ,這些與客戶相關(guān)的行為特征包含了大量的客戶隱私 數(shù)據(jù)和敏感數(shù)據(jù)，一旦出現(xiàn)泄漏的情況，對(duì)我們移動(dòng)公司的影響非常大 ,我省經(jīng)分系統(tǒng)已經(jīng)對(duì)部分客戶隱私數(shù)據(jù)進(jìn)行了簡(jiǎn)單保護(hù)，但存在以下幾方面的問題： 1、客戶隱私數(shù)據(jù)的查全率有待提高； 2、未形成客戶隱私數(shù)據(jù)的完整保護(hù)體系； 3、部分?jǐn)?shù)據(jù)的保護(hù)存在不可逆行為； 針對(duì)經(jīng)營分析系統(tǒng)數(shù)據(jù)存在的問題，本項(xiàng)目的研究思路是按照隱私數(shù)據(jù)的識(shí)別、處理、還原這個(gè)閉環(huán)流程來展開 ，并建立 數(shù)據(jù)加密策略和版本管理模塊，主要包括以下內(nèi)容： 1、建立隱私數(shù)據(jù)識(shí)別模塊：根據(jù)隱私數(shù)據(jù)的表現(xiàn)形式，將隱私數(shù)據(jù)分為顯式標(biāo)識(shí)符、準(zhǔn)標(biāo)識(shí)符和敏感屬性三類； 建立隱私數(shù)據(jù)知識(shí)庫，采用人工和自動(dòng)識(shí)別的模式對(duì)隱私數(shù)據(jù)進(jìn)行管理； 2、建立去隱私數(shù)據(jù)管理模塊：去隱私化處理模塊是客戶隱私數(shù)據(jù)保護(hù)模塊的核心，負(fù)責(zé)封裝和管理去隱私化處理的方法。提供給獲取層的數(shù)據(jù)轉(zhuǎn)換過程（ ETL 的轉(zhuǎn)換階段）調(diào)用，對(duì)原始數(shù)據(jù)進(jìn)行去隱私化處理。加密后入庫。保證去隱私化處理的準(zhǔn)確性和高效性。 3、建立隱私數(shù)據(jù)還原模塊：將“還原處理模塊”與數(shù)據(jù)封裝層進(jìn)行整合，隱私數(shù)據(jù)在經(jīng)過數(shù)據(jù)封裝層時(shí)，對(duì)其進(jìn)行還原，明文展示于前臺(tái)。調(diào)用還原隱私引擎，將數(shù)據(jù)以明文方式由封裝層傳給內(nèi)部應(yīng)用、外部系統(tǒng)等模塊。因此此處加擾加 密算法都是可逆的 。 4、建立策略 /版本管理模塊 策略 /版本管理子模塊主要是為去隱私處理模塊和隱私還原處理模塊提供處理策略配置和版本管理，處理過程中所用到的位置變換算法、映射轉(zhuǎn)換關(guān)系、密鑰都在本模塊統(tǒng)一管理和保存 項(xiàng)目自上線以來，雖然增加了大量的數(shù)據(jù)處理運(yùn)算，但是由于采用了高效的 算法和基于內(nèi)存的 ETL 數(shù)據(jù)處理，未對(duì)系統(tǒng)的處理性能造成影響；且利用數(shù)據(jù)隱私數(shù)據(jù)保護(hù)項(xiàng)目，提升了數(shù)據(jù)的安全級(jí)別，防患于未然，大大提升了經(jīng)分?jǐn)?shù)據(jù)的安全管控力度。 項(xiàng)目直接產(chǎn)出專利一項(xiàng)，還有一項(xiàng)正在申請(qǐng)。 三、項(xiàng)目詳細(xì)內(nèi)容 1、 立項(xiàng)背景（不超過 800 個(gè)漢字） 作為全國 31 個(gè)省級(jí)經(jīng)分系統(tǒng)之一，黑龍江經(jīng)營分析系統(tǒng)自系統(tǒng)建設(shè)至今，主數(shù)據(jù)倉庫中已經(jīng)納入 120TB 的海量信息數(shù)據(jù)。其中絕大部分的數(shù)據(jù)中存在客戶隱私信息。隱私數(shù)據(jù)主要是來自上游 BOSS、CRM、客服系統(tǒng)、網(wǎng)管 等系統(tǒng)，主要包括客戶的基本資料、以及包括用戶服務(wù)號(hào)碼、對(duì)端通話號(hào)碼及位置信息的用戶使用清單；同時(shí)經(jīng)營分析系統(tǒng)通過各種數(shù)據(jù)統(tǒng)計(jì)分析技術(shù)，對(duì)海量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)，也衍生出一些客戶的隱私數(shù)據(jù)。例如：客戶職業(yè)、數(shù)據(jù)業(yè)務(wù)愛好的信息。 目前，黑龍江分公司經(jīng)分系統(tǒng)對(duì) 部分隱私數(shù)據(jù)進(jìn)行了保密處理 。主 數(shù)據(jù)倉庫的詳單數(shù)據(jù)主要是通過使用權(quán)限進(jìn)行控制。個(gè)人用戶來說，只能通過視圖方式訪問詳單信息，視圖中對(duì)號(hào)碼的后四位是進(jìn)行加密處理?，F(xiàn)有的隱私保護(hù)方案起到了一定的保護(hù)作用， 但 存在 以下幾方面的問題： 1、數(shù)據(jù)保護(hù)安全級(jí)別不高，并且存在數(shù)據(jù)不可逆的問題。 2、 大部分隱私數(shù)據(jù)以明文存放， 4A 平臺(tái)可以控制用戶訪問，但不能控制有權(quán)限用戶惡意訪問。 經(jīng)分?jǐn)?shù)據(jù)存在以下幾個(gè)方面的特點(diǎn)： 1、 所有的數(shù)據(jù)處理都不需要識(shí)別具體的客戶，超過 80%的分析應(yīng)用集中在大趨勢(shì)和群體客戶行為，只有 20%的分析應(yīng)用需要對(duì)應(yīng)具體的客戶來采取營銷或服務(wù) 行動(dòng)。所以可以在經(jīng)分后臺(tái)“去隱私化”，對(duì) 20%的應(yīng)用通過具體模塊來還原隱私信息。 2、 客戶的隱私數(shù)據(jù)分類特征明顯，可以針對(duì)不同級(jí)別的隱私數(shù)據(jù)采取不同的加密策略 通過對(duì)隱私數(shù)據(jù)泄露途徑進(jìn)行分析， 數(shù)據(jù)泄露主要途徑是后臺(tái)操作人員非法提取數(shù)據(jù) ，因此，可以通過 “去隱私”技術(shù)手段，在數(shù)據(jù)底層構(gòu)建一條防線，使得非法入侵者即使獲取了權(quán)限也無法理解數(shù)據(jù) 詳細(xì)技術(shù)內(nèi)容（不超過 1000 個(gè)漢字） 經(jīng)營分析系統(tǒng)客戶隱私數(shù)據(jù)保護(hù)按照隱私數(shù)據(jù)的識(shí)別、處理、還原這個(gè)閉環(huán)流程來展開?？蛻綦[私 數(shù)據(jù)保護(hù)各模塊屬于數(shù)據(jù)及運(yùn)維管理域，隱私數(shù)據(jù)保護(hù)處理模塊細(xì)分為多個(gè)子處理模塊，包括：隱私策略管理、去隱私化管理模塊、還原管理模塊等。 客戶隱私數(shù)據(jù)保護(hù)技術(shù)體系最核心的、最關(guān)鍵的處理都集中在去隱私化中。在獲取層的轉(zhuǎn)換模塊中，數(shù)據(jù)轉(zhuǎn)換處理（ ETL 模塊中的 T模塊）需要進(jìn)行改造增加去隱私化處理引擎，引擎需要調(diào)用客戶隱私數(shù)據(jù)保護(hù)模塊所封裝的算法和規(guī)則。在數(shù)據(jù)層的數(shù)據(jù)封裝模塊中，同樣需要進(jìn)行改造，支持對(duì)去隱私化的數(shù)據(jù)進(jìn)行還原處理。隱私數(shù)據(jù)保護(hù)管理相關(guān)的模塊在經(jīng)營分析系統(tǒng)中的布位置如下圖： 圖 1. 客戶隱私數(shù)據(jù)保護(hù)體統(tǒng)架構(gòu)圖 如上圖結(jié)構(gòu)所示：采用“客戶隱私數(shù)據(jù)保護(hù)模塊”對(duì)經(jīng)分系統(tǒng)的敏感數(shù)據(jù)去隱私化，隱私數(shù)據(jù)還原，隱私策略等進(jìn)行統(tǒng)一管控。 1、 隱私數(shù)據(jù)從 CRM、 BOSS 等外圍系統(tǒng)經(jīng)過 ETL 工具加載進(jìn)數(shù)據(jù)倉庫 DW 時(shí)，啟動(dòng) ETL“去隱私化處理引擎”，調(diào)用去隱私方法，對(duì)需要去隱私化的數(shù)據(jù)進(jìn)行加擾或者加密處理，然后入庫。 2、 應(yīng)用訪問層、外網(wǎng)系統(tǒng)需要獲取數(shù)據(jù)倉庫里的隱私數(shù)據(jù)時(shí)，通過“還原引擎”模塊啟動(dòng)“隱私還原管理”將加密數(shù)據(jù)或者加擾數(shù)據(jù)進(jìn)行還原之后返給請(qǐng)求方。 3、 “隱私策略管理”模塊，對(duì)數(shù)據(jù)加密的策略進(jìn)行管理，通過對(duì)密鑰版本的控制從而變更隱私 數(shù)據(jù)的加密策略，提升數(shù)據(jù)安全性。 客戶隱私保護(hù)模塊技術(shù)體系具備如下能力： 1、 無損處理：去隱私化處理是無損的、可逆的，也就是說能還原隱私信息原文；無損的隱私保護(hù)技術(shù)使用加密保護(hù)技術(shù)以及基于可逆置換的加擾技術(shù)。 2、 降低對(duì)現(xiàn)有系統(tǒng)影響：經(jīng)營分析系統(tǒng)是穩(wěn)定運(yùn)行的系統(tǒng)，隱私數(shù)據(jù)保護(hù)模塊建設(shè)保證對(duì)原有應(yīng)用程序無影響；例如：為了避免影響數(shù)據(jù)庫設(shè)計(jì)，采用“格式保留加密”的算法，保持密文和原文保持同樣的屬性和字段長度；為了不影響現(xiàn)有系統(tǒng)的數(shù)據(jù)處理和訪問中的關(guān)聯(lián) (Join)操作，轉(zhuǎn)換保持一對(duì)一的轉(zhuǎn)換關(guān)系。 3、 算法簡(jiǎn)單、 處理高效：經(jīng)營分析系統(tǒng)中的數(shù)據(jù)規(guī)模非常龐大， 系統(tǒng)資源更多的需要提供給 ETL 統(tǒng)計(jì)分析等資源消耗大的數(shù)據(jù)操作，去隱私化處理技術(shù)做到了簡(jiǎn)單、高效，不占用系統(tǒng)太多資源。如：去隱私化處理放在 ETL 過程中不影響數(shù)據(jù)倉庫處理性能；大規(guī)模數(shù)據(jù)處理采用了效率較高的可逆置換技術(shù)。 4、 實(shí)現(xiàn)版本管理：即使是再嚴(yán)密的管控和再強(qiáng)大的處理技術(shù)，在使用時(shí)間越長其泄密的風(fēng)險(xiǎn)也會(huì)越高。為此，客戶隱私數(shù)據(jù)保護(hù)處理采用的策略、密鑰等信息都有版本管理，實(shí)現(xiàn)了版本的定期更新。 2、 主要技術(shù)創(chuàng)新點(diǎn)（不超過 800 個(gè)漢字） 1、 通過加密算法和映射轉(zhuǎn)換的方式實(shí)現(xiàn)“格式保留加密”，支持 SQL關(guān)聯(lián)操作快速處理； 本項(xiàng)目的難點(diǎn)是解決效率的問題，通過一種格式保留的 加密算法， 支持通過 SQL 進(jìn)行快速處理，去隱私化處理后的字段還可以作為 SQL 的關(guān)聯(lián)條件繼續(xù)生效，不影響現(xiàn)有的程序邏輯，且去隱私化處理后的數(shù)據(jù)能夠還原 。 2、 通過數(shù)據(jù)封裝技術(shù)實(shí)現(xiàn)隱私數(shù)據(jù)的還原操作，并記錄明細(xì)訪問信息； 利用數(shù)據(jù)封裝技術(shù) 調(diào)用去隱私化服務(wù)進(jìn)行隱私數(shù)據(jù)還原，增強(qiáng)項(xiàng)目的標(biāo)準(zhǔn)化程度和可移植性。 3、 通過版本管理的策略進(jìn)一步增強(qiáng)加密和映射兩種去隱私化方法的保密性； 策略 /版本管理子模塊主要是為去隱私處理模塊和隱私還原處理模塊提供處理策略配置和版本管理，處理過程中所用到的映射轉(zhuǎn)換關(guān)系、密鑰都在本模塊統(tǒng)一管理和保存。策略 /版本管理模塊與其他模塊之間的關(guān)系如下圖 客戶隱私元數(shù)據(jù)元數(shù)據(jù)管理隱私保護(hù)策略 管理策略版本管理模塊映射轉(zhuǎn)換規(guī)則管理密鑰管理去隱私化管理模塊還原管理模塊獲取客戶隱私元數(shù)據(jù)用于配置處理策略獲取策略、映射關(guān)系、密鑰根據(jù)實(shí)際數(shù)據(jù)更新映射規(guī)則獲取策略、映射關(guān)系、密鑰 4、 通過基于內(nèi)存的 ETL 數(shù)據(jù)處理技術(shù)，提升數(shù)據(jù)處理效率。 利用基于內(nèi)存數(shù)據(jù)庫技術(shù)，采用多進(jìn)程對(duì)隱私數(shù)據(jù)的加密和還原進(jìn)行操作，大大提升了系統(tǒng)的處理效率。 應(yīng)用情況（不超過 800 個(gè)漢字） 本項(xiàng)目上線以來，對(duì)經(jīng)營分析系統(tǒng)數(shù)據(jù)倉庫中 xxx 張表中 xxx 個(gè)涉及敏感數(shù)據(jù)的字段進(jìn)行了加密處理，并不斷進(jìn)行經(jīng)驗(yàn)積累，形成了隱私數(shù) 據(jù)加密規(guī)則庫，為企業(yè)數(shù)據(jù)安全保障工作積累了豐富的經(jīng)驗(yàn)。在系統(tǒng)運(yùn)行中，持續(xù)對(duì)加密算法進(jìn)行優(yōu)化，目前隱私化和隱私數(shù)據(jù)還原已基本不影響經(jīng)分系統(tǒng)數(shù)據(jù)處理效率。將原有的只能單純依靠管理手段及事后審計(jì)方式，轉(zhuǎn)變?yōu)橐约夹g(shù)手段為基礎(chǔ)配合管理手段，徹底阻斷敏感信息泄露途徑，將數(shù)據(jù)安全工作落到了實(shí)處。 對(duì)公司來講，這些需要加以保護(hù)的信息，尤其是客戶敏感信息，其價(jià)值不可估量。一旦泄露將會(huì)造成災(zāi)難性后果，其經(jīng)濟(jì)損失遠(yuǎn)大于前期防護(hù)的投入。通過本系統(tǒng)進(jìn)行未雨綢繆的防護(hù)，其經(jīng)濟(jì)效益只能通過所阻攔的時(shí)間性質(zhì)來衡量，所帶來的回報(bào)必將是長久的 。另一方面，我省使用自行研發(fā)的隱私數(shù)據(jù)保護(hù)方法代替專業(yè)數(shù)據(jù)保護(hù)軟件，至少節(jié)省 60 萬投資。如果推廣到全國，也將節(jié)約大量成本投入。 從客戶的角度，如果發(fā)生了嚴(yán)重的從客戶的角度，如果發(fā)生了嚴(yán)重的客戶信息泄露事件，公司整體聲譽(yù)必將受到嚴(yán)重創(chuàng)傷，客戶的內(nèi)心會(huì)對(duì)中國移動(dòng)產(chǎn)生一種不信任感，嚴(yán)重影響我公司品牌價(jià)值。而修復(fù)這種不信任感將會(huì)更加的費(fèi)事費(fèi)力，所耗費(fèi)的將不僅僅是資金。唯一的辦法就是做好預(yù)防工作，防止發(fā)生泄漏，最大程度地做好可能泄露途徑的管控工作，嚴(yán)格管控好隱私數(shù)據(jù)泄露的途徑。本項(xiàng)目最大的社會(huì)效益就是使公司保持良好的 社會(huì)聲譽(yù)，不斷提升品牌價(jià)值。 。 經(jīng)濟(jì)效益（單位：人民幣萬元） 項(xiàng)目總投資額 10 回收期（年） 1 欄目 年份 新增利潤 新增稅收 創(chuàng)收外匯（美元） 節(jié)支總額 2011 50 各欄目的計(jì)算依據(jù)： 項(xiàng)目節(jié)約軟件購置費(fèi) ： 60 萬元 投資 10 萬 元 合計(jì)創(chuàng)收 50 萬元 生產(chǎn)、應(yīng)用單位 財(cái)務(wù)專用章和財(cái)務(wù)負(fù)責(zé)人簽字 李蘭英 年 月 日 6、社會(huì)效益 如果發(fā)生了嚴(yán)重的客戶信息泄露事件，公司社會(huì)聲譽(yù)必將受到嚴(yán)重創(chuàng)傷，客戶的內(nèi)心會(huì)對(duì)中國移動(dòng)產(chǎn)生一種不信任感，嚴(yán)重影響我公司品牌價(jià)值。而修復(fù)這種不信任感將會(huì)更加的費(fèi)事費(fèi)力，所耗費(fèi)的將不僅僅是資金。唯一的辦法就是做好預(yù)防工作，防止發(fā)生泄漏，最大程度地做好可能泄露途徑的管控工作，徹底堵死隱私數(shù)據(jù)可能泄露的漏洞。 本項(xiàng)目最大的社會(huì)效益就是使公司保持良好的社會(huì)聲譽(yù)，不斷提升品牌價(jià)值。 四、本項(xiàng)目曾獲獎(jiǎng)勵(lì)情況 獲獎(jiǎng)時(shí)間 獎(jiǎng) 項(xiàng) 名 稱 獎(jiǎng)勵(lì)等級(jí) 授獎(jiǎng)部門（單位） 2011 業(yè)務(wù)服務(wù)創(chuàng)新獎(jiǎng) 二等獎(jiǎng) 黑龍江移動(dòng) 本表所填獎(jiǎng)勵(lì)是指： 1.國家設(shè)立的科技獎(jiǎng)勵(lì)； 2.各省、自治區(qū)、直轄市公司設(shè)立的獎(jiǎng)勵(lì) 3.各省、自治區(qū)、直轄市政府設(shè)立的獎(jiǎng)勵(lì)； 4.經(jīng)科技部批準(zhǔn)的社會(huì)力量設(shè)立的獎(jiǎng)勵(lì)。 五、申請(qǐng)、獲得專利情況表 國 別 申 請(qǐng) 號(hào) 專 利 號(hào) 項(xiàng) 目 名 稱 ZC1107001 一種 基于可逆置換技術(shù)的去隱私化處理方法 六、 主要完成人情況表 七、主要完成單位情況 單位名稱 中國移動(dòng)通信集團(tuán)黑龍江有限公司 第 二 完成單位 中國移動(dòng)通信集團(tuán)業(yè)務(wù)支撐系統(tǒng)部 聯(lián)系人 傳真 聯(lián)系電話 電子信箱 主要貢獻(xiàn) 黑龍江公司主要負(fù)責(zé)負(fù)責(zé)工作： 1、項(xiàng)目的發(fā)起，需求驅(qū)動(dòng)， 核心功能設(shè)計(jì)，主要實(shí)現(xiàn)方式的確認(rèn)工作。 2、負(fù)責(zé) 隱私數(shù)據(jù)識(shí)別、去隱私化算法選擇、算法性能測(cè)試、隱私數(shù)據(jù)還原算法選擇和性能測(cè)試。 3、負(fù)責(zé)隱私策略管理模塊設(shè)計(jì)。 4、負(fù)責(zé) ETL 算法優(yōu)化 5、負(fù)責(zé)系統(tǒng)測(cè)試和上線工作。 集團(tuán)公司業(yè)務(wù)支撐系統(tǒng)部負(fù)責(zé)工作： 提供技術(shù)支持和建設(shè)方案指導(dǎo) 單位公章： 2011 年 11 月 7 日 八、申報(bào)單位意見 申報(bào)單位 中國移動(dòng)通信集團(tuán)黑龍江有限公司 通信地址 郵編 150090 聯(lián)系人 基本信息 姓名 電話 部門 手機(jī) 職務(wù) 傳真 電郵 同意申報(bào) ！ 申報(bào)單位公章 2011 年 11 月