電信大數據應用白皮書（2017年）.docx

此文檔收集于網絡，如有侵權，請聯系網站刪除電信大數據應用白皮書（2017 年）大數據發(fā)展促進委員會 電信工作組2017 年 3 月此文檔僅供學習與交流在數字化時代，“數據是基礎性資源，也是重要生產力”。電信企業(yè)數據資源豐富，電信大數據在推動經濟發(fā)展、改善公共服務等方面， 具有廣泛的應用價值。電信大數據的應用發(fā)展既是促進大數據產業(yè)發(fā) 展的重要內容，也是電信企業(yè)轉型發(fā)展的重要方向。本白皮書聚焦于電信大數據的應用發(fā)展情況，首先通過應用案例 分析和實踐成果調研等方式，形成國內外電信運營商大數據應用地圖， 從發(fā)展現狀、應用優(yōu)勢、發(fā)展挑戰(zhàn)等方面對電信大數據的應用情況進 行了總結描述；然后深入分析了電信大數據應用發(fā)展所涉及的技術標 準、安全保障、政策條件、法律風險和商業(yè)模式等具體內容；最后， 針對電信大數據的未來發(fā)展趨勢做出預判，并從行業(yè)和企業(yè)、技術和 運營等不同角度，提出促進電信大數據價值應用的發(fā)展策略。數據中心聯盟大數據發(fā)展促進委員會電信工作組，是中國通信標 準化協會（CCSA）的下屬機構，由中國信息通信研究院牽頭，聯合業(yè) 界專家學者構成。主要職責為推動電信大數據領域的戰(zhàn)略規(guī)劃咨詢、 技術標準制定及評測認證、業(yè)務法律風險評估、產業(yè)化推廣等。是電 信大數據“司馬”獎評選的發(fā)起單位。一、電信大數據應用情況概述 .1（一）電信大數據應用的現狀.1（二）電信大數據應用的優(yōu)勢.4（三）電信大數據應用面臨的挑戰(zhàn).6二、電信大數據應用的標準化與合規(guī)性 .7（一）電信大數據標準化進展.7（二）電信大數據標準化技術要點.13（三）電信大數據應用合規(guī)性標準化.16三、電信大數據應用的政策基礎與法律風險 .19（一）電信大數據應用的政策基礎分析.19（二）電信大數據應用的法律風險分析.20（三）電信大數據應用的法律風險控制策略.22四、電信大數據應用的商業(yè)模式 .23（一）大數據產業(yè)的商業(yè)模式分析.23（二）電信大數據應用的商業(yè)模式定位.25五、電信大數據應用的發(fā)展趨勢 .27（一）電信大數據應用正迎來快速發(fā)展的重要機遇期.27（二）金融、政務、交通、旅游等熱點領域的應用不斷深化.28（三）以視頻為代表的非結構化數據的分析應用成為新趨勢.28（四）物聯網、人工智能、AR/VR 等成為大數據應用發(fā)展的新動力 29（五）面向大眾市場的個性化大數據服務將成為新領域.29六、電信大數據應用的發(fā)展策略 .29（一）整合行業(yè)數據資源，促進對外應用協同發(fā)展.29（二）強化數據安全風險管控，明確各方主體安全責任.30（三）實現數據“資產化”管理，提升數據運營能力 .30（四）專業(yè)化和獨立化運營，拓展對外創(chuàng)新合作模式.31一、電信大數據應用情況概述（一）電信大數據應用的現狀1.我國電信大數據應用起步晚于國外，但成長迅速，呈趕超態(tài)勢 當前，電信大數據應用呈現蓬勃發(fā)展態(tài)勢。綜合國內外情況來看，2011-2012 年間，國際運營商領先開始進行大數據業(yè)務布局，打造大 數據應用平臺，從內部應用大數據支撐運營起步，以基于位置的對外 精準營銷服務為突破點，不斷豐富和深化在零售、醫(yī)療和智慧城市等 多個垂直領域的數據應用和價值變現。經過近 5 年發(fā)展，國際運營商 大數據運營能力已逐漸成熟，大數據應用市場正處于穩(wěn)定發(fā)展期。圖 1-國內外電信大數據應用發(fā)展歷程我國運營商在 2013-2014 年間，先后逐步明確將大數據業(yè)務定位 于公司轉型與創(chuàng)新發(fā)展的重要戰(zhàn)略方向，通過構建大數據能力平臺、 設立大數據業(yè)務專業(yè)化運營團隊等措施，逐步形成大數據應用發(fā)展基 礎能力。在成長期，內外部應用同步拓展，實現大數據在市場營銷、 網絡優(yōu)化和運營管理等多個層面的應用支撐，并以金融、政務等垂直 領域為試點，不斷拓展對外數據價值應用變現渠道。目前，我國大數 據應用市場需求不斷增長，大數據相關產業(yè)技術不斷成熟，電信大數據應用正處于快速發(fā)展期。2.運營商重點布局零售、醫(yī)療、金融、政務和智慧城市等領域 從對外應用方向上看，運營商大數據應用重點在零售、醫(yī)療、金融、政企和智慧城市等領域，主要是基于用戶屬性、使用行為和位置 信息等數據內容，形成清晰、準確的用戶個人畫像，建立理想的目標 人群模型，為各垂直行業(yè)的合作方提供精準營銷、客流統計、商業(yè)選 址、信用分析、安全預警等數據支撐服務。在具體的熱點應用領域方 面，由于社會經濟發(fā)展條件的差異，國內外運營商的電信大數據應用 熱點領域既有共同點，也存在明顯的差別。圖 2-國際運營商電信大數據應用領域分布以上是從電信大數據的應用方向與行業(yè)領域兩個維度，繪制的國 際運營商電信大數據應用的熱點領域分布地圖。從圖上可以看出，零 售、醫(yī)療和智慧城市是國外運營商最主要的大數據應用領域。而在國 內，一是由于我國金融征信產品較為單一，且個人征信覆蓋率較低， 為金融領域的電信大數據應用創(chuàng)造了條件，所以基于電信大數據的金 融征信服務領域成為運營商布局熱點。二是基于大數據應用安全風險的控制要求，同時在各級政府信息化發(fā)展需求仍具有較大空間的情況下，政務領域成為電信大數據應用的另一重點。從數據中心聯盟 2017 年度電信大數據“司馬獎”的申報成果數量來看，國內電信大數據對 外應用方面，金融和零售并列排在首位，占比均為 14.55%，其后依 次為政務、旅游和智慧城市，占比分別為 12.73%、10.91%、9.09%。圖 3-2017 年度電信大數據“司馬獎”申報成果應用領域分布圖3.內外部同步推進，但仍以電信企業(yè)內部應用更為深入廣泛 目前，全球主流電信運營商在大數據應用方面的思路比較一致，結合國際運營商大數據應用地圖和國內電信大數據“司馬獎”評選成 果收集情況來看，對內利用大數據技術支撐公司運營管理仍是大數據 應用的首要選擇。對外基于自身數據資源優(yōu)勢開發(fā)大數據產品，內部 商業(yè)應用和外部商業(yè)拓展同步推進。由于電信運營商掌握的是幾乎所 有個人和部分設備的行為數據，外部商業(yè)拓展理論上能夠在幾乎所有 行業(yè)領域內發(fā)揮價值，但出于用戶隱私保護、數據共享安全等因素的 考慮，目前外部應用范圍有限。電信行業(yè)內部大數據應用相比之下開 展得更加深入和廣泛，包括基于用戶畫像的精準營銷、流失預警、網 絡優(yōu)化、服務優(yōu)化等。4.專業(yè)化和獨立化是電信企業(yè)大數據業(yè)務發(fā)展主要策略大數據業(yè)務具備典型的移動互聯網產品特征，與傳統電信業(yè)務有 較大差異，需要更加靈活的運營管理模式。根據國際運營商的實踐經 驗，大數據業(yè)務運營均是以產品為核心，整合此前分散在各部門的設 計研發(fā)、營銷推廣和客戶服務等運營環(huán)節(jié)，構建專業(yè)化的大數據業(yè)務 運營體系。電信企業(yè)主要是通過成立專門的大數據業(yè)務發(fā)展部門或新 公司，來實現更加靈活的大數據業(yè)務開發(fā)和對外合作機制。如西班牙 電信率先成立名為“動態(tài)洞察”的大數據業(yè)務部門；Verizon 成立了 基于大數據分析的精準營銷部門 Precision Marketing Division；新西蘭 電信成立獨立的大數據子公司 Qrious。（二）電信大數據應用的優(yōu)勢1.數據規(guī)模大、類型豐富，數據覆蓋深度和廣度不斷拓展 電信大數據在數據規(guī)模、數據精準性和多樣性方面，具有突出的價值優(yōu)勢，而且隨著物聯網的不斷發(fā)展，萬物互聯帶來電信大數據覆 蓋深度和廣度的不斷拓展。數據規(guī)模方面，工信部統計數據顯示，2016 年我國三大運營商電話用戶達 15.3 億戶，移動用戶 13.2 億，固定電話 2.07 億。在如此龐大規(guī)模的用戶基礎之上，運營商每天搜集的數 據可達 PB 級。數據準確性方面，運營商以號碼為唯一的 ID 來整合各 類數據，并且手機號碼實名登記，我國目前手機實名登記率達 95%， 這充分保證了電信大數據的真實可靠。數據多樣性方面，運營商的數 據包括通話數據、位置數據、用戶屬性數據、用戶上網數據、手機消 費數據、終端數據等，數據類型涵蓋結構化的用戶基本信息數據、半 結構化的用戶訪問日志數據、非結構化的流媒體數據等。2.數據基礎設施發(fā)展迅速，數據存儲和傳輸能力優(yōu)勢明顯一是在數據存儲方面，運營商“遍布全國、深入市縣、重點覆蓋” 的數據中心建設布局，為電信大數據奠定了良好的存儲服務基礎。據 統計，在我國的 IDC 數據存儲服務領域，三大運營商共同占據超過 60% 的市場份額1。二是數據傳輸方面，確保網絡不間斷運行，進行大容 量、高穩(wěn)定性、高可靠性地傳輸是運營商的天然優(yōu)勢。2016 年，我 國光纜線路總長度 3041 萬公里，互聯網寬帶接入端口數量達到 6.9億個，移動基站總數達到 559 個2。電信企業(yè)具有遍布全國的傳輸網 絡，在網絡帶寬、網絡覆蓋和網絡維護等方面擁有絕對領先的能力優(yōu) 勢，為電信大數據分布式節(jié)點的應用通信提供了最可靠的保障。3.數據應用價值廣泛，能有效促進經濟發(fā)展、改善公共服務 電信網絡是信息化社會的基礎支撐，承載大量國民經濟活動。電信大數據與各行各業(yè)的融合應用可直接支撐我國社會和國民經濟發(fā) 展的方方面面。例如電信大數據與人口數據結合可繪制出人口遷徙地 圖；電信大數據與交通數據結合可以指導城市交通管理；電信大數據 與商業(yè)數據結合可為商圈店鋪選址提供分析服務等。隨著物聯網、工 業(yè)互聯網等深化拓展，多樣化智能終端的全面普及，將使電信大數據 在智能制造、工業(yè) 4.0 等新型工業(yè)化領域擁有廣闊的應用空間，能夠 有力支撐傳統經濟的信息化轉型，促進“互聯網+”戰(zhàn)略的落地實施。4.“電信級”標準與規(guī)范能力奠定數據安全保障基礎 電信業(yè)從誕生之日起，就是基于嚴謹的電信級標準框架協議而構建的，例如 802.1 的交換/信令控制標準、802.1ah 的數據平面技術標 準等。長期以來，安全、穩(wěn)定的“電信級”標準已深入電信業(yè)的基因。1 數據來源：2016-2022 年中國 IDC 行業(yè)市場運營態(tài)勢報告2 數據來源：工信部統計數據基于 CT 行業(yè)長期標準化、規(guī)范化的嚴格要求，電信企業(yè)在業(yè)務管控、網絡保障、用戶信息安全等方面經驗豐富。目前，我國運營商在數據 獲取、存儲、處理、管理、交易等多個環(huán)節(jié)，已經逐步形成了明確的 大數據業(yè)務發(fā)展規(guī)范。對于政府和企業(yè)而言，具有安全保障基礎優(yōu)勢 的電信運營商，是進行大數據應用合作最為可靠的選擇對象。（三）電信大數據應用面臨的挑戰(zhàn)1.市場應用需求有待培育，數據交易缺乏規(guī)范化管理 電信大數據的應用需求仍不成熟，除了精準營銷、金融征信等個別領域，醫(yī)療、教育、交通等大部分垂直領域的應用需求仍處于較低 水平，客戶對于電信大數據應用價值、應用方式的認識不足，市場培 育和開發(fā)的壓力仍較大。同時，全國性的大數據交易市場建設仍處于 初級階段，在交易渠道、交易方式、數據定價和技術支撐等多個方面 均存在盲區(qū)，大數據交易過程中各細分領域的專業(yè)化水平低，服務能 力不足，而且相關政策法規(guī)還處于構建期，整個大數據交易過程的規(guī) 范化管理能力明顯不足。2.行業(yè)協同能力不足，應用拓展缺乏統一協調規(guī)劃 電信大數據的對外應用和價值變現，需要形成行業(yè)統一步調和聲音。尤其是跨領域和跨行業(yè)的應用，行業(yè)協同對于保障電信大數據應 用價值，提升電信企業(yè)議價能力十分關鍵。同時，電信企業(yè)的統一協 調，對于爭取電信大數據發(fā)展的政策扶持、資金投入和社會輿論關注 也具有重要作用。目前的電信大數據應用仍處于各自為戰(zhàn)的態(tài)勢，各 家電信企業(yè)缺乏協同，力量分散，絕大部分應用案例規(guī)模小、范圍窄、 層次不高，缺乏突出性的社會影響力，制約了電信大數據的應用拓展。3.數據安全標準仍存在多方面缺失，風險管控壓力大電信大數據涉及用戶個人隱私，在用戶數據安全和信息保護方面要求嚴格。如何在數據交易過程中，有效規(guī)避數據安全風險，切實做 好數據安全管理和保障，是電信大數據應用發(fā)展必須面對的重大挑戰(zhàn)。 當前，大數據安全領域的相關標準仍處于探索期，涉及電信大數據應 用的安全規(guī)范更是存在較多空白。在缺乏行業(yè)統一安全標準和管理規(guī) 范的情況下，單純依靠企業(yè)自身管控，會帶來較大的安全管控風險。4.電信企業(yè)數據管理能力有待提升，軟件開發(fā)能力短板仍較突出 電信企業(yè)傳統的數據系統是“煙囪”式建設，數據分散在各個系 統中，缺乏統一的數據存儲管理標準，“三域”數據整合仍處于建設 階段，不同領域的數據壁壘仍較為明顯，而且系統改造難度大，短期 內難以改變。同時，現有的數據采集和應用分析能力是基于傳統結構 化數據形成的，難以滿足大數據業(yè)務的海量數據存儲和非結構化多樣 性數據計算要求，數據需求響應速度慢，個性化分析能力不足。此外， 傳統電信業(yè)務的多層級運營架構，難以適應大數據業(yè)務的靈活運營特 點和快速創(chuàng)新趨勢。對我國電信企業(yè)而言，發(fā)展大數據業(yè)務在組織架構、人才儲備和運營流程等方面均面臨較大的轉型調整壓力。二、電信大數據應用的標準化與合規(guī)性（一）電信大數據標準化進展近年來，ITU-T、CCSA 、ISO/IEC、NIST、全國信標委大數據標準 工作組等國內外標準化組織已經積極開展大數據的標準化工作，取得 了一些初步成果。其中 ITU-T 和 CCSA 由于其標準組織性質及參與方 在產業(yè)鏈擔當的角色，更側重電信大數據的標準化工作。1.ITU-TITU-T 的大數據標準化工作主要在 SG13（第 13 研究組）開展。2017-2020 新一研究周期伊始，SG13 的架構進行了重新調整，WP2（第2 工作組）主要專注于云計算和大數據領域的標準化研究，其中包含 Q7（課題 7）、Q17（課題 17）、Q18（課題 18）、Q19（課題 19），各 課題組研究范圍如下表所示:表 1- WP2 工作組課題研究范圍序號課題組研究范圍1Q7大數據驅動的網絡及應用、DPI 相關需求和架構標準化2Q17云計算和大數據的需求、生態(tài)和通用能力標準化3Q18云計算和大數據的功能架構標準化4Q19端到端的云計算管理及安全、大數據治理標準化截止目前，ITU 發(fā)布了 1 項大數據正式標準、1 項補充標準，有 6項正式標準和 2 項補充標準在研。（ 1 ） Y.3600 （ Y.BigData-reqs 大 數 據 - 基 于 云 計 算 的 需 求 和 能 力,Q17/SG13）是 ITU-T 發(fā)布的首項大數據標準，由中國電信主導，法 國電信、韓國電子技術研究院聯合制定。對大數據的定義、特征、生 態(tài)系統、功能需求等進行了標準化。從數據采集、數據預處理、數據 存儲、數據分析、數據可視化、數據管理、數據安全與保護等 7 個方 面詳細定義了大數據的功能需求和能力需求。該標準規(guī)范的內容為 ITU-T 后續(xù)制定大數據系列標準提供基準和參考。（2）Y.Suppl.BigData-RoadMap（大數據標準化路線圖,Q17/SG13） 是 ITU-T 發(fā)布的補充標準，由韓國電子技術研究院牽頭制定，定義了 ITU-T 的大數據標準化路線圖，是電信大數據標準化工作的指導文件。 同時，分析了 ITU-T 及其他國際標準化組織在大數據標準化工作上的 進展，將已發(fā)布或在研標準進行了分類，與 Y.3600 中定義的大數據在 其生命周期的不同處理階段進行了對應，反映了大數據標準化工作的焦點和空白。（3）Y.BigDataEX-reqs（大數據交易框架和需求, Q17/SG13）、 Y.BDaas-arch（大數據即服務的功能架構, Q18/SG13）、Y.bDDN-fr（大 數據驅動的網絡框架，Q7/SG13）、Y.bDDN-reqs, Y.Sup-bDDN-usecase（大數據驅動的網絡需求，大數據驅動的網絡-增補用例，Q7/SG13）、 Y.bDDN-MNTMP（ 大 數 據 驅動 的移 動網 絡 流 量管 理及 網絡 規(guī) 劃 ， Q7/SG13）等 6 項標準目前均處于在研階段。2.CCSACCSA 作為通信標準化研究組織，在 2013 年也開始了電信大數據 相關的標準化工作。在 TC1、TC5、TC7、TC8、TC10、TC11 等工作組， 均有電信大數據相關的標準項目在研，涉及電信大數據需求、應用、 平臺架構、安全、開放、質量管理、測試等方面。發(fā)布行業(yè)標準 1 項，發(fā)布研究課題 1 項，在研行業(yè)標準 5 項，在研研究課題 8 項。（1）移動大數據安全技術研究（研究課題，TC5/WG5）。該項研 究課題由中國聯通牽頭，研究了大數據安全的基本定義、科學內涵、 體系框架、關鍵技術、保障機制、應用場景等內容，明確大數據安全 的研究方向、基本內容、關鍵技術和應用實踐，預測大數據安全的適 用場景和發(fā)展趨勢。目前完成報批稿。（2）電信運營商的大數據應用業(yè)務安全技術要求（行業(yè)標準， TC8/WG2）。該項行業(yè)標準由中國聯通牽頭制定，適用于運營商對外 合作中的各類大數據應用業(yè)務，規(guī)定了運營商大數據應用中的安全框 架與保障機制，包括大數據應用業(yè)務流程與安全管控框架、大數據采 集安全技術要求、大數據存儲安全技術要求、大數據挖掘安全處理技 術要求、大數據輸出審計安全技術要求、大數據傳輸安全技術要求、 大數據運營安全技術要求。目前完成報批稿。（ 3）電信互聯網大數據開放平臺標準化研究（研究課題，TC1/WG4）。該項研究課題由中國信息通信研究院牽頭，中國電信、 中科院計算機網絡信息中心（中國互聯網絡信息中心）、中興通訊、 中科學聲學研究所、華為、上海貝爾、中國聯通參與，結合國內外大 數據技術應用發(fā)展的趨勢和大數據開放平臺的建設實踐，重點圍繞促 進互聯互通、數據安全和隱私保護等目標，系統分析大數據開放平臺 建設、運營、監(jiān)管中的標準化需求，梳理國內外已有研究基礎，提出 標準化研究的思路、目標和下一步工作建議。目前完成征求意見稿。（4）移動互聯網大數據技術研究（研究課題，TC11/WG1）。該 項研究課題由中國聯通牽頭，北京郵電大學、中國電信、上海貝爾參 與，研究了移動互聯網大數據的范圍、數據模型、體系框架、關鍵技 術、保障機制、應用場景等內容，為大數據應用提供技術參考和業(yè)務 發(fā)展建議。目前已發(fā)布。（5）大數據管理功能框架研究（研究課題，TC7/WG3）。該項研 究課題由大唐電信牽頭，北京交通大學、北京郵電大學、北京市天元 網絡技術股份有限公司參與，研究大數據管理框架及描述方法，分析 大數據管理所涉及的功能及活動，為大數據管理相關系統的開發(fā)、選 型提供參考和指導。目前已完成報批稿。（6）中國信息通信研究院牽頭的大數據需求、場景及架構研 究（研究課題,TC1/WG4）、北京交通大學牽頭的大數據運維技術與 標準研究（研究課題，TC7/WG3）、中國聯通牽頭的大數據環(huán)境下 數據質量要求與數據質量評估方法研究（研究課題，TC1/WG4）、中 國聯通牽頭的面向大數據的數據可視化需求與技術研究（研究課題， TC1/WG4）、中國聯通牽頭的基于電信大數據的金融征信技術研究（研究課題，TC11/WG2）、中國信息通信研究院牽頭的大數據基礎平臺測試方法系列標準：可用性、性能、安全、兼容性、運維（行標，TC1/WG4）等標準和研究課題目前均處于征求意見和在研階段。 3.ISO/IECISO/IEC、NIST、全國信標委大數據標準工作組，側重于通用大數據的標準化工作，可適用于電信大數據的各個處理環(huán)節(jié)，并可為其標 準化工作提供指導和借鑒。ISO/IEC JTC1 WG9 是 ISO/IEC 專門設立的大數據工作組，負責開發(fā) 大數據基礎性標準，包括參考架構和術語；識別大數據標準化需求； 同 JTC1 其他工作組及 JTC1 外部其他大數據標準化組織保持聯絡。目 前，WG9 正在研制 ISO/IEC 20546大數據概述及詞匯、ISO/IEC 20547大數據參考架構兩項標準。其中，大數據參考架構又分為框 架和應用過程、用例和衍生需求、參考架構、安全和隱私保護以及標 準路線圖 5 個部分。4.NIST美國國家標準與技術研究院（National Institute of Standard and Technology,NIST）的 NBG-WG 小組是最早開展大數據標準化工作的組 織，在國際上享有很高的聲譽。工作組下設術語和定義、用例和需求、 安全和隱私、參考體系結構和技術路線圖 5 個分組。目前，已經發(fā)布大數據定義、大數據分類、大數據用例和需求、大數據安全 和隱私需求、大數據參考架構調研白皮書、大數據參考架構、大數據路線圖等輸出物 v1.0 版本，同時 v2.0 版本研究工作正在 展開。5.數據中心聯盟大數據發(fā)展促進委員會電信工作組 數據中心聯盟大數據發(fā)展促進委員會（China Big DataCouncil，簡稱 BDC)由工信部、網信辦、發(fā)改委指導，于 2016 年 7 月 1 日正式成立，掛靠于中國通信標準化協會（CCSA）。委員會定位為凝聚內外資 源，加強大數據相關工作的系統性和前瞻性，為政府主管部門、大數 據技術和產品用戶以及供給方搭建一個高端交流合作平臺，務實推動 大數據產業(yè)發(fā)展。委員會由大數據領域的知名企業(yè)家、學者、行業(yè)專 家和致力于大數據發(fā)展的有識之士組成。關注于大數據軟硬件產品、 大數據行業(yè)應用、數據資源流通等關鍵領域，聚焦互聯網、電信、金 融、健康、工業(yè)等垂直行業(yè)，由辦公室統籌大數據委員會的工作進度。在委員會的組織下，由中國信息通信研究院、中國電子科學技術 研究院、中國聯通、中國電信、阿里巴巴、京東、360、世紀互聯、 滴滴出行等 80 多家單位共同發(fā)起數據流通行業(yè)自律公約，公約將 解決數據流通領域長期缺乏行業(yè)規(guī)范問題，標志著該領域初步達成行 業(yè)共識。委員會下設電信大數據工作組，負責電信大數據行業(yè)標準的制定， 評估評測以及應用推廣。電信大數據工作組已經初步完成通信行業(yè)大 數據對外應用的系列聯盟標準。其中，大數據產品能力認證標準包括： Hadoop 平臺基礎能力測試方法 1.0 MPP 數據庫基礎能力測試方法 1.0 Hadoop 平臺性能測試方法 1.0 數據流通應用合規(guī)性標準包括： 數據流通標準：通用標準 數據流通標準：征信類產品及服務標準 數據流通標準：金融風控類產品及服務標準 數據流通標準：數據流通中心數據處理及業(yè)務管理標準 數據流通標準：精準營銷類產品及服務標準 數據流通標準：區(qū)塊鏈應用場景標準 數據流通標準：位置信息類產品及服務標準 目前委員會已經開展了第一輪標準符合性測評并正式發(fā)布測試結果。通過產品能力認證以及數據使用合規(guī)性認證，以標準化的手段 積極推動電信大數據的蓬勃發(fā)展和產業(yè)化推廣。6.全國信標委大數據標準工作組 全國信標委大數據標準工作組于 2014 年 12 月 2 日成立，主要負責制定和完善我國大數據領域的標準體系，組織開展大數據相關技術 和國家標準的研究，組織推進國際標準化活動，對口 ISO/IEC JTC1/WG9 大數據工作組。其下設置 7 個專題組：總體專題組、國際專題組、技 術專題組、產品和平臺專題組、安全專題組、工業(yè)大數據專題組、電 子商務大數據專題組，負責大數據領域不同方向的標準化工作。目前， 正在研制的國家標準有 10 項，主要為大數據整體架構標準，與電信 大數據密切相關的內容較少。（二）電信大數據標準化技術要點隨著大數據的發(fā)展，電信運營商的數據價值得到了充分認同，應 用模式也越來越豐富。但由于電信運營商的數據價值高且涉及到個人 信息的應用，所以在采集、處理、分析、應用及安全管控和組織管理 等關鍵環(huán)節(jié)都有必要根據數據特征、使用流程、應用模式等因素進行 標準化研究，指導電信大數據創(chuàng)新應用。1.數據資源標準化 電信運營商經過多年發(fā)展，積累了大量數據，按照數據的描述內容及主體不同，可以分為用戶數據、企業(yè)內部數據、合作企業(yè)數據和外部數據四類。（1）用戶數據指同電信運營商簽訂服務協議的用戶資料基礎數 據和相關業(yè)務數據，包括個人用戶數據、企業(yè)用戶數據和業(yè)務數據。 其中，個人用戶數據包括用戶姓名、性別、出生日期、身份證號、住 址、電話號碼、固網上網賬號及密碼、客服密碼、單位、職業(yè)、社保、 駕照、終端號、卡號、社交網絡賬號等；企業(yè)用戶數據包括負責人、 聯系人、企業(yè)聯系方式、IP 地址、法人信息等；業(yè)務數據包括使用電 信運營商服務的時間、地點、行為、賬務等信息。（2）企業(yè)內部數據指電信運營商集團、省分公司、直屬單位及 各級 IT 系統的經營、管理、財務、資源、網絡、產品等數據。（3）合作企業(yè)數據指同電信運營商簽訂合同共同發(fā)展服務合作 的基礎數據、渠道數據、業(yè)務發(fā)展數據及各級代理商數據。（4）外部數據指電信運營商通過協議方式進行購買、轉讓、接 入的其他企業(yè)和機構的數據。包括具有獨立法人資格的全資子公司、 合資公司及合作機構等外部單位。2.技術處理標準化（1）數據加密方面，敏感數據在采集、存儲、傳輸和應用過程 中應對敏感字段進行脫敏和加密處理，包括電話號碼、姓氏名字、住 址、IMEI 號等，并應對任何數據操作進行日志記錄和留存。數據存儲 方面，分布式塊存儲在替代傳統 RAID 設備方面也有長足進展，分布 式對象存儲則在提供海量廉價存儲容量方面具有極大優(yōu)勢。一是進一 步擴大分布式存儲應用場景，降低大數據存儲成本，仍是電信大數據 存儲的進一步發(fā)展方向。二是需要通過引入 SSD 盤、引入緩存技術等 軟硬件方案進一步提升分布式存儲性能，避免其訪問效率成為影響大 數據處理性能的瓶頸。三是大量 DPI 數據存儲在分布式數據庫系統中，對于實時性要求較高的應用，需要采用分布式內存數據庫。（2）建立大數據能力開放體系，數據集中匯聚，能力分級開放， 應用百花齊放，在整合與清洗很多跨專業(yè)的原始數據的基礎上，進行 統一數據匯聚、統一數據處理、數據模型分層設計，建立標準化的數 據共享服務目錄，滿足各類應用需求。（3）電信基礎數據（如主數據、指標等）缺乏統一的標準和管 控，因為缺乏標準引發(fā)更多的數據重復存放、邏輯關系錯誤、解釋口 徑不一等問題，亟需建立一體化數據管控和數據資產運營管理體系， 實現數據有效治理。平臺建設內容應包括數據查詢，即各種報表和指 標數據；數據資源挖掘，內外部數據使用平臺，對內提供非敏感數據 的匯總、標簽等數據，對外可以用來部署各類挖掘模型，提供用戶需 要的數據結果；接口規(guī)范（SFTPAPI），滿足批量數據傳輸和用戶數據 請求等各類應用需求。3.安全管控標準化（1）建立統一接入平臺。電信運營商在進行對外數據提供時， 應建立統一的數據接入平臺，在軟硬件更新和防護、漏洞掃描等安全 手段基礎上，根據訪問數據和實際業(yè)務的具體情況，設置 IP 控制、 訪問權限控制、測試環(huán)境設置等具體管理手段。（2）對于可以進行產品化的大數據產品，應建立完善、明確的 數據產品體系。產品上線前，應經過業(yè)務部門、法務部門、安全管理 部門的審核，制定相關的管理規(guī)范和實施細則。在產品及服務提供過 程中，應進行運行審查，發(fā)現安全隱患應及時停止，并進行評估和審 核，通過后方可繼續(xù)運行。（3）在數據對外合作時，應簽訂明確的客戶協議、開發(fā)協議、 授權協議等協議，對于用戶授權、數據應用、權責分配、保密責任、接入細節(jié)等內容進行約定，并保留業(yè)務實施過程中的相關記錄作為發(fā)生糾紛時的溯源手段。（4）明確各部門在大數據經營中的責任和義務。設計對象包括 集團公司、法務部門、市場部門、客服部門、信息安全部門、運維部 門、業(yè)務部門等。（5）建立切實可行的考核制度及獎懲措施。將大數據安全納入 部門及個人年度考核指標體系，對于造成數據泄露等安全時間的部門 及個人進行績效扣分、行政處罰，情節(jié)嚴重并觸犯法律法規(guī)的交由司 法機關處理。（三）電信大數據應用合規(guī)性標準化電信運營商經過多年的業(yè)務運營，積累了包括 B 域、O 域、M 域、 DPI、信令、位置等網絡數據，增值業(yè)務、行業(yè)和公眾客戶等應用數 據，終端、渠道、自營平臺等海量數據，涵蓋人、產品、賬務、營銷、 時間、地域、資源和財務等各類要素。隨著內部數據需求和外部單位 數據合作需求的快速增加，數據采集、流通和應用安全風險不斷增大， 為保證數據服務的安全性和合規(guī)性，需要建立健全包括文檔、制度、 流程、技術、人員、審核等全面的標準化手段和保障機制，在保證數 據安全的前提下發(fā)揮數據價值，提升數據服務能力。1.合規(guī)依據 電信大數據合規(guī)應用應嚴格遵守國家、地方及行業(yè)法律法規(guī)，尊重商業(yè)道德及社會公德，踐行相關標準及規(guī)范，不得損害國家利益、 社會公共利益及公民合法權益。電信大數據應用應遵循全國人民代 表大會常務委員會關于加強網絡信息保護的決定、電信和互聯網用 戶個人信息保護規(guī)定（工業(yè)和信息化部令 【第 24 號】）、侵害消費 者權益行為處罰辦法及其他相關法律法規(guī)對個人信息保護的相關規(guī)定。電信大數據對外服務過程中，如金融、交通、旅游、教育等行業(yè)，應同時遵循該行業(yè)，如人民銀行、交通運輸部、國家旅游局、教育部 等監(jiān)管機構關于數據使用的相關法律法規(guī)，在產生沖突時，應當遵循 相對較為嚴苛、級別更高的數據安全管理規(guī)定。2.安全管理制度 電信運營商有義務制定盡可能完善的、切實可行的數據安全管理制度，其內容至少包含數據安全管理辦法、安全組織機制和安全操作 機制三方面內容。數據安全管理辦法中至少應包括完整的數據安全管 理文件、周期性的安全評審管理機制、明確的安全相關部門管理職責 和修訂數據安全管理辦法的機制。數據安全管理機制至少應包括內外 部數據接觸人員的背景審查機制、訪問各類型數據的人員訪問權限控 制和保密協議等機制。數據安全操作機制至少應包括敏感數據在存儲 和傳輸過程中的加密機制、數據系統活平臺訪問控制機制、數據機房 的操作監(jiān)控機制和數據泄露等安全事件的預警及處理機制。3.數據來源及轉移方式 為保證數據采集和使用不超出合理的范圍，保障數據的使用安全和用戶隱私。數據源機構在對外提供數據合作時，應按照合理的產品 形態(tài)及提供方式完成。數據形態(tài)及提供方式主要依據國家標準 GB/Z 28828-2012、電信行業(yè)標準 YD/T 2782-2014、電信和互聯網用戶個 人信息保護規(guī)定以及數據服務輸出領域的相關法規(guī)。數據按照轉移方式分為三類，即禁止對外轉移的數據、安全方式 下可直接對外轉移的數據和安全監(jiān)管環(huán)境中可以使用的數據。禁止對 外轉移的數據包括：揭示個人種族、宗教信仰有關的信息；揭示個人 疾病和病史等與個人健康狀況有關的信息以及與個人性生活有關的 信息；基因、指紋、血型等揭示個人生理標識的信息；交易類服務中的賬號、密碼、密碼保護答案等交易類服務身份標識和鑒權信息；法律、行政法規(guī)規(guī)定禁止轉移的其他信息。安全方式下可直接對外轉移 的數據指數據源機構可以用安全的軟件接口，在取得用戶授權的情況 下，將經過嚴格去隱私化的數據，直接向數據服務機構、第三方支付 機構等合格的數據接受者轉移，直接轉移的數據包含且只包含以下幾 種形式： 以“是否”等二元方式返回的查詢類數據；以“分級”等 方式返回的查詢類數據，且按照查詢數據對分級數量進行相應的數量 規(guī)定；以“分數”等方式返回的經過加工計算后的信息，且確保無法 還原出原始信息。安全監(jiān)管環(huán)境中可以使用的數據是指數據源機構所 管理的用戶數據，除禁止對外轉移的數據外，在取得用戶授權的情況 下，若不屬于安全方式下可直接轉移的數據（分級、分類、分數）， 則必須在安全、可控、被監(jiān)管的環(huán)境中才可以供合格的數據接受者使 用，大量在電信業(yè)務中產生的原始數據以及粗加工后的數據屬于這一 范疇。4.授權內容及流程 為保障用戶的知情權、選擇權，在收集、轉移和使用用戶個人信息時須征得用戶同意。獲取用戶授權可以采用簽署紙質授權協議的方 式，也可以采用短信、網頁、APP 等電子授權方式以及借助技術授權 實現遠程人像授權等新方式?？紤]到信息安全和法律責任要求，每次 數據服務請求均需要授權并將授權記錄進行保存，確保授權信息可追 溯，建議存儲期限不少于 1 年。同時，建議取得用戶授權的機構將授 權記錄傳輸給數據提供和使用的各合作機構共同保存。以備發(fā)生爭議 時可追溯。授權協議向信息主體明確告知相關事項，包括：轉移、使用數據 的目的、使用的業(yè)務范圍和收集方式；數據的類型及范圍；能夠表明數據源機構或其身份的名稱；拒絕提供信息可能出現的后果；提供該信息可能產生的不利后果；個人信息主體的權利；個人信息主體的投 訴渠道。當合格的數據接受者向電信運營商申請使用如下數據類型時，電 信運營商需取得用戶的直接授權方可提供，包括：用戶姓名、身份證 件號碼、工作單位、家庭住址等用戶基本資料的原始數據；用戶電話 號碼、服務賬號、IP 地址、郵箱地址、服務涉及的密碼、口令等非交 易類用戶身份標識和鑒權信息的原始數據；通訊錄、好友列表、群列 表、聯系人的通話記錄等涉及其他個體信息的原始數據；用戶所在經 緯度、地區(qū)代碼、小區(qū)代碼、基站號等用戶位置信息的原始數據。在 市場環(huán)境下，實踐上可以采用數據使用機構面向客戶的一次授權，同 時在電信運營商與數據使用機構的合作協議上明確授權相關責任和 義務。三、電信大數據應用的政策基礎與法律風險（一）電信大數據應用的政策基礎分析對于大數據的運用，政府采取了鼓勵和引導的態(tài)度，國務院及相 關政府部門多次在相關文件中提及大數據及相關運用。第一，推行國家大數據戰(zhàn)略，將大數據提升到關系國民經濟發(fā)展 的新高度。2015 年 9 月國務院發(fā)布的促進大數據發(fā)展行動綱要（以 下稱綱要）中提出信息技術與經濟社會的交匯融合引發(fā)了數據迅 猛增長，數據已成為國家基礎性戰(zhàn)略資源。2015 年 11 月 3 日發(fā)布的中共中央關于制定國民經濟和社會發(fā)展第十三個五年規(guī)劃的建議 提出，拓展網絡經濟空間，推進數據資源開放共享，實施國家大數據 戰(zhàn)略，超前布局下一代互聯網。第二，鼓勵和扶持包括電信等重點領域在確保安全的前提下對大數據開展應用。2017 年 1 月由工信部發(fā)布的大數據產業(yè)發(fā)展規(guī)劃（2016-2020）將電信業(yè)大數據應用放在首位，鼓勵推動包括其在內 的八大行業(yè)領域的大數據應用，并支持電信領域與其他信息化程度較 高的領域之間開展跨行業(yè)的大數據應用。綱要高度重視大數據時 代的網絡安全保障，將電信作為重點領域，在鼓勵發(fā)展創(chuàng)新的同時要 求建設完善重要數據資源和信息系統的安全保密防護體系，防止其收 集的眾多用戶數據受到侵害。2012 年 7 月國務院發(fā)布的“十二五” 國家戰(zhàn)略性新興產業(yè)發(fā)展規(guī)劃構建了高端軟件和新興信息服務產業(yè) 發(fā)展路線圖，提出鼓勵電子政務、金融、電信、保險、交通、廣播電 視等領域重大信息系統的自主研發(fā)。（二）電信大數據應用的法律風險分析目前，大數據的價值凸顯，企業(yè)對數據的收集、使用均日益增多， 我國制定相關立法對此進行約束：第一，數據源層面，立法對用戶數據的收集、使用要求均做出了 規(guī)定。2012 年發(fā)布的全國人大常委會關于加強網絡信息保護的決定（以下稱決定）規(guī)定了網絡服務提供者和其他企事業(yè)單位收集、 使用公民個人信息應當遵循 “規(guī)則明示公開、征得對方同意、確保 信息安全” 的原則。工信部出臺的電信和互聯網用戶個人信息保 護規(guī)定（以下稱信息保護規(guī)定），明確電信業(yè)務經營者、互聯網 信息服務提供者在提供服務的過程中收集、使用用戶個人信息，應當 遵循合法、正當、必要的原則，并要對在提供服務過程中收集、使用 的用戶個人信息的安全負責。網絡安全法中建立了“網絡信息安 全”章節(jié)，明確網絡運營者收集、使用個人信息，應當遵循合法、正 當、必要的原則，公開收集、使用規(guī)則，明示收集、使用信息的目的、方式和范圍，并經被收集者同意。第二，數據流通方面，立法對數據的傳輸、發(fā)布等做出了規(guī)定。決定中明確竊取或者以其他非法方式獲取、出售或者非法向 他人提供公民個人電子信息屬違法犯罪行為。刑法（修正案九）修 改了非法出售、提供個人信息罪名，規(guī)定“違反國家有關規(guī)定，向他 人出售或者提供公民個人信息，情節(jié)嚴重的”行為均為犯罪，不再限 制特殊的主體。網絡安全法也明確禁止任何個人和組織非法出售 或者非法向他人提供個人信息，且限制關鍵信息基礎設施的運營者在 我國境內收集、產生的個人信息必須在境內存儲，確需向境外提供的， 必須由相關部門進行安全評估。第三，在管理方面，立法要求數據控制者從硬件、組織、人員等 各方面對數據的安全進行保障。從硬件方面要求對信息系統實施等級保護。根據 2011 年 1 月 8 日國務院關于廢止和修改部分行政法規(guī)的決定修訂完善的中華 人民共和國計算機信息系統安全保護條例明確對計算機信息系統實 行安全等級保護，違反相關保護要求的，要承擔相應的法律責任。同 步修訂完善的計算機信息網絡國際聯網安全保護管理辦法則對計 算機信息網絡國際聯網的安全保護進行了規(guī)定，任何單位和個人不得 利用國際聯網危害國家安全、泄露國家秘密，不得侵犯國家的、社會 的、集體的利益和公民的合法權益，不得從事違法犯罪活動。從軟件方面要求完善制度、人員等發(fā)面的管理措施。信息保護 規(guī)定要求電信業(yè)務經營者、互聯網信息服務提供者采取確定安全管 理責任、建立安全管理制度、采取防泄密措施等方面的措施防止用戶 個人信息泄露、毀損、篡改或者丟失。從應對風險方面建立了泄露通知制度。信息保護規(guī)定要求電信業(yè)務經營者、互聯網信息服務提供者保管的用戶個人信息發(fā)生或者可能發(fā)生泄露、毀損、丟失的，應當立即采取補救措施；造成或者可 能造成嚴重后果的，應當立即向準予其許可或者備案的電信管理機構 報告，配合相關部門進行的調查處理。網絡安全法規(guī)定網絡運營 者在發(fā)生或者可能發(fā)生個人信息泄露、毀損、丟失的情況時，應當立 即采取補救措施，按照規(guī)定及時告知用戶并向有關主管部門報告。（三）電信大數據應用的法律風險控制策略在相關立法的規(guī)定之下，電信企業(yè)對于大數據的應用應當從以下 方面做好法律風險的規(guī)避：第一，依法建立數據收集、使用和共享安全的管理制度。嚴格規(guī) 范數據收集行為。以顯著方式公開用戶個人數據收集、使用規(guī)則， 收 集用戶個人信息前，應遵守主動告知、明確同意、有限收集的原則。 加強數據使用安全處理。處理數據應僅限于提供服務的目的，不得利 用收集掌握的數據進行可能對用戶權益和國家安全造成危害的大數 據分析處理活動。保障數據共享合作安全。開展數據共享合作應通過 簽訂安全協議等形式，明確規(guī)定合作各方數據安全保護責任。第二，依法構建數據存儲、傳輸的安全保護體系。完善安全防護 體系。健全數據防竊密、防篡改、防泄漏等安全防護技術措施，防范 入侵竊取數據風險。加強重要敏感數據安全管理。用戶口令等敏感個 人信息應加密存儲和傳輸，金融支付類數據的存儲和傳輸應當符合金 融安全有關規(guī)定。嚴格控制數據訪問權限。采取技術措施對內部員工 的數據訪問行為進行權限管理、日志記錄和安全審計。第三，依法建立數據安全事件應急響應機制。對于通信主管部門 通報或