中國移動企業(yè)級大數(shù)據(jù)中心建設(shè)指導意見V1終版資料

1、中國移動企業(yè)級大數(shù)據(jù)中心建設(shè)指導意見為進一步提高中國移動互聯(lián)網(wǎng)戰(zhàn)略的服務(wù)能力，對內(nèi)驅(qū)動企業(yè)管理的精細化、智能化，對外提供信息服務(wù)型產(chǎn)品，實現(xiàn)大數(shù)據(jù)開放后的運營和服務(wù)提升，公司決定在全國范圍內(nèi)實施中國移動企業(yè)級大數(shù)據(jù)中心建設(shè)工作，通過整合全公司數(shù)據(jù)資源，盤活數(shù)據(jù)資產(chǎn)，助力公司第三條曲線的拓展，以服務(wù)“內(nèi)增效、外增收”的整體企業(yè)戰(zhàn)略，保證中國移動在激烈市場競爭中的可持續(xù)發(fā)展。一、建設(shè)要求與重點企業(yè)級大數(shù)據(jù)中心作為中國移動唯一、統(tǒng)一的數(shù)據(jù)采集、處理、服務(wù)和運營的平臺，通過“統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營和統(tǒng)一服務(wù)”，形成集團及各省市公司“多節(jié)點”、“網(wǎng)狀網(wǎng)”形態(tài)的數(shù)據(jù)和服務(wù)共享能力；具備獨立

2、機構(gòu)以承擔平臺建維、數(shù)據(jù)交換、資產(chǎn)管理、應(yīng)用開發(fā)、數(shù)據(jù)服務(wù)和數(shù)據(jù)運營職責。為企業(yè)內(nèi)、外部客戶提供“按需”的服務(wù)能力，輔助企業(yè)決策，彰顯數(shù)據(jù)價值。企業(yè)級大數(shù)據(jù)中心的建設(shè)要求包括三方面：（一）建好組織：建立相對獨立的、專業(yè)的企業(yè)級大數(shù)據(jù)中心管理機構(gòu)，立足公司全局，全面負責企業(yè)級大數(shù)據(jù)平臺的規(guī)劃、建設(shè)、運維，以及數(shù)據(jù)資產(chǎn)管理、產(chǎn)品開發(fā)和數(shù)據(jù)運營等職能。（二）搭好平臺：企業(yè)級大數(shù)據(jù)中心滿足中國移動全部數(shù)據(jù)“統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營、統(tǒng)一服務(wù)”的要求，實現(xiàn)邏輯集中；全部數(shù)據(jù)的采集、處理和存儲分布于多個節(jié)點，進行物理分散，同時實現(xiàn)關(guān)鍵數(shù)據(jù)資產(chǎn)的異地容災(zāi)備份。（三） 做好服務(wù)： 企業(yè)級大數(shù)據(jù)中

3、心能為集團各部門、 專業(yè)基地 （位置等）、專業(yè)公司（咪咕、互聯(lián)網(wǎng)、政企、在線服務(wù)、物聯(lián)網(wǎng)等）、各省公司及外部行業(yè)提供靈活的“按需”服務(wù)。二、建設(shè)重點企業(yè)級大數(shù)據(jù)中心建設(shè)重點要求如下：（一）企業(yè)級大數(shù)據(jù)中心的能力要求為了承接大數(shù)據(jù)中心的基礎(chǔ)平臺管理、數(shù)據(jù)交換、資產(chǎn)管理、應(yīng)用開發(fā)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)運營六個職責，在大數(shù)據(jù)平臺技術(shù)架構(gòu)層面提供數(shù)據(jù)基礎(chǔ)服務(wù)能力、系統(tǒng)平臺管理能力、數(shù)據(jù)資產(chǎn)管理能力和應(yīng)用共享開放能力四個部分：數(shù)據(jù)基礎(chǔ)服務(wù)能力：數(shù)據(jù)基礎(chǔ)服務(wù)能力是大數(shù)據(jù)平臺的基礎(chǔ)，包含數(shù)據(jù)采集功能、 數(shù)據(jù)存儲運算功能、 數(shù)據(jù)交互功能。 數(shù)據(jù)采集需包括來自 BSSBSS、OSSOSS、MSSMSS 的基礎(chǔ)數(shù)據(jù)、來

4、自于用戶上網(wǎng)行為的 DPIDPI 二次解析數(shù)據(jù)以及來自外部的第三方數(shù)據(jù)的數(shù)據(jù)采集。數(shù)據(jù)存儲運算功能可根據(jù)數(shù)據(jù)類型及應(yīng)用采用不同類型的數(shù)據(jù)庫技術(shù)實現(xiàn)對不同價值、規(guī)模、時效性的數(shù)據(jù)差異化存儲和運算。數(shù)據(jù)交互功能是實現(xiàn)不同形式的數(shù)據(jù)存儲之間的數(shù)據(jù)交系統(tǒng)平臺管理能力：大數(shù)據(jù)平臺需具備系統(tǒng)平臺管理能力,提供對大數(shù)據(jù)平臺的軟件和硬件資源的管理，包括諸如資源管理、負載管理、配額管理以及計量管理等。通過系統(tǒng)平臺管理能力大數(shù)據(jù)平臺管理者可以根據(jù)租戶提出的平臺資源和能力的中請進行資源分配、監(jiān)控、動態(tài)調(diào)整以及資源開銷核算。數(shù)據(jù)資產(chǎn)管理能力： 數(shù)據(jù)資產(chǎn)管理能力包括數(shù)據(jù)質(zhì)量管理、 數(shù)據(jù)安全管理等。數(shù)據(jù)安全管理提供跨租戶

5、、跨時間、跨平臺、跨任務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控與管理。數(shù)據(jù)安全管理能力對大數(shù)據(jù)平臺的使用者進行相關(guān)的賬號、授權(quán)、鑒權(quán)等設(shè)置。應(yīng)用共享開放能力：為支持應(yīng)用開發(fā)者高效、安全、規(guī)范的進行應(yīng)用開發(fā)，大數(shù)據(jù)平臺需要具有應(yīng)用開放能力，應(yīng)用開放能力包括開發(fā)者管理門戶、統(tǒng)一調(diào)度平臺等功能。通過開發(fā)者管理門戶實現(xiàn)注冊認證、資源申請、數(shù)據(jù)申請、開發(fā)上線功能的管理。統(tǒng)一調(diào)度平臺需集成圖形化的開發(fā)界面，通過統(tǒng)一封裝的函數(shù)庫提供類 SQLSQL 的開發(fā)語言，以屏蔽底層差異性，降低業(yè)務(wù)人員的開發(fā)門檻，實現(xiàn)快速的業(yè)務(wù)開發(fā)。（二）企業(yè)級大數(shù)據(jù)中心的技術(shù)架構(gòu)按照“邏輯統(tǒng)一，物理分離”的原則構(gòu)建全國統(tǒng)一的多域融合企業(yè)級大數(shù)據(jù)中心。在云資

6、源池基礎(chǔ)上按照“1+311+31”方式在總部和省公司分別建設(shè)總部節(jié)點和省級節(jié)點?？偛抗?jié)點采集總部系統(tǒng)和專業(yè)公司系統(tǒng)以及全國性、總體性對外業(yè)務(wù)合作的外部數(shù)據(jù)；省級節(jié)點采集省內(nèi)系統(tǒng) BSSBSS、MSSMSS、OSSOSS 三域及其它系統(tǒng)數(shù)據(jù)、省級對外業(yè)務(wù)合作的外部數(shù)據(jù)。總部節(jié)點和省級節(jié)點之間通過輕度匯總和高價值詳單數(shù)據(jù)接口進行數(shù)據(jù)交互，逐步形成全國共享、按需服務(wù)、形成大數(shù)據(jù)的良性生態(tài)圈，對內(nèi)對外提供數(shù)據(jù)、平臺和應(yīng)用服務(wù)利用現(xiàn)有集中化經(jīng)分系統(tǒng)， 向企業(yè)級大數(shù)據(jù)中心演進， 利用省公司現(xiàn)有經(jīng)分系統(tǒng)能力，演進為省公司大數(shù)據(jù)中心，合理利用現(xiàn)有資源，實現(xiàn)大數(shù)據(jù)中心能力的快速搭建和提升，打造“DW+MPP+H

7、adoopDW+MPP+Hadoop”混搭技術(shù)架構(gòu)。HadoopHadoop:承載大數(shù)據(jù)中心的 ETLETL 功能，實現(xiàn)三域數(shù)據(jù)定時、實時數(shù)據(jù)處理；承載清單、網(wǎng)絡(luò)信令、非結(jié)構(gòu)化數(shù)據(jù)等基礎(chǔ)數(shù)據(jù)處理；建立企業(yè)級統(tǒng)一標準模型，弁且對外提供明細查詢服務(wù)。采用 HadoopHadoop 技術(shù)和 PCPC 服務(wù)器架構(gòu)解決數(shù)據(jù)量大、數(shù)據(jù)多樣的問題；夕像應(yīng)用缶部門春地專業(yè)公司也專制fl聃.由北WIKIICI明*-一圖1中國移動企業(yè)級大數(shù)據(jù)中心的體系架構(gòu)外部MPPMPP: :是使用 SQLSQL 進行結(jié)構(gòu)化大數(shù)據(jù)處理和分析最好的技術(shù)選擇，具有高弁發(fā)、支持多表聯(lián)合復雜查詢、高安全等優(yōu)勢。DW:DW:傳統(tǒng)數(shù)據(jù)庫，面

8、向企業(yè)級高性能數(shù)據(jù)處理，進行復雜匯總分析運算。采用高性能庫和傳統(tǒng)小機架構(gòu)提升數(shù)據(jù)分析性能，集中保障集團、省級應(yīng)用。企業(yè)級大數(shù)據(jù)中心各節(jié)點按照能力需求劃分為數(shù)據(jù)源、資源池層、數(shù)據(jù)采集/分發(fā)層、數(shù)據(jù)計算和存儲層、能力開放層、數(shù)據(jù)運維和管理數(shù)據(jù)、數(shù)據(jù)應(yīng)用。圖2企業(yè)級大數(shù)據(jù)中心節(jié)點功能結(jié)構(gòu)數(shù)據(jù)源數(shù)據(jù)源包括企業(yè)內(nèi)部 BSSBSS 域、OSSOSS 域、MSSMSS 域各系統(tǒng)的清單級和匯總級數(shù)據(jù)，以及企業(yè)外部系統(tǒng)的數(shù)據(jù)。重點接入 LTELTE 的 XDRXDR 數(shù)據(jù)，實現(xiàn) O O 域、M M 域及外部數(shù)據(jù)源與現(xiàn)有 B B 域數(shù)據(jù)的融合;資源池層采用云計算、 虛擬化技術(shù)整合計算、 存儲和網(wǎng)絡(luò)等硬件資源向上提

9、供服務(wù)。數(shù)據(jù)采集和分發(fā)以離線批抽取和在線實時抽取方式從數(shù)據(jù)源系統(tǒng)采集數(shù)據(jù)， 將采集數(shù)據(jù)或DPDPI I二次解析后的數(shù)據(jù)按照數(shù)據(jù)種類分發(fā)至負責數(shù)據(jù)計算和存儲的各類集群，并協(xié)調(diào)各集群之間的數(shù)據(jù)同步。數(shù)據(jù)計算和存儲為適應(yīng)各類海量結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)的計算和存儲要求的多種集群。包括面向批處理的 HadoopHadoop 集群(MRMR, ,SparkSpark, ,用于 ETLETL) )、面向文件存儲和查詢的 HadoopHadoop集群( (HDFS,Hbase,HiveHDFS,Hbase,Hive)、 流處理集群( (Storm/SparkStreamingStorm/SparkStreami

10、ng) )傳統(tǒng)數(shù)據(jù)倉庫集群 DWDW、MPPMPP 數(shù)據(jù)倉庫集群、內(nèi)存數(shù)據(jù)庫集群。各集群數(shù)據(jù)流向呈交叉網(wǎng)狀，應(yīng)支持資源的多租戶調(diào)用。能力開放層從數(shù)據(jù)、APIAPI、工具三個層次對外提供服務(wù)。透明數(shù)據(jù)層在各類數(shù)據(jù)計算和存儲集群之上提供一個面向各類應(yīng)用的統(tǒng)一數(shù)據(jù)訪問能力，屏蔽各計算和存儲集群的復雜性。OPENAPIOPENAPI 以接口方式封裝各類數(shù)據(jù)計算和存儲集群的能力，供各類應(yīng)用調(diào)用。并提供自助報表、OLAPOLAP 工具、SAS/SPSSSAS/SPSS 數(shù)據(jù)挖掘、IDEIDE 等工具類服務(wù)。數(shù)據(jù)運維和管理包含數(shù)據(jù)資產(chǎn)管理、元數(shù)據(jù)管理、統(tǒng)一調(diào)度、多租戶管理、資源池運營、權(quán)限管理、安全管理、系

11、統(tǒng)運維管理。數(shù)據(jù)應(yīng)用架構(gòu)上對數(shù)據(jù)和應(yīng)用進行解耦，各類應(yīng)用（不同的應(yīng)用開發(fā)商）通過能力開放層的服務(wù)使用數(shù)據(jù)。應(yīng)用涵蓋企業(yè)內(nèi)、外部，包括報表、查詢、統(tǒng)計、分析、挖掘，對外價值變現(xiàn)等?；谝陨洗髷?shù)據(jù)平臺重點支撐的需求，系統(tǒng)技術(shù)架構(gòu)應(yīng)包括數(shù)據(jù)源、數(shù)據(jù)采集與處理、數(shù)據(jù)存儲、數(shù)據(jù)應(yīng)用四個主要組成模塊。梳理大數(shù)據(jù)平臺系統(tǒng)應(yīng)具備的關(guān)鍵技術(shù)，深入研究各項大數(shù)據(jù)關(guān)鍵技術(shù)，為未來公司級大數(shù)據(jù)平臺建設(shè)實施工作提供技術(shù)儲備和參考圖2企業(yè)級大數(shù)據(jù)中心的技術(shù)架構(gòu)（四）企業(yè)及大數(shù)據(jù)中心對外服務(wù)的模式與場景企業(yè)級大數(shù)據(jù)中心對外提供 SaaSSaaS、PaaSPaaS、DaaSDaaS 的服務(wù)模式，將大數(shù)據(jù)采集、存儲和處理的基礎(chǔ)

12、能力以及數(shù)據(jù)本身開放給個性化應(yīng)用的開發(fā)者，這些開發(fā)者可利用開放的能力，開發(fā)個性化應(yīng)用（或數(shù)據(jù)）；將大數(shù)據(jù)的應(yīng)用（或數(shù)據(jù)）提供給公司業(yè)務(wù)部門、網(wǎng)絡(luò)部門以及外部行業(yè)客戶。圖3企業(yè)級大數(shù)據(jù)中心對外服務(wù)模式大數(shù)據(jù)中心對外提供服務(wù)的模式分為三種：SaaSSaaS、PaaSPaaS 和DaaSDaaSoSaaSSaaS（SoftwareasaServiceSoftwareasaService,“軟件即服務(wù)”）是按需求進行應(yīng)用開發(fā)，提供指標、報表或?qū)ｎ}分析，以應(yīng)用的方式提供給需求方使用。使用者通常為無自行開發(fā)能力的需求方。應(yīng)用場景舉例：1 1）市場部通過自助服務(wù)、即席查詢等方式自行分析；2 2）大數(shù)據(jù)平臺運

13、營方開發(fā)業(yè)務(wù)統(tǒng)計報表供市場部、財務(wù)部等部門作為決策和管理依據(jù)。PaaSPaaS（PlatformasaServicePlatformasaService 平臺即服務(wù)）提供給使用者部署應(yīng)用到云基礎(chǔ)設(shè)施上的能力，這些應(yīng)用是使用者通過使用平臺支持的編程語言和提供的開發(fā)工具創(chuàng)建或采購的。PaaSPaaS 使用者不必關(guān)心底層云基礎(chǔ)設(shè)施（包括網(wǎng)絡(luò)，服務(wù)器，操作系統(tǒng)，或存儲），但需關(guān)心所部署的應(yīng)用，并可能控制應(yīng)用環(huán)境的配置。使用者為有個性化需求、深度需求，利用平臺工具和數(shù)據(jù)，自行組織應(yīng)用開發(fā)的內(nèi)部需求者、合作伙伴以及外部數(shù)據(jù)需求方。應(yīng)用場景舉例：網(wǎng)絡(luò)部第三方廠商利用大數(shù)據(jù)平臺直接調(diào)用三域融合數(shù)據(jù)，利用其歸屬

14、租戶存儲其分析數(shù)據(jù)，通過統(tǒng)一 IDEIDE 開發(fā)其應(yīng)用，以 APIAPI 接口方式與其原有應(yīng)用對接。DaasDaas（DataasaService,DataasaService,數(shù)據(jù)即服務(wù)）是對各種數(shù)據(jù)進行不同程度“數(shù)據(jù)封裝”，通過各種服務(wù)方式向不同應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)，滿足企業(yè)內(nèi)外部用戶的多樣性數(shù)據(jù)請求。建立數(shù)據(jù)服務(wù)請求和數(shù)據(jù)之間標準化的訪問接口，提升與內(nèi)外部系統(tǒng)的互動和信息共享能力。使用者為有個性化需求、深度需求，需要從大數(shù)據(jù)平臺獲取數(shù)據(jù)，自行組織軟硬件資源以及應(yīng)用開發(fā)的內(nèi)部需求者、合作伙伴以及外部數(shù)據(jù)需求方。應(yīng)用場景舉例：1 1、開發(fā)者通過數(shù)據(jù)集成平臺進行批量數(shù)據(jù)的準備與接口配置。2 2

15、、開發(fā)者通過數(shù)據(jù)封裝平臺將準備好的數(shù)據(jù)封裝成相應(yīng)的查詢接口。3 3、開發(fā)者通過消息中間件平臺提供的接入、接出能力進行接口配置。4 4、開發(fā)者將以上 3 3 類接口，注冊到服務(wù)集成平臺中，形成數(shù)據(jù)服務(wù)訪問接口。5 5、上層應(yīng)用（或外部系統(tǒng)），），通過服務(wù)集成平臺查看數(shù)據(jù)服務(wù)接口信息，并調(diào)用。企業(yè)級大數(shù)據(jù)平臺的數(shù)據(jù)膨脹給整個開發(fā)、架構(gòu)、運維體系都難已承載巨量的數(shù)據(jù)，對平臺支撐以及系統(tǒng)管理能力帶來巨大的挑戰(zhàn)，同時數(shù)據(jù)是企業(yè)最核心的資產(chǎn)，如何有效進行數(shù)據(jù)的保值和增值，需要建立大數(shù)據(jù)中心的數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)運營管理體系，實現(xiàn)數(shù)據(jù)管理的降本增效，提升數(shù)據(jù)管理能力與數(shù)據(jù)價值。企業(yè)級大數(shù)據(jù)中心數(shù)據(jù)治理包括數(shù)據(jù)

16、標準管理、數(shù)據(jù)運維、數(shù)據(jù)資產(chǎn)運營和數(shù)據(jù)資產(chǎn)應(yīng)用，通過進行全面數(shù)據(jù)模型梳理、優(yōu)化，實現(xiàn)數(shù)據(jù)資產(chǎn)的可視、可控，建立全流程的開發(fā)維護規(guī)范和流程，支撐面向內(nèi)部應(yīng)用和對外服務(wù)的數(shù)據(jù)管理應(yīng)用。企業(yè)級大數(shù)據(jù)中心的數(shù)據(jù)資產(chǎn)包括基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)模型、挖掘模型、數(shù)據(jù)字典、元數(shù)據(jù)及數(shù)據(jù)分析報告等方面。(1)(1)數(shù)據(jù)標準管理當前大數(shù)據(jù)時代下， 數(shù)據(jù)作為企業(yè)最有價值的核心資產(chǎn)， 成為企業(yè)間競爭的核心因素；企業(yè)級大數(shù)據(jù)中心將不斷引入三域數(shù)據(jù)、企業(yè)外部數(shù)據(jù)等海量結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)管理、運維難度加大，亟需建立大數(shù)據(jù)平臺完整的數(shù)據(jù)規(guī)則管理、標準開發(fā)以及運維體系：數(shù)據(jù)規(guī)則管理體系須加強大數(shù)據(jù)中心的數(shù)據(jù)管控， 增強數(shù)據(jù)模型

17、設(shè)計、 數(shù)據(jù)字典規(guī)則設(shè)置等管理流程標準化、規(guī)范化。標準開發(fā)體系支撐面向 PAASPAAS 服務(wù)開放的圖形化開發(fā)工具，支持應(yīng)用商在企業(yè)級大數(shù)據(jù)平臺進行開發(fā)、調(diào)用，面向多租戶實現(xiàn)圖形化的開發(fā)界面及統(tǒng)一封裝函數(shù)庫的集成；通過可視化拖拽方式對 APIAPI進行編排，實現(xiàn)數(shù)據(jù)建模過程，滿足業(yè)務(wù)部門自助開發(fā)的需求。運用類 SQLSQL 語言實現(xiàn)傳統(tǒng) DBDB、 HADOOPHADOOP、 MPPMPP 等平臺的統(tǒng)一操作， 屏蔽差異。標準運維體系解決大數(shù)據(jù)平臺各系統(tǒng)串行調(diào)度模式無法滿足多平臺協(xié)作、 大并發(fā)處理的要求，通過對各平臺數(shù)據(jù)處理任務(wù)基于輸入表解耦，簡化調(diào)度配置及監(jiān)控運維工作，提高了整體執(zhí)行效率。(2

18、)(2)元數(shù)據(jù)管理元數(shù)據(jù)管理屬于企業(yè)級大數(shù)據(jù)中心的數(shù)據(jù)管理域的基礎(chǔ)模塊， 基于元數(shù)據(jù)的關(guān)聯(lián)分析能力和圖形化展現(xiàn)能力，通過元數(shù)據(jù)OpenAPIOpenAPI 實現(xiàn)能力開放，為大數(shù)據(jù)中心的數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)開發(fā)共享、數(shù)據(jù)安全和業(yè)務(wù)應(yīng)用提供輔助功能支撐，提升企業(yè)大數(shù)據(jù)平臺的運維管理水平和用戶感知。企業(yè)級大數(shù)據(jù)中心的元數(shù)據(jù)包括技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)三類， 涵蓋大數(shù)據(jù)中心的數(shù)據(jù)源、 資源池層、數(shù)據(jù)采集和分發(fā)、數(shù)據(jù)計算和存儲、能力開放層和數(shù)據(jù)應(yīng)用層。與傳統(tǒng)數(shù)據(jù)倉庫相比，企業(yè)級大數(shù)據(jù)平臺元數(shù)據(jù)管理的差異主要體現(xiàn)在兩個方面：分布式存儲和計算框架企業(yè)級大數(shù)據(jù)中心采用 MPPMPP 數(shù)據(jù)

19、庫、HadoopHadoop 分布式存儲和計算框架，以降低數(shù)據(jù)存儲和處理成本，提升系統(tǒng)橫向擴展能力，支持互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展和大批量數(shù)據(jù)處理分析的需要。數(shù)據(jù)源接口文件以 HDFSHDFS 文件的形式進入 HadoopHadoop 平臺，經(jīng)過一到多個步驟的 ETETL L處理后進入 HIVEHIVE、HBASEHBASE 或者 MPPMPP 數(shù)據(jù)庫中。與傳統(tǒng)數(shù)據(jù)倉庫相比，大數(shù)據(jù)平臺的數(shù)據(jù)實體數(shù)量更龐大，數(shù)據(jù)處理過程更復雜。多租戶環(huán)境在大數(shù)據(jù)平臺多租戶環(huán)境下，要求元數(shù)據(jù)管理模塊為每個租戶分別提供邏輯上獨立的元數(shù)據(jù)存儲庫、元數(shù)據(jù)獲取功能、管理功能和應(yīng)用功能。每個租戶可以通過調(diào)用元數(shù)據(jù)管理模塊的 OpenA

20、PIOpenAPI 實現(xiàn)元數(shù)據(jù)的擴展管理功能和應(yīng)用功能，租戶之間可以通過共享沙箱實現(xiàn)元數(shù)據(jù)的共享訪問。(3)(3)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理是企業(yè)級大數(shù)據(jù)平臺數(shù)據(jù)管理域的核心子系統(tǒng)之一，提供數(shù)據(jù)質(zhì)量監(jiān)控、告警、 問題分析處理和數(shù)據(jù)質(zhì)量評估等功能，旨在建立大數(shù)據(jù)平臺數(shù)據(jù)加載處理和應(yīng)用各個關(guān)鍵環(huán)節(jié)、關(guān)鍵實體的數(shù)據(jù)質(zhì)量監(jiān)控預(yù)警機制， 及時發(fā)現(xiàn)、報告、 處理大數(shù)據(jù)平臺中的數(shù)據(jù)質(zhì)量問題，保障大數(shù)據(jù)平臺的數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量管理目標是保障企業(yè)級大數(shù)據(jù)平臺數(shù)據(jù)準確性、合法性、及時性等，并為大數(shù)據(jù)平臺運維人員提供數(shù)據(jù)的波動性、平衡性、合理性等管理手段，管理范圍涵蓋大數(shù)據(jù)中心的數(shù)據(jù)源、資源池層、數(shù)據(jù)采集和分發(fā)、數(shù)據(jù)

21、計算和存儲、能力開放層和數(shù)據(jù)應(yīng)用層。三、建設(shè)實施原則為了保障企業(yè)級大數(shù)據(jù)中心的順利建設(shè)， 要求按照如下六項原則進行推進：1 1、統(tǒng)一原則：以“建好組織、搭好平臺、做好服務(wù)”為目標，實現(xiàn)統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營、統(tǒng)一服務(wù);2 2、開放原則：借鑒互聯(lián)網(wǎng)思維，強調(diào)開放、協(xié)作、共享，打造開放的“和生態(tài)”；3 3、先進原則：積極研究、引入先進技術(shù)及經(jīng)驗，建設(shè)“低成本、高效率”的大數(shù)據(jù)中心；4 4、安全原則：強化流程管理和日常監(jiān)控，保障信息安全；建立異地容災(zāi)平臺，保護企業(yè)關(guān)鍵數(shù)據(jù)資產(chǎn)；5 5、利舊原則：充分考慮現(xiàn)有系統(tǒng)、平臺在架構(gòu)、數(shù)據(jù)、應(yīng)用、運維和人員等方面的儲備和積累，把已有的資源盡量充

22、分復用或利舊，降低整體成本；6 6、漸進原則：統(tǒng)一規(guī)劃、分步實施，逐步優(yōu)化組織機構(gòu)，完善平臺能力，提升服務(wù)能力，穩(wěn)步推進企業(yè)級大數(shù)據(jù)中心建設(shè)。四、組織架構(gòu)及職責、崗位建議（一）企業(yè)級大數(shù)據(jù)中心組織保障建議為了保障企業(yè)級大數(shù)據(jù)運營工作，盡快發(fā)揮數(shù)據(jù)價值，根據(jù)當前各省公司實際發(fā)展現(xiàn)狀，對組織架構(gòu)建議如下：目標方案：各省公司由總經(jīng)理或分管副總經(jīng)理擔任公司 CIOCIO（首席信息官）一職，統(tǒng)籌大數(shù)據(jù)相關(guān)工作，并增設(shè)二級部門“大數(shù)據(jù)中心”。大數(shù)據(jù)中心由具有市場、網(wǎng)絡(luò)、財務(wù)等專業(yè)技能人員聯(lián)合組成，承擔大數(shù)據(jù)平臺的規(guī)劃、建設(shè)、維護及運營職能；過渡方案：各省公司在業(yè)務(wù)支撐系統(tǒng)部下設(shè)二級副部門“大數(shù)據(jù)中心”。大

23、數(shù)據(jù)中心由業(yè)務(wù)支撐中心人員為主組成，承擔大數(shù)據(jù)平臺的規(guī)劃、建設(shè)及維護職能。推薦各省選用目標方案。 存在相關(guān)困難的， 可以以過渡方案逐步演進。（二）大數(shù)據(jù)中心職責大數(shù)據(jù)中心職責如下：一、負責大數(shù)據(jù)平臺的規(guī)劃、大數(shù)據(jù)技術(shù)演進的研究、大數(shù)據(jù)平臺的建設(shè)和維護、以及相關(guān)系統(tǒng)、數(shù)據(jù)等安全規(guī)劃和實施；二、制定大數(shù)據(jù)管理相關(guān)規(guī)章制度，構(gòu)建完善的數(shù)據(jù)治理體系，實現(xiàn)跨域數(shù)據(jù)的元數(shù)據(jù)、數(shù)據(jù)模型管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)生命周期管理等；三、負責大數(shù)據(jù)產(chǎn)品的研發(fā)，覆蓋產(chǎn)品設(shè)計、開發(fā)和運營，以及效果后評估全流程管理，包括數(shù)據(jù)產(chǎn)品商品化過程的管理，以及數(shù)據(jù)服務(wù)的計費；四、負責大數(shù)據(jù)產(chǎn)品售前、售中、售后的一體化支撐，探索大數(shù)據(jù)

24、對內(nèi)部各部門的服務(wù)模式，以及對外在各行業(yè)的解決方案以及商業(yè)模式，形成大數(shù)據(jù)應(yīng)用的產(chǎn)品。（三）與現(xiàn)有職能部門的關(guān)系大數(shù)據(jù)中心通過統(tǒng)一采集企業(yè)內(nèi)外部各數(shù)據(jù)源系統(tǒng)數(shù)據(jù)，通過加工處理后形成大數(shù)據(jù)服務(wù)產(chǎn)品，為內(nèi)部各相關(guān)部門及外部實體提供服務(wù)。與數(shù)據(jù)源管理部門的關(guān)系：大數(shù)據(jù)中心作為企業(yè)級數(shù)據(jù)資源池， 與數(shù)據(jù)源管理部門協(xié)調(diào)制定數(shù)據(jù)獲取標準，統(tǒng)一采集 B B 域、O O 域、M M 域數(shù)據(jù)。數(shù)據(jù)源管理部門包括：業(yè)支、網(wǎng)管、數(shù)據(jù)、業(yè)務(wù)基地、財務(wù)、人力等。同時，根據(jù)對外服務(wù)需要，接入外部數(shù)據(jù)源提供的相關(guān)數(shù)據(jù)。數(shù)據(jù)源管理部門負責參照標準數(shù)據(jù)獲取標準，及時、準確地提供數(shù)據(jù)。與內(nèi)部服務(wù)部門的關(guān)系：大數(shù)據(jù)中心為內(nèi)部各服務(wù)

25、部門提供大數(shù)據(jù)產(chǎn)品服務(wù)，服務(wù)對象部門包括：市場、集客、數(shù)據(jù)、網(wǎng)絡(luò)、財務(wù)、審計、人力、計劃等。內(nèi)部各服務(wù)部門負責提交業(yè)務(wù)需求及產(chǎn)品使用效果反饋。與外部服務(wù)對象的關(guān)系：大數(shù)據(jù)中心提供面向外部對象的行業(yè)應(yīng)用產(chǎn)品及信息服務(wù),服務(wù)對象包括：政府機關(guān)、各企事業(yè)單位、個人等。(四)崗位人員建議設(shè)置(1)(1)崗位設(shè)置基于大數(shù)據(jù)中心職責要求，建議配置如下崗位：平臺規(guī)劃、建設(shè)和維護類：包括：平臺架構(gòu)崗位、技術(shù)開發(fā)崗位、平臺維護崗位。數(shù)據(jù)運營類：包括：數(shù)據(jù)保障崗位、業(yè)務(wù)分析崗位、數(shù)據(jù)挖掘崗位和數(shù)據(jù)產(chǎn)品崗位。各崗位具體職責如下：平臺架構(gòu)崗位負責平臺建設(shè)和技術(shù)保障，包括：大數(shù)據(jù)平臺規(guī)劃設(shè)計、大數(shù)據(jù)平臺運營管理、數(shù)據(jù)平

26、臺相關(guān)技術(shù)保障、測試平臺的維護。技術(shù)開發(fā)崗位負責大數(shù)據(jù)平臺的技術(shù)研究、開發(fā)和改進，包括平臺軟件、中間件等設(shè)計、開發(fā)。平臺維護崗位負責大數(shù)據(jù)平臺的系統(tǒng)維護、業(yè)務(wù)維護，包括：系統(tǒng)監(jiān)控、系統(tǒng)優(yōu)化、業(yè)務(wù)監(jiān)控和業(yè)務(wù)優(yōu)化。數(shù)據(jù)保障崗位負責數(shù)據(jù)的加載以及數(shù)據(jù)質(zhì)量保障，包括：各類數(shù)據(jù)的加載、數(shù)據(jù)質(zhì)量的保障、信息安全的保障、數(shù)據(jù)能力的開放。業(yè)務(wù)分析崗位負責業(yè)務(wù)分析和需求導入，包括：業(yè)務(wù)調(diào)研、需求分析、跨部門溝通、相關(guān)業(yè)務(wù)運營。數(shù)據(jù)挖掘崗位培養(yǎng)數(shù)據(jù)科學家。負責大數(shù)據(jù)建模和創(chuàng)新，包括：大數(shù)據(jù)分析、大數(shù)據(jù)建模、大數(shù)據(jù)挖掘、機器學習。產(chǎn)品經(jīng)理崗位負責大數(shù)據(jù)產(chǎn)品的設(shè)計策劃、開發(fā)、營銷，包括：產(chǎn)品運營、數(shù)據(jù)服務(wù)、可視化和平

27、臺產(chǎn)品的設(shè)計、行業(yè)解決方案和運營。(2)(2)角色設(shè)置大數(shù)據(jù)技術(shù)和應(yīng)用對公司的人才培養(yǎng)提出了新的要求，傳統(tǒng)的技術(shù)人才已經(jīng)無法滿足大數(shù)據(jù)變現(xiàn)的需要，因此，公司需要物色和培養(yǎng)大數(shù)據(jù)相關(guān)的專業(yè)人才。在大數(shù)據(jù)運營的過程中，中國移動自有技術(shù)力量不可或缺，必須具有掌握核心架構(gòu)的人員，與業(yè)務(wù)、流程和分析相關(guān)的內(nèi)容也應(yīng)該自我掌控。結(jié)合國內(nèi)外電信運營商的先進經(jīng)驗，企業(yè)級大數(shù)據(jù)中心需要具備以下類型的人員：運營分析師：按照公司領(lǐng)導和業(yè)務(wù)部門的需求，深入分析和挖掘數(shù)據(jù)，形成專題分析報告；數(shù)據(jù)科學家：建立各種數(shù)據(jù)挖掘模型，進行數(shù)據(jù)的深度分析；數(shù)據(jù)管理員：制定數(shù)據(jù)規(guī)范，實施“數(shù)據(jù)治理”，及時解決數(shù)據(jù)質(zhì)量問題；數(shù)據(jù)建模師：

28、制定標準的數(shù)據(jù)模型，確保數(shù)據(jù)模型的一致性，評估邏輯模型和物理模型的差異和矛盾；數(shù)據(jù)架構(gòu)師：設(shè)計數(shù)據(jù)庫，數(shù)據(jù)模型，ETLETL 過程，數(shù)據(jù)倉庫設(shè)計和數(shù)據(jù)系統(tǒng)的改進。對數(shù)據(jù)架構(gòu)的發(fā)展未來做出決定和建議；技術(shù)架構(gòu)師：緊跟新技術(shù)，組織對產(chǎn)品的測試和選型，負責制定創(chuàng)新架構(gòu)；數(shù)據(jù)咨詢師： 借助我公司的數(shù)據(jù)資源幫助企業(yè)內(nèi)外部的組織實施各類大數(shù)據(jù)項目；數(shù)據(jù)產(chǎn)品師：負責大數(shù)據(jù)產(chǎn)品的設(shè)計策劃、開發(fā)、營銷。(3)(3)人員配置建議借鑒互聯(lián)網(wǎng)公司運營大數(shù)據(jù)平臺的經(jīng)驗， 結(jié)合中國移動現(xiàn)狀建議人員配備分三個階段逐步增強中國移動自有力量，逐步掌握大數(shù)據(jù)平臺的核心技術(shù)、開發(fā)和數(shù)據(jù)運營，分階段降低廠商支撐人員比例。初期階段，以

29、現(xiàn)有廠商合作模式為主，在平臺規(guī)劃和設(shè)計方面增加中國移動自有人員能力和數(shù)量，掌握核心架構(gòu)規(guī)劃和設(shè)計能力，掌控數(shù)據(jù)運營核心環(huán)節(jié)。同時鑒于大數(shù)據(jù)新技術(shù)的復雜性,增加支撐廠商的大數(shù)據(jù)平臺規(guī)劃、建設(shè)和維護人員，以及數(shù)據(jù)運營人員。建議中國移動大數(shù)據(jù)中心規(guī)劃、建設(shè)和維護人員每個省達到 20-3020-30 人，數(shù)據(jù)運營人員 5-105-10 人，廠商支撐人員 65-10065-100 人。移動人員和廠商人員比例達到 1:2.51:2.5 左右。中期階段，逐步增強中國移動自有力量，在掌握核心架構(gòu)和能力基礎(chǔ)上，逐步掌握核心功能的開發(fā)和維護。逐步減少廠商的支撐人員占比。建議中國移動大數(shù)據(jù)中心規(guī)劃、建設(shè)和維護人員達到 50-7050-70 人，數(shù)據(jù)運營 15-3015-30 人，廠商支撐人