大數(shù)據(jù)平臺建設方案技術交流

中國智網(wǎng)創(chuàng)新中心

大數(shù)據(jù)平臺建設方案技術交流1.本期建設目標2.平臺的建設規(guī)劃3.平臺建設技術方案：建設背景、探索歷程、平臺實踐、總結(jié)與展望規(guī)劃思路成功案例現(xiàn)狀分析產(chǎn)品設計干貨附錄1.平臺現(xiàn)狀建設、問題總結(jié)分析、客戶痛點分析1.某省超大規(guī)模集群建設項目2.某省電信全域數(shù)據(jù)融合建設項目1.某省電信數(shù)據(jù)湖實施案例2.數(shù)據(jù)資產(chǎn)管理，數(shù)據(jù)資產(chǎn)運營2.建模分發(fā)

5.統(tǒng)一調(diào)度3.數(shù)說工廠目

錄02040503011.資產(chǎn)注冊

4.數(shù)據(jù)同步1

現(xiàn)狀分析集團大數(shù)據(jù)平臺建設現(xiàn)狀集團現(xiàn)狀：

目前接入全國的O域話單數(shù)據(jù)、

B域用戶數(shù)據(jù)、

M域工參數(shù)據(jù)等基礎數(shù)據(jù)，包括全量信令面、用戶面2G/3G/4G/5G數(shù)據(jù)，數(shù)據(jù)量預估1.2P/天。平臺現(xiàn)有規(guī)模700臺+服務器，預計未來規(guī)模將達到數(shù)千臺服務器。在數(shù)據(jù)層面，數(shù)據(jù)資產(chǎn)管理首先解決的是企業(yè)內(nèi)系統(tǒng)間數(shù)據(jù)孤島的問題，將不同系統(tǒng)中的數(shù)據(jù)進行全面匯集和管理，通過數(shù)據(jù)提煉分析、集中化管理，形成企業(yè)數(shù)據(jù)資產(chǎn)和洞察，服務于業(yè)務，解決了數(shù)據(jù)“匯管用”的問題。在業(yè)務層面，通過對各業(yè)務線的模塊去重和沉淀，共享通用模塊，讓前臺業(yè)務更加敏捷地面向市場，

實現(xiàn)企業(yè)新業(yè)務的快速上線與迭代試錯，服務更多場景，提升業(yè)務響應力。在技術層面，避免重復開發(fā)，技術迭代升級更高效，可按需擴展服務，讓整個技術架構(gòu)更開放。數(shù)字中臺最終的應用價值是在充分市場競爭下，保持并提升企業(yè)的運營效率和創(chuàng)新能力。痛點分析1.數(shù)據(jù)割裂，跨區(qū)域，冒煙式建設，集群很難統(tǒng)一管理。2.數(shù)據(jù)分散、共享困難，數(shù)據(jù)價值釋放有限，無法變現(xiàn)。3.數(shù)據(jù)冗余多、集群數(shù)據(jù)處理效率不高、占用物理資源高，重復建設，成本高。

4.數(shù)據(jù)質(zhì)量有待提升、缺乏端到端的血緣管控，缺乏數(shù)據(jù)治理體系。5.數(shù)據(jù)服務便捷性有待提升，缺一站式數(shù)據(jù)安全取數(shù)體系。6.數(shù)據(jù)挖掘模型不夠豐富，行業(yè)垂直數(shù)據(jù)建模能力相對較弱。建設現(xiàn)狀：集團大數(shù)據(jù)平臺建設現(xiàn)狀各省大數(shù)據(jù)平臺內(nèi)蒙、鄭州大數(shù)據(jù)平臺廊坊

大數(shù)據(jù)

平臺現(xiàn)狀分析數(shù)據(jù)價值挖掘不到位，

專題數(shù)據(jù)模型不夠豐富。多集群異廠家、異部門

建設，跨區(qū)域管控困難。重復建設、重復投資、

運維成本高。數(shù)據(jù)服務便捷性有待提升。數(shù)據(jù)加工不透明，相同指標加工口徑不統(tǒng)一。缺少端到端的血緣數(shù)據(jù)質(zhì)量工具。數(shù)據(jù)割裂、共享困難，

數(shù)據(jù)價值釋放有限。散分亂理治無建設背景：集團痛點l全域數(shù)據(jù)匯聚和管理中心

，沉淀了海量的計算能力、存儲能力、數(shù)據(jù)能力。l面臨著如何實現(xiàn)資源智能調(diào)度、最大化利用、能力共享

，進一步賦能各類合作伙伴應用創(chuàng)新、促進數(shù)據(jù)價值變現(xiàn)的發(fā)展瓶頸。數(shù)據(jù)中臺數(shù)據(jù)能力AI能力空間數(shù)

據(jù)能力資源能力基于容器云的數(shù)據(jù)中心操作系統(tǒng)創(chuàng)新驅(qū)動1

構(gòu)建能力共享生態(tài)2急需支持租戶自助使

用云化大數(shù)據(jù)相關資

源，賦能創(chuàng)新3保障數(shù)據(jù)安全開放自身優(yōu)化計算/存儲資源使用不均衡資源彈性調(diào)度不足技術組件支撐不全手工運維效率低通過持續(xù)研究和探索

，構(gòu)建中國容器化大數(shù)據(jù)云平臺，解決痛點問題應用基礎設施主機資源網(wǎng)絡資源數(shù)據(jù)服務能力封裝/開放數(shù)據(jù)治理大數(shù)據(jù)對內(nèi)應用大數(shù)據(jù)對外應用存儲資源PaaSIaaSSaaS平臺架構(gòu)1、需要建立跨區(qū)域、多集群數(shù)據(jù)管理2、可視化管理、跨集群數(shù)據(jù)交換能力不足3、統(tǒng)一運維、自動化運維能力不足4、多租戶，統(tǒng)一任務調(diào)度管理5、建底層存儲、計算集群搭建、容器化部署數(shù)據(jù)匯聚1、數(shù)據(jù)采集匯聚效率不足2、數(shù)據(jù)采集范圍尚未覆蓋企業(yè)級整體數(shù)據(jù)3、不同種類的數(shù)據(jù)存放仍需規(guī)范化4、源系統(tǒng)接口不規(guī)范，數(shù)據(jù)采集不穩(wěn)定數(shù)據(jù)處理1、實時、準實時數(shù)據(jù)處理支撐能力不足2、數(shù)據(jù)處理的效率有待提升數(shù)據(jù)治理1、數(shù)據(jù)資產(chǎn)可視化程度偏低2、缺少數(shù)據(jù)資產(chǎn)面向企業(yè)的服務能力3、數(shù)據(jù)質(zhì)量管理仍有很大的提升空間數(shù)據(jù)開發(fā)1、開發(fā)流程管控能力有待提升2、數(shù)據(jù)開發(fā)支撐工具還需補充3、開發(fā)工具的易用性有待提高數(shù)據(jù)應用1、基于數(shù)據(jù)中心的前端應用缺乏深度2、缺少數(shù)據(jù)驅(qū)動型產(chǎn)品的支撐3、資產(chǎn)服務（血緣、運維等）很少引用到前端應用中系統(tǒng)運維1、系統(tǒng)運維智慧化程度不足2、缺乏基礎平臺運維監(jiān)控能力數(shù)據(jù)安全1、數(shù)據(jù)安全體系持續(xù)完善中問題總結(jié)：集團平臺待改進需求總結(jié)2

規(guī)劃思路1、建立集團數(shù)據(jù)中心：打通網(wǎng)絡側(cè)、終端側(cè)、內(nèi)外業(yè)務側(cè)，建設跨區(qū)域、跨機房、集約化集群管控。2、構(gòu)建基礎集群能力：

數(shù)據(jù)治理、降本增效。貫通生態(tài)，強化網(wǎng)絡能力輸出。3、提供數(shù)據(jù)變現(xiàn)能力：包括行業(yè)精準畫像、應用產(chǎn)業(yè)影響和發(fā)展支撐。4、打通行業(yè)垂直數(shù)據(jù)：以O域為主，融合B域以及全國平臺側(cè)數(shù)據(jù)、網(wǎng)絡側(cè)、終端側(cè)、內(nèi)外業(yè)務側(cè)，實現(xiàn)網(wǎng)絡數(shù)據(jù)變現(xiàn)能力，包括行業(yè)精準畫像、應用產(chǎn)業(yè)營銷和發(fā)展支撐。建設目標：BDH數(shù)據(jù)

基礎產(chǎn)品BDM數(shù)據(jù)

應用類產(chǎn)品BDP大數(shù)據(jù)

資產(chǎn)產(chǎn)品整體目標：本次規(guī)劃實現(xiàn)的整體目標管理應用平臺挖治采總體架構(gòu)：集團云化集群技術架構(gòu)物理資源HDFSAlluxio流式預統(tǒng)計算Service

Broker租戶C租戶DService

BrokerService

Broker租戶A租戶BService

Broker租戶N

…

…HBase獨立組件

定制版本號

K8s+dockerHiveSparkHbaseSparkHive公用組件

版本號固定KAFKARedisESFlume服務模塊存儲模塊計算模塊其他配置數(shù)據(jù)用戶數(shù)據(jù)日志數(shù)據(jù)生態(tài)圈數(shù)據(jù)庫租戶NYARN總體架構(gòu)：技術特點-多集群和混合云管理集群–總部?

首創(chuàng)多集群容器云平臺?

支持平臺內(nèi)集群級擴容?

支持集群內(nèi)節(jié)點級擴容?

集群資源管理與監(jiān)控?

集群節(jié)點管理與監(jiān)控?

支持節(jié)點上容器管理?

支持配額超配管理?

應用分區(qū)及應用管理?

Grafana&Kibana用戶集群–

內(nèi)蒙

用戶集群–河南、山東

用戶集群–

深圳用戶集群–

AWS1用戶集群–

AWS2【數(shù)據(jù)資產(chǎn)管理平臺】添加用戶集群–

成都節(jié)點擴容總體架構(gòu)：技術特點-集群類型開發(fā)測試區(qū)應用性能要求不高，虛擬機基本滿足需求生產(chǎn)區(qū)DMZ

區(qū)應用對安全性、穩(wěn)定性、響應速

度等要求高，建議物理機開發(fā)測試DMZ

區(qū)!

↓

↓ 應用運行環(huán)境一致性管理集群實現(xiàn)容器云核心功能虛擬機

物理機

物理機用戶集群提供應用運行環(huán)境生產(chǎn)區(qū)存儲管理應用管理應用編排負載均衡服務發(fā)現(xiàn)集群管理權限控制灰度發(fā)布任務調(diào)度鏡像管理擴容縮容租戶管理資源管理監(jiān)控告警網(wǎng)絡分配日志管理生產(chǎn)環(huán)境生產(chǎn)集群主數(shù)據(jù)中心總體架構(gòu)：技術特點-鏡像倉庫、鏡像同步預發(fā)布集群共有云區(qū)異地災備數(shù)據(jù)中心集群鏡像環(huán)境開發(fā)測試集群托管環(huán)境同城數(shù)據(jù)中心策略復制策略復制01.管理●

節(jié)點

CPU

卡識別●

容器內(nèi)掛載

CPU02.分配●

大粒度：按租戶●

小粒度：用戶集群●

硬件型號03.監(jiān)控●

CPU狀態(tài)監(jiān)控●

CPU用量監(jiān)控（使用率、顯存、溫度等）用戶業(yè)務

Pod和系統(tǒng)

Pod分離特殊的網(wǎng)絡需求（IP固定、對外可見等），對

K8s

系統(tǒng)平臺無影響當用戶需要

IP對外可見時，他們給業(yè)務規(guī)劃的IP資

源往往是有限的、精確的，系統(tǒng)

Pod

可以不占用這

些

IP

地址用戶不同租戶可以使用不同的網(wǎng)絡支持固定

IP、

PodIP

外部可見總體架構(gòu)：技術特點-資源管理、多網(wǎng)絡方案監(jiān)控K8sMultusCNIcanalcalicobridge-vlan分配管理集群管理

資產(chǎn)管理

數(shù)說工廠運維中心任務管理語義加工處理總體架構(gòu)：集團與各省份關系圖內(nèi)蒙古、鄭州大數(shù)據(jù)平臺詳單各省沉淀，計算指標數(shù)據(jù)同步服務適配服務中間件查詢

引擎同步

引擎服務

云化組件

云化數(shù)據(jù)資產(chǎn)

管理平臺各省大數(shù)據(jù)平臺

…廊坊大數(shù)據(jù)平臺詳單各省沉

淀，計算指

標數(shù)據(jù)同步詳單各省沉

淀，計算指

標數(shù)據(jù)同步集團云化集群JDBC抽取通用命令調(diào)度管理對象注冊數(shù)據(jù)建模注冊任務監(jiān)控模型血緣任務血緣數(shù)據(jù)遷移資產(chǎn)目錄注冊系統(tǒng)權限注冊主題隊列映射數(shù)據(jù)項注冊租戶信息注冊集群信息注冊…

….….?大數(shù)據(jù)的目標是充分挖掘海量數(shù)據(jù)中的信息

，

以發(fā)現(xiàn)數(shù)據(jù)中的價值?

云計算的目標是通過資

源共享的方式更好地調(diào)

用、擴展和管理計算和

存儲等方面的資源和能

力，以提高資源利用率，降低企業(yè)的IT成本?

云計算可以為大數(shù)據(jù)平

臺的計算和存儲提供資

源層的靈活性?大數(shù)據(jù)組件部署到云平臺上，作為通用PaaS能

力，為用戶帶來使用上

的便利和高效1999SaaS出現(xiàn)2006IaaS/PaaS出現(xiàn)2013CaaS出現(xiàn)2014FaaS出現(xiàn)/2016:OpenWhisk(FaaS),

Fission(FaaS)2014:

Kubernetes

(CaaS),AWS

Lambda(FaaS)2013:

Docker(CaaS),

Marathon(CaaS)2012:OracleCloud(Iaas/PaaS/SaaS)2011:CloudFoundry

(PaaS)2015:

Kudu2014:Spark,

Flink2012:YARN,

Impala,Storm2011:

MapR,

Hcatalog,

HDP,Kafka2010-11:Crunch,Sqoop,

Flume,

Oozie2010:OpenStack(IaaS)2009:vSphere(IaaS)2006:AWS(SaaS),Amazon

EC2(IaaS),

Zimki

(PaaS)1999:Salesforce

(SaaS)2009:CDH,

Avro,Chukwa2008:

Hive,

Pig,ZooKeeper2007:

HBase2006:

Hadoop(HDFS+MapReduce),

Solr

萌芽階段

突破階段

成熟階段

應用階段

爆發(fā)階段

-建設背景：大數(shù)據(jù)與云計算的發(fā)展歷程1980-20022003-20062006-20092009-20162017-20222013:

中國

大數(shù)據(jù)元年AdminSpecialization

SimplicityBigData

3.0BigData

2.0BigData

1.0SpecializationSimplicityDevelopmentBigdata

1.0

:v

以海量數(shù)據(jù)存儲、處理為主v平臺難以維護，數(shù)據(jù)開發(fā)困難Bigdata2.0

:v

Hadoop商業(yè)版出現(xiàn)v

SQL

on

Hadoop逐漸成熟

v

以批處理、流處理為主Bigdata3.0

:v客戶需求多元化v技術棧復雜化v

ABC走向融合技術發(fā)展趨勢：走向AI+Bigdata+Cloud融合美國知名分析機構(gòu)Wikibon把大數(shù)據(jù)技術發(fā)展大致分為3個階段：SinglevendorplatformAzure,AWS,Google,DatabricksTechvendors’internaldevelopmentMapReduce,BigTable,GFS,CassandraHadoopecosystemHortonworks,Cloudera,MapRQ建設背景：中國構(gòu)建了業(yè)界領先的大數(shù)據(jù)平臺l中國聯(lián)通

擁

有

集中的，企

業(yè)

級

全

域

數(shù)

據(jù)的

存

儲中

心、

計算

中

心

、

能

力

中

心

和

孵

化

中

心向上服務對內(nèi)生產(chǎn)

，同時支撐價值開放運營

數(shù)據(jù)中心

IT系統(tǒng)通信網(wǎng)絡業(yè)務平臺外部合作伙伴互聯(lián)網(wǎng)存儲

計算

能力孵化?

資料數(shù)據(jù)?

日志解析?

流量查詢

?數(shù)據(jù)應用統(tǒng)一數(shù)據(jù)模型全域貫穿

資產(chǎn)化管理頂層架構(gòu)設計

技術引領

向下完成5大類、全域數(shù)據(jù)匯聚價值化運營

對外變現(xiàn)（大數(shù)據(jù)公司）能力化輸出數(shù)據(jù)服務對內(nèi)應用能力開放數(shù)據(jù)中臺數(shù)據(jù)能力AI能力

(

)空間數(shù)

據(jù)能力

(資源能力

)開發(fā)測試基于容器云的數(shù)據(jù)中心操作系統(tǒng)1海量的計算能力、存儲能力2

PB級數(shù)據(jù)吞吐能力、統(tǒng)一數(shù)據(jù)服務能力3企業(yè)核心數(shù)據(jù)資產(chǎn)管理能力4助力數(shù)字化轉(zhuǎn)型的服務型數(shù)據(jù)應用5可價值變現(xiàn)的產(chǎn)品型數(shù)據(jù)應用數(shù)據(jù)規(guī)模（PB）98.6

108.0662.32017年

2018年

2019年X86服務器（臺）609742892017年2018年

2019年建設背景：中國構(gòu)建了業(yè)界領先的大數(shù)據(jù)平臺應用基礎設施主機資源數(shù)據(jù)治理數(shù)據(jù)服務能力封裝/開放國內(nèi)領先的大數(shù)據(jù)平臺存儲資源大數(shù)據(jù)對內(nèi)應用大數(shù)據(jù)對外應用網(wǎng)絡資源PaaS6551IaaSSaaS歷程回顧：中國大數(shù)據(jù)平臺建設l2016年至今，中國持續(xù)在大數(shù)據(jù)云平臺建設方面投入力量l完成了資

源

管

理

從

無

到

有，資源調(diào)

度

及

運

維

從“

體

力”

到“

腦

力”的

演

變，逐步

實

現(xiàn)

智

能

化

管

理

和

運

營，為企

業(yè)

數(shù)

據(jù)

生

產(chǎn)

與

服

務

起

到了降

本

提

效

的

作

用

。HiveSparkStormmysqlKafkatensorflowHadoopHbaseMPPRedis時序數(shù)據(jù)庫CaffeHiveStormSpark……HadoopHbaseMPP……HiveStormSpark……HadoopHbaseMPP……?

半自動化部署?

半人工劃配?

系統(tǒng)運維，簡單

監(jiān)控?

一鍵部署?

按需自動分配、彈縮?

組件逐步豐富?

統(tǒng)一監(jiān)控、智能運維server

server

serverserver飛躍階段優(yōu)化提升serverserverserverserverserverserverserver

serverKubernetes+DockerYarnYarn?

物理部署?

人工劃配?

系統(tǒng)運維MesosRedisMysqlMysql最初階段RedisKubernetesMesos技術出現(xiàn)時間2014年2014年調(diào)度級別二級調(diào)度（基于predicates和priorities兩階段算法）二級調(diào)度（

FIFO，capacityscheduler，fairscheduler）生態(tài)活躍活躍且社區(qū)關注逐步上升活躍，社區(qū)關注逐步下降適用場景web應用，中間件及數(shù)據(jù)庫，有狀態(tài)服務，其他支持類型飛速發(fā)展通用性高，混合場景成熟度高高應用案例分析Google、AWS、

Redhat、Oracle、

Intel、

IBM、HW、阿里

百度等、

Twitter、Apple、Airbnb、Yelp等技術生態(tài)支持CNCF組織，由Google公司牽頭組織主要由Mesosphere公司貢獻技術實現(xiàn)開源產(chǎn)品種類繁多，實現(xiàn)難度低，成熟度較高原生框架實現(xiàn)難度高編排Docker需要Marathon實現(xiàn)調(diào)度功能歷程回顧：

Kubernetes

vs.

Mesos通過研究、探索和實踐，我們發(fā)現(xiàn)Kubernetes+Docker的技術路線更契合的實際需求。它幾乎支持了所有的容器業(yè)務類型，包含長期伺服型（long-running）、批處理型（batch）、節(jié)點后臺

支撐型（node-daemon

）和有狀態(tài)應用型（stateful

application），也正是因為這個特點，k8s能夠支持當前

大多數(shù)常見的大數(shù)據(jù)處理場景，如分布式數(shù)據(jù)存儲（HDFS、

Hbase）、離線分析（hive/Spark）、實時處理

（Sparkstreaming）、數(shù)據(jù)挖掘（SparkMLlib），及深度學習框架（Tensorflow）等。中國的微服務開發(fā)運維管理平臺

使用了RancherServer

，通過圖形化和

RKE兩種方式對多個租戶的kubernetes

集群進行部署和管理：?

圖形化部署和擴展集群?

圖形化節(jié)點、資源和容器監(jiān)控?備份和容災，提高集群可靠性Rancher具有豐富的容器化實施案例

經(jīng)驗，是在支撐客戶需求以及集

群故障恢復方面的堅強后盾。Kubernetes作為開源產(chǎn)品，經(jīng)常會有

重大安全漏洞，Rancher都是率先發(fā)

現(xiàn)并及時給出解決方案，為云平

臺的安全保駕護航。歷程回顧：與Rancher的合作中國在搭建Kubernetes

+

Docker的容器化平臺過程中，引入了Rancher的產(chǎn)品部署和管理多個

Kubernetes集群?！璌ubernetes

集群RancherServerKubernetes

集群Kubernetes

集群Kubernetes

集群圖形化RKE部署/管理平臺實踐：整體介紹2018年，基于Kubernetes+Docker，構(gòu)建了中國容器化大數(shù)據(jù)云平臺。基于統(tǒng)一服務集成框架Kubernetes

Service

Catalog，集中管理、部署多類PaaS能力，包括大數(shù)據(jù)基礎服

務能力、

中間件及數(shù)據(jù)庫能力、數(shù)據(jù)集成工具能力、容器云能力、深度學習框架能力等，并支持靈活擴展。面向省分公司、子公司及內(nèi)外部合作伙伴，實現(xiàn)大數(shù)據(jù)云化資源能力的自助開放，支持租戶進行大數(shù)據(jù)平臺

建設、大數(shù)據(jù)加工處理、模型訓練及應用的開發(fā)部署。安全管控某省經(jīng)營分析系統(tǒng)（數(shù)據(jù)加工）+租戶+l

自助申請l

租戶隔離l

應用持續(xù)集成/部署+平臺+l

集約管理

l

智能調(diào)度

l

動態(tài)彈縮大數(shù)據(jù)即服務統(tǒng)一服務集成框架（Kubernetes

Service

Catalog）中間件/數(shù)據(jù)庫即服務Kafka數(shù)據(jù)集成工

具即服務留云化ETL深度學習即

服務容器云服務應用/微服務

開發(fā)部署Kubernetes+Docker某省大數(shù)據(jù)生產(chǎn)平臺創(chuàng)新孵化

模型訓練負載均衡資源調(diào)度資源管理資源隔離彈性伸縮租戶Redis平臺實踐：主要PaaS能力01大數(shù)據(jù)基礎服務組件（原子組件+場景化組合）

數(shù)據(jù)集市適用于面向部門級的數(shù)據(jù)分析業(yè)務，

提供包括交互式分析

引擎

、

OLAPCube引擎，支持自動化的報表應用構(gòu)

建。

包括

HDFS、Hive、Spark、

Rubik等組件。

實時計算云上的流處理分析服務，對流數(shù)據(jù)進

行實時采集和處理，構(gòu)建實時數(shù)據(jù)倉

庫和實時應用，挖掘流式數(shù)據(jù)價值。包括HDFS、SparkStreaming、

Hbase等組件。

信息檢索PB級別高速全文檢索服務，提供高并

發(fā)支持，冷熱數(shù)據(jù)隔離，以及字段精確、模糊檢索和快速統(tǒng)計功能。包括

ElasticSearch等組件。數(shù)據(jù)倉庫構(gòu)建一站式數(shù)據(jù)倉庫服務，提供數(shù)據(jù)

整合、加工、分析等全套數(shù)倉構(gòu)建服

務，幫助打造數(shù)據(jù)核心。包括HDFS、

Hive、Spark等組件。

數(shù)據(jù)挖掘數(shù)據(jù)挖掘開發(fā)平臺，可進行機器學習

和AI應用的開發(fā)和訓練，支持對各類

數(shù)據(jù)實現(xiàn)高度智能化的處理。包括Tensorflow、

MxNet等組件。

ZooKeeperApache分布式應用程序協(xié)調(diào)服務組

件，主要用于大數(shù)據(jù)分布式組件的配

置、狀態(tài)、元數(shù)據(jù)等信息的存儲。HadoopHadoop基礎服務，包括HDFS分布式

文件系統(tǒng)、統(tǒng)一資源管理框架YARN

等組件。

HBaseNosql數(shù)據(jù)庫，支持結(jié)構(gòu)化、半結(jié)構(gòu)

化以及非結(jié)構(gòu)化數(shù)據(jù)存儲。

Hbase表

動態(tài)可擴展，支持高并發(fā)的檢索查詢。

Hive開源SQL引擎組件，能夠?qū)⑵胀⊿QL

語法轉(zhuǎn)化成MapReduce作業(yè)，執(zhí)行

批處理任務。

Spark基于內(nèi)存的分布式計算引擎，大大提

高了海量數(shù)據(jù)加工處理的性能。高性能SQL查詢引擎，將MPP與Hadoop架構(gòu)進行融合；數(shù)據(jù)查詢性

能遠高于Hive?；谑录?qū)動模式的實時處理框架，

實時數(shù)據(jù)處理延時能夠低至10ms級別。StormIMPALA

Kafka高吞吐的分布式消息隊列。03

數(shù)據(jù)集成工具04容器云應用/服務開發(fā)部署環(huán)境平臺實踐：主要PaaS能力02中間件及數(shù)據(jù)庫服務組件

云化ETL采用圖形化的數(shù)據(jù)流和工作流設計

，

將分散的、異構(gòu)數(shù)據(jù)源抽取，進行清

洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉庫

或數(shù)據(jù)集市中。

數(shù)據(jù)稽核管理全圖形化規(guī)則配置界面，支持稽

核規(guī)則自動調(diào)度執(zhí)行，針對稽核

出的數(shù)據(jù)質(zhì)量問題，系統(tǒng)會自動

進行分類并形成數(shù)據(jù)處理工單。

元數(shù)據(jù)管理支持對租戶中的元數(shù)據(jù)進行管理，

包括元數(shù)據(jù)檢索、數(shù)據(jù)血緣管理分析等。

MySql傳統(tǒng)關系型數(shù)據(jù)庫,支持single、一

主多從等多種部署模式。

Nginx高性能HTTP服務器和反向代理

服務器。基于K-V的內(nèi)存數(shù)據(jù)庫，具有極高的

數(shù)據(jù)查詢效率，常用于作為WEB系統(tǒng)的數(shù)據(jù)緩存層。支持單機、哨兵、集群等部署模式。支持對租戶應用/服務開發(fā)、部署、編排、動態(tài)彈縮、灰度升級、并提供完整的可視化運維監(jiān)控為模型訓練提供分布式計算框架及

開發(fā)工具深度學習

框架05caff

eRedis基礎設施（主機

+存儲

+

網(wǎng)絡）資源管理資源調(diào)度資源隔離服務編排彈性伸縮安全管控負載均衡能力列表能力訂購能力變更能力退訂能力上架能力下架大數(shù)據(jù)基礎服務ESImpalaHiveHadoop數(shù)據(jù)集成工具云化ETL數(shù)據(jù)稽核管理元數(shù)據(jù)管理開發(fā)/構(gòu)建測試/發(fā)布CI/CD鏡像倉庫管

理服務注冊服務發(fā)現(xiàn)調(diào)用鏈跟蹤限流/降級/

熔斷KubernetesServiceCatalogOSBAPIOSB

API三方服務擴展JupyterNotebooksService

BrokerService

BrokerService

BrokerMxNetMPIPyTorc

hCaffe2平臺實踐：技術架構(gòu)RocketMQRedisService

Broker容器管理（Kubernetes

+

Docker）Service

BrokerService

BrokerService

BrokerMongo

DBKafkaStormHBaseService

BrokerOSB

API

OSB

APIOSB

API

OSB

API微服務開發(fā)部署中間件及數(shù)據(jù)庫深度學習框架能力開放TensorFlow租戶N租戶D租戶A租戶C租戶BMySQL云存儲……平臺實踐：技術架構(gòu)l運用統(tǒng)一集成框架Kubernetes

Service

Catalog，實現(xiàn)異構(gòu)服務組件的統(tǒng)一納管、

自助拉起和在

線開放。使用業(yè)界標準的OpenService

BrokerAPI，支持第三方組件的接入和擴展。Open

Service

BrokerAPIService

BrokerB數(shù)據(jù)庫與中間件KafkaOthersService

BrokerC深度學習框架caff

eOthersService

Broker……Service

BrokerA容器化大數(shù)據(jù)平臺數(shù)據(jù)集市數(shù)據(jù)挖掘信息檢索Servicecatalog

API

ServerServicecatalog

ControllerKubernetes

APIServerEtcdService

Broker……Kubernetes數(shù)據(jù)倉庫實時計算Redisl租戶自助構(gòu)建大數(shù)據(jù)平臺，進行數(shù)據(jù)生產(chǎn)l提供大數(shù)據(jù)相關服務組件，供租戶進行數(shù)據(jù)加工處理l租戶應用/微服務的開發(fā)和容器化部署l

提

供

建

模

環(huán)

境

及

樣

本

數(shù)

據(jù)

，

供

租

戶

進

行

模

型

訓

練

，

賦

能

業(yè)

務

創(chuàng)

新租戶整體應用場景概覽u省分大數(shù)據(jù)平臺構(gòu)建u大數(shù)據(jù)加工處理u模型訓練u容器化應用/服務開發(fā)部署智匯中國容器化大數(shù)據(jù)

云平臺大數(shù)據(jù)分析處理結(jié)果數(shù)據(jù)與自有應用場景結(jié)合平臺實踐：支持場景模型訓練建模環(huán)境+批量樣本數(shù)據(jù)資源自助開放彈性伸縮動態(tài)調(diào)度生產(chǎn)作業(yè)專屬大數(shù)據(jù)平臺分鐘級容器化部署可視化選取數(shù)據(jù)獲取27%22%34%17%平臺實踐：安全隔離容器化大數(shù)據(jù)云平臺保障租戶資源隔離、空間獨立、數(shù)據(jù)加工過程私密、互不干擾，為租戶提資源隔離01

租戶有獨立的網(wǎng)絡、系統(tǒng)命名

空間和存儲服務隔離03

不同租戶使用的服務屬于不同

的實例，彼此之間完全透明數(shù)據(jù)隔離每個租戶可使用獨立的HDFS用于

數(shù)據(jù)存儲，租戶間不做直接共享業(yè)務隔離通過Docker實現(xiàn)運行環(huán)境隔離，進程之間無法感知租戶隔離和控制供安全可靠的生產(chǎn)環(huán)境。0402?

親和算法調(diào)度?

Yarn/Spark調(diào)度邏輯調(diào)整?

共享Domainsocket定制Flannel網(wǎng)絡插件，多集群共

用Flannel網(wǎng)絡?

最小單位拆分?

親和算法調(diào)度?Headless

service?OpenService

Broker?KubernetesService

Catalog平臺實踐：技術挑戰(zhàn)多Kubernetes集群互通多種PaaS能力集成大數(shù)據(jù)服務容器化計算資源本地化平臺實踐：技術挑戰(zhàn)–多樣化PaaS服務集成l

遇到問題：容器化大數(shù)據(jù)云平臺需要快速集成大數(shù)據(jù)類、數(shù)據(jù)庫及中間件類、數(shù)據(jù)集成工具類等多種PaaS能力。沒有統(tǒng)一的集成接口。l

解決方案：1.基

于業(yè)

界

先

進

的

Open

ServiceBroker規(guī)范，通過

標準化接口快速對接各種PaaS組件平臺，匯聚各種

PaaS能力，形成技術生態(tài)，

為租戶賦能。2.基

于

KubernetesServiceCatalog，采用k8s擴展API

和自定義資源原生技術實

現(xiàn)對服務從開通到退訂的

全生命周期管理。OpenService

BrokerAPICatalogProvisionUpdateBindUnbindDeprovisionad實現(xiàn)Service

BrokerPaaS組件平臺n服務ad實現(xiàn)Service

BrokerPaaS組件平臺1服務ad實現(xiàn)Service

BrokerPaaS組件平臺3服務ad實現(xiàn)Service

BrokerPaaS組件平臺2服務ClusterServiceBrokerServiceInstanceClusterServiceClassServiceBindingClusterServicePlanCredentialsKubernetesService

Catalog服務服務服務服務服務服務服務服務服務服務服務服務Kubeletflanneld集群一

ETCD

APIServer

flanneld

flanneld集群二l

遇到問題

：需在多個Kubernetes集群部署各類PaaS能力。大

數(shù)據(jù)組件在容器化部署之后，服務相關的所有POD

都是容器網(wǎng)絡，自身暴露的通信端口在集群外都無

法訪問，導致應用通過大數(shù)據(jù)組件原生的API調(diào)用

時遇到問題。l

解決方案

：通過定制flanneld網(wǎng)絡插件，兩個K8S集群共用一

套Flannel網(wǎng)絡，實現(xiàn)跨集群podIP直接連接，解

決K8s集群間的網(wǎng)絡互通問題。Kubernetes集群2app2Kubernetes集群1HDFS平臺實踐：技術挑戰(zhàn)–

Kubernetes集群間網(wǎng)絡互通app1datanodepoddatanodepodnamenodepodnamenodepodAPIServerKubeletKubeletflanneldKubeletETCDl

解決方案

：1.將Hadoop按組件拆分成最小單位，確保能夠獨立部署；

2.通過配置親和/反親和調(diào)度算法保證同一個集群的各個服

務能夠合理部署，比如：同一集群的兩個Namenode不

會調(diào)度在同一個物理機上；3.拆分完之后解決，服務之間的依賴和服務發(fā)現(xiàn)問題

?

集群內(nèi)使用Headless

service?服務之間通過DNS和配置注入進行服務發(fā)現(xiàn)

?

集群外的訪問通過--NodePort--Rest服務+LoadBalancerl

遇到問題

：采用多租戶的方式對外提供大數(shù)據(jù)服務，每個租戶都是隔離的。

這就要求需要在一個物理集群上能夠部署多套Hadoop集群。如何將Hadoop服務進行拆分？如何自動完成角色規(guī)劃？服務拆分之后，如何解決服務依賴以及服務發(fā)現(xiàn)問題？平臺實踐：技術挑戰(zhàn)–

Hadoop容器化服務拆分Kubernetes挑戰(zhàn)1.

挑戰(zhàn)2.

挑戰(zhàn)3.監(jiān)控存儲網(wǎng)絡拆分Domain

Socketl遇到問題：挑戰(zhàn)1：Executor與Datanode數(shù)據(jù)不同pod,如何保證同一個集群的Executor和Datanode分布在相同的物理主機上

？挑戰(zhàn)2：每個容器有一個獨立IP，如何保證本地讀寫？挑戰(zhàn)3：每個容器獨立的文件系統(tǒng)，如何保證Domain

Socket優(yōu)化？?在安裝集群前提前進行角色規(guī)劃，確保YARN

的Nodemanger和Spark的Worker節(jié)點與Datanode都在相同的物理機上。?通過判斷IP是否一致決定是否進行本地讀寫?Domainsocket優(yōu)化，免去本地io走tcp協(xié)議棧Data

rcdeDomain

SocketExecutorDatanode平臺實踐：技術挑戰(zhàn)–

Hadoop容器化計算本地化ExecutorDatanode物理機部署容器化部署平臺實踐：技術挑戰(zhàn)–

Hadoop容器化計算本地化l解決方案：第一步：采用K8S親和性調(diào)度策略，確保統(tǒng)一集群的計算服務于Datanode調(diào)度到相同的物理機列表里。

第二步：更改Yarn/Spark調(diào)度邏輯，判斷對應的計算切片是否在同一臺host上。第三步：多個pod共享Domainsocket，而且每個租戶的hdfs的domainsocket互相獨立。Node2Node1Host2Host1Assign

tasksNamenodeScheduler_____JDatanodeNodemanagerNodeManagerNodeManagerNodemanager____JExecutorDatanodeExecutorDatanodeDatanodeBlockReportGetBlockInfoDatanodeDatanode集群2集群1l

2018，TMF

Forum開放數(shù)字生態(tài)大獎提名l

2018，大數(shù)據(jù)最佳產(chǎn)品獎，數(shù)據(jù)中心聯(lián)盟大數(shù)據(jù)

發(fā)展委員會l

2018，中國集團科技進步獎

月均執(zhí)行MR/Spark任務162,455個，執(zhí)行數(shù)據(jù)調(diào)度任務

15,261個集群節(jié)點數(shù)437個，CPU6028核，內(nèi)存37.52TB，存儲13.09PB2

部署4000余個容器服務實例，對100,000個事件跟蹤分析平臺實踐：建設成效

開放標準化數(shù)據(jù)產(chǎn)品7大類，600余個開放PaaS能力組件6大類，30余種集團業(yè)務

部門24個102個租戶入駐省分租戶44個子公司34個平臺實踐：后續(xù)探索方向-FaaS與云平臺“Serveless”的初衷是幫助開發(fā)者擺脫運行后端應用程序所需的服務器設備的設置和管理工作

，“FaaS”將

“Serveless”這一框架提高到一個全新的層面

，為云中運行的應用程序提供了一種全新的系統(tǒng)體系結(jié)構(gòu)，不需

要在服務器上持續(xù)運行進程以等待

HTTP請求或API調(diào)用，而是可以通過某種事件機制觸發(fā)代碼的執(zhí)行。客戶端函數(shù)

函數(shù)數(shù)據(jù)庫優(yōu)勢?降低成本：開發(fā)者不需要為云中運行的整個服務器付費，只需要為執(zhí)行

代碼過程中消耗的資源付費?縮放能力：可以通過事件觸發(fā)的方式輕松地對不同服務進行縮放，而無

須考慮基礎結(jié)構(gòu)的運維和維護應用平臺(PaaS/aPaaS)上層

快速底層

靈活基礎設施平臺(IaaS)容器平臺(CaaS)軟件平臺(SaaS)函數(shù)數(shù)據(jù)庫認證服務函數(shù)平臺(FaaS)函數(shù)函數(shù)函數(shù)API網(wǎng)關SaaS平臺實踐：后續(xù)探索方向-物聯(lián)網(wǎng)與云平臺物聯(lián)網(wǎng)通過信息傳感設備，按約定的協(xié)議，將任何物體與網(wǎng)絡相連接

，物體通過信息傳播媒介進行信息交換

和通信，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)管等功能。物聯(lián)網(wǎng)是互聯(lián)網(wǎng)基礎上的延伸和擴展的網(wǎng)絡，將各

種信息傳感設備與互聯(lián)網(wǎng)結(jié)合起來而形成的一個巨大網(wǎng)絡，實現(xiàn)在任何時間、任何地點，人、機、物的互聯(lián)互通。數(shù)據(jù)管理設備管理函數(shù)平臺消息服務數(shù)據(jù)庫緩存ETL工具Big

DataFaaSPaaS物聯(lián)網(wǎng)和云計算以及大數(shù)

據(jù)是密不可分的：?

云平臺為大數(shù)據(jù)提供計

算資源和海量數(shù)據(jù)的存

儲能力?

云平臺為物聯(lián)網(wǎng)應用提

供快速構(gòu)建和集成的能

力?物聯(lián)網(wǎng)設備產(chǎn)生的海量

數(shù)據(jù)需要大數(shù)據(jù)平臺進

行處理和分析持久化存儲數(shù)據(jù)分析

TIo平臺實踐：總結(jié)與展望l建設面向大數(shù)據(jù)處理的統(tǒng)一云化資源池，提供豐富的PaaS組件，為大數(shù)據(jù)平臺構(gòu)建和應用開發(fā)部署

提供快捷、高效的環(huán)境l依托容器化大數(shù)據(jù)云平臺，沉淀一系列技術能力及組件集合，推進企業(yè)核心數(shù)據(jù)上云，構(gòu)建共性能力及通用服務，打造企業(yè)級數(shù)據(jù)中臺，賦能前端應用及BU團隊快速創(chuàng)新，支撐業(yè)務發(fā)展打造企業(yè)級數(shù)據(jù)中臺多樣化能力建設與開放互聯(lián)網(wǎng)化協(xié)同運營流處理框架批處理框架深度學習框架消息隊列賦能前臺、創(chuàng)新發(fā)展能力匯聚、協(xié)同運營智能管理、提升效能容器化大數(shù)據(jù)云平臺（Kubernetes+Docker）異構(gòu)資源納管資源隔離資源調(diào)度彈性伸縮安全管控分布式文件系統(tǒng)分布式數(shù)據(jù)倉庫NoSQL數(shù)據(jù)庫關系型數(shù)據(jù)庫前端應用與BU團隊創(chuàng)新3

產(chǎn)品設計產(chǎn)品介紹：產(chǎn)品架構(gòu)舉措：構(gòu)建平臺數(shù)據(jù)資產(chǎn)管控能力，打造數(shù)據(jù)驅(qū)動能力，促進集團數(shù)字化轉(zhuǎn)型，引導數(shù)據(jù)集中運營，實現(xiàn)數(shù)據(jù)變現(xiàn)功能層Enginefor

hadoopHadoopEngineforGBASEMPP數(shù)據(jù)處理類|數(shù)據(jù)交換類|文件操作類

|數(shù)據(jù)查詢類

|數(shù)據(jù)安全類|數(shù)據(jù)檢查類(函數(shù)適配器)Enginefordb2db2Enginefororacle___J

Oracle運營層數(shù)據(jù)資產(chǎn)應用數(shù)據(jù)資產(chǎn)評估數(shù)據(jù)資產(chǎn)運營統(tǒng)一API層數(shù)據(jù)資產(chǎn)加工 數(shù)據(jù)關系分析

字段關系分析元數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)規(guī)劃數(shù)據(jù)運維數(shù)據(jù)資產(chǎn)質(zhì)量數(shù)據(jù)資產(chǎn)安全數(shù)據(jù)處理開發(fā)數(shù)據(jù)評估元數(shù)據(jù)稽核安全審計權限申請分配質(zhì)量問題管理安全策略管理數(shù)據(jù)流程設計元數(shù)據(jù)采集運行監(jiān)控安全漏洞檢查告警管理數(shù)據(jù)模型設計元數(shù)據(jù)分類多租戶接入管理資產(chǎn)構(gòu)成分析資產(chǎn)分布評估資產(chǎn)使用評估數(shù)據(jù)開放平臺資產(chǎn)活性分析BI應用商店數(shù)據(jù)分發(fā)中心質(zhì)量規(guī)則管理質(zhì)量規(guī)則檢查下線管理上線元數(shù)據(jù)服務維度表標準化多維報表指標墻運營診斷自助分析數(shù)據(jù)架構(gòu)管理數(shù)據(jù)標準化指標標準化數(shù)據(jù)地圖生產(chǎn)

平臺數(shù)據(jù)應用開發(fā)數(shù)據(jù)測試數(shù)據(jù)優(yōu)化存儲優(yōu)化…功能分類一級功能二級功能資產(chǎn)注冊數(shù)據(jù)項設計a.支撐：數(shù)據(jù)項新建、導入、導出、修改功能b.支撐：數(shù)據(jù)項的搜索查詢功能c.支撐：數(shù)據(jù)項命名規(guī)則判斷、數(shù)據(jù)項保存判斷功能模型設計a.支撐：模型的右鍵新增功能、導入、導出、保存模型、另存為圖片、單個分發(fā)、批量分發(fā)、平鋪調(diào)整排序功能b.支撐：實體模型搜索功能c.支撐：實體模型編輯修改功能d.支撐：實體引用功能e.支撐：實體模型名字約束判斷、實體保存判斷功能資產(chǎn)目錄a.支撐：資產(chǎn)目錄的管理功能：新增、刪除、修改功能b.支撐：目錄管理：先系統(tǒng)、系統(tǒng)到層、層到主題c.支撐：資產(chǎn)目錄注冊保存異常判斷功能d.支撐：資產(chǎn)目錄導出功能資產(chǎn)管理數(shù)據(jù)庫a.支撐：數(shù)據(jù)庫注冊：新建、刪除、修改、搜索功能b.支撐：版本修改功能c.支撐：數(shù)據(jù)庫注冊信息導出功能租戶(產(chǎn)品租戶)a.支撐：租戶注冊：新建、刪除、修改、搜索功能b.支撐：租戶租戶信息導出功能規(guī)則管理a.支撐：對主題、層的約束規(guī)則管理b.支撐：對主題下面的模型名稱約束規(guī)則管理全局變量a.支撐：實現(xiàn)對企業(yè)的job開發(fā)流程定義變量：按秒、按分、按天、按月、按定義參數(shù)的配置和管理文件接口支撐：接口采集，接口協(xié)議注冊管理功能FTP管理a.支撐注冊的FTP服務器IP端口注冊和對應的主機賬號管理FTP賬戶管理a.支撐注冊對應的主機賬號管理Zookeeper支撐：集群zk信息注冊Hbase支撐：Hbase注冊功能Redis支撐：集群Redis信息注冊主題隊列映射支撐：對應資產(chǎn)目錄綁定的租戶和隊列的映射配置業(yè)務系統(tǒng)支撐：接口采集源系統(tǒng)注冊功能Hadoop集群管理集群支撐：集群名稱注冊和系統(tǒng)目錄管理功能：新增、修改、刪除、查詢功能用戶組支撐：集群名稱、用戶組、系統(tǒng)目錄管理功能：新增、修改、刪除、查詢功能用戶支撐：集群名稱、用戶組、產(chǎn)品租戶的管理功能：新增、修改、刪除、查詢功能目錄支撐：接口采集的hdfs目錄注冊yarn資源支撐：系統(tǒng)全局隊列的配置管理功能：新增、修改、刪除、查詢功能租戶管理租戶注冊支撐：集群的產(chǎn)品租戶、個人租戶和個人租戶組注冊、導入、修改、刪除、查詢功能租戶映射a.支撐：個人租戶對應登錄賬號的掛載關系配置。b.支撐：新增、導入、修改、搜索功能。產(chǎn)品介紹：資產(chǎn)注冊管理模塊說明：(3)角色層次：分省、市州、區(qū)縣、分支局、網(wǎng)格。(4)角色分配：角色可以單個、或者批量分配用戶。(5)權限分配：角色掛菜單、JOB掛角色、JDBC租戶掛角色、物理模型掛角色、邏輯模型掛角色、應用指標掛角色。(3)租戶組：指集群分配的個人租戶組權限。(4)產(chǎn)品租戶：指專門提供產(chǎn)品來調(diào)度和訪問的租戶權限。(5)租戶映射：把注冊的個人租戶映射到登錄賬號和角色下面，以方

便后續(xù)的一站式開發(fā)工作臺產(chǎn)品調(diào)度模塊使用。(1)集群注冊：可配置注冊管理的集群名稱，信息。(2)集群用戶和用戶組注冊：可配置掛載集群和產(chǎn)品租戶的關系、和產(chǎn)品租戶和租戶組關系。(3)集群隊列注冊：可注冊集群對應的資源隊列信息。(1)數(shù)據(jù)庫注冊：數(shù)據(jù)庫注冊實現(xiàn)管理對象：如mysql、oracle

、

postgresql、

hive、

Hbase的庫進行注冊。(2)JDBC注冊：JDBC租戶注冊，實現(xiàn)對注冊的數(shù)據(jù)庫的，用戶和密碼管理，以及對keytab認證進行管理。(1)系統(tǒng)權限管理：主要是實現(xiàn)用戶管理、角色管理、菜單管理、權限管理功能。(2)角色類型：分數(shù)據(jù)開發(fā)者、運維者、使用者、管理者領導、管理者技術，角色分組員和組長。組長可以分配下級組員的角色。產(chǎn)品介紹：

資產(chǎn)注冊管理-產(chǎn)品效果圖(1)租戶注冊分：個人租戶注冊、租戶組注冊、產(chǎn)品租戶注冊。(2)個人租戶：指集群分配的權限、資源調(diào)度訪問個人租戶。功能分類一級功能二級功能資產(chǎn)注冊數(shù)據(jù)項設計模型設計資產(chǎn)目錄資產(chǎn)管理數(shù)據(jù)庫租戶(產(chǎn)品租戶)規(guī)則管理全局變量文件接口a.實現(xiàn)采集的源端系統(tǒng)接口注冊管理功能：新建、刪除、導入、導出、查詢功能FTP管理FTP賬戶管理ZookeeperHbaseRedis主題隊列映射業(yè)務系統(tǒng)a.注冊管理采集的源端數(shù)據(jù)業(yè)務系統(tǒng)的信息：新建、刪除、導入、導出、查詢功能Hadoop集群管理集群用戶組用戶目錄a.支撐：集群用戶、用戶目錄、讀寫權限控制管理功能：新增、修改、刪除、查詢功能b.支撐目錄的：增、刪、改、查。yarn資源租戶管理租戶注冊租戶映射數(shù)據(jù)開發(fā)開發(fā)目錄管理a.支撐模型分發(fā)目錄和開發(fā)目錄為同一套目錄。b.支撐job在開發(fā)目錄下面的新增、刪除、修改、移動、重置。語義處理a.支撐語義的ETL配置b.實現(xiàn)過程表、臨時表加工邏輯配置c.實現(xiàn)調(diào)度參數(shù)全局變量配置d.實現(xiàn)job的新增、保存、修改、測試、提交e.實現(xiàn)job的自動修改加鎖，和保存job解鎖功能Oracle抽取a.實現(xiàn)源端數(shù)據(jù)源是oracle的數(shù)據(jù)進行抽取、裝載、落地、加載到hive表功能mysql抽取a.實現(xiàn)源端數(shù)據(jù)源是mysql的數(shù)據(jù)進行抽取、裝載、落地、加載到hive表功能通用命令a.支撐本地服務器調(diào)度和遠程服務器調(diào)度功能JDBC實用工具a.實現(xiàn)對源端多關系型數(shù)據(jù)庫的表進行sql處理功能數(shù)據(jù)質(zhì)量a.實現(xiàn)數(shù)據(jù)質(zhì)量組件的拖拽開發(fā)，在組件里面可以選稽核指標組件和稽核規(guī)則組件b.實現(xiàn)組件的依賴連線，并實現(xiàn)開發(fā)面板里面組件的連線調(diào)度功能數(shù)據(jù)遷移實現(xiàn)數(shù)據(jù)出hdfs平臺數(shù)據(jù)遷移到對應端數(shù)據(jù)庫組件格式化集團上傳格式化文件功能上傳取回執(zhí)集團上傳回執(zhí)日志功能集團上傳集團上傳-組件功能運維中心任務管理實現(xiàn)，超級管理權限，對job任務實現(xiàn)強制鎖定，解鎖。任務監(jiān)控實現(xiàn)手工重調(diào)任務功能，實現(xiàn)未運行、運行中、運行失敗、運行成功，等待運行，幾種狀態(tài)的掛起功能，喚醒功能實現(xiàn)：掛起的job在掛起后，最新一次

調(diào)度賬期從新調(diào)度功能。產(chǎn)品介紹：建模開發(fā)、數(shù)說工廠、統(tǒng)一調(diào)度模塊說明：(1)數(shù)據(jù)項注冊：數(shù)據(jù)項分屬性、實例、維度、標簽、指標原子化注冊。(2)模型注冊分發(fā)：模型注冊在資產(chǎn)目錄后，實現(xiàn)建模策略分發(fā)。(1)數(shù)據(jù)開發(fā)：分語義處理、oracle抽取、

mysql抽取、通用命令調(diào)度、JDBC實用工具、數(shù)據(jù)質(zhì)量、數(shù)據(jù)遷移、格式化組件、集團上傳、集團下發(fā)、回執(zhí)組件(2)語義處理：支撐語義的ETL配置，實現(xiàn)過程表、臨時表加工邏輯配置和全局參數(shù)調(diào)度。(3)oracle抽取：實現(xiàn)源端為oracle的采集入平臺。(4)mysql抽?。簩崿F(xiàn)源端為mysql的采集入平臺。(5)JDBC實用工具：實現(xiàn)各種JDBC驅(qū)動的ETL配置。(6)數(shù)據(jù)質(zhì)量：實現(xiàn)對數(shù)據(jù)表五者五性質(zhì)量稽核。(7)數(shù)據(jù)遷移：實現(xiàn)hdfs數(shù)據(jù)出平臺遷移到對應端的數(shù)據(jù)庫里。(8)格式化：集團上傳和下發(fā)數(shù)據(jù)格式化組件。(9)集團上傳下發(fā)：實現(xiàn)省數(shù)據(jù)上傳集團和集團數(shù)據(jù)下發(fā)到各省。(10)回執(zhí)組件：實現(xiàn)集團上傳對應的集團日志回執(zhí)。(1)統(tǒng)一調(diào)度：分任務管理和任務監(jiān)控。(2)任務管理：實現(xiàn)對job任務強制鎖定，解鎖，上線，下線功能。(3)任務監(jiān)控：實現(xiàn)任務重調(diào)、任務運行管理、任務掛起、喚醒功能。產(chǎn)品介紹：

建模開發(fā)、數(shù)說工廠、統(tǒng)一調(diào)度-產(chǎn)品效果圖(1)資產(chǎn)目錄注冊：對管理對象的數(shù)據(jù)資產(chǎn)按系統(tǒng)、層、主題資源進行目錄注冊。(2)主題對應映射：對資產(chǎn)目錄綁定映射到集群、隊列。租戶

：?

租戶

A：150c/2TB?租戶

C：100c/700GB?租戶

B：20c/200GB?租戶

D：40c/500GB產(chǎn)品特點：跨集群用戶管理中心租戶

CCPU60c

Mem

200GB租戶

ACPU

50c

Mem1TB租戶

DCPU40c

Mem

500GB租戶

ACPU

100c

Mem1TB租戶

BCPU20c

Mem

200GB集群-

AWS2租戶

CCPU40c

Mem

500GB集群-

ALIYUN租戶管理集群-青島2集群-AWS1集群-青島1集群-

北京3集群-

北京1集群-

北京2Node產(chǎn)品特點：統(tǒng)一調(diào)度，監(jiān)控下沉LocalStorage?宿主機監(jiān)控：CPU/內(nèi)存/磁盤

io/網(wǎng)絡?容器監(jiān)控：CPU/內(nèi)存/磁盤

io/網(wǎng)絡?

應用監(jiān)控：應用可暴露的監(jiān)控指標?統(tǒng)一后端分布式存儲RetrievalStoragePromQLEndpointsAPIWeb

UI（Pod）Push

GatewayPrometheusServerJobs/

ExportersGrafana（Pod）Short-livedjobs?告警策略?告警壓制hosthostpodpodTargetsDataPrometheusServer（Pod）e愿kiba

na?

宿主機可被攻擊面大?

容器共享

kernel風險?

宿主機操作系統(tǒng)漏洞?

宿主機用戶訪問權限?

宿主機文件系統(tǒng)篡改?

無界的管理員權限?

授權訪問不夠嚴格?

敏感度差異容器負載混合?

節(jié)點間互信關系?

操作日志審計?

容器運行時漏洞管理?

容器網(wǎng)絡訪問無隔離?

容器運行時配置缺陷?

容器承載的應用漏洞?

平臺中存有流氓容器?

鏡像安全漏洞掃描?

鏡像配置缺陷管理?

鏡像中有惡意軟件?

鏡像中有明文密鑰?

使用了非信任鏡像?

業(yè)務間訪問通斷控制?

非同類網(wǎng)絡流量分離?

負載均衡的加密訪問?

基于SSL

傳輸加密?

宿主機日志采集?容器日志采集：標準輸出&文件日志?支持海量日志文件跟蹤收取和傳送?

倉庫中有陳舊鏡像?

訪問敏感數(shù)據(jù)鑒權?

不安全連接和訪問GlusterFS?elastic

search?

支持海量日志分析?支持單應用日志聚合及檢索?支持基于日期、關鍵字檢索產(chǎn)品特點：安全管理?

操作日志記錄?

用戶行為分析?

操作規(guī)范審計

倉庫安全

宿主機安全品

網(wǎng)絡安全

管理安全

鏡像安全

容器安全PodPodPodPod4

成功案例博瑞得優(yōu)勢:o解決了跨區(qū)域，跨機房集群部署和管理問題。o解決了集群之前數(shù)據(jù)通信、和統(tǒng)一調(diào)度分配問題。o解決了數(shù)據(jù)層、分域存儲和計算隔離問題。o解決了HDFS的NN節(jié)點擴展性不足問題。o解決了小文件過多，影響集群性能問題。o解決了入庫性能問題。o解決了實時計算和采集問題。o解決了數(shù)據(jù)統(tǒng)一查詢訪問、安全管控使用數(shù)據(jù)問題。建設現(xiàn)狀：oXX省AI網(wǎng)絡中心三個機房物理位置處于不同地市。o三個機房通過40G帶寬，直連DCN網(wǎng)實現(xiàn)網(wǎng)絡互通。o各機房的設備，存儲和計算性能存在明顯差異。技術特點：o存儲組件，三個機房服務器都部署，目的是為了利用存儲資源。o計算組件，根據(jù)業(yè)務特點分機房部署，為了實現(xiàn)計算時效性。案例一：某省超大規(guī)模集群建設HBase數(shù)據(jù)

存儲YannHDFS機房1

機房2

機房3機房1

機房2

機房3SparkStreaming/Flink

SparkPrestoHiveImpala數(shù)據(jù)

計算DCN網(wǎng)機房3機房1機房240G40G40G案例二：

某省電信全域數(shù)據(jù)融合建設客戶現(xiàn)狀：1、

BI系統(tǒng)經(jīng)過12年以上建設，超過10萬張數(shù)據(jù)表、

1600個以上應用，容量超過100T2、存在多廠家合作開發(fā)，數(shù)據(jù)質(zhì)量管理主要依靠管理制度和事后稽核類別末端原因人員缺少對現(xiàn)有系統(tǒng)學習手段離職或變動數(shù)據(jù)源數(shù)據(jù)自相矛盾復雜規(guī)則設有被充分理解變更帶來質(zhì)量問題開發(fā)過程時間太緊張業(yè)務規(guī)則理解錯誤需求理解不準確缺少測試標準和方法質(zhì)量管理質(zhì)量監(jiān)控規(guī)則不好把握系統(tǒng)構(gòu)架設計中缺少質(zhì)量考慮質(zhì)量監(jiān)控帶來過多性能開銷1全過程開發(fā)管理2全過程質(zhì)量管理3元數(shù)據(jù)管理4優(yōu)化構(gòu)架質(zhì)量控制質(zhì)量管理引入

BDP平臺問題查證率

提高50%元數(shù)據(jù)覆蓋

度從30%上升至98%人員質(zhì)量持續(xù)改進人員培訓周

期由3個月

縮短至5天節(jié)約人力資源

成本30%開發(fā)

過程數(shù)據(jù)源B域O域M域話務指標增值及新業(yè)務l國內(nèi)長途業(yè)務l國際長途l互聯(lián)網(wǎng)業(yè)務 基礎數(shù)據(jù)業(yè)務網(wǎng)絡運行指標l掉話率lEVDO成功率l短消息成功率

基站斷站率lCDMA接通率EPC網(wǎng)絡指標l

網(wǎng)絡指標

網(wǎng)元運行基礎指標用戶感知指標KPI指標l收入lARPU值l市場占有率

l凈收入l成本管理類指標l財務/效益（公司經(jīng)營收入、凈利率、投資回報

率）l服務/運營（市場占有率、ARPU、廣告成本）l管理類指標（人才培養(yǎng)、費用控）管線指標l管線l管道

基站l軟交換llllllll案例二：

某省電信全域數(shù)據(jù)融合建設通過企業(yè)級數(shù)據(jù)中心對BOM域數(shù)據(jù)匯聚，建立三域融合的一站式指標管理體系，為各級管理者、分析

人員、一線人員提供全面、快速應用服務支持企業(yè)級指標庫（BOM融合）指標生命周期管理指標數(shù)據(jù)管理目錄管理在線分析預警監(jiān)控業(yè)務量終端網(wǎng)間結(jié)算用戶類經(jīng)營收入銷售品多維分析自助取數(shù)客戶服務服務開通KPI財務/效益服務/運營指標發(fā)布裝維指標審核網(wǎng)絡運行指標查詢報表中心基礎平臺用戶感知成本管控…員工管理指標應用指標管理………… 本地電話業(yè)務lll

業(yè)務指標DT/CQT測評互聯(lián)互通接入網(wǎng)案例二：

某省電信全域數(shù)據(jù)融合建設整體規(guī)劃思路：融入數(shù)據(jù)資產(chǎn)理念的一張皮、兩條線和全覆蓋的數(shù)據(jù)中心數(shù)據(jù)規(guī)范標準線數(shù)據(jù)加工流水線

……目標數(shù)據(jù)源數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)庫關鍵因素標準化

組件化

可視化建模兩條線：在數(shù)據(jù)處理上，建設數(shù)據(jù)規(guī)范標準線和數(shù)據(jù)處理流水線，標準化數(shù)據(jù)、組件生產(chǎn)規(guī)格，并對數(shù)據(jù)處理環(huán)節(jié)進行組件化，通過可視化建模進行數(shù)據(jù)管道的規(guī)劃，形成數(shù)據(jù)流水線。數(shù)據(jù)工廠“管理”和“執(zhí)行”一體化以標準化為核心，構(gòu)建一個大數(shù)據(jù)的“操作系統(tǒng)”一張皮：以標準化為核心，數(shù)據(jù)“管理”和“執(zhí)行”一體化，構(gòu)建一個大數(shù)據(jù)的“操作系統(tǒng)”，對數(shù)據(jù)的匯聚、

處理、開放、應用進行一站式集成開發(fā)和管控。全覆蓋：在數(shù)據(jù)管控上，形成全景式（用戶角

色、工作過程）、全流程（開發(fā)、運營、運維）、全生命周期（業(yè)務角度、系統(tǒng)視角）的

多維度全覆蓋數(shù)據(jù)治理。應用使用?

業(yè)務使用者進行應

用使用?

通過自助式界面進

行自助分析?

通過自己的工具進

行數(shù)據(jù)訪問平臺設計、開發(fā)?

統(tǒng)一業(yè)務組件?統(tǒng)一數(shù)據(jù)模型?創(chuàng)建共享組件?創(chuàng)建自助式門戶構(gòu)建應用程序?

使用共享組件裝配應用程序形成容器?

通過自助服務進行

部署生態(tài)規(guī)則制訂?

規(guī)則與標準制訂?

支撐平臺掌控?

開放能力掌控數(shù)據(jù)崗位CTO

|管理員

|開發(fā)人員

|

質(zhì)量管理員開發(fā)

企業(yè)級數(shù)據(jù)整合運營管理者數(shù)據(jù)生產(chǎn)

線規(guī)格數(shù)據(jù)質(zhì)量管理生命周期管理標準化管理元數(shù)據(jù)管理數(shù)據(jù)

應用提取數(shù)據(jù)應用開發(fā)者各業(yè)務部門平臺使用者采集

加工命名標準組件標準質(zhì)檢…………1

數(shù)據(jù)湖實施案例數(shù)據(jù)湖-傳統(tǒng)架構(gòu)的變遷新一代大數(shù)據(jù)中心DatawarehouseTransacti

onsLo傳統(tǒng)數(shù)據(jù)倉庫StreamsLog

sEventHadoo

pStream

sDatawareho

useETLETLDatabase

sgsEve

nts FilesDataba

ses??DataLakeTransactioFilesnss01集團“1+N”戰(zhàn)略，要求四川電信作

為先進省分保持數(shù)據(jù)中心架構(gòu)穩(wěn)定性

和前瞻性數(shù)據(jù)湖，以低成本收集并存儲任何規(guī)模、所有類型的數(shù)據(jù)并安

全提供使用，符合中國電信對”N”省分數(shù)據(jù)中心建設高安全、

耐久、可用、可擴展性的要求02光網(wǎng)、無線數(shù)據(jù)及企業(yè)外部數(shù)據(jù)亟待

收集，對非（半）結(jié)構(gòu)化數(shù)據(jù)、流式

數(shù)據(jù)的處理缺乏經(jīng)驗數(shù)據(jù)湖，支持對非結(jié)構(gòu)化、流式數(shù)據(jù)進行對象存儲和持久化，

并支持數(shù)據(jù)對象的快速檢索、實時訪問03數(shù)據(jù)匯聚的復雜度增加，面臨數(shù)據(jù)接

口類型超過10種，前端業(yè)務要求數(shù)據(jù)

中心具備實時數(shù)據(jù)處理能力數(shù)據(jù)湖，可快速輕松地執(zhí)行新類型的數(shù)據(jù)統(tǒng)一匯聚和分析，支

持新接口類型包括如corba、

socket、

snmp、

tmf、

SFTP、SSH等，支持秒級、毫秒級數(shù)據(jù)處理能力04數(shù)據(jù)資產(chǎn)管理的難度增加，面臨全生

態(tài)數(shù)據(jù)（

B\O\M域，網(wǎng)絡、外部等）

進行的統(tǒng)一、有效管理，無成例可循數(shù)據(jù)湖，基于“注冊”機制，任何入湖的數(shù)據(jù)都將注冊到資產(chǎn)

目錄進行統(tǒng)一管理，同時具備自行更新和管理數(shù)據(jù)對象索引、

元數(shù)據(jù)的能力，方便進行開放使用05生態(tài)圈融合業(yè)務發(fā)展，驅(qū)動數(shù)據(jù)資產(chǎn)

價值的發(fā)掘，對數(shù)據(jù)中心具備對復雜

事件的處理和分析能力數(shù)據(jù)湖，適合lambda架構(gòu)設計，支持使用一系列分析引擎，

用于高級數(shù)據(jù)分析、實時流式+批量數(shù)據(jù)復合分析、預測性分

析、人工智能

(AI)和機器學習等場景為什么要引入數(shù)據(jù)湖？引入數(shù)據(jù)湖現(xiàn)狀亞馬遜：什么是真正的數(shù)據(jù)湖？

API

&

UI

AnAPIanduserinterfacethatexposethesefeaturestointernalandexternalgovernancethroughtechnology,notpolicy

A