大數(shù)據(jù)平臺(tái)建設(shè)方案技術(shù)交流

目錄現(xiàn)狀分析現(xiàn)狀分析析規(guī)劃思路規(guī)劃思路產(chǎn)品設(shè)計(jì)產(chǎn)品設(shè)計(jì)成功案例成功案例干貨附錄干貨附錄建設(shè)現(xiàn)狀：集團(tuán)大數(shù)據(jù)平臺(tái)建設(shè)現(xiàn)狀現(xiàn)狀分析現(xiàn)狀分析理治無(wú)理治無(wú)各省大數(shù)據(jù)平臺(tái)廊坊大數(shù)據(jù)平臺(tái)亂散分各省大數(shù)據(jù)平臺(tái)廊坊大數(shù)據(jù)平臺(tái)亂散分州臺(tái)建設(shè)背景：集團(tuán)痛點(diǎn)數(shù)據(jù)治理數(shù)據(jù)治理應(yīng)數(shù)據(jù)中臺(tái)創(chuàng)新驅(qū)動(dòng)2急需支持租戶自助使用云化大數(shù)據(jù)相關(guān)資3保障數(shù)據(jù)安全開(kāi)放通過(guò)持續(xù)研究和探索通過(guò)持續(xù)研究和探索，構(gòu)建中國(guó)容器化大數(shù)據(jù)云平臺(tái)，解決痛點(diǎn)問(wèn)題問(wèn)題總結(jié)：集團(tuán)平臺(tái)待改進(jìn)需求總結(jié)平臺(tái)架構(gòu)數(shù)據(jù)匯聚數(shù)據(jù)處理數(shù)據(jù)治理數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)應(yīng)用系統(tǒng)運(yùn)維數(shù)據(jù)安全整體目標(biāo)：本次規(guī)劃實(shí)現(xiàn)的整體目標(biāo)基礎(chǔ)產(chǎn)品基礎(chǔ)產(chǎn)品資產(chǎn)產(chǎn)品應(yīng)用類產(chǎn)品采治挖采治挖總體架構(gòu)：集團(tuán)云化集群技術(shù)架構(gòu)租戶A租戶A租戶B租戶C租戶D租戶N……計(jì)算模塊服務(wù)模塊SparkSparkAlluxioAlluxioHDFS物理資源存儲(chǔ)模塊總體架構(gòu)：技術(shù)特點(diǎn)-多集群和混合云節(jié)點(diǎn)擴(kuò)容用戶集群–內(nèi)蒙用戶集群–河南、山東用戶集群–深圳添加用戶集群–成都用戶集群–AWS1用戶集群–AWS2總體架構(gòu)：技術(shù)特點(diǎn)-集群類型管理集群用戶集群應(yīng)用管理應(yīng)用管理應(yīng)用編排應(yīng)用運(yùn)行環(huán)境一致性應(yīng)用運(yùn)行環(huán)境一致性總體架構(gòu)：技術(shù)特點(diǎn)-鏡像倉(cāng)庫(kù)、鏡像同步生產(chǎn)集群開(kāi)發(fā)測(cè)試集群托管環(huán)境生產(chǎn)集群開(kāi)發(fā)測(cè)試集群托管環(huán)境同城數(shù)據(jù)中心預(yù)發(fā)布集群共有云區(qū)異地災(zāi)備數(shù)據(jù)中心生產(chǎn)環(huán)境主數(shù)據(jù)中心策略復(fù)制策略復(fù)制策略復(fù)制策略復(fù)制總體架構(gòu)：技術(shù)特點(diǎn)-資源管理、多網(wǎng)絡(luò)方案總體架構(gòu)：集團(tuán)與各省份關(guān)系圖集團(tuán)云化集群廊坊大數(shù)據(jù)平臺(tái)詳單各省沉淀，計(jì)算指標(biāo)數(shù)據(jù)同步集團(tuán)云化集群廊坊大數(shù)據(jù)平臺(tái)詳單各省沉淀，計(jì)算指標(biāo)數(shù)據(jù)同步查詢服務(wù)適配:〉數(shù)據(jù)資產(chǎn)管理平臺(tái)組件云化各省大數(shù)據(jù)平臺(tái)…服務(wù)云化詳單各省沉淀，:〉數(shù)據(jù)資產(chǎn)管理平臺(tái)組件云化各省大數(shù)據(jù)平臺(tái)…服務(wù)云化詳單各省沉淀，計(jì)算指標(biāo)數(shù)據(jù)同步建設(shè)背景：大數(shù)據(jù)與云計(jì)算的發(fā)展歷程2006:Hadoop(HDFS+MapReduce),1980-20022003-20062006-20092009-20162017-2022萌芽階段突破階段成熟階段應(yīng)用階段爆發(fā)階段-大數(shù)據(jù)元年2010:OpenStack(IaaS)2009:vSphere(IaaS)2012:OracleCloud(Iaas/PaaS/SaaS)SaaS出現(xiàn)CaaS出現(xiàn)?大數(shù)據(jù)的目標(biāo)是充分挖掘海量數(shù)據(jù)中的信息，以發(fā)現(xiàn)數(shù)據(jù)中的價(jià)值?云計(jì)算的目標(biāo)是通過(guò)資源共享的方式更好地調(diào)用、擴(kuò)展和管理計(jì)算和存儲(chǔ)等方面的資源和能降低企業(yè)的IT成本?云計(jì)算可以為大數(shù)據(jù)平臺(tái)的計(jì)算和存儲(chǔ)提供資源層的靈活性?大數(shù)據(jù)組件部署到云平的便利和高效技術(shù)發(fā)展趨勢(shì)：走向AI+Bigdata+Cloud融合v以海量數(shù)據(jù)存儲(chǔ)、處理為主v平臺(tái)難以維護(hù)，數(shù)據(jù)開(kāi)發(fā)困難Bigdata2.0:vHadoop商業(yè)版出現(xiàn)vSQLonHadoop逐漸成熟v以批處理、流處理為主Bigdata3.0:v客戶需求多元化v技術(shù)棧復(fù)雜化vABC走向融合QQSpecialization建設(shè)背景：中國(guó)構(gòu)建了業(yè)界領(lǐng)先的大數(shù)據(jù)平臺(tái) 向上服務(wù)對(duì)內(nèi)生產(chǎn)，同時(shí)支撐價(jià)值開(kāi)放運(yùn)營(yíng)技術(shù)引領(lǐng)資產(chǎn)化管理技術(shù)引領(lǐng)資產(chǎn)化管理存儲(chǔ)計(jì)算能力孵化價(jià)值化運(yùn)營(yíng)頂層架構(gòu)設(shè)計(jì)價(jià)值化運(yùn)營(yíng)頂層架構(gòu)設(shè)計(jì)全域貫穿全域貫穿能力化輸出統(tǒng)一數(shù)據(jù)模型向下完成5大類、全域數(shù)據(jù)匯聚建設(shè)背景：中國(guó)構(gòu)建了業(yè)界領(lǐng)先的大數(shù)據(jù)平臺(tái)數(shù)據(jù)中臺(tái)開(kāi)發(fā)測(cè)試數(shù)據(jù)治理應(yīng)數(shù)據(jù)中臺(tái)開(kāi)發(fā)測(cè)試數(shù)據(jù)治理應(yīng)(()1海量的計(jì)算能力、存儲(chǔ)能力2PB級(jí)數(shù)據(jù)吞吐能力、統(tǒng)一數(shù)據(jù)服務(wù)能力3企業(yè)核心數(shù)據(jù)資產(chǎn)管理能力4助力數(shù)字化轉(zhuǎn)型的服務(wù)型數(shù)據(jù)應(yīng)用5可價(jià)值變現(xiàn)的產(chǎn)品型數(shù)據(jù)應(yīng)用serverserver歷程回顧：中國(guó)大數(shù)據(jù)平臺(tái)建設(shè)l2016年至今，中國(guó)持續(xù)在大數(shù)據(jù)云平臺(tái)建設(shè)方面投入力量最初階段優(yōu)化提升MysqlMysqlStormSpark……Hadoop……MysqlMysqlStormSpark……Hadoop……serverserverserverserverserverserver SparkStormmysqltensorflowHadoop時(shí)序數(shù)據(jù)庫(kù)Caffeserverserverserverserverserver歷程回顧：Kubernetesvs.Mesos通過(guò)研究、探索和實(shí)踐，我們發(fā)現(xiàn)Kubernetes+Docker的技術(shù)路線更契合的實(shí)際需求。高高歷程回顧：與Rancher的合作中國(guó)在搭建Kubernetes+Docker的容器化平臺(tái)過(guò)程中，引入了Rancher部署/管理中國(guó)的微服務(wù)開(kāi)發(fā)運(yùn)維管理平臺(tái)使用了RancherServer，通過(guò)圖形化和RKE兩種方式對(duì)多個(gè)租戶的kubernetes集群進(jìn)行部署和管理：?圖形化部署和擴(kuò)展集群?圖形化節(jié)點(diǎn)、資源和容器監(jiān)控?備份和容災(zāi)，提高集群可靠性Rancher具有豐富的容器化實(shí)施案例經(jīng)驗(yàn)，是在支撐客戶需求以及集群故障恢復(fù)方面的堅(jiān)強(qiáng)后盾。Kubernetes作為開(kāi)源產(chǎn)品，經(jīng)常會(huì)有重大安全漏洞，Rancher都是率先發(fā)現(xiàn)并及時(shí)給出解決方案，為云平臺(tái)的安全保駕護(hù)航。平臺(tái)實(shí)踐：整體介紹2018年，基于Kubernetes+Dock基于統(tǒng)一服務(wù)集成框架KubernetesServiceCatalog，集中管理、部署多類PaaS能力，包括大數(shù)據(jù)基礎(chǔ)服務(wù)能力、中間件及數(shù)據(jù)庫(kù)能力、數(shù)據(jù)集成工具能力、容器云能力、深度學(xué)習(xí)框架能力等，并支持靈活擴(kuò)展。面向省分公司、子公司及內(nèi)外部合作伙伴，實(shí)現(xiàn)大數(shù)據(jù)云化資源能力的自助開(kāi)放，支持租戶進(jìn)行大數(shù)據(jù)平臺(tái)建設(shè)、大數(shù)據(jù)加工處理、模型訓(xùn)練及應(yīng)用的開(kāi)發(fā)部署。創(chuàng)新孵化模型訓(xùn)練應(yīng)用/微服務(wù)開(kāi)發(fā)部署創(chuàng)新孵化模型訓(xùn)練應(yīng)用/微服務(wù)開(kāi)發(fā)部署某省經(jīng)營(yíng)分析系統(tǒng)l應(yīng)用持續(xù)集成/部署租戶某省大數(shù)據(jù)生產(chǎn)平臺(tái)深度學(xué)習(xí)即服務(wù)cafe容器云服務(wù)數(shù)據(jù)集成工具即服務(wù)深度學(xué)習(xí)即服務(wù)cafe容器云服務(wù)數(shù)據(jù)集成工具即服務(wù)留中間件/數(shù)據(jù)庫(kù)即服務(wù)RedisKafka大數(shù)據(jù)即服務(wù)統(tǒng)一服務(wù)集成框架（KubernetesServiceCatalog）Kubernetes+Docker資源管理資源調(diào)度資源隔離彈性伸縮安全管控負(fù)載均衡Kubernetes+Docker資源管理資源調(diào)度資源隔離彈性伸縮安全管控負(fù)載均衡平臺(tái)實(shí)踐：主要PaaS能力01大數(shù)據(jù)基礎(chǔ)服務(wù)組件（原子組件+場(chǎng)景化組合）SparkZooKeeper信息檢索數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市適用于面向部門級(jí)的數(shù)據(jù)分析業(yè)務(wù)，提供包括交互式分析引擎、OLAP實(shí)時(shí)計(jì)算數(shù)據(jù)挖掘平臺(tái)實(shí)踐：主要PaaS能力元數(shù)據(jù)管理云化ETL數(shù)據(jù)稽核管理caffe平臺(tái)實(shí)踐：技術(shù)架構(gòu)租戶A租戶B租戶C租戶D…租戶A租戶B租戶C租戶D……租戶N能力開(kāi)放能力開(kāi)放能力列表能力訂購(gòu)能力變更能力退訂能力上架能力下架KubernetesKubernetesServiceCatalog深度學(xué)習(xí)框架深度學(xué)習(xí)框架大數(shù)據(jù)基礎(chǔ)服務(wù)數(shù)據(jù)集成工具中間件及數(shù)據(jù)庫(kù)三方服務(wù)擴(kuò)展微服務(wù)開(kāi)發(fā)部署理限流/降級(jí)/資源管理資源調(diào)度資源隔離服務(wù)編排彈性伸縮安全管控負(fù)載均衡平臺(tái)實(shí)踐：技術(shù)架構(gòu)l運(yùn)用統(tǒng)一集成框架KubernetesServiceCatalog，實(shí)現(xiàn)異構(gòu)服務(wù)組件的統(tǒng)一納管、自助拉起和在線開(kāi)放。使用業(yè)界標(biāo)準(zhǔn)的OpenServiceBrokerAPI，支持第三方組件的接入和擴(kuò)展。KubernetesKubernetesOpenOpenServiceBrokerAPIKubernetesAPIServerKubernetesAPIServerServicecatalogAPIServerServicecatalogControllerSServicecatalogControllerScaffe平臺(tái)實(shí)踐：支持場(chǎng)景租戶整體應(yīng)用場(chǎng)景概覽u省分大數(shù)據(jù)平臺(tái)構(gòu)建u大數(shù)據(jù)加工處理u模型訓(xùn)練u容器化應(yīng)用/服務(wù)開(kāi)發(fā)部署中國(guó)容器化大數(shù)據(jù)云平臺(tái)ll租戶自助構(gòu)建大數(shù)據(jù)平臺(tái)，進(jìn)行數(shù)據(jù)生產(chǎn)l提供大數(shù)據(jù)相關(guān)服務(wù)組件，供租戶進(jìn)行數(shù)據(jù)加工處理l租戶應(yīng)用/微服務(wù)的開(kāi)發(fā)和容器化部署平臺(tái)實(shí)踐：安全隔離容器化大數(shù)據(jù)云平臺(tái)保障租戶資源隔離、空間獨(dú)立、數(shù)據(jù)加工過(guò)程私密、互不干擾，為租戶提服務(wù)隔離資源隔離資源隔離業(yè)務(wù)隔離業(yè)務(wù)隔離數(shù)據(jù)隔離數(shù)據(jù)隔離租戶隔離和控制平臺(tái)實(shí)踐：技術(shù)挑戰(zhàn)平臺(tái)實(shí)踐：技術(shù)挑戰(zhàn)–多樣化PaaS服務(wù)集成容器化大數(shù)據(jù)云平臺(tái)需要快速集成大數(shù)據(jù)類、數(shù)據(jù)庫(kù)及中間件類、數(shù)據(jù)集成工具類等多種PaaS能力。沒(méi)有統(tǒng)一的集成接口。KubernetesServiceCatalogBrokerAPIBrokerAPI1.基于業(yè)界先進(jìn)的Open標(biāo)準(zhǔn)化接口快速對(duì)接各種PaaS組件平臺(tái)，匯聚各種為租戶賦能。2.基于KubernetesService和自定義資源原生技術(shù)實(shí)現(xiàn)對(duì)服務(wù)從開(kāi)通到退訂的全生命周期管理。平臺(tái)實(shí)踐：技術(shù)挑戰(zhàn)–Kubernetes集群間網(wǎng)絡(luò)互通遇到問(wèn)題：需在多個(gè)Kubernetes集群部署各類PaaS能力。大數(shù)據(jù)組件在容器化部署之后，服務(wù)相關(guān)的所有POD都是容器網(wǎng)絡(luò)，自身暴露的通信端口在集群外都無(wú)法訪問(wèn)，導(dǎo)致應(yīng)用通過(guò)大數(shù)據(jù)組件原生的API調(diào)用時(shí)遇到問(wèn)題。解決方案：通過(guò)定制flanneld網(wǎng)絡(luò)插件，兩個(gè)K8S集群共用一決K8s集群間的網(wǎng)絡(luò)互通問(wèn)題。 集群二集群一平臺(tái)實(shí)踐：技術(shù)挑戰(zhàn)–Hadoop容器化服務(wù)拆分遇到問(wèn)題：采用多租戶的方式對(duì)外提供大數(shù)據(jù)服務(wù)，每個(gè)租戶都是隔離的。這就要求需要在一個(gè)物理集群上能夠部署多套Hadoop集群。挑戰(zhàn)1.挑戰(zhàn)2.挑戰(zhàn)3.如何自動(dòng)完成角色規(guī)劃？服務(wù)拆分之后，如何解決服務(wù)依賴以及服務(wù)發(fā)現(xiàn)問(wèn)題？解決方案：1.將Hadoop按組件拆分成最小單位，確保能夠獨(dú)立部署；2.通過(guò)配置親和/反親和調(diào)度算法保證同一個(gè)集群的各個(gè)服務(wù)能夠合理部署，比如：同一集群的兩個(gè)Namenode不會(huì)調(diào)度在同一個(gè)物理機(jī)上；3.拆分完之后解決，服務(wù)之間的依賴和服務(wù)發(fā)現(xiàn)問(wèn)題 ?服務(wù)之間通過(guò)DNS和配置注入進(jìn)行服務(wù)發(fā)現(xiàn)?集群外的訪問(wèn)通過(guò) --NodePort平臺(tái)實(shí)踐：技術(shù)挑戰(zhàn)–Hadoop容器化計(jì)算本地化物理機(jī)部署的Nodemanger和Spark的Worker節(jié)點(diǎn)與Datanode都在相同的物理機(jī)上。?通過(guò)判斷IP是否一致決定是否進(jìn)行本地讀寫容器化部署挑戰(zhàn)1：Executor與Datanode數(shù)據(jù)不同pod,如何保證同一個(gè)集群的Executor和Datanode分布在相同的物理主機(jī)上？平臺(tái)實(shí)踐：技術(shù)挑戰(zhàn)–Hadoop容器化計(jì)算本地化第一步：采用K8S親和性調(diào)度策略，確保統(tǒng)一集群的計(jì)算服務(wù)于Datanode調(diào)度到相同的物理機(jī)列表里。第二步：更改Yarn/Spark調(diào)度邏輯，判斷對(duì)應(yīng)的計(jì)算切片是否在同一臺(tái)host上。第三步：多個(gè)pod共享Domainsocket，而且每個(gè)租戶的hdfs的domainsocket互相獨(dú)立。 NamenodeSchedulerNamenodeScheduler平臺(tái)實(shí)踐：建設(shè)成效省分租戶44個(gè)子公司租戶入駐集團(tuán)業(yè)務(wù)部門2部署4000余個(gè)容器服務(wù)實(shí)例，對(duì)100,000個(gè)事件跟蹤分析月均執(zhí)行MR/Spark任務(wù)162,455個(gè)，執(zhí)行數(shù)據(jù)調(diào)度任務(wù)發(fā)展委員會(huì)平臺(tái)實(shí)踐：后續(xù)探索方向-FaaS與云平臺(tái)“Serveless”的初衷是幫助開(kāi)發(fā)者擺脫運(yùn)行后端應(yīng)用程序所需的服務(wù)器設(shè)備的設(shè)置和管理工作，“FaaS”將“Serveless”這一框架提高到一個(gè)全新的層面，為云中運(yùn)行的應(yīng)用程序提供了一種全新的系統(tǒng)體系結(jié)構(gòu)，不需要在服務(wù)器上持續(xù)運(yùn)行進(jìn)程以等待HTTP請(qǐng)求或API調(diào)用，而是可以通過(guò)某種事件機(jī)制觸發(fā)代碼的執(zhí)行。上層快速底層靈活軟件平臺(tái)(SaaS)應(yīng)用平臺(tái)容器平臺(tái)(CaaS)基礎(chǔ)設(shè)施平臺(tái)(IaaS)客戶端-認(rèn)證服務(wù)數(shù)據(jù)庫(kù)-認(rèn)證服務(wù)數(shù)據(jù)庫(kù)API網(wǎng)關(guān)API網(wǎng)關(guān)數(shù)據(jù)庫(kù)優(yōu)勢(shì)?降低成本：開(kāi)發(fā)者不需要為云中運(yùn)行的整個(gè)服務(wù)器付費(fèi)，只需要為執(zhí)行代碼過(guò)程中消耗的資源付費(fèi)?縮放能力：可以通過(guò)事件觸發(fā)的方式輕松地對(duì)不同服務(wù)進(jìn)行縮放，而無(wú)須考慮基礎(chǔ)結(jié)構(gòu)的運(yùn)維和維護(hù)平臺(tái)實(shí)踐：后續(xù)探索方向-物聯(lián)網(wǎng)與云平臺(tái)物聯(lián)網(wǎng)和云計(jì)算以及大數(shù)據(jù)是密不可分的：?云平臺(tái)為大數(shù)據(jù)提供計(jì)算資源和海量數(shù)據(jù)的存儲(chǔ)能力?云平臺(tái)為物聯(lián)網(wǎng)應(yīng)用提供快速構(gòu)建和集成的能力?物聯(lián)網(wǎng)設(shè)備產(chǎn)生的海量數(shù)據(jù)需要大數(shù)據(jù)平臺(tái)進(jìn)行處理和分析持久化存儲(chǔ)物聯(lián)網(wǎng)通過(guò)信息傳感設(shè)備，按約定的協(xié)議物聯(lián)網(wǎng)和云計(jì)算以及大數(shù)據(jù)是密不可分的：?云平臺(tái)為大數(shù)據(jù)提供計(jì)算資源和海量數(shù)據(jù)的存儲(chǔ)能力?云平臺(tái)為物聯(lián)網(wǎng)應(yīng)用提供快速構(gòu)建和集成的能力?物聯(lián)網(wǎng)設(shè)備產(chǎn)生的海量數(shù)據(jù)需要大數(shù)據(jù)平臺(tái)進(jìn)行處理和分析持久化存儲(chǔ)數(shù)據(jù)管理數(shù)據(jù)管理設(shè)備管理 平臺(tái)實(shí)踐：總結(jié)與展望l建設(shè)面向大數(shù)據(jù)處理的統(tǒng)一云化資源池，提供豐富的PaaS組件，為大數(shù)據(jù)平臺(tái)構(gòu)建和應(yīng)用開(kāi)發(fā)部署提供快捷、高效的環(huán)境l依托容器化大數(shù)據(jù)云平臺(tái)，沉淀一系列技術(shù)能力及組件集合，推進(jìn)企業(yè)核心數(shù)據(jù)上云，構(gòu)建共性能力及通用服務(wù)，打造企業(yè)級(jí)數(shù)據(jù)中臺(tái)，賦能前端應(yīng)用及BU團(tuán)隊(duì)快速創(chuàng)新，支撐業(yè)務(wù)發(fā)展賦能前臺(tái)、創(chuàng)新發(fā)展賦能前臺(tái)、創(chuàng)新發(fā)展能力匯聚、協(xié)同運(yùn)營(yíng)打造企業(yè)級(jí)數(shù)據(jù)中臺(tái)多樣化能力建設(shè)與開(kāi)放互聯(lián)網(wǎng)化協(xié)同運(yùn)營(yíng)能力匯聚、協(xié)同運(yùn)營(yíng)打造企業(yè)級(jí)數(shù)據(jù)中臺(tái)多樣化能力建設(shè)與開(kāi)放互聯(lián)網(wǎng)化協(xié)同運(yùn)營(yíng)流處理框架批處理框架深度學(xué)習(xí)框架消息隊(duì)列異構(gòu)資源納管資源隔離資源調(diào)度異構(gòu)資源納管資源隔離資源調(diào)度智能管理、提升效能容器化大數(shù)據(jù)云平臺(tái)（Kubernetes+Docker）產(chǎn)品介紹：產(chǎn)品架構(gòu)舉措：構(gòu)建平臺(tái)數(shù)據(jù)資產(chǎn)管控能力，打造數(shù)據(jù)驅(qū)動(dòng)能力，促進(jìn)集團(tuán)數(shù)字化轉(zhuǎn)型，引導(dǎo)數(shù)據(jù)集中運(yùn)營(yíng)，實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)功能層運(yùn)營(yíng)層功能層運(yùn)營(yíng)層質(zhì)量規(guī)則管理質(zhì)量規(guī)則管理質(zhì)量規(guī)則檢查質(zhì)量問(wèn)題管理 J JOracle生產(chǎn)平臺(tái)…產(chǎn)品介紹：資產(chǎn)注冊(cè)管理a.支撐：模型的右鍵新增功能、導(dǎo)入、導(dǎo)出、保存模型、另存為圖片、單個(gè)分發(fā)、批量分發(fā)、a.支撐：實(shí)現(xiàn)對(duì)企業(yè)的job開(kāi)發(fā)流程定義變量：按秒、按分、按天、按月、按定a.支撐注冊(cè)的FTP服務(wù)器IP端口注冊(cè)和支撐：集群名稱、用戶組、系統(tǒng)目錄管理功支撐：集群名稱、用戶組、產(chǎn)品租戶的管理功支撐：集群的產(chǎn)品租戶、個(gè)人租戶和個(gè)人租戶組注產(chǎn)品介紹：資產(chǎn)注冊(cè)管理-產(chǎn)品效果圖產(chǎn)品介紹：建模開(kāi)發(fā)、數(shù)說(shuō)工廠、統(tǒng)一調(diào)度a.實(shí)現(xiàn)采集的源端系統(tǒng)接口注冊(cè)管理功能：新建、a.注冊(cè)管理采集的源端數(shù)據(jù)業(yè)務(wù)系統(tǒng)的信息：新建、a.支撐語(yǔ)義的ETL配置b.實(shí)現(xiàn)過(guò)程表、臨時(shí)表加工邏輯配置c.實(shí)現(xiàn)調(diào)度參數(shù)全局變量配置d.實(shí)現(xiàn)job的新增、保存a.實(shí)現(xiàn)源端數(shù)據(jù)源是oracle的數(shù)據(jù)進(jìn)行抽取、裝載、落地、加a.實(shí)現(xiàn)源端數(shù)據(jù)源是mysql的數(shù)據(jù)進(jìn)行抽取、裝載、落地、加a.實(shí)現(xiàn)數(shù)據(jù)質(zhì)量組件的拖拽開(kāi)發(fā)，在組件里面可以選稽核指標(biāo)組件和稽核規(guī)則組件b.實(shí)現(xiàn)組件的依賴連線，并實(shí)現(xiàn)開(kāi)發(fā)面板實(shí)現(xiàn)手工重調(diào)任務(wù)功能，實(shí)現(xiàn)未運(yùn)行、運(yùn)行中、運(yùn)行失敗、運(yùn)行成功，等待運(yùn)行，幾種狀態(tài)的掛起功能，喚產(chǎn)品介紹：建模開(kāi)發(fā)、數(shù)說(shuō)工廠、統(tǒng)一調(diào)度-產(chǎn)品效果圖度、JDBC實(shí)用工具、數(shù)據(jù)質(zhì)量、數(shù)據(jù)遷移、格式化組件產(chǎn)品特點(diǎn)：跨集群用戶管理中心集群集群-ALIYUN產(chǎn)品特點(diǎn)：統(tǒng)一調(diào)度，監(jiān)控下沉jobspodjobspodNodepod產(chǎn)品特點(diǎn)：安全管理?鏡像安全漏洞掃描??鏡像安全漏洞掃描?鏡像配置缺陷管理?鏡像中有惡意軟件?鏡像中有明文密鑰?使用了非信任鏡像?倉(cāng)庫(kù)中有陳舊鏡像?訪問(wèn)敏感數(shù)據(jù)鑒權(quán)?不安全連接和訪問(wèn)?容器運(yùn)行時(shí)漏洞管理?容器網(wǎng)絡(luò)訪問(wèn)無(wú)隔離?容器運(yùn)行時(shí)配置缺陷?容器承載的應(yīng)用漏洞?平臺(tái)中存有流氓容器品網(wǎng)絡(luò)安全?無(wú)界的管理員權(quán)限?授權(quán)訪問(wèn)不夠嚴(yán)格?品網(wǎng)絡(luò)安全?無(wú)界的管理員權(quán)限?授權(quán)訪問(wèn)不夠嚴(yán)格?敏感度差異容器負(fù)載混合?節(jié)點(diǎn)間互信關(guān)系?操作日志審計(jì)?業(yè)務(wù)間訪問(wèn)通斷控制?非同類網(wǎng)絡(luò)流量分離?負(fù)載均衡的加密訪問(wèn)?基于SSL傳輸加密e?宿主機(jī)可被攻擊面大?容器共享kernel風(fēng)險(xiǎn)?宿主機(jī)操作系統(tǒng)漏洞?宿主機(jī)用戶訪問(wèn)權(quán)限?宿主機(jī)文件系統(tǒng)篡改案例一：某省超大規(guī)模集群建設(shè)DCN網(wǎng)機(jī)房1機(jī)房3機(jī)房1機(jī)房3SparkImpala SparkStreaming/FlinkHDFS案例二：某省電信全域數(shù)據(jù)融合建設(shè)元數(shù)據(jù)覆蓋度從30%上升至98%人員培訓(xùn)周期由3個(gè)月縮短至5天元數(shù)據(jù)覆蓋度從30%上升至98%人員培訓(xùn)周期由3個(gè)月縮短至5天質(zhì)量持續(xù)改進(jìn)問(wèn)題查證率提高50%節(jié)約人力資源成本30%類別末端原因人員缺少對(duì)現(xiàn)有系統(tǒng)學(xué)習(xí)手段離職或變動(dòng)數(shù)據(jù)源數(shù)據(jù)自相矛盾復(fù)雜規(guī)則設(shè)有被充分理解變更帶來(lái)質(zhì)量問(wèn)題開(kāi)發(fā)過(guò)程時(shí)間太緊張業(yè)務(wù)規(guī)則理解錯(cuò)誤需求理解不準(zhǔn)確缺少測(cè)試標(biāo)準(zhǔn)和方法質(zhì)量管理質(zhì)量監(jiān)控規(guī)則不好把握系統(tǒng)構(gòu)架設(shè)計(jì)中缺少質(zhì)量考慮質(zhì)量監(jiān)控帶來(lái)過(guò)多性能開(kāi)銷1234優(yōu)化構(gòu)架質(zhì)量控制案例二：某省電信全域數(shù)據(jù)融合建設(shè)通過(guò)企業(yè)級(jí)數(shù)據(jù)中心對(duì)BOM域數(shù)據(jù)匯聚，建立三域融合的一站式指標(biāo)管理體系，為各級(jí)管理者、分析人員、一線人員提供全面、快速應(yīng)用服務(wù)支持………………客戶服務(wù)客戶服務(wù)…………l基站斷站率業(yè)務(wù)指標(biāo)案例二：某省電信全域數(shù)據(jù)融合建設(shè)整體規(guī)劃思路：融入數(shù)據(jù)資產(chǎn)理念的一張皮、兩條線和全覆蓋的數(shù)據(jù)中心元數(shù)據(jù)管理元數(shù)據(jù)管理標(biāo)準(zhǔn)化管理生命周期管理數(shù)據(jù)質(zhì)量管理“管理”和“執(zhí)行”一體化以標(biāo)準(zhǔn)化為核心，構(gòu)建一個(gè)大數(shù)據(jù)的“操作系統(tǒng)”數(shù)據(jù)崗位數(shù)據(jù)崗位CTO|管理員|開(kāi)發(fā)人員|質(zhì)量管理員…加工質(zhì)檢采集…加工質(zhì)檢采集關(guān)鍵因素標(biāo)準(zhǔn)化組件化可視化建模運(yùn)營(yíng)管理者生態(tài)規(guī)則制訂運(yùn)營(yíng)管理者生態(tài)規(guī)則制訂應(yīng)用開(kāi)發(fā)者應(yīng)用開(kāi)發(fā)者構(gòu)建應(yīng)用程序應(yīng)用程序形成容器開(kāi)發(fā)企業(yè)級(jí)數(shù)據(jù)整合提取數(shù)據(jù)各業(yè)務(wù)部門應(yīng)用使用提取數(shù)據(jù)各業(yè)務(wù)部門應(yīng)用使用平臺(tái)使用者平臺(tái)使用者平臺(tái)設(shè)計(jì)、開(kāi)發(fā)?統(tǒng)一數(shù)據(jù)模型?創(chuàng)建共享組件?創(chuàng)建自助式門戶數(shù)據(jù)湖-傳統(tǒng)架構(gòu)的變遷傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)psps?新一代大數(shù)據(jù)中心TransactiowarehousessTransactiowarehousess Streamss為什么要引入數(shù)據(jù)湖？現(xiàn)狀集團(tuán)“1+N”戰(zhàn)略，要求四川電信作為先進(jìn)省分保持?jǐn)?shù)據(jù)中心架構(gòu)穩(wěn)定性和前瞻性數(shù)據(jù)湖，以低成本收集并存儲(chǔ)任何規(guī)模、所有類型的數(shù)據(jù)并安全提供使用，符合中國(guó)電信對(duì)”N”省分?jǐn)?shù)據(jù)中心建設(shè)高安全、耐久、可用、可擴(kuò)展性的要求光網(wǎng)、無(wú)線數(shù)據(jù)及企業(yè)外部數(shù)據(jù)亟待收集，對(duì)非（半）結(jié)構(gòu)化數(shù)據(jù)、流式數(shù)據(jù)的處理缺乏經(jīng)驗(yàn)數(shù)據(jù)湖，支持對(duì)非結(jié)構(gòu)化、流式數(shù)據(jù)進(jìn)行對(duì)象存儲(chǔ)和持久化，并支持?jǐn)?shù)據(jù)對(duì)象的快速檢索、實(shí)時(shí)訪問(wèn)數(shù)據(jù)匯聚的復(fù)雜度增加，面臨數(shù)據(jù)接口類型超過(guò)10種，前端業(yè)務(wù)要求數(shù)據(jù)中心具備實(shí)時(shí)數(shù)據(jù)處理能力數(shù)據(jù)湖，可快速輕松地執(zhí)行新類型的數(shù)據(jù)統(tǒng)一匯聚和分析，支持新接口類型包括如corba、socket、snmp、tmf、SFTP、SSH等，支持秒級(jí)、毫秒級(jí)數(shù)據(jù)處理能力數(shù)據(jù)資產(chǎn)管理的難度增加，面臨全生態(tài)數(shù)據(jù)（B\O\M域，網(wǎng)絡(luò)、外部等）進(jìn)行的統(tǒng)一、有效管理，無(wú)成例可循數(shù)據(jù)湖，基于“注冊(cè)”機(jī)制，任何入湖的數(shù)據(jù)都將注冊(cè)到資產(chǎn)目錄進(jìn)行統(tǒng)一管理，同時(shí)具備自行更新和管理數(shù)據(jù)對(duì)象索引、元數(shù)據(jù)的能力，方便進(jìn)行開(kāi)放使用生態(tài)圈融合業(yè)務(wù)發(fā)展，驅(qū)動(dòng)數(shù)據(jù)資產(chǎn)價(jià)值的發(fā)掘，對(duì)數(shù)據(jù)中心具備對(duì)復(fù)雜事件的處理和分析能力數(shù)據(jù)湖，適合lambda架構(gòu)設(shè)計(jì)，支持使用一系列分析引擎，用于高級(jí)數(shù)據(jù)分析、實(shí)時(shí)流式+批量數(shù)據(jù)復(fù)合分析、預(yù)測(cè)性分析、人工智能(AI)和機(jī)器學(xué)習(xí)等場(chǎng)景如何構(gòu)建數(shù)據(jù)湖？44將數(shù)據(jù)湖開(kāi)放給用戶程序化的查詢目錄將數(shù)據(jù)湖開(kāi)放給用戶程序化的查詢目錄確保授權(quán)是得到認(rèn)可的3數(shù)據(jù)加密保護(hù)身份驗(yàn)證和授權(quán)訪問(wèn)控制和限制2元數(shù)據(jù)湖2用于概括性的統(tǒng)計(jì)和數(shù)據(jù)數(shù)據(jù)發(fā)現(xiàn)和管理的簡(jiǎn)化模型采集和存儲(chǔ)高可靠按照輸入源存儲(chǔ)原數(shù)據(jù)支持任何類型的數(shù)據(jù)價(jià)格低廉?dāng)?shù)據(jù)湖—資產(chǎn)注冊(cè)即采集高可靠按照輸入源存儲(chǔ)原數(shù)據(jù)支持任何類型的數(shù)據(jù)價(jià)格低廉ConnectorConnectorSnowballsAWSDirectConnectAmazonKinesisFirehoseS3TransferAccelerationAWSStorageGatewayAWS作為公有云提供面向互聯(lián)網(wǎng)的數(shù)據(jù)安全、數(shù)據(jù)高吞吐量、數(shù)據(jù)加速傳輸?shù)幕A(chǔ)設(shè)施能力，而采集能力實(shí)現(xiàn)使用者自定義完成某電信數(shù)據(jù)中心面向企業(yè)級(jí)應(yīng)用支撐（私有云需要提供面向企業(yè)級(jí)統(tǒng)一的數(shù)據(jù)入湖規(guī)范和資產(chǎn)注冊(cè)能力，同時(shí)也提供企業(yè)級(jí)統(tǒng)一的采集能力，實(shí)現(xiàn)資產(chǎn)注冊(cè)即采集數(shù)據(jù)源企業(yè)級(jí)統(tǒng)一的Collect數(shù)據(jù)資產(chǎn)管控平臺(tái)數(shù)據(jù)源企業(yè)級(jí)統(tǒng)一的Collect數(shù)據(jù)資產(chǎn)管控平臺(tái)統(tǒng)一數(shù)據(jù)入湖資產(chǎn)注冊(cè)適配平臺(tái)統(tǒng)一提供Databases、Files、Streams類采集組件，并通過(guò)“數(shù)據(jù)管控API”將采集的數(shù)據(jù)資產(chǎn)信息，自動(dòng)注冊(cè)到數(shù)據(jù)資產(chǎn)；特殊接口可繼承“自定義”采集框架，完成自定義采集方式、邏輯實(shí)現(xiàn)，但需注冊(cè)來(lái)源與格式、入湖目標(biāo)與格式信息。數(shù)據(jù)湖—數(shù)據(jù)源接入保障為保障數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)運(yùn)行的穩(wěn)定性與可靠性，數(shù)據(jù)源接入層面應(yīng)該優(yōu)先要建立起完善的保障機(jī)制，目前，數(shù)據(jù)中心已經(jīng)編制了與各系統(tǒng)接入的接口規(guī)范，但規(guī)范落地推進(jìn)相對(duì)緩慢，無(wú)法滿足業(yè)務(wù)保障的要求。制定規(guī)范題存在的問(wèn)為保障數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)運(yùn)行的穩(wěn)定性與可靠性，數(shù)據(jù)源接入層面應(yīng)該優(yōu)先要建立起完善的保障機(jī)制，目前，數(shù)據(jù)中心已經(jīng)編制了與各系統(tǒng)接入的接口規(guī)范，但規(guī)范落地推進(jìn)相對(duì)緩慢，無(wú)法滿足業(yè)務(wù)保障的要求。制定規(guī)范題存在的問(wèn)系統(tǒng) 握手機(jī)制保障系統(tǒng)握手機(jī)制保障源握手機(jī)制系統(tǒng)保障系統(tǒng)采集和存儲(chǔ)1、源系統(tǒng)提供數(shù)據(jù)不穩(wěn)定，導(dǎo)致前端業(yè)務(wù)使用數(shù)據(jù)不及時(shí)，不準(zhǔn)確。2、接口建立不規(guī)范，無(wú)相互握手機(jī)制，數(shù)據(jù)提供延遲，導(dǎo)致數(shù)據(jù)中心補(bǔ)錄數(shù)據(jù)流程繁瑣、復(fù)雜。3、接口規(guī)范推進(jìn)困難，源系統(tǒng)配合改造力度低下。數(shù)據(jù)湖—數(shù)據(jù)湖的存儲(chǔ)能力高可靠按照輸入源存儲(chǔ)原數(shù)據(jù)支持任何類型的數(shù)據(jù)價(jià)格低廉Aws存儲(chǔ)架構(gòu)AmazonElasticsearchAmazonElasticsearchServiceSearchElastiCacAmazonDynamoDElastiCacAmazonDynamoDBAccessAmazonGlacierArchiveAmazonGlacierArchiveAmazonS3AmazonRDSAmazonAmazonRDSAmazonRedshiftAmazonMachineLearningAmazon ElasticMapReduceQueryProcessQueryProcess什么類型的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)湖中？2.半結(jié)構(gòu)化數(shù)據(jù)3.結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)中心的存儲(chǔ)架構(gòu)elasticsearch.Archive數(shù)據(jù)湖—數(shù)據(jù)湖的目錄與搜索處理和批處理統(tǒng)一視圖的能力。元數(shù)據(jù)湖用于概括性的統(tǒng)計(jì)和數(shù)據(jù)分類管理數(shù)據(jù)發(fā)現(xiàn)和管理的簡(jiǎn)化模型22：完善資產(chǎn)管理平臺(tái)在“數(shù)據(jù)湖”層面“數(shù)據(jù)目錄與注冊(cè)”的管控能力結(jié)構(gòu)化數(shù)據(jù)的查詢和檢索能力數(shù)據(jù)湖—批處理和流處理的融合-Lambda架構(gòu)，助力牟電信構(gòu)建敏捷化的大數(shù)據(jù)平臺(tái)。位置服務(wù)場(chǎng)景：位置信令數(shù)據(jù)位置信令全量信息用戶歷史軌跡視圖批處理（循環(huán)重新計(jì)算）批處理層用戶歷史軌跡視圖1用戶歷史軌跡視圖2批處理視圖查詢獲取用戶軌跡視圖合并服務(wù)層實(shí)時(shí)計(jì)算視圖用戶實(shí)時(shí)軌跡視圖1用戶實(shí)時(shí)軌跡視圖2實(shí)時(shí)計(jì)算（增量計(jì)算）用戶位置流處理用戶實(shí)時(shí)軌跡視圖當(dāng)前大數(shù)據(jù)平臺(tái)隨著數(shù)據(jù)量的快速增長(zhǎng)，數(shù)據(jù)種類多樣化，應(yīng)用更加豐富，導(dǎo)致數(shù)據(jù)分析的時(shí)架構(gòu)，助力牟電信構(gòu)建敏捷化的大數(shù)據(jù)平臺(tái)。位置服務(wù)場(chǎng)景：位置信令數(shù)據(jù)位置信令全量信息用戶歷史軌跡視圖批處理（循環(huán)重新計(jì)算）批處理層用戶歷史軌跡視圖1用戶歷史軌跡視圖2批處理視圖查詢獲取用戶軌跡視圖合并服務(wù)層實(shí)時(shí)計(jì)算視圖用戶實(shí)時(shí)軌跡視圖1用戶實(shí)時(shí)軌跡視圖2實(shí)時(shí)計(jì)算（增量計(jì)算）用戶位置流處理用戶實(shí)時(shí)軌跡視圖Lambda框架介紹：1.Lambda整合離線計(jì)算和實(shí)時(shí)計(jì)算，集成2.Lambda實(shí)現(xiàn)了真正的流處理、批處理混合，同時(shí)統(tǒng)一了編程接口，使得整體處理架構(gòu)簡(jiǎn)單化。3.架構(gòu)組件選型：根據(jù)四川電信業(yè)務(wù)特點(diǎn)，實(shí)時(shí)流數(shù)據(jù)采用Kafka框架，批處理層存儲(chǔ)采用數(shù)據(jù)湖HDFS；計(jì)算采用MapReduce或者Spark；實(shí)時(shí)處理層采取Storm或者SparkStreaming，存儲(chǔ)采用Redis；服務(wù)層查詢少量的結(jié)果數(shù)據(jù)數(shù)據(jù)湖—非結(jié)構(gòu)數(shù)據(jù)檢索工具數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)圖像文件數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)圖像文件網(wǎng)頁(yè)文件日志聲音文件其他知識(shí)庫(kù)檢索平臺(tái)統(tǒng)一計(jì)算Solr（全文檢索工具）n數(shù)據(jù)檢索工具數(shù)據(jù)源包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，主要功能包括分詞檢索、排序、字段組合等功能。統(tǒng)一存儲(chǔ)Hbase（小文件、結(jié)構(gòu)化數(shù)據(jù)）數(shù)據(jù)湖—授權(quán)33數(shù)據(jù)加密保護(hù)身份驗(yàn)證和授權(quán)訪問(wèn)控制和限制?Kerberos?knox建立完整的數(shù)據(jù)湖安全體系?Ranger?Ranger?Ranger?Solr?HDFS通過(guò)Ambari，Ranger實(shí)現(xiàn)集中配置和管理?數(shù)據(jù)傳輸?數(shù)據(jù)存儲(chǔ)數(shù)據(jù)湖—服務(wù)API能力與UI將數(shù)據(jù)湖開(kāi)放給用戶程序化的查詢目錄開(kāi)放搜索API確保授權(quán)是得到認(rèn)可的4sAWSsAWS數(shù)據(jù)湖—數(shù)據(jù)湖內(nèi)數(shù)據(jù)的API封裝API路由結(jié)果數(shù)據(jù)格式轉(zhuǎn)換認(rèn)證與權(quán)限調(diào)用API返回結(jié)果數(shù)據(jù)結(jié)果數(shù)據(jù)脫敏加密數(shù)據(jù)湖訪問(wèn)控制“API封裝“圍繞認(rèn)證與權(quán)限檢驗(yàn)，訪問(wèn)控制，數(shù)據(jù)脫敏等過(guò)程，通過(guò)注冊(cè)信息，針對(duì)結(jié)果數(shù)據(jù)設(shè)置個(gè)性化的脫敏規(guī)則及用戶數(shù)據(jù)授權(quán)規(guī)則，在實(shí)際調(diào)用時(shí)即可對(duì)返回?cái)?shù)據(jù)進(jìn)行安全控制API路由結(jié)果數(shù)據(jù)格式轉(zhuǎn)換認(rèn)證與權(quán)限調(diào)用API返回結(jié)果數(shù)據(jù)結(jié)果數(shù)據(jù)脫敏加密數(shù)據(jù)湖訪問(wèn)控制數(shù)據(jù)湖的API封裝過(guò)程數(shù)據(jù)湖—統(tǒng)一的平臺(tái)可視化訪問(wèn)界面OCUE能做什么？博瑞得大數(shù)據(jù)平臺(tái)用戶操作界面（OCUE）是面向大數(shù)據(jù)平臺(tái)用戶的可視化操作界面。用戶可以在瀏覽器端的Web控制臺(tái)上與Hadoop集群進(jìn)行交互分析處理數(shù)據(jù)，例如操作HDFS上的數(shù)據(jù)，運(yùn)行MapReduceJob等。雖然大數(shù)據(jù)平臺(tái)各組件都有自己的使用方式和開(kāi)發(fā)接口，比如Hive提供的命令行終端，但是當(dāng)用戶需要訪問(wèn)多個(gè)組件時(shí)，需要打開(kāi)不同的終端或者界面，需要登錄不同的系統(tǒng)。OCUE統(tǒng)一了各個(gè)項(xiàng)目的開(kāi)發(fā)方式，提供了一個(gè)web的界面來(lái)開(kāi)發(fā)和調(diào)試任務(wù)，OCUE能做什么？1，訪問(wèn)HDFS和文件瀏覽2，通過(guò)web調(diào)試和開(kāi)發(fā)hive以及數(shù)據(jù)結(jié)果展示3，查詢solr和結(jié)果展示，報(bào)表生成4，通過(guò)web調(diào)試和開(kāi)發(fā)impala交互式SQLQuery7，oozie任務(wù)的開(kāi)發(fā)，監(jiān)控，和工作流協(xié)調(diào)調(diào)度8，Hbase數(shù)據(jù)查詢和修改，數(shù)據(jù)展示10，MapReduce任務(wù)進(jìn)度查看，日志追蹤11，創(chuàng)建和提交MapReduce，Streaming，Javajob任務(wù)12，Sqoop2的開(kāi)發(fā)和調(diào)試13，Zookeeper的瀏覽和編輯數(shù)據(jù)湖—專題與應(yīng)用：風(fēng)控專題寬帶虛假用戶識(shí)別寬帶虛假用戶識(shí)別專題分析模型支撐：為利劍、寬帶、ITV、體驗(yàn)卡建立風(fēng)險(xiǎn)數(shù)據(jù)模型，協(xié)助業(yè)管部門完成風(fēng)險(xiǎn)分析及清單下發(fā)。專題分析專題分析：根據(jù)分析結(jié)果進(jìn)行可視化專題的設(shè)計(jì)，通過(guò)不同視角對(duì)風(fēng)險(xiǎn)進(jìn)行監(jiān)控和識(shí)別。深度洞察：利用數(shù)據(jù)挖掘技術(shù)，對(duì)寬帶虛假用戶的識(shí)別，協(xié)助業(yè)務(wù)部門完成寬帶風(fēng)險(xiǎn)的監(jiān)控。目標(biāo)：建立完整風(fēng)控體制，管控信息數(shù)據(jù)的采集、傳遞、使用和存儲(chǔ)。建立智能風(fēng)控體系，實(shí)現(xiàn)各級(jí)業(yè)務(wù)部門對(duì)客戶價(jià)值、質(zhì)量管理。數(shù)據(jù)湖—專題與應(yīng)用：收入保障收入保障專業(yè)及深度應(yīng)用用戶收入全視圖監(jiān)控報(bào)表及分析深度應(yīng)用專業(yè)及深度應(yīng)用用戶收入全視圖監(jiān)控報(bào)表及分析深度應(yīng)用代理商CRM計(jì)費(fèi)結(jié)算用戶收入全視圖監(jiān)控報(bào)表及分析收入預(yù)測(cè)收入預(yù)測(cè)發(fā)展效益發(fā)展效益活動(dòng)評(píng)估活動(dòng)評(píng)估決策支撐決策支撐數(shù)據(jù)湖—專題與應(yīng)用：IPTV專題分析整合基礎(chǔ)上，利用資產(chǎn)管理平臺(tái)的各具有跨系統(tǒng)、準(zhǔn)實(shí)時(shí)、和面向生產(chǎn)的業(yè)務(wù)目標(biāo)業(yè)務(wù)目標(biāo)平臺(tái)統(tǒng)一整合整合IPTV業(yè)務(wù)平臺(tái)數(shù)據(jù)，進(jìn)行匯總和整合，以構(gòu)建多層次業(yè)務(wù)分析體系，多維度的業(yè)務(wù)分析模型數(shù)據(jù)匯總分析基本數(shù)據(jù)分析功能，包含客戶統(tǒng)一視圖，用戶行為分析，信息查詢，常規(guī)的統(tǒng)計(jì)分析功能以及可視化動(dòng)態(tài)展現(xiàn)功能業(yè)務(wù)價(jià)值挖掘?yàn)闋I(yíng)銷提供精準(zhǔn)運(yùn)營(yíng)管理，通過(guò)用戶畫(huà)像，根據(jù)用戶興趣內(nèi)容和行為畫(huà)像進(jìn)行推薦，服務(wù)用戶，使用戶能體驗(yàn)到更個(gè)性的差異化服務(wù)ITV手機(jī)門戶門戶專題實(shí)時(shí)大屏推薦服務(wù)數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用模塊……資產(chǎn)管理資產(chǎn)管理平臺(tái)數(shù)據(jù)湖—專題與應(yīng)用：光網(wǎng)及無(wú)線專題分析在光網(wǎng)、無(wú)線大數(shù)據(jù)接入的基礎(chǔ)上，結(jié)合數(shù)據(jù)中心資產(chǎn)管理平臺(tái)的各項(xiàng)能力，構(gòu)建可視化的光網(wǎng)、無(wú)線專題分析，通過(guò)報(bào)表、可視化圖形和自動(dòng)生成分析報(bào)告的方式，為業(yè)務(wù)運(yùn)營(yíng)提供數(shù)據(jù)分析依據(jù)。應(yīng)用層模型層網(wǎng)元事態(tài)感知模型網(wǎng)元事態(tài)感知模型網(wǎng)元差異化分析模型網(wǎng)元差異化分析模型網(wǎng)元健康度評(píng)估模型網(wǎng)元健康度評(píng)估模型……數(shù)據(jù)湖—專題與應(yīng)用：對(duì)作業(yè)計(jì)劃的電子運(yùn)維提供數(shù)據(jù)與能力支撐采集規(guī)則及指標(biāo)規(guī)則在作業(yè)計(jì)劃管理，調(diào)用資產(chǎn)管理平臺(tái)“抽取語(yǔ)義”與“計(jì)算語(yǔ)義”能力完成性能指標(biāo)采集加工，為作業(yè)計(jì)劃中的電子運(yùn)維的“計(jì)劃呈現(xiàn)結(jié)果應(yīng)用”與“計(jì)劃巡檢派單”提供數(shù)據(jù)支撐計(jì)劃基礎(chǔ)設(shè)備生成設(shè)備指標(biāo)項(xiàng)目計(jì)算計(jì)劃基礎(chǔ)設(shè)備生成設(shè)備指標(biāo)項(xiàng)目計(jì)算公式后臺(tái)截取計(jì)算確定計(jì)劃作業(yè)計(jì)劃計(jì)劃呈現(xiàn)結(jié)果查詢計(jì)劃巡檢派單集中操作集中操作數(shù)據(jù)中心數(shù)據(jù)湖計(jì)算語(yǔ)義數(shù)據(jù)中心數(shù)據(jù)湖計(jì)算語(yǔ)義抽取語(yǔ)義工統(tǒng)一采集適配（設(shè)備資料、各項(xiàng)指標(biāo)采集等）管為什么要引入數(shù)據(jù)資產(chǎn)管理？核心問(wèn)題：數(shù)據(jù)混亂、數(shù)據(jù)盲區(qū)、數(shù)據(jù)缺乏安全管控、無(wú)法支撐上層應(yīng)用、無(wú)法數(shù)據(jù)運(yùn)營(yíng)、無(wú)法挖掘數(shù)據(jù)價(jià)值實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)。aws核心問(wèn)題：數(shù)據(jù)被盜無(wú)法溯源、個(gè)人信息泄密、數(shù)據(jù)無(wú)權(quán)限層級(jí)控制、數(shù)據(jù)被攻擊篡改無(wú)法追責(zé)aws核心問(wèn)題：數(shù)據(jù)被盜無(wú)法溯源、個(gè)人信息泄密、數(shù)據(jù)無(wú)權(quán)限層級(jí)控制、數(shù)據(jù)被攻擊篡改無(wú)法追責(zé)數(shù)據(jù)資產(chǎn)管理能做什么？金融金融型數(shù)字政府制造交通.制造交通.能源零售能源零售中臺(tái)建設(shè)數(shù)據(jù)安全平臺(tái)規(guī)劃一站式AI建模中臺(tái)建設(shè)數(shù)據(jù)安全平臺(tái)規(guī)劃一站式AI建模大數(shù)據(jù)平臺(tái)規(guī)劃行業(yè)專題建模數(shù)據(jù)采集數(shù)據(jù)安全治理數(shù)據(jù)服務(wù)保護(hù)數(shù)倉(cāng)建模開(kāi)發(fā)數(shù)字企業(yè)規(guī)劃平臺(tái)搭建開(kāi)發(fā)行業(yè)專題建模數(shù)據(jù)采集數(shù)據(jù)安全治理數(shù)據(jù)服務(wù)保護(hù)數(shù)倉(cāng)建模開(kāi)發(fā)數(shù)字企業(yè)規(guī)劃平臺(tái)搭建開(kāi)發(fā)智慧城市建設(shè)…平臺(tái)運(yùn)維托管智慧城市建設(shè)…平臺(tái)運(yùn)維托管數(shù)據(jù)指標(biāo)集市安全分析感知大數(shù)據(jù)技術(shù)培訓(xùn)數(shù)據(jù)指標(biāo)集市安全分析感知大數(shù)據(jù)技術(shù)培訓(xùn)產(chǎn)品2021年總體規(guī)劃：產(chǎn)品能做什么？數(shù)據(jù)安全全生命周期管理平臺(tái)大數(shù)據(jù)智能決策平臺(tái)數(shù)據(jù)安全全生命周期管理平臺(tái)大數(shù)據(jù)智能決策平臺(tái)專題建模大數(shù)據(jù)平臺(tái)集成服務(wù)行業(yè)垂直數(shù)據(jù)采集組件化DPI+全行業(yè)數(shù)據(jù)采集覆蓋運(yùn)營(yíng)商、行業(yè)垂直數(shù)據(jù)采集組件化DPI+全行業(yè)數(shù)據(jù)采集覆蓋運(yùn)營(yíng)商、可嵌入網(wǎng)絡(luò)管道、邊緣計(jì)算設(shè)備及家庭、政企網(wǎng)關(guān)、虛擬化、云化網(wǎng)絡(luò)、智慧園區(qū)、數(shù)字化行業(yè)采集全行業(yè)數(shù)據(jù)融合運(yùn)營(yíng)商DPI?采集組件解析組件識(shí)別組件?處理組件?聚合組件?輸出組件產(chǎn)品介紹一：一站式大數(shù)據(jù)平臺(tái)集成服務(wù)大數(shù)據(jù)平臺(tái)集成服務(wù)產(chǎn)品介紹:主要面向全行業(yè)大型或特大型行業(yè)企業(yè)，如電信/政府/能源/交通等。提供平臺(tái)設(shè)計(jì)、規(guī)劃、搭建、定制開(kāi)產(chǎn)品價(jià)值：主要價(jià)值是為企業(yè)客戶提供平臺(tái)咨詢、規(guī)劃、建設(shè)、運(yùn)維、定制開(kāi)發(fā)、技術(shù)培訓(xùn)等一站式服務(wù)。向企業(yè)上層應(yīng)用提供數(shù)據(jù)支撐、??平臺(tái)運(yùn)維?數(shù)據(jù)維護(hù)?技術(shù)培訓(xùn)適用已有平臺(tái)項(xiàng)目，模塊按需部署升級(jí)+維護(hù)+技術(shù)培訓(xùn)+平臺(tái)托管服務(wù)平臺(tái)建設(shè)平臺(tái)建設(shè)?設(shè)計(jì)規(guī)劃?平臺(tái)搭建?定制開(kāi)發(fā)適用無(wú)平臺(tái)全新建設(shè)項(xiàng)目，設(shè)計(jì)規(guī)劃+平臺(tái)搭建+定制開(kāi)發(fā)服務(wù)l設(shè)計(jì)規(guī)劃：根據(jù)數(shù)據(jù)規(guī)模、機(jī)房位置、設(shè)備配置、應(yīng)用需求進(jìn)行技術(shù)和架構(gòu)選型，并輸出平臺(tái)建設(shè)方案，技術(shù)具有前瞻性，提供企業(yè)頂層設(shè)計(jì)規(guī)劃服l平臺(tái)搭建：根據(jù)平臺(tái)建設(shè)方案，搭建大數(shù)據(jù)平臺(tái)，包括平臺(tái)服務(wù)器配置、數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)，并且根據(jù)應(yīng)用需求搭建離線計(jì)算引擎和流計(jì)算引擎。l定制開(kāi)發(fā)：提供定制開(kāi)發(fā)的能力，例如應(yīng)用孵化、預(yù)統(tǒng)模型、數(shù)據(jù)合成、平臺(tái)托管平臺(tái)托管l平臺(tái)運(yùn)維：對(duì)完成建設(shè)后的大數(shù)據(jù)平臺(tái)進(jìn)行運(yùn)維保障，提供7*24小時(shí)服務(wù)，監(jiān)控平臺(tái)的服務(wù)、數(shù)據(jù)、權(quán)限、任務(wù)和租戶。l數(shù)據(jù)維護(hù)：根據(jù)業(yè)務(wù)對(duì)數(shù)據(jù)的使用，分析數(shù)據(jù)訪問(wèn)量和對(duì)數(shù)據(jù)的使用情況，對(duì)數(shù)據(jù)存儲(chǔ)、使用進(jìn)行統(tǒng)一監(jiān)控和維l技術(shù)培訓(xùn):為客戶提供技術(shù)培訓(xùn)，包括大數(shù)據(jù)原理、架構(gòu)、組件、前沿技術(shù)，也可提供人力外派咨詢服務(wù)。產(chǎn)品介紹二：數(shù)據(jù)安全全生命周期管理平臺(tái)數(shù)據(jù)安全全生命周期管理平臺(tái):主要面向大型或特運(yùn)營(yíng)層運(yùn)營(yíng)層運(yùn)營(yíng)商大型企業(yè)數(shù)字政府物聯(lián)網(wǎng)數(shù)字政府運(yùn)營(yíng)商數(shù)據(jù)資產(chǎn)應(yīng)用運(yùn)營(yíng)商大型企業(yè)數(shù)字政府物聯(lián)網(wǎng)數(shù)字政府運(yùn)營(yíng)商數(shù)據(jù)資產(chǎn)應(yīng)用數(shù)字政府智慧教育運(yùn)營(yíng)商功能層功能層數(shù)據(jù)處理類|數(shù)據(jù)交換類|文件操作類|數(shù)據(jù)查詢類|數(shù)據(jù)安全類|(函數(shù)適配器)采集適配層___-------"___-------"達(dá)夢(mèng)數(shù)據(jù)庫(kù)、人大金倉(cāng)數(shù)據(jù)庫(kù)、Oracle、SQLServer、產(chǎn)品介紹三：一站式大數(shù)據(jù)平臺(tái)集成服務(wù)地下空間安全治理大腦…智慧城市治理大腦消防安全治理大腦地下空間安全治理大腦…智慧城市治理大腦消防安全治理大腦智能決策平臺(tái)數(shù)據(jù)智能決策平臺(tái)數(shù)據(jù)層語(yǔ)義倉(cāng)庫(kù)數(shù)說(shuō)工廠