浪潮數(shù)據(jù)中臺(tái)解決方案

浪潮數(shù)據(jù)中臺(tái)解決方案22一、浪潮對數(shù)據(jù)中臺(tái)的理解二、浪潮數(shù)據(jù)中臺(tái)解決方案三、浪潮數(shù)據(jù)中臺(tái)實(shí)踐匯報(bào)3業(yè)界對數(shù)據(jù)中臺(tái)的定義互聯(lián)網(wǎng)公司近年接連實(shí)施“大中臺(tái)”戰(zhàn)略，構(gòu)建符合互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代的，具有創(chuàng)新性、靈活性的“大中臺(tái)、小前臺(tái)”的機(jī)制，即作為前臺(tái)的一線業(yè)務(wù)會(huì)更敏捷、更快速的適用瞬息萬變的市場，而中臺(tái)將集合整個(gè)集團(tuán)的運(yùn)營數(shù)據(jù)能力，產(chǎn)品技術(shù)能力，對各前臺(tái)業(yè)務(wù)形成強(qiáng)有力的支撐?；诎⒗镌破脚_(tái)的企業(yè)中臺(tái)架構(gòu)標(biāo)是為了高效滿足前臺(tái)數(shù)據(jù)分析和應(yīng)用的需求。標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)架構(gòu)與研發(fā)：統(tǒng)一基礎(chǔ)層、公共中間層、百花齊放應(yīng)用口徑統(tǒng)一；連接與深度萃取數(shù)據(jù)價(jià)值：形成以業(yè)務(wù)核心對象為中心的連接和標(biāo)簽運(yùn)營四方面對看清數(shù)據(jù)資產(chǎn)、降低數(shù)據(jù)管理成本、追蹤數(shù)據(jù)價(jià)值。4浪潮對數(shù)據(jù)中臺(tái)的理解與認(rèn)識(shí)4數(shù)據(jù)中臺(tái)本身還是圍繞向上層應(yīng)用提供數(shù)據(jù)服務(wù)構(gòu)建的。中臺(tái)建設(shè)肯定會(huì)涉及上面提到的管理層面（組織、流程、考核）、平臺(tái)層面（開發(fā)、服務(wù)、治理、運(yùn)營）、數(shù)據(jù)層面（資產(chǎn)的類別、清單、質(zhì)量、運(yùn)維）、功能層面（數(shù)據(jù)的實(shí)時(shí)加工、批量加工、數(shù)據(jù)展現(xiàn)、數(shù)據(jù)搜索、數(shù)據(jù)存儲(chǔ)）。組織管理平臺(tái)演化知識(shí)共享思維模式：經(jīng)營思維把數(shù)據(jù)當(dāng)作資源，且最大程度上發(fā)揮數(shù)據(jù)資源的價(jià)值。服務(wù)導(dǎo)向數(shù)據(jù)治理數(shù)據(jù)創(chuàng)新5浪潮對數(shù)據(jù)中臺(tái)的理解與認(rèn)識(shí)5數(shù)據(jù)中臺(tái)是指通過數(shù)據(jù)技術(shù)，對海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工，同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑。數(shù)據(jù)中臺(tái)把數(shù)據(jù)統(tǒng)一之后，會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù)，再進(jìn)行存儲(chǔ)，形成大數(shù)據(jù)資產(chǎn)層，進(jìn)而為客戶提供高效服務(wù)。數(shù)據(jù)中臺(tái)包括數(shù)據(jù)模型，算法服務(wù)，數(shù)據(jù)產(chǎn)品，數(shù)據(jù)管理等等。核回歸服務(wù)的本質(zhì)-數(shù)據(jù)重用核?規(guī)避數(shù)據(jù)冗余，優(yōu)化數(shù)據(jù)質(zhì)量，最大程度避免“重復(fù)數(shù)據(jù)抽護(hù)的成本浪費(fèi)”?統(tǒng)一數(shù)據(jù)基礎(chǔ)模型將相關(guān)業(yè)務(wù)領(lǐng)域的數(shù)據(jù)做了匯聚，奠數(shù)據(jù)中臺(tái)需要不斷的業(yè)務(wù)滋養(yǎng)?規(guī)避企業(yè)信息資產(chǎn)的“煙囪式”數(shù)據(jù)生產(chǎn)模式或者項(xiàng)目制建從最初的字段單一到逐漸成長為企業(yè)最為寶貴的模心數(shù)據(jù)中臺(tái)是培育業(yè)務(wù)創(chuàng)新的土壤?企業(yè)的數(shù)據(jù)創(chuàng)新一定要站在巨人的肩膀上，即從數(shù)據(jù)中臺(tái)能總是從基礎(chǔ)做起，數(shù)據(jù)中臺(tái)是數(shù)據(jù)創(chuàng)新效率的保障。要獲取3個(gè)月的ARPU數(shù)據(jù)，如果沒有融合模型的支撐，得數(shù)據(jù)中臺(tái)是人才成長的搖籃★數(shù)據(jù)中臺(tái)是人才成長的搖籃?數(shù)據(jù)中臺(tái)讓新人擺脫了在起步階段對于導(dǎo)師的過渡依賴，浪潮對數(shù)據(jù)中臺(tái)的理解與認(rèn)識(shí)數(shù)據(jù)中臺(tái)發(fā)展及演進(jìn)過程：數(shù)據(jù)整合階段基礎(chǔ)數(shù)據(jù)平臺(tái)回?cái)?shù)據(jù)治理階段數(shù)據(jù)共享平臺(tái)數(shù)據(jù)治理平臺(tái)數(shù)據(jù)運(yùn)維平臺(tái)數(shù)據(jù)運(yùn)營階段數(shù)據(jù)應(yīng)用平臺(tái)數(shù)據(jù)挖掘平臺(tái)數(shù)據(jù)服務(wù)平臺(tái)6677一、浪潮對數(shù)據(jù)中臺(tái)的理解二、浪潮數(shù)據(jù)中臺(tái)解決方案三、浪潮數(shù)據(jù)中臺(tái)實(shí)踐匯報(bào)建設(shè)思路8建設(shè)思路8▉數(shù)字化中臺(tái)模式：前店后（厚）廠。“厚平臺(tái)、薄應(yīng)用”的架構(gòu)體系，敏捷支撐企業(yè)快速變化的管理和業(yè)務(wù)需求合作伙伴供應(yīng)商應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)應(yīng)用務(wù)務(wù)組件涉及的標(biāo)準(zhǔn)應(yīng)用服務(wù)功能廣泛（包括應(yīng)用和數(shù)據(jù)技術(shù)共享組件），存技術(shù)共享技術(shù)共享平臺(tái)化平臺(tái)化標(biāo)準(zhǔn)應(yīng)用平臺(tái)化統(tǒng)一資源配置統(tǒng)一資源配置按需敏捷擴(kuò)張按需敏捷擴(kuò)張開發(fā)者中心開發(fā)者中心運(yùn)營管控中心能力商城能力生產(chǎn)管理能力消費(fèi)管理能力開放開發(fā)社區(qū)能力商城能力生產(chǎn)管理能力消費(fèi)管理能力開放開發(fā)社區(qū)數(shù)據(jù)采集與交換共享物聯(lián)網(wǎng)應(yīng)用開發(fā)WEB開發(fā)AI數(shù)據(jù)采集與交換共享物聯(lián)網(wǎng)應(yīng)用開發(fā)WEB開發(fā)AI詢產(chǎn)采集框架管理物聯(lián)網(wǎng)…大數(shù)據(jù)基礎(chǔ)服務(wù)大數(shù)據(jù)基礎(chǔ)服務(wù)系統(tǒng)架構(gòu)L2系統(tǒng)架構(gòu)L2▉浪潮數(shù)據(jù)中臺(tái)是數(shù)據(jù)“采集、融合、治理、開放”的運(yùn)營支撐平臺(tái)…………大數(shù)據(jù)基礎(chǔ)平臺(tái)技術(shù)架構(gòu)技術(shù)架構(gòu)CloudSecurityCloudOperationCLIENTAPPLICATIONSAPPSTOREOpenAPIDEVOPSCloudSecurityCloudOperationCLIENTAPPLICATIONSAPPSTOREOpenAPIDEVOPSMayen"CONTAINERASASERVCEASASERVICEMICROSERVICESARCHITECTUREASASERVICEDATACENTEROPERATINGSYSTEM(DCOS)????數(shù)據(jù)中臺(tái)能力介紹▉數(shù)據(jù)建模：基于元數(shù)據(jù)的建模工具、模型盤點(diǎn)、模型管控模型盤點(diǎn)模型審核可視化在線建模模型盤點(diǎn)模型審核可視化在線建模數(shù)據(jù)中臺(tái)能力介紹▉分布式ETL工具：采用調(diào)度中心+決策中心相結(jié)合的分布式數(shù)據(jù)采集處理架構(gòu)任務(wù)信息、模型算法信息直接寫入元數(shù)據(jù)庫數(shù)據(jù)采集、處理（清洗轉(zhuǎn)換/標(biāo)準(zhǔn)化/解碼等）任務(wù)分布到各執(zhí)行端進(jìn)行處理提供采集、處理組件的自定義擴(kuò)展能力，通過采用注入C/C++、Java代碼方式進(jìn)行特殊數(shù)據(jù)處理邏輯的實(shí)現(xiàn)數(shù)據(jù)中臺(tái)能力介紹▉數(shù)據(jù)治理體系：圍繞“數(shù)據(jù)標(biāo)準(zhǔn)”，基于“元數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)數(shù)據(jù)資產(chǎn)字典引用標(biāo)準(zhǔn)引用數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)數(shù)據(jù)資產(chǎn)字典引用標(biāo)準(zhǔn)引用數(shù)據(jù)資源目錄注冊數(shù)據(jù)字典 規(guī)范化數(shù)據(jù)字典完善的數(shù)據(jù)標(biāo)準(zhǔn)體系元模型驅(qū)動(dòng)的元數(shù)據(jù)管理基于主題庫的數(shù)據(jù)資產(chǎn)目錄元模型在線元模型設(shè)計(jì)在線元模型設(shè)計(jì)數(shù)據(jù)中臺(tái)能力介紹▉數(shù)據(jù)標(biāo)準(zhǔn)管理：提供全面的統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)化管理③數(shù)據(jù)接口標(biāo)準(zhǔn)⑦報(bào)表數(shù)據(jù)標(biāo)準(zhǔn)⑩稽核規(guī)則數(shù)據(jù)標(biāo)準(zhǔn)"@封裝代碼標(biāo)準(zhǔn)@封裝代碼標(biāo)準(zhǔn)①數(shù)據(jù)對象分類縮寫標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)管理標(biāo)準(zhǔn)管理數(shù)據(jù)中臺(tái)能力介紹▉數(shù)據(jù)資產(chǎn)管理：提供對企業(yè)內(nèi)部全量數(shù)據(jù)資產(chǎn)的數(shù)字化管理，理清大數(shù)據(jù)平臺(tái)內(nèi)數(shù)據(jù)及數(shù)據(jù)間的脈絡(luò)及關(guān)系接口模型緩存層模型、基礎(chǔ)層模型、匯總層模型、應(yīng)用層模型..數(shù)據(jù)統(tǒng)一管理采集任務(wù)、數(shù)據(jù)匯總?cè)蝿?wù)、數(shù)據(jù)挖掘任務(wù)、數(shù)據(jù)服務(wù)數(shù)據(jù)API服務(wù)、數(shù)據(jù)交換服務(wù)、數(shù)據(jù)報(bào)告服務(wù)、數(shù)指標(biāo)數(shù)據(jù)中臺(tái)能力介紹▉數(shù)據(jù)資產(chǎn)管理：提供對企業(yè)內(nèi)部全量數(shù)據(jù)資產(chǎn)的數(shù)字化管理，理清大數(shù)據(jù)平臺(tái)內(nèi)數(shù)據(jù)及數(shù)據(jù)間的脈絡(luò)及關(guān)系持?jǐn)?shù)據(jù)目錄的動(dòng)態(tài)調(diào)整與擴(kuò)展將平臺(tái)管理的數(shù)據(jù)發(fā)布為對外可見將數(shù)據(jù)資源一鍵發(fā)布為數(shù)據(jù)API服務(wù)，支撐對外開放數(shù)據(jù)中臺(tái)能力介紹多方式質(zhì)量問題分析▉數(shù)據(jù)質(zhì)量管控：從網(wǎng)管數(shù)據(jù)的生產(chǎn)環(huán)境、采集、處理、消費(fèi)全過程進(jìn)行質(zhì)量監(jiān)控與保障多方式質(zhì)量問題分析統(tǒng)一的數(shù)據(jù)質(zhì)量監(jiān)控靈活規(guī)則設(shè)置19數(shù)據(jù)中臺(tái)能力介紹2.1、數(shù)據(jù)中臺(tái)-數(shù)據(jù)可視能力▉數(shù)據(jù)可視：OLAP多維透視分析，構(gòu)建靈活、直觀、快速的數(shù)據(jù)可視化能力數(shù)據(jù)中臺(tái)能力介紹▉數(shù)據(jù)查詢：基于SQL語句的自定義頁面設(shè)計(jì)與呈現(xiàn)工具提供靈活的頁面布局、展示內(nèi)容、展示方式、操作動(dòng)作等的編排設(shè)置能力，系統(tǒng)根據(jù)根據(jù)設(shè)置內(nèi)容自動(dòng)生成頁面數(shù)據(jù)中臺(tái)能力介紹▉全景視圖：提供面向數(shù)據(jù)生產(chǎn)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務(wù)、數(shù)據(jù)質(zhì)量的全景視圖。數(shù)據(jù)生產(chǎn)情況數(shù)據(jù)資產(chǎn)情況數(shù)據(jù)中臺(tái)能力介紹▉數(shù)據(jù)安全：嚴(yán)守?cái)?shù)據(jù)安全紅線，提供360°全方位的數(shù)據(jù)安全保障體系。數(shù)據(jù)安全統(tǒng)一身份認(rèn)證庫、表、字段、記錄的授權(quán)策略處理、數(shù)據(jù)加密數(shù)據(jù)文件加密各項(xiàng)功能的訪問控制大數(shù)據(jù)安全體系Hadoop運(yùn)維監(jiān)控?cái)?shù)據(jù)中臺(tái)能力介紹Hadoop運(yùn)維監(jiān)控硬件集群監(jiān)控及告警硬件集群監(jiān)控及告警▉運(yùn)維監(jiān)控：提供針對系統(tǒng)IT基礎(chǔ)設(shè)施、Hadoop平臺(tái)、應(yīng)用服務(wù)等的統(tǒng)一監(jiān)控、告警、應(yīng)用/服務(wù)監(jiān)控及在線啟停數(shù)據(jù)中臺(tái)能力介紹▉運(yùn)營門戶：提供面向數(shù)據(jù)運(yùn)營的統(tǒng)一對外開放門戶提供當(dāng)前系統(tǒng)內(nèi)已具備的數(shù)據(jù)目錄情航數(shù)據(jù)中臺(tái)能力介紹n數(shù)據(jù)目錄：提供當(dāng)前系統(tǒng)已經(jīng)對外發(fā)布的數(shù)據(jù)目錄信息u支持多種維度的數(shù)據(jù)分類檢索u支持一鍵式的數(shù)據(jù)資源查詢u支持對數(shù)據(jù)資源的評價(jià)打分u支持?jǐn)?shù)據(jù)資源詳情查看數(shù)據(jù)中臺(tái)能力介紹uAPI服務(wù)列表uAPI服務(wù)詳情u在線測試u在線申請數(shù)據(jù)中臺(tái)能力介紹n數(shù)據(jù)供需：提供數(shù)據(jù)供需列表及數(shù)據(jù)供需的發(fā)布能力。數(shù)據(jù)需求發(fā)布數(shù)據(jù)需求詳情、交付格式、聯(lián)系方式等數(shù)據(jù)供需撮合數(shù)據(jù)中臺(tái)能力介紹▉提供面向不同角色端到端一體化數(shù)據(jù)挖掘支撐能力提供大數(shù)據(jù)的提取、轉(zhuǎn)換及加載能力支持機(jī)器學(xué)習(xí)模型訓(xùn)練與調(diào)試固化、積累通用AI開放服務(wù)數(shù)據(jù)預(yù)處理平臺(tái)數(shù)據(jù)預(yù)處理平臺(tái)數(shù)據(jù)接入數(shù)據(jù)接入特征處理特征處理模型訓(xùn)練模型評估模型訓(xùn)練模型評估模型發(fā)布模型發(fā)布知識(shí)圖譜服務(wù)知識(shí)圖譜服務(wù)智能問答服務(wù)智能問答服務(wù)智能搜索服務(wù)智能搜索服務(wù)核心模型服務(wù)核心模型服務(wù)端到端流量預(yù)測端到端流量預(yù)測偽卡交易偵測偽卡交易偵測產(chǎn)品推薦產(chǎn)品推薦AIAI運(yùn)行環(huán)境管理（AIStation）數(shù)據(jù)中臺(tái)能力介紹▉提供面向不同角色端到端一體化數(shù)據(jù)挖掘支撐能力AI應(yīng)用場景：家寬用戶精準(zhǔn)營銷、4G離網(wǎng)用戶預(yù)測、端到端流量預(yù)測等AI核心模型：提供內(nèi)置積累模型（位置定位、關(guān)系識(shí)別、NPS等）AI開放服務(wù)：提供成熟的AI智能服務(wù)（NLP、圖像識(shí)別、智能搜索、智能問答等）視頻的標(biāo)注能力訓(xùn)練平臺(tái)：提供面向不同能力開發(fā)人員的訓(xùn)練平臺(tái)(AutoML,IAI,NoteBook)計(jì)算框架：全面的AI計(jì)算框架支持（Sk-Learn、TensorFlow、CAIStation：提供AI運(yùn)行資源管理、分配、可視化部署云化基礎(chǔ)設(shè)施資源池：主機(jī)服務(wù)、計(jì)算服務(wù)、存儲(chǔ)服務(wù)、網(wǎng)絡(luò)服務(wù)等數(shù)據(jù)中臺(tái)能力介紹練練硬件層練數(shù)據(jù)中臺(tái)能力介紹▉AIStation：硬件統(tǒng)一管理，框架一鍵部署。資源監(jiān)控資源管理環(huán)境構(gòu)建性能分析/優(yōu)化資源監(jiān)控資源管理環(huán)境構(gòu)建32數(shù)據(jù)中臺(tái)能力介紹2.3、數(shù)據(jù)挖掘能力▉AIStation：硬件統(tǒng)一管理，框架一鍵部署。GPU資源分配硬件性能可視化機(jī)器學(xué)習(xí)環(huán)境一鍵部署集群資源監(jiān)控實(shí)時(shí)性能分析算法分析數(shù)據(jù)中臺(tái)能力介紹人工質(zhì)檢人工質(zhì)檢任務(wù)分派任務(wù)分派權(quán)限管理屬性標(biāo)注關(guān)系標(biāo)注權(quán)限管理屬性標(biāo)注關(guān)系標(biāo)注視頻分割視頻審核候選物標(biāo)注視頻分割視頻審核候選物標(biāo)注分包質(zhì)檢標(biāo)框標(biāo)注描點(diǎn)標(biāo)注分類標(biāo)注分包質(zhì)檢標(biāo)框標(biāo)注描點(diǎn)標(biāo)注分類標(biāo)注分詞詞性分類標(biāo)注關(guān)鍵詞標(biāo)注分詞詞性分類標(biāo)注關(guān)鍵詞標(biāo)注數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)中臺(tái)能力介紹全流程數(shù)據(jù)標(biāo)注數(shù)據(jù)隔離方案私有化部署建標(biāo)注工具、標(biāo)注任務(wù)管理、人員管理、眾數(shù)據(jù)中臺(tái)能力介紹詞典創(chuàng)建/管理任務(wù)眾包/審核語料管理知識(shí)實(shí)體標(biāo)注預(yù)處理/打基線關(guān)聯(lián)標(biāo)注數(shù)據(jù)中臺(tái)能力介紹服務(wù)/模型管理數(shù)據(jù)集管理算法組件庫數(shù)據(jù)中臺(tái)能力介紹▉AI訓(xùn)練：是強(qiáng)大且便捷的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)建模平臺(tái)，同時(shí)提供模型生產(chǎn)化能力，平臺(tái)的開放性也可有IT框架集成。與TensorFlow、caffe2等框架將AI模型融合現(xiàn)有微服務(wù)環(huán)境運(yùn)行包含特征工程的模型輸出數(shù)據(jù)中臺(tái)能力介紹▉AI訓(xùn)練：是強(qiáng)大且便捷的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)建模平臺(tái)，同時(shí)提供模型生產(chǎn)化能力，平臺(tái)的開放性也可有IT框架集成。數(shù)據(jù)管理AutoML特征工程模型評估可視化建模應(yīng)用上線知識(shí)圖譜AI基礎(chǔ)服務(wù)知識(shí)圖譜AI基礎(chǔ)服務(wù)OCR目標(biāo)檢測目標(biāo)識(shí)別數(shù)據(jù)中臺(tái)能力介紹OCR目標(biāo)檢測目標(biāo)識(shí)別人臉識(shí)別人臉比對圖像匹配人臉識(shí)別人臉比對圖像匹配▉AI開放服務(wù)：對具有通用性的模型進(jìn)行能力封裝，對外以API、核心模型的方式直接提供服務(wù)AI核心模型智能服務(wù)知識(shí)建模與存儲(chǔ)知識(shí)抽取查詢理解查詢理解文本理解情感理解情感理解分詞分詞關(guān)鍵詞提取關(guān)鍵詞提取文本相似文本相似詞性標(biāo)注詞性標(biāo)注自動(dòng)摘要自動(dòng)摘要依存句法依存句法實(shí)體識(shí)別實(shí)體識(shí)別文本分類共指消解共指消解數(shù)據(jù)中臺(tái)能力介紹▉AI開放服務(wù)：對具有通用性的模型進(jìn)行能力封裝，對外以API、核心模型的方式直接提供服務(wù)對NLP、知識(shí)圖譜、知識(shí)圖譜等能力進(jìn)行封裝，對外提供服務(wù)，并且可根據(jù)需求進(jìn)行定制化訓(xùn)練根據(jù)長期AI項(xiàng)目經(jīng)驗(yàn)，對常用模型進(jìn)行封裝，以業(yè)務(wù)模型的方式快速部署實(shí)施?方便易用的NLP服務(wù)接口?豐富的行業(yè)語料庫?多源異構(gòu)超媒體數(shù)據(jù)融合?提供全息、多維、動(dòng)態(tài)、虛實(shí)結(jié)合的超級(jí)檔案?基于圖譜的圖形化數(shù)據(jù)過濾、統(tǒng)計(jì)?快速高精度的問答匹配能力數(shù)據(jù)中臺(tái)能力