數(shù)據(jù)中臺技術(shù)架構(gòu)方案

數(shù)據(jù)中臺技術(shù)架構(gòu)方案本方案將為您介紹XX通過數(shù)據(jù)集成平臺、數(shù)據(jù)計算平臺、數(shù)據(jù)服務平臺如何在大型金融級復雜數(shù)據(jù)環(huán)境中落地數(shù)據(jù)中臺，以及去XX關(guān)鍵難點的解決之道數(shù)據(jù)集成平臺數(shù)據(jù)計算平臺數(shù)據(jù)服務平臺數(shù)據(jù)標準化—以實體對象為中心的業(yè)務主數(shù)據(jù)提煉、DMP構(gòu)建，實現(xiàn)ID識別連接、標簽標準規(guī)范地自動化生產(chǎn)建設自動化—在現(xiàn)有數(shù)據(jù)平臺基礎上，自動化構(gòu)建虛擬數(shù)據(jù)集市、主題庫和專題庫，即時響應業(yè)務的快速變化管理資產(chǎn)化—支持資產(chǎn)化視角構(gòu)建及管理數(shù)據(jù)體系，適用于數(shù)據(jù)類型多樣，需要統(tǒng)一管理數(shù)據(jù)的業(yè)務場景業(yè)務智能化——通過機器學習算法動態(tài)識別數(shù)據(jù)的業(yè)務特征，智能推薦業(yè)務所需要的數(shù)據(jù)模型策略配置任務管理斷點續(xù)傳數(shù)據(jù)對賬數(shù)據(jù)分發(fā)數(shù)據(jù)處理數(shù)據(jù)計算標識加工關(guān)聯(lián)任務調(diào)度清洗提取規(guī)則業(yè)務資源庫數(shù)據(jù)試驗空間資源庫原始庫業(yè)務實體庫標簽關(guān)鍵詞業(yè)務知識庫業(yè)務庫數(shù)據(jù)資源目錄元數(shù)據(jù)管理信息庫主題庫知識庫模型業(yè)務專題庫統(tǒng)一索引庫數(shù)據(jù)存儲備份庫數(shù)據(jù)集成數(shù)據(jù)服務基礎應用服務數(shù)據(jù)管理服務數(shù)據(jù)共享服務數(shù)據(jù)治理資源目錄分級分類數(shù)據(jù)血緣數(shù)據(jù)標準元數(shù)據(jù)數(shù)據(jù)質(zhì)量統(tǒng)一元數(shù)據(jù)統(tǒng)一訪問統(tǒng)一賬戶與權(quán)限全鏈路監(jiān)控托管彈性大數(shù)據(jù)基礎服務超大規(guī)模智能計算和存儲管理服務智能數(shù)據(jù)管理統(tǒng)一調(diào)度系統(tǒng)統(tǒng)一數(shù)據(jù)查詢搜索分析引擎數(shù)據(jù)采集數(shù)據(jù)集成離線計算實時計算圖計算統(tǒng)一存儲 統(tǒng)一調(diào)度大數(shù)據(jù)云基礎平臺交互查詢和分析服務全鏈路監(jiān)控大數(shù)據(jù)云生態(tài)組件金融大數(shù)據(jù)服務數(shù)據(jù)倉庫AI云平臺統(tǒng)一元數(shù)據(jù)、訪問、存儲、調(diào)度、權(quán)限、監(jiān)控監(jiān)管報表企業(yè)服務客戶關(guān)系風險管理一站式數(shù)據(jù)分析與深度挖掘服務數(shù)據(jù)可視化模型化業(yè)務分析服務報表服務檢索服務推薦服務在線事件服務……算法調(diào)用模型托管數(shù)據(jù)存儲數(shù)據(jù)處理彈性伸縮自動化部署運維計算存儲分離資源隔離組件高可用開放組件管理賬戶與權(quán)限數(shù)據(jù)審計多租戶開發(fā)套件住房租賃智能投顧……數(shù)據(jù)交換Web

IDE代碼庫桌面IDE

插件任務流程設計器……SQL作業(yè)調(diào)度作業(yè)執(zhí)行信息作業(yè)資源消耗作業(yè)重跑補數(shù)據(jù)作業(yè)集成數(shù)據(jù)來源數(shù)據(jù)中心(DW)業(yè)務源端數(shù)據(jù)采集調(diào)度臺 務數(shù)開發(fā)模塊集成工具測試工具發(fā)布工具據(jù)中代碼開發(fā)數(shù)據(jù)源配置功能測試任務發(fā)布服運行調(diào)度集成規(guī)則性能測試節(jié)點發(fā)布區(qū)版本管理集成調(diào)度測試報告發(fā)布管理Spark代碼構(gòu)建打包提交代碼執(zhí)行SQL節(jié)點執(zhí)行Spark節(jié)點執(zhí)行計算資源用戶信息同步登錄權(quán)限用戶權(quán)限管理資源申請資源詳情資源銷毀4A統(tǒng)一認證多租戶管理數(shù)據(jù)集成數(shù)據(jù)開發(fā)運維監(jiān)控半結(jié)構(gòu)化存儲NoSQL消息隊列關(guān)系型數(shù)據(jù)庫非結(jié)構(gòu)化存儲數(shù)據(jù)源管理數(shù)據(jù)源類型連接屬性數(shù)據(jù)源配置數(shù)據(jù)來源字段映射調(diào)度配置基礎屬性時間屬性集成任務管理調(diào)度依賴連通性測試資源消耗監(jiān)控數(shù)據(jù)來源數(shù)據(jù)去向集成任務管理資源消耗監(jiān)控離線任務同步任務任務資源消耗同步任務任務開發(fā)任務節(jié)點任務發(fā)布提交測試腳本管理腳本分類血緣分析腳本編輯任務編排可視化編排串聯(lián)編排依賴配置調(diào)度配置調(diào)度時間策略配置調(diào)度腳本管理調(diào)度配置語法校驗任務監(jiān)控實時預警監(jiān)控報表任務運維周期實例補數(shù)據(jù)實例任務重跑任務視圖任務監(jiān)控系統(tǒng)管理租戶管理用戶管理角色管理權(quán)限管理菜單管理日志管理同步任務…查詢分析離線計算實時計算數(shù)據(jù)集成多源批量同步ETL(適配器)數(shù)據(jù)校驗集成監(jiān)控適配多種查詢引擎統(tǒng)一數(shù)據(jù)緩存JDBC/REST

API基礎平臺數(shù)據(jù)倉庫HadoopSpark適配Hive/Spark/MR插件/多語言支持計算優(yōu)化服務插件Spark支持SQL-SCAN適配

Flink插件/SQL支持插件Flink支持優(yōu)化及高可用服務動態(tài)運維管理調(diào)度系統(tǒng)運維監(jiān)控運行監(jiān)控狀態(tài)監(jiān)測自定義監(jiān)控任務配置高可用派發(fā)/執(zhí)行資源權(quán)限隔離任務生命周期管理任務列表管理使用人員數(shù)據(jù)開發(fā)工程師數(shù)據(jù)分析工程師業(yè)務處理工程師其他使用人員數(shù)據(jù)科學工程師管理服務交互分析可視化/交互權(quán)限控制安全審計計算和存儲資源管理運維管理多查詢引擎適配數(shù)據(jù)開發(fā)統(tǒng)一元數(shù)據(jù)管理數(shù)據(jù)模型管理數(shù)據(jù)融合關(guān)聯(lián)SQL/腳本處理腳本管理數(shù)據(jù)融合關(guān)聯(lián)數(shù)據(jù)資源管理數(shù)據(jù)源數(shù)據(jù)流數(shù)據(jù)服務文件加載KafkaLambdaIoT

流API服務數(shù)據(jù)模型BI分析融合計算數(shù)據(jù)洞察數(shù)據(jù)模型算法模型數(shù)據(jù)集成數(shù)據(jù)處理文件加載云平臺S3對象存儲實時采集Agent負載均衡Relay服務去重服務接入端權(quán)限認證OracleHadoop黑白名單驗證實時批量數(shù)據(jù)校驗網(wǎng)絡爬蟲智能數(shù)據(jù)管理全鏈路監(jiān)控批量同步工具SDK遠程采集接入遠程采集管理遠程狀態(tài)監(jiān)控遠程配置管理遠程升級控制擴容縮容管理批量同步（集群直連）KafkaSinkHDFSSink批量同步任務管理同步插件同步調(diào)度管理批計算任務數(shù)據(jù)源網(wǎng)頁程序日志文件服務數(shù)據(jù)源端采集集群MongoDBElasticSearch實時同步實時同步實時同步阿里大數(shù)據(jù)平臺華為大數(shù)據(jù)平臺浪潮大數(shù)據(jù)平臺…Data

ExchangeStormSparkStreaming處理延時實時實時準實時處理速度50萬/秒10萬/秒3萬/秒有狀態(tài)操作是否是使用MQ種類ZeroMQZeroMQKafkaSQL

支持支持不支持不支持維度匯總操作可以不可以不支持分析任務復雜簡單較復雜支持數(shù)據(jù)格式DelimitedJSONXMLFreeTextBinaryName/ValueZippedAVROOracleGoldenGateTrailFilesApacheLogSysLogWindowsEventLogsMailLogSNMPCollectDCEFDHCPLogWCF?+Others支持數(shù)據(jù)庫

(VIA

CDC)OracleDB2MicrosoftSQL

ServerMySQLMariaDBPostgreSQLOthersviaJDBC支持大數(shù)據(jù)平臺HDFSHiveHuaweiFusionInsightAliyunMapute支持消息系統(tǒng)KafkaFlumeJMSAMQP支持文件Log

FilesSystemFilesBatchFiles支持網(wǎng)絡協(xié)議TCPUDPHTTPCiscoNetFlowPCAPIOT物聯(lián)網(wǎng)協(xié)議MQTTOPCUA支持云服務AWSRDSfor

PostgreSQLAWSRDSforMySQLAWSRedshitAWSS3AliyunRDSfor

PostgreSQLAliyunRDSfor

MySQLAliyunMapute支持數(shù)據(jù)庫OracleMicrosoftSQL

ServerMySQLXXPostgreSQLMemSQLOthersvia

JDBC支持消息系統(tǒng)KafkaJMSAMQPMAPRStream支持云服務AmazonS3AmazonRedshiftAWSRDSfor

OracleAWSRDSfor

MySQLAmazonKinesisAzureStorageAzureSQLDatabaseAzureHDInsightGoogleBig

Query支持文件格式DelimitedJSONXMLTemplateAVRO支持NOSQL數(shù)據(jù)庫MongoDB大數(shù)據(jù)平臺/HADOOPHBaseHiveHDFSKuduClouderaHortonworksHuawei

FusionInsightAliyunMaputeIOT物聯(lián)網(wǎng)協(xié)議MQTTOPC

UA支持其他系統(tǒng)Hazelcast可用腳本代碼開發(fā)開發(fā)環(huán)境數(shù)據(jù)任務WebIDESQLSparkFlink代碼調(diào)試任務編排生產(chǎn)環(huán)境上線任務異常通知運維報告任務發(fā)布運維監(jiān)控任務測試測試環(huán)境功能已測性能已測測試報告生成報告代碼資源庫在線編輯版本迭代測試不通過返回修改開發(fā)完成提交測試數(shù)據(jù)計算引擎數(shù)據(jù)集成平臺流式SQL處理實時清洗Hashdata分布式文件系統(tǒng)批量SQL處理批量處理SparkJDBC/ODBC

DriverRESTfulAPI

(SQL)交互查詢Web查詢服務引擎引擎管理離線計算數(shù)據(jù)可視化……PythonR作業(yè)入口應用管理服務資源管理服務引擎管理引擎管理引擎管理用戶管理代碼庫管理緩存服務JDBC/ODBC

DriverRESTfulAPI

(SQL)交互查詢WebSQL解析統(tǒng)一元數(shù)據(jù)監(jiān)控告警服務服務網(wǎng)關(guān)/路由統(tǒng)一數(shù)據(jù)計算引擎數(shù)據(jù)權(quán)限元數(shù)據(jù)同步指標上報服務性能分析降級/熔斷服務注冊負載均衡認證服務配置管理查詢服務引擎QueryServer數(shù)據(jù)融合多數(shù)據(jù)引擎適配器跨集群聯(lián)表查詢檢索服務數(shù)據(jù)可視化……搜索引擎執(zhí)行計劃生成執(zhí)行優(yōu)化對象存儲元數(shù)據(jù)融合查詢PythonRDatabaseReader監(jiān)控告警展示Grafana庫表遷移數(shù)據(jù)同步運維監(jiān)控DatabaseWriter任務執(zhí)行JDBC/ODBCDriverRESTfulAPI

(SQL)數(shù)據(jù)計算引擎周期配置參數(shù)配置任務調(diào)度引擎依賴配置配置管理任務調(diào)度引擎計算執(zhí)行引擎本測試融合查詢ScalaPostgreSQL

數(shù)據(jù)庫Spark服務器 Flink服務器Hadoop服務器SQL腳本執(zhí)行Scala腳本執(zhí)行其他腳本執(zhí)行計算引腳擎適配器腳本上傳本執(zhí)行度執(zhí)行目管理戶管理Spring

MVC框架React框架WebSocketWeb微服務架構(gòu)監(jiān)控數(shù)據(jù)采集Prometheus運維監(jiān)控服務器數(shù)據(jù)集成服務器數(shù)據(jù)集成結(jié)果服務調(diào)用服務發(fā)布數(shù)據(jù)中臺平臺采集調(diào)度系統(tǒng)數(shù)據(jù)集成請求租戶申請資源分配數(shù)據(jù)集成結(jié)果數(shù)據(jù)集成結(jié)果采集調(diào)度系統(tǒng)租戶管理系統(tǒng)服務發(fā)布平臺XX

大數(shù)據(jù)服務平臺，提供了關(guān)于數(shù)據(jù)清洗加工，預處理，特征工程，模型構(gòu)建，模型發(fā)布應用等一系列能力。XX具有支持模型生命周期每個階段的必要功能，專門用來管理和部署分析模型，平臺使用項目對構(gòu)建模型過程進行組織管理，不同的項目可對應于不同的業(yè)務用途或應用。支持多種文件系統(tǒng)導入：HDFS、FTP、HTTP、SFTP、S3支持關(guān)系型數(shù)據(jù)庫導入：DB2、Oracle、MSSQL、MySQL支持分析型數(shù)據(jù)庫導入：Redshift、XX、Greenplum支持特定數(shù)據(jù)格式導入：SAS支持大數(shù)據(jù)平臺導入：Hadoop支持

NoSQL數(shù)據(jù)庫導入：MongoDB支持數(shù)據(jù)格式和數(shù)據(jù)模式的自動檢測，在讀取數(shù)據(jù)之前不需要對格式進行設置支持交互式的數(shù)據(jù)清洗和增強，至少支持80種以上的數(shù)據(jù)清洗函數(shù)支持交互式的數(shù)據(jù)預處理，類型轉(zhuǎn)換、公式運算、缺失值處理、異常值處理、規(guī)則化、歸一化、按列處理、One-Hot

編碼等預處理操作支持文本處理、日期處理、UR支持按照每列進行統(tǒng)計特征值如最大值、最小值、中位數(shù)統(tǒng)計處理、JSON

數(shù)據(jù)處理、國家編碼和貨幣轉(zhuǎn)換支持

Python

、Scala的腳本編寫,可根據(jù)業(yè)務需求創(chuàng)建自定義數(shù)據(jù)類型支持中文分詞、中文詞法分析、停用詞過濾支持語法分析、篇章分析支持淺層語義表示、語義特征抽取支持向?qū)綐?gòu)建機器學習數(shù)據(jù)模型支持拖拉拽可視化展示數(shù)據(jù)分析挖掘結(jié)果支持可視化查看模型運行的性能支持通過不同的交叉策略比較和優(yōu)化模型支持自動生成非監(jiān)督學習的可視化統(tǒng)計報表回歸算法支持：支持線性回歸、邏輯回歸、XGBoost回歸、Catboost回歸、

SVM

向量機回歸分類算法支持：隨機森林、樸素貝葉斯、支持向量機、線性向量機、XGboost

分類、Catboost

分類、KNN

分類、GBDT

分類、決策樹分類聚類算法支持：KMeans、DBScan關(guān)聯(lián)規(guī)則算法支持：FPGrowth、Apriori語義算法支持：Word2vec、CountVectorizer、TF-IDF靈活可視化分析無需任何預處理即可對數(shù)據(jù)做任意維度的多維分析，簡單拖拽即可通過數(shù)據(jù)獲得業(yè)務洞察，業(yè)務人員也能自助分析數(shù)據(jù)。全方位的數(shù)據(jù)接入從數(shù)據(jù)，到各種SaaS應用、互聯(lián)網(wǎng)平臺，再到需要監(jiān)控的各類外部數(shù)據(jù)，上百種數(shù)據(jù)源，一鍵對接。支持各種圖表的可視化展示可拖拉拽數(shù)據(jù)維度生成各種圖表，支持20多種主流的圖表可視化圖表構(gòu)建，如柱狀圖、餅狀圖、散點圖、漏斗圖、樹圖、圖譜圖、桑基圖等。靈活的儀表盤可視化展示儀表盤支持多個圖表組合展示，支持多個圖表聯(lián)動和多層下鉆，同時支持圖表的導出圖片、Excel、某著名企業(yè)圖表和復制圖表等?？梢暬Ｔ陬A測數(shù)據(jù)處理過程中，可通過拖拉拽實現(xiàn)數(shù)據(jù)準備,

到分析,

建模的可視化操作，同時支持Notebooks腳本(R,Python,Hive,Pig,Spark

等)建模數(shù)據(jù)抽取加載可以抽取30多種數(shù)據(jù)源，連接現(xiàn)有的數(shù)據(jù)庫或大數(shù)據(jù)平臺的數(shù)據(jù)源進行抽取，自動檢測數(shù)據(jù)格式和模式將計算任務發(fā)送給現(xiàn)有的SQL、Hadoop

或

Spark

環(huán)境運行數(shù)據(jù)準備和可視化可以在數(shù)據(jù)分析的每一步完成數(shù)據(jù)預覽、數(shù)據(jù)準備、數(shù)據(jù)清洗、數(shù)據(jù)過濾等工作，內(nèi)置80+多種函數(shù)用于上述工作數(shù)據(jù)API設計數(shù)據(jù)從數(shù)據(jù)源抽取處理后，經(jīng)過清洗加工形成數(shù)據(jù)集，可通過數(shù)據(jù)API設計器進行共享數(shù)據(jù)API發(fā)布數(shù)據(jù)在共享發(fā)布時，可先將API進行部署，API接口部署后對數(shù)據(jù)訪問接口進行發(fā)布數(shù)據(jù)探索展示根據(jù)數(shù)據(jù)特點，智能推薦可視化分析方式，并可在圖形間隨意切換，動態(tài)數(shù)據(jù)建模，無需預計算。交互式數(shù)據(jù)展示交互式數(shù)據(jù)展示主要包含數(shù)據(jù)查詢控件、報表生成引擎和報表控制界面。數(shù)據(jù)查詢控件通過讀取元數(shù)據(jù)，生成拖拽界面。數(shù)據(jù)關(guān)聯(lián)展示跨多種數(shù)據(jù)源的多個圖表實現(xiàn)聯(lián)動過濾，通過此功能，實現(xiàn)多表多字段的數(shù)據(jù)關(guān)聯(lián)展示，用戶可以實現(xiàn)全局數(shù)據(jù)的細查。進入數(shù)據(jù)服務平臺操作門戶數(shù)據(jù)服務平臺新建數(shù)據(jù)工程進入數(shù)據(jù)服務面板：數(shù)據(jù)集數(shù)據(jù)模型開發(fā)代碼腳本數(shù)據(jù)處理任務數(shù)據(jù)服務接口等經(jīng)過若干數(shù)據(jù)處理步驟可形成數(shù)據(jù)處理工作流：結(jié)構(gòu)化數(shù)據(jù)庫半結(jié)構(gòu)化數(shù)據(jù)庫非結(jié)構(gòu)化文件公有云數(shù)據(jù)服務可對數(shù)據(jù)集進行洞察預覽數(shù)據(jù)API設計數(shù)據(jù)從數(shù)據(jù)源抽取處理后，經(jīng)過清洗加工形成數(shù)據(jù)集，可通過數(shù)據(jù)API設計器進行共享數(shù)據(jù)API發(fā)布數(shù)據(jù)在共享發(fā)布時，可先將API進行部署，API接口部署后對數(shù)據(jù)訪問接口進行發(fā)布創(chuàng)建數(shù)據(jù)API服務選擇數(shù)據(jù)API類型對數(shù)據(jù)端點進行代碼開發(fā)數(shù)據(jù)緩沖區(qū)貼源數(shù)據(jù)區(qū)基礎主題區(qū)公共計算區(qū)公共訪問區(qū)管理分析應用計算區(qū)實驗數(shù)據(jù)區(qū)復制數(shù)據(jù)區(qū)XXX實驗數(shù)據(jù)庫XXX實驗數(shù)據(jù)庫云數(shù)據(jù)倉庫數(shù)據(jù)歸檔區(qū)原始數(shù)據(jù)訪問區(qū)歷史數(shù)據(jù)區(qū)聯(lián)機交..組件數(shù)據(jù)區(qū)應用管理分析類應用跨組件批處理計算區(qū)XXXX應用XXX應用組件數(shù)據(jù)庫XXX應用組件數(shù)據(jù)庫源系統(tǒng)數(shù)據(jù)緩沖區(qū)貼源數(shù)據(jù)區(qū)基礎主題區(qū)公共訪問區(qū)管理分析應用計算區(qū)實驗數(shù)據(jù)區(qū)復制數(shù)據(jù)區(qū)OAS實驗數(shù)據(jù)庫EIA實驗數(shù)據(jù)庫DW數(shù)據(jù)倉庫公共計算區(qū)數(shù)據(jù)歸檔區(qū)歷史數(shù)據(jù)區(qū)原始數(shù)據(jù)訪問區(qū)聯(lián)機交..組件數(shù)據(jù)區(qū)應用管理分析類應用跨組件批處理計算區(qū)SOR應用XXX應用組件數(shù)據(jù)庫OAS應用組件數(shù)據(jù)庫源系統(tǒng)緩存緩存緩存計算單元-1（數(shù)據(jù)貼源區(qū)）計算單元-2（數(shù)據(jù)計算區(qū)）計算單元-3（數(shù)據(jù)訪問區(qū)）云存儲平臺風控反洗錢、反欺詐、稽核監(jiān)測應用緩存緩存緩存計算單元-1（數(shù)據(jù)貼源區(qū)）計算單元-2（數(shù)據(jù)計算區(qū)）計算單元-3（數(shù)據(jù)訪問區(qū)）云存儲平臺信用卡數(shù)據(jù)分析應用反洗錢、反欺詐、稽核監(jiān)測應用可在一個集群上建立數(shù)據(jù)貼源區(qū)、數(shù)據(jù)計算區(qū)、數(shù)據(jù)訪問區(qū)，完全共享底層的數(shù)據(jù)存儲資源信用卡數(shù)據(jù)分析應用可在一個集群上建立數(shù)據(jù)貼源區(qū)、數(shù)據(jù)計算區(qū)、數(shù)據(jù)訪問區(qū)，完全共享底層的數(shù)據(jù)存儲資源66

*

6節(jié)點66

*

6節(jié)點緩存緩存緩存計算單元-1（數(shù)據(jù)貼源區(qū)）計算單元-2（數(shù)據(jù)計算區(qū)）計算單元-3（數(shù)據(jù)訪問區(qū)）云存儲平臺信貸管理應用緩存緩存緩存計算單元-1（數(shù)據(jù)貼源區(qū)）計算單元-2（數(shù)據(jù)計算區(qū)）計算單元-3（數(shù)據(jù)訪問區(qū)）云存儲平臺財務會計應用信貸管理應用可在一個集群上建立數(shù)據(jù)貼源區(qū)、數(shù)據(jù)計算區(qū)、數(shù)據(jù)訪問區(qū)，完全共享底層的數(shù)據(jù)存儲資源財務會計應用可在一個集群上建立數(shù)據(jù)貼源區(qū)、數(shù)據(jù)計算區(qū)、數(shù)據(jù)訪問區(qū)，完全共享底層的數(shù)據(jù)存儲資源