數(shù)據(jù)中心建設方案簡版

1、技術建議書企業(yè)數(shù)據(jù)中心系統(tǒng)平臺技術方案建議書第1頁共51頁技術建議書技術建議書第1章總體建設方案1.1 總體建設思路應用層叵用層rsas首控平臺到耕物區(qū)開密七影相建圖、數(shù)據(jù)中心構(gòu)建思路圖按照對數(shù)據(jù)中心的理解，完整的數(shù)據(jù)中心應該具備IT基礎設施（主機、存儲、網(wǎng)絡）企業(yè)級ETL平臺、數(shù)據(jù)存儲中心、數(shù)據(jù)共享服務、應用層、統(tǒng)一門戶、數(shù)據(jù)管控平臺。第2頁共51頁技術建議書1.2 功能框架政用展九海唐堡£分就冬夕黃I二指入管理K*-,a猊一半臺管控1據(jù)扶享I務廬緘”1藺若百事介布電程應得開放央享理招平臺JW委組件APi電理沖0U法省口4.牌ES83器由成據(jù)升FE7即第租Q篡理W】fS0*9片邨曄

2、任智£3更會m甲g航土存他與汁野中心ttffift也執(zhí)存陳網(wǎng)絡j企業(yè)的ETL平臺TT基此設圖、功能框架數(shù)據(jù)騰野哲理4Uk,蕊櫛/狷智安富景轉(zhuǎn)攜依窿加彳料眠甘前儂發(fā)跳潴忸M系統(tǒng)功能框架分為企業(yè)級ETL平臺、存儲與計算中心、服務層、應用層、統(tǒng)一門戶、統(tǒng)一平臺管控。企業(yè)級ETL平臺：負責企業(yè)數(shù)據(jù)中心數(shù)據(jù)采集、加工、匯總、分發(fā)的過程，完成企業(yè)級數(shù)據(jù)標準化、集中化，實現(xiàn)數(shù)據(jù)脈絡化、關系化，實現(xiàn)統(tǒng)一的數(shù)據(jù)處理加工，包括：非實時數(shù)據(jù)處理和實時數(shù)據(jù)處理，提供數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)匯總、數(shù)據(jù)分發(fā)、數(shù)據(jù)挖掘等能力。存儲與計算中心：建立統(tǒng)一的數(shù)據(jù)中心數(shù)據(jù)模型，以及統(tǒng)一的數(shù)據(jù)存儲與計算，具體提供

3、關系數(shù)據(jù)庫、分布式非關系數(shù)據(jù)庫、分布式文件、分布式計算，實現(xiàn)統(tǒng)一的數(shù)據(jù)存儲與計算。數(shù)據(jù)共享服務:第3頁共51頁技術建議書通過數(shù)據(jù)服務標準化開放訪問，幫助企業(yè)IT建設中，應用和數(shù)據(jù)分離，引入更多的應用開發(fā)商，促進應用的百花齊放和應用的專業(yè)性；基于標準化接口，實現(xiàn)對標簽、客戶視圖、指標等數(shù)據(jù)查詢API封裝，實現(xiàn)與周邊系統(tǒng)實時互動，體現(xiàn)數(shù)據(jù)價值，減少數(shù)據(jù)冗余，保證數(shù)據(jù)安全，保證數(shù)據(jù)的一致性。應用層：應用層的應用使用服務層提供的各種數(shù)據(jù)服務。本期應用層包括：經(jīng)分應用、流量運營、ESOP應用、VGOP應用、指標庫、流量運營戰(zhàn)略地圖、掌上分析、自助業(yè)務分析、區(qū)域洞察、渠道運營、自助分析、客戶標簽庫、實時營

4、銷、LTE互聯(lián)網(wǎng)管控策略。統(tǒng)一門戶：提供統(tǒng)一域名分配、負載均衡、鑒權管理、統(tǒng)一管控平臺接入、應用注冊、應用發(fā)布、應用訪問數(shù)據(jù)信息等功能，同時提供數(shù)據(jù)中心被應用訪問的頻次，被應用訪問的數(shù)據(jù)范圍，提供數(shù)據(jù)資產(chǎn)的評估，為應用上下線和數(shù)據(jù)開放提供依據(jù)。統(tǒng)一平臺管控：面向開發(fā)人員、運維人員實現(xiàn)數(shù)據(jù)、應用、資源的統(tǒng)一管控，包括：數(shù)據(jù)資產(chǎn)管控、開發(fā)管理、監(jiān)控管理、調(diào)度管理、系統(tǒng)管理、安全管理。1.3 技術架構(gòu)31Ms圖、技術架構(gòu)第4頁共51頁技術建議書系統(tǒng)技術架構(gòu)分為數(shù)據(jù)采集、計算存儲服務、數(shù)據(jù)共享服務、平臺管控。采用Hadoop云技術，可以滿足計算能力線性擴展、多租戶能力、數(shù)據(jù)匯總能力；批處理場景采取Ha

5、doop的Map/Reduce、Hive或者Spark來完成；流式數(shù)據(jù)處理，采用Esper計算引擎實現(xiàn)。數(shù)據(jù)采集：采用Flume計算框架，實現(xiàn)文件和消息采集與解析；采用流式爬蟲、中文分詞、圖片識別技術，實現(xiàn)互聯(lián)網(wǎng)網(wǎng)頁信息實時采集；采用FTP文件方式實現(xiàn)對數(shù)據(jù)文件的采集；采用Socket消息方式實現(xiàn)對消息數(shù)據(jù)的采集；采用sqoop方式實現(xiàn)將數(shù)據(jù)庫數(shù)據(jù)裝載到HDFS文件系統(tǒng)。計算存儲服務：采用Hadoop中HDFS文件系統(tǒng)提供統(tǒng)一的大數(shù)據(jù)數(shù)據(jù)存儲，滿足全量數(shù)據(jù)留存；基于Yarn提供跨平臺的資源管理，滿足資源的統(tǒng)一調(diào)度與管理；采用Hadoop實現(xiàn)非實時ETL,實現(xiàn)海量數(shù)據(jù)的批處理，主要處理ODS層-

6、>DWD層->DW層->ST層的數(shù)據(jù)處理；視業(yè)務數(shù)據(jù)情況部分DW層->ST層的數(shù)據(jù)處理采用Spark計算框架實現(xiàn)；采用Esper和rabbitmq支撐流數(shù)據(jù)處理與復雜事件處理；利舊DB2提供ST層數(shù)據(jù)的存儲與計算，支持高弁發(fā)的指標級數(shù)據(jù)共享。數(shù)據(jù)共享：數(shù)據(jù)開放共享采用基于HTTP協(xié)議REST風格的OpenAPI完成同步處理與基于消息隊列（MQ）完成異步處理，實現(xiàn)類SOA面向服務的架構(gòu)體系。支持OAuth提供一個安全的、開放而又簡易的授權協(xié)議。數(shù)據(jù)共享服務部署在集群環(huán)境中以應對高弁發(fā)的訪問請求，并實現(xiàn)集群的負載均衡。統(tǒng)一平臺管控：采用JavaEE技術，通過MVC模式（Mo

7、delViewController,是模型視圖控制器）把業(yè)務邏輯、數(shù)據(jù)、界面顯示分離的方法組織代碼，將業(yè)務邏輯聚集到一個部件里面，在改進和個性化定制界面及用戶交互的同時，不需要重新編寫業(yè)務邏輯o第5頁共51頁技術建議書1.4數(shù)據(jù)流圖計算與存M層Hiveenutii)Mc信令（實時）數(shù)據(jù)通過Socket消息適配模塊接入至Esper計算引擎進行實時處理,向應用提供事件API服務，支撐實時營銷應用；后期如Gn信令、LTE信令也提供實時數(shù)據(jù)，可滿足基于Gn信令、LTE信令的實時處理。除Mc信令（實時）數(shù)據(jù)外，Gn信令、Mc信令、自有業(yè)務訂購與使用行為等數(shù)據(jù)通過非實時ETL方式裝載到Hadoop的HDF

8、S文件系統(tǒng)，實現(xiàn)全量數(shù)據(jù)留存；由Hive承擔主庫的職能，實現(xiàn)海量數(shù)據(jù)的批處理，承載ODS->DWD->DW->ST各層數(shù)據(jù)處理，其中DW層部分數(shù)據(jù)提供給Spark,由Spark完成數(shù)據(jù)處理工作。對外數(shù)據(jù)服務可以由不同種類的API來完成：1、針對諸如客戶統(tǒng)一視圖、客戶標簽庫的數(shù)據(jù)探索查詢服務：將數(shù)據(jù)加載到Spark的RDD中，通過API將數(shù)據(jù)共享出去；2、針對諸如客戶標簽信息查詢、客戶詳單查詢類的數(shù)據(jù)查詢服務（特點是通過一個Key來查詢數(shù)據(jù)）：將數(shù)據(jù)加載到Hbase中，通過API將數(shù)據(jù)共享出去；3、針對諸如指標數(shù)據(jù)查詢、KPI數(shù)據(jù)查詢服務（特點是高弁發(fā)、多維度的數(shù)據(jù)查詢）：將數(shù)

9、據(jù)加載到DB2數(shù)據(jù)庫（利舊）中，通過API將數(shù)據(jù)共享出去；4、針對多租戶的數(shù)據(jù)共享服務，詳見5.3章節(jié)；第6頁共51頁技術建議書第2章企業(yè)ETL數(shù)據(jù)處理平臺2.1功能框架救據(jù)鮑理菖捍平臺根據(jù)數(shù)據(jù)中心的建設需求，企業(yè)級的ETL平臺實現(xiàn)統(tǒng)一的數(shù)據(jù)采集、轉(zhuǎn)換、加載、處理以及統(tǒng)一調(diào)度、管控等功能。這里的ETL指的是廣義的ETL,具備以下的特點：統(tǒng)一數(shù)據(jù)獲取接入，支持B域數(shù)據(jù)、M域數(shù)據(jù)、O域數(shù)據(jù)或其他外部數(shù)據(jù)統(tǒng)一接入數(shù)據(jù)中心平臺。支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)采集、加工；對非結(jié)構(gòu)化數(shù)據(jù)要實現(xiàn)從非結(jié)構(gòu)化到結(jié)構(gòu)化的處理過程。支持數(shù)據(jù)采集、轉(zhuǎn)換、加載等關鍵，.數(shù)據(jù)處理過程，實現(xiàn)企業(yè)數(shù)據(jù)的標準。從周期上，支持批量的數(shù)

10、據(jù)采集，實時的數(shù)據(jù)采集滿足數(shù)據(jù)中心數(shù)據(jù)加工，處理以及對外提供數(shù)據(jù)分發(fā)、同步支持全過程的數(shù)據(jù)稽核。包括事前、事中、事后的稽核方式。以及靈活的稽核規(guī)則管理，算法管理全過程的可視化開發(fā)配置管理。通過可視化的開發(fā)配置，測試和部署上線。全過程元數(shù)據(jù)管理。重點要實現(xiàn)事前的元數(shù)據(jù)管理。管理的內(nèi)容包括：支持數(shù)據(jù)模型、數(shù)據(jù)流程、轉(zhuǎn)換規(guī)則、數(shù)據(jù)關系和轉(zhuǎn)換映射規(guī)則。企業(yè)級的ETL平臺產(chǎn)品DACP可以很好支持上述的關鍵功能特點。第7頁共51頁技術建議書第3章數(shù)據(jù)存儲層3.1總體概述Mc信令（實時）數(shù)據(jù)通過Socket消息適配模塊接入至Esper計算引擎進行實時處理，向應用提供事件API服務，支撐實時營銷應用；后期如G

11、n信令、LTE信令也提供實時數(shù)據(jù)，可滿足基于Gn信令、LTE信令的實時處理。除Mc信令（實時）數(shù)據(jù)外，Gn信令、Mc信令、自有業(yè)務訂購與使用行為等數(shù)據(jù)通過非實時ETL方式裝載到Hadoop的HDFS文件系統(tǒng)，實現(xiàn)全量數(shù)據(jù)留存；由Hive承擔主庫的職能，實現(xiàn)海量數(shù)據(jù)的批處理，承載ODS->DWD->DW->ST各層數(shù)據(jù)處理，其中DW層部分數(shù)據(jù)提供給Spark,由Spark完成數(shù)據(jù)處理工作。3.2存儲規(guī)劃HiveHbasedb2ODS層3+1月3+1月-第8頁共51頁技術建議書DWD層6+1月-DW層12+1月-ST層36月-36月客戶標簽/視圖3月12+1月-指標3+1月-永久

12、3.3模型設計數(shù)據(jù)模型設計按照層次，主題的數(shù)據(jù)模型設計的思路。系統(tǒng)根據(jù)模型設計會自動轉(zhuǎn)成hadoop上存儲。層次、主題映射到相應的目錄。邏輯模型到hadoop物理模型轉(zhuǎn)換學融？表工百丈鑄受內(nèi)在Hn口叩上的構(gòu)里存諦層次性題表名yyyvmmdd一層次,主題_表名)_dm仁1v/7/tiTrd1*UT；1UMtKmnUl|Hbwi4HHjSHtQ三»r-：Ik事UVmW蕾7tUV0*MIW1411flrmiiTid4ki.jyitwwrr.crv.fsi.JTT*fmJ9WV.IKW1*vbQr.'Hfaa"!l九31XbiiFBfc«jft0,ew|什札希-r

13、-n*15BIWTQUM".TW.fi9*.JMHBBGMW9QMH*«ptMI»”*(，*1,AU1laCmf#niptaw*,i*rwfjv*WiiDltCWfl_*“.用-'t'Jrw-*IWlEW*內(nèi)»HW.4R«LM”e網(wǎng)“<tKCIVWp-EE我N島m,工：1:：E，、_4羽Q：4(31L：皿*»皿抬103麗iedir:'3呻工t1t£鞋一把|曰10出士口目雅他：2口14GIC.1I：i-；如西HlC-4fqiF力工告白二。匚二3.4模型規(guī)范化管理3.4.1 分層規(guī)范依據(jù)數(shù)據(jù)倉庫建模

14、理論，結(jié)合實際經(jīng)驗，數(shù)據(jù)計算平臺承載數(shù)據(jù)模型分為四層:ODS、DWD、DW和ST,即接口層、存儲層、匯總層、應用層。模型分層說明：接口層：ODS模型的數(shù)據(jù)結(jié)構(gòu)與業(yè)務系統(tǒng)接口文件結(jié)構(gòu)保持一致，接口層的數(shù)第9頁共51頁技術建議書據(jù)在數(shù)據(jù)計算平臺進行暫存。存儲層：即明細數(shù)據(jù)層，是數(shù)據(jù)計算核心層數(shù)據(jù)模型之一，用于存放由清洗、轉(zhuǎn)換層來的數(shù)據(jù)或者接口層直接來的數(shù)據(jù)，其設計目標是為后續(xù)的匯總數(shù)據(jù)層和信息子層提供數(shù)據(jù)基礎。匯總層：即輕度匯總數(shù)據(jù)層，也是數(shù)據(jù)計算核心層數(shù)據(jù)模型之一，該層實現(xiàn)對主題內(nèi)的數(shù)據(jù)做輕量匯總。設計目標是為應用層提供足夠靈活、方便的基礎數(shù)據(jù)，弁保證從該層獲取數(shù)據(jù)是性能最優(yōu)。應用層：在匯總數(shù)據(jù)

15、層之上，數(shù)據(jù)按照應用需求做數(shù)據(jù)聚合，生成相關應用所需數(shù)據(jù)的數(shù)據(jù)層。應用數(shù)據(jù)層是面向應用的，但是也不是每個應用都在應用數(shù)據(jù)層對應一個表，對應用要在數(shù)據(jù)應用層中進行整合。OMG標準化組織建議，采用5分段的命名規(guī)范：如下fl即.書而liST1-一一,一L*駕p*-rptlfad1jWICDSWA"AWA與的死（同I/涌IfaJyBscw乂M/A通田LU.煤WA呻弓waa-.F：.理度出期3.4.2表命名規(guī)范3.4.3字段命名規(guī)范建立字段的命名規(guī)范，弁固化為domain類型，指導模型設計字段命名。當有變更，可以做到跨平臺的統(tǒng)一建模。第10頁共51頁技術建議書朗電項理第寧段看P制理亍唉看ixx

16、fcnSSxx_flag-sSSs|5C_num.xxySftjas|xxAJtft，xjtcnt|uraSiiSXXflow*申XX翦1e'_，i"13.4.4模型版本管理PowefOecnERWM元蛀推M輯理事軒：測試J上線第11頁共51頁技術建議書第4章數(shù)據(jù)開放服務層4.1建設目標通過數(shù)據(jù)服務標準化開放訪問，幫助企業(yè)IT建設中，應用和數(shù)據(jù)分離，引入更多的應用開發(fā)商，促進應用的百花齊放和應用的專業(yè)性?；跇藴驶涌冢瑢崿F(xiàn)對標簽、客戶視圖、指標等數(shù)據(jù)查詢API封裝，實現(xiàn)與周邊系統(tǒng)實時互動，體現(xiàn)數(shù)據(jù)價值，減少數(shù)據(jù)冗余，保證數(shù)據(jù)安全，保證數(shù)據(jù)的一致性。對于詳單級數(shù)據(jù)，支持通過文

17、件或授權的方式共享給周邊系統(tǒng)。通過統(tǒng)一的技術平臺框架，制定企業(yè)數(shù)據(jù)標準體系規(guī)范，基礎數(shù)據(jù)采集處理，加工匯總，可以引入多家廠商或多租戶進行標準化開發(fā)。要實現(xiàn)上述目標，需要解決的關鍵問題：1）需要什么樣平臺功能？2）開放的對象。給誰開放？3）開放什么內(nèi)容。包含兩部分，基礎數(shù)據(jù)的集成開發(fā)的開放和應用訪問層數(shù)據(jù)開放。4）開放的安全保障機制5）如何保證開放對象開發(fā)提交的結(jié)果的規(guī)范化、質(zhì)量。6）開放平臺運營的組織結(jié)構(gòu)和流程制度。4.2概述要滿足建設目標的要求，數(shù)據(jù)服務開放的整個功能框架如下:第12頁共51頁技術建議書開放對象戶開秋烹能二小改富戶后自聒廿90分箜新開放彩式開放平臺安全理運行機制融cn放共享丫

18、名平臺片目LLfli-ifiIX.Lr-ITEE卜ST垢5PM1K考尸網(wǎng)鼠產(chǎn)晶視開放內(nèi)容IpKdW印*rtfl戶轆第jjfc曖EH購客戶愫笛萱聞DB24.2.1開放對象示例說明如下開放對象說明使用形式相關數(shù)據(jù)多租戶通過授權的機制，給租戶開放通過sql查詢數(shù)據(jù)能力，租戶可以在此基礎上匯總加工自己私有的數(shù)據(jù)SQL,進行數(shù)據(jù)處理在保障數(shù)據(jù)安全性、數(shù)據(jù)可控性的前提下，將Hive倉庫的ODS、DWD、DW各層的開放授權給數(shù)據(jù)處理開放給租戶。ESOP,VGOP通過文件接口將數(shù)據(jù)分發(fā)給對端系統(tǒng)，滿足其數(shù)據(jù)分析需求文件客戶視圖，匯總模型等手機經(jīng)分通過在線同步API調(diào)用的方式獲取數(shù)據(jù)開放API指標類數(shù)據(jù)實時營銷

19、客戶端通過事件注冊的方式監(jiān)聽服務接口，當服務滿足觸發(fā)條件是主動通知監(jiān)聽客戶端消息服務信令位置信息等4.2.2開放共享方式共學方式說明應用切樂不例文件接口數(shù)據(jù)中心將數(shù)據(jù)主動導出文件，發(fā)送給數(shù)據(jù)需求方1、boss的互動接口2、即席查詢臨時周期性生成數(shù)據(jù)開放API通過API查詢獲取結(jié)果數(shù)據(jù)，即查即用，小落地。按查詢數(shù)據(jù)對象粒度分為二第13頁共51頁類:1）ST表查詢2）指標類查詢3）單用戶清單信息查詢技術建議書1、通過對發(fā)布的數(shù)據(jù)模型發(fā)起LSQL進行查詢獲取數(shù)據(jù)2、如手機經(jīng)分查詢指標，原來是通過接口表導入數(shù)據(jù)，可以通過API來查詢數(shù)據(jù)API數(shù)據(jù)分發(fā)將數(shù)據(jù)中心的數(shù)據(jù)分發(fā)到目標數(shù)據(jù)庫。需求方提出申請審批

20、通過后，系統(tǒng)通過分發(fā)平臺定期將數(shù)據(jù)分發(fā)到目標庫定期數(shù)據(jù)同步。如將用戶行為匯總數(shù)據(jù)定期同步到經(jīng)營分析系統(tǒng)業(yè)務分析人員通過封裝好的數(shù)據(jù)模型即席查詢和提供在線即席查詢分析工具，進行查臨時統(tǒng)計，臨時取數(shù)詢分析獲取數(shù)據(jù)消息服務通過消息傳遞數(shù)據(jù)適合于系統(tǒng)之間的實時協(xié)助，如用戶事件信息。需求方作為消息的消費者，同時傳遞消息事件和內(nèi)容4.3多租片管理4.3.1概述采用多租戶的思路，將數(shù)據(jù)能力和數(shù)據(jù)平臺數(shù)據(jù)處理能力按需、可控的進行開放，在保障數(shù)據(jù)安全性、數(shù)據(jù)可控性的前提下，通過標準化封裝的數(shù)據(jù)操作，可視化開發(fā)工具開放給業(yè)務運營部門，由其自行進行數(shù)據(jù)操作開發(fā)。使用企業(yè)級數(shù)據(jù)中心提供統(tǒng)一開發(fā)平臺來實現(xiàn)多租戶數(shù)據(jù)開發(fā)

21、，其功能結(jié)構(gòu)如下圖:開發(fā)岡隊皎理日常管理開發(fā)配音運行監(jiān)控技木架構(gòu)第14頁共51頁技術建議書系統(tǒng)包括兩部分：開發(fā)管控和技術平臺。通過這兩部分互相配合實現(xiàn)系統(tǒng)開發(fā)能力的開放。這種模式下需要解決的關鍵問題包括如下：如何進行資源控制，數(shù)據(jù)權限管理，跨系統(tǒng)之間的數(shù)據(jù)交互，自動調(diào)度運行，元數(shù)據(jù)管理。4.3.2角色功能系統(tǒng)管理員：對開發(fā)團隊進行管理，數(shù)據(jù)權限和系統(tǒng)資源的分配、審批。1、設置開發(fā)團隊使用資源和賬號2、對開發(fā)團隊提出的數(shù)據(jù)權限申請進行審批授權3、表的敏感級別和敏感字段。不同團隊對同一數(shù)據(jù)安全級別可以不一樣4、對開發(fā)團隊上線進行審批。檢查性能，開發(fā)規(guī)范的滿足情況，調(diào)度申請周期是否合理5、對開發(fā)團隊

22、數(shù)據(jù)導出安全進行審計租戶開發(fā)：使用統(tǒng)一的技術架構(gòu)和開發(fā)工具，在可以使用的數(shù)據(jù)的基礎，加工出私有數(shù)據(jù)1、查看詳細的數(shù)據(jù)結(jié)構(gòu)2、新申請數(shù)據(jù)權限，如果需要新的數(shù)據(jù)，可以進行申請，由管理員審批后就可以使用3、數(shù)據(jù)加工開發(fā)，進行數(shù)據(jù)匯總、關聯(lián)查詢，數(shù)據(jù)導出等類型數(shù)據(jù)數(shù)據(jù)加工開發(fā)4、臨時上線、正式上線。5、對其所開發(fā)的程序數(shù)據(jù)運行情況監(jiān)控。4.3.3統(tǒng)一開發(fā)平臺技術詳解 租戶用戶管理租戶與系統(tǒng)用戶映射通過映射開發(fā)管理平臺帳號及執(zhí)行平臺帳號，以租戶的方式實現(xiàn)用戶及用戶組管理，以達到資源管控及數(shù)據(jù)權限控制的目的。如下圖，在管控平臺進行開發(fā)團隊的管理和對應賬號的設置，在數(shù)據(jù)平臺完成對租戶的資源、權

23、限進行控制第15頁共51頁技術建議書直見i世用內(nèi)二4源權-工然，迎dbu&erl”；、一停相機職：S?¥目就空瞅小>tKfejK=查峋石鼓，m每個開發(fā)團隊根據(jù)需要指定其在hadoop或關系數(shù)據(jù)庫上的執(zhí)行賬號。在數(shù)據(jù)平臺上實現(xiàn)賬號的權限、資源的控制。用其對應的賬號進行執(zhí)行。從而實現(xiàn)對開發(fā)團隊開在查詢或運行某個數(shù)據(jù)處理任務時,發(fā)運行的任務資源、權限的控制。在管理平臺新建租戶的賬號或數(shù)據(jù)權限變更時，管理平臺根據(jù)配置參數(shù)，實時調(diào)用OCDC的相關API自動進行授權、修改、創(chuàng)建賬號 系統(tǒng)計算資源分配控制在管控平臺統(tǒng)一對租戶進行計算資源的分配，分配完的參數(shù)部署到hado

24、op或關系數(shù)據(jù)庫，實現(xiàn)控制。實現(xiàn)資源控制，包括兩部分：hadoop上的資源分配和關系數(shù)據(jù)庫的資源分配（DB2）Hadoop計算資源控制要實現(xiàn)計算資源的控制，hadoop需要OCHadoop3.2以上，安裝安全組件（sentry）計算資源控制原理資源池跟系統(tǒng)的賬號相關。一個系統(tǒng)賬號只能屬于一個資源池，YARN支持采用資源池方式對系統(tǒng)用戶進行CPU,內(nèi)存的運行控制。資源池控制參數(shù)：獨占資源：最小分配的資源。系統(tǒng)確保此用戶有最小的資源。共享資源：系統(tǒng)空閑時可以使用的最大資源其中單位：虛擬的cpu核和內(nèi)存單位。如何設置租戶的資源參數(shù)，是一個需要不斷根據(jù)運行情況進行優(yōu)化的過程。注：Spark同hadoo

25、p的資源管理第16頁共51頁技術建議書DB2資源控制要實現(xiàn)DB2的資源控制，要求：DB29.5版本。目前db2的版本已經(jīng)滿足，需要開通WLM的生效參數(shù)。在DB29.5版本推出了工作負載管理WLM（參考附錄，不用額外收費），但只能限制CPU數(shù)量?？刂茀?shù)如下:參數(shù)名說明min分配給某個服務類的最小資源百分比。缺省值為0。softmax在有沖突的情況下（這里可以理解為資源緊張時），服務類可獲得的最少資源比例。在沒有沖突的情況下，服務類可獲得的資源可以超過該值設定的比例。缺省值100hardmax在沒有沖突的情況下，服務類可獲得的最大資源比例。缺省值為100| 系統(tǒng)存儲資源分配Hado

26、op存儲資源控制，每個租戶獨立一個文件跟目錄，設置文件目錄大??；db2的存儲資源控制，對每個租戶獨立一個表空間，設置表空間大?。徽f明：hadoop存儲控制采用的是操作系統(tǒng)的目錄大小的控制。缺陷是無法高度自動共享可用空間。即一個目錄大小分配出去之后，意味其就占有了這個空間。因此一般做法是由小到大慢慢分配空間。 數(shù)據(jù)權限分配與控制在開發(fā)管理平臺進行對數(shù)據(jù)權限的分配。根據(jù)分配的結(jié)果在數(shù)據(jù)平臺進行授權、回收等操作。數(shù)據(jù)權限的控制包括：表級權限控制和字段級的權限控制：表級權限分配：系統(tǒng)根據(jù)分配的結(jié)果，產(chǎn)生授權或權限回收的腳本到db2,hadoop進行執(zhí)行完成權限控制。注：在管理平臺分配的是

27、邏輯模板表，數(shù)據(jù)平臺控制的是實際的表。因此有一個模塊專門按模板表的權限規(guī)則轉(zhuǎn)換為物理表的授權腳本執(zhí)行。字段級權限分配：在表級授權的基礎上，對表的字段的權限進行授權分配。由于目前db2,hadoop不能直接實現(xiàn)對字段級的權限控制。所以我們采用兩種方式實現(xiàn)這個功能：方式1:建立視圖，過濾掉沒有權限的字段，然后將視圖授權給相關賬號。實現(xiàn)字第17頁共51頁技術建議書段級的權限控制方式2:通過應用級的控制。通過開發(fā)人員編寫的sql語句解析，分析其查詢中所用到的字段，如果字段超出權限范圍，則給出提示，不允許執(zhí)行。資源控制手段列表：控制項目db2hadoop表級權限通過db2的權限管理，通過腳本實現(xiàn)數(shù)據(jù)權限

28、的分配通過kerbors的權限管理，通過腳本實現(xiàn)數(shù)據(jù)權限的分配字段級權限通過視圖通過視圖資源-CPU通過wlm進行設置通過YARN資源池進行控制資源-內(nèi)存無法實現(xiàn)通過YARN資源池進行控制資源-存儲每個租戶獨立一個表空間，設置表空間大小每個租戶獨立一個文件跟目錄，設置文件目錄大小系統(tǒng)義件目錄每個租戶在數(shù)據(jù)主機上建立文件目錄，存放源代碼，可執(zhí)行程序每個租戶在數(shù)據(jù)主機上建立文件目錄，存放源代碼，可執(zhí)行程序 租戶的數(shù)據(jù)開發(fā)過程1. 查看數(shù)據(jù)字典開發(fā)人員可以查看到所有的數(shù)據(jù)字典。查看內(nèi)容包括數(shù)據(jù)表名，中文名稱，描述信息,存儲位置、數(shù)據(jù)結(jié)構(gòu)。通過調(diào)用基礎平臺的元數(shù)據(jù)實現(xiàn)數(shù)據(jù)字典查看。2.

29、開發(fā)界面通過開發(fā)平臺配置數(shù)據(jù)處理流程，可支持庫內(nèi)與庫外、云平臺與關系數(shù)據(jù)庫的混搭數(shù)據(jù)處理，示例如下："mj由送白腱魁鼻:JIM#®曲含由vudrjyyymwfd上述的處理流程實現(xiàn)：在hadoop上對ods_cdr通過sql腳本匯總dw_cdr,再通過數(shù)據(jù)分發(fā)到db2上的dw_cdr_yyyymmdd表上。開發(fā)人員需要對輸出表dw_cdr設置表結(jié)構(gòu)，sql處理匯總處編寫sql腳本。在一個處理的任務流程中，節(jié)點包括數(shù)據(jù)節(jié)點，數(shù)據(jù)函數(shù)節(jié)點拼接起來的一個處理流程。其中數(shù)據(jù)處理函數(shù)節(jié)點包括：Sql,tcl,java,shell,數(shù)據(jù)分發(fā)，數(shù)據(jù)加載，數(shù)據(jù)導出，ftp、創(chuàng)建表，刪除表等。

30、第18頁共51頁技術建議書3. 測試在界面上可以立即執(zhí)行某個節(jié)點或整個處理流程,執(zhí)行過程和日志信息會實時輸出到前臺界面進行查看。如下示意圖:4. 上線開發(fā)人員在界面上直接提交上線O包括臨時上線和正式上線兩種。臨時上線需要開發(fā)人員填寫生效的開始日期，結(jié)束日期，調(diào)度周期正式上線，系統(tǒng)管理管理員會進行審批。審批的項目包括：程序名稱，表名是否規(guī)范,字段名稱和中文信息是否完整。在上線時，系統(tǒng)會自動將程序代碼、數(shù)據(jù)結(jié)構(gòu)從開發(fā)環(huán)境的配置信息部署到生產(chǎn)環(huán)境下。5. 運行程序上線后，調(diào)度平臺就會根據(jù)程序數(shù)據(jù)依賴關系自動進行調(diào)度。程序開發(fā)人員可以如果是臨時上線的只有調(diào)度運行在有效期內(nèi)的程序才會被調(diào)度執(zhí)行。申請延長

31、有效期或申請固定上線。調(diào)度執(zhí)行多租戶調(diào)度使用平臺提供的統(tǒng)一調(diào)度功能，實現(xiàn)過程如下:第19頁共51頁技術建議書DMPSERVHadoop1. 調(diào)度運行對租戶的臨時程序調(diào)度時，只依據(jù)輸入表關系，根據(jù)數(shù)據(jù)關系實現(xiàn)正確調(diào)度依賴運行。會調(diào)度在有效期的程序才會調(diào)度。2. SQL腳本執(zhí)行開發(fā)人員開發(fā)好的SQL腳本，可以到多個數(shù)據(jù)平臺上運行，系統(tǒng)需要進行正確選擇投入到相應的數(shù)據(jù)平臺運行。a)開發(fā)人員可以指定節(jié)點運行的數(shù)據(jù)庫，如下圖b)系統(tǒng)會對開發(fā)人員的編寫的sql進行解析，獲取其依賴的輸入表和輸出表。再跟元數(shù)據(jù)進行對比自動選擇相應數(shù)據(jù)庫。選擇策略如下：所有輸入表都在同一個庫|則選擇那個庫輸入表分

32、布在兩個庫系統(tǒng)給出錯誤提示。建議其采用數(shù)據(jù)同步再進行開發(fā)。如果涉及到的表涉及到兩個庫都如果有關聯(lián)表，則跟著關聯(lián)表同個庫，否則優(yōu)先選擇大數(shù)據(jù)平I存在I臺。3.跨數(shù)據(jù)平臺命令的運行比如：如何實現(xiàn)在hadoop平臺執(zhí)行匯總數(shù)據(jù)，導入到db2,在進行匯總。Server端在讀取這個一個處理任務時，將命令發(fā)送匯總命令給hadoopAgent執(zhí)行，然后在發(fā)送命令給hadoopAgent進行分發(fā)到db2,然后在發(fā)送命令給db2agent進行數(shù)據(jù)處理。第20頁共51頁技術建議書第5章應用開發(fā)與部署5.1應用開發(fā)流程應用層的所有業(yè)務應用具備與底層數(shù)據(jù)松耦合特性，通過接口層提供的各種數(shù)據(jù)接口，向業(yè)務人員或第三方廠商

33、提供開放API服務。根據(jù)不同的應用場景，通過對相應的API進行選擇和組合，從而快速生成所需要的業(yè)務應用，以滿足對應用的快速開發(fā)、部署、上線的能力。對于應用的開發(fā)可通過兩種方式進行實現(xiàn)：1、數(shù)據(jù)中心平臺內(nèi)應用開發(fā)：通過數(shù)據(jù)中心提供的應用開發(fā)平臺直接進行應用開發(fā)，開發(fā)平臺提供高效的可視化開發(fā)界面，包括對各類API可以追根溯源，展現(xiàn)詳細API元數(shù)據(jù)信息等。同時對應用設計、應用開發(fā)、應用測試、應用上線、應用下線進行全流程、全生命周期的開發(fā)管控。此類開發(fā)場景主要適用于不具備硬件資源的用戶（如業(yè)務部門開發(fā)人員）進行應用開發(fā)。2、數(shù)據(jù)中心平臺外應用開發(fā)：通過Http協(xié)議數(shù)據(jù)服務接口，直接調(diào)用數(shù)據(jù)中心服務層中

34、的各類API服務，通過開發(fā)編寫相應的計算過程形成對應的業(yè)務應用。此類開發(fā)場景主要適用于具備硬件資源（如第三方廠商）的用戶進行應用開發(fā)。1.開戴平角2.MtIfk±a：MMaM5.2應用部署建議本期從外部系統(tǒng)接入8類數(shù)據(jù)源，所有清單數(shù)據(jù)在企業(yè)數(shù)據(jù)中心進行基礎匯總，提供數(shù)據(jù)、存儲和API接口服務能力，供14類應用調(diào)用。第21頁共51頁技術建議書標簽庫應用：所有標簽數(shù)據(jù)計算、存儲在數(shù)據(jù)中心，標簽結(jié)果數(shù)據(jù)在HIVE和HBASE分別存儲一份數(shù)據(jù)，HIVE上存儲的數(shù)據(jù)通過Spark的RDD對外提供“根據(jù)標簽查用戶群”API,HBASE上存儲的數(shù)據(jù)對外提供“根據(jù)號碼查標簽信息”API。指標庫：所有

35、指標計算、存儲在數(shù)據(jù)中心，結(jié)果數(shù)據(jù)存儲在RDB,通過“KPI查詢”API對外提供服務。掌上經(jīng)分應用支撐：掌上經(jīng)分需要的KPI由經(jīng)分提供，改為由數(shù)據(jù)中心“KPI查詢”API提供。實時營銷支撐：將MC位置信令事件集成到數(shù)據(jù)中心，由數(shù)據(jù)中心提供消息事件給實時營銷平臺。LTE互聯(lián)網(wǎng)管控策略（PCC）、自有業(yè)務分析平臺、區(qū)域價值洞察：對于這些規(guī)劃中的系統(tǒng)，建議采用多租戶的方式，在企業(yè)數(shù)據(jù)中心完成數(shù)據(jù)處理和存儲都在數(shù)據(jù)中心，應用通過調(diào)用API獲取數(shù)據(jù)。經(jīng)分系統(tǒng)一經(jīng)接口、MIS接口、財務報表、ESOP、VGOP、戰(zhàn)略地圖、渠道運營平臺、所需的數(shù)據(jù)源，統(tǒng)一由數(shù)據(jù)中心將DWD、DW層數(shù)據(jù)分發(fā)文件給各系統(tǒng)，由應用

36、系統(tǒng)自行進行數(shù)據(jù)加工及展現(xiàn)。經(jīng)分其他應用（除去一經(jīng)接口、MIS接口、財務報表）：數(shù)據(jù)處理和存儲都在數(shù)據(jù)中心,ST層數(shù)據(jù)保存在db2第22頁共51頁技術建議書第6章統(tǒng)一門戶6.1概述提高系統(tǒng)企業(yè)數(shù)據(jù)中心統(tǒng)一門戶的建設是為了降低系統(tǒng)使用人員訪問數(shù)據(jù)中心的難度,的易用性，并且實現(xiàn)數(shù)據(jù)中心的資源有機整合和統(tǒng)籌管理。1. 數(shù)據(jù)開放服務門戶：對于數(shù)據(jù)開放服務提供開發(fā)者門戶，含有數(shù)據(jù)服務授權申請、開發(fā)者幫助文檔、服務注冊、創(chuàng)建、注銷等。2. 管控平臺門戶：對整個數(shù)據(jù)中心管控平臺使用者門戶，系統(tǒng)管理、運維調(diào)度、質(zhì)量監(jiān)控等。3. 應用使用門戶：對于應用使用者的門戶，支持多租戶應用、第三方應用的集成統(tǒng)一呈現(xiàn)。6.

37、2門戶功能框架門戶功能框架包括門戶接入、門戶功能兩部分；通過功能適配到角色工作臺形成不同的角色視圖。門戶接入：主要負責企業(yè)數(shù)據(jù)中心用戶訪問渠道的接入管理；接入應用的日志管理、負載均衡與訪問授權。門戶功能：包括角色工作臺、認證管理、權限管理、用戶管理、流程審批、數(shù)據(jù)開發(fā)、應用開發(fā)、數(shù)據(jù)授權、運維監(jiān)控、多租戶管理等界面。第23頁共51頁技術建議書第7章管控平臺7.1 概述過據(jù)視社S3敢需幫古0：打調(diào)度敵虎處理直行百孳赳庶R校與懺伍日志.指標、住拿不生數(shù)據(jù)生產(chǎn)半日7.2 元數(shù)據(jù)管理7.2.1 功能框架元數(shù)據(jù)管理是需要將各系統(tǒng)的信息、設計工具信息、生產(chǎn)平臺信息，進行收集管理，統(tǒng)一管理。提供一個視圖，以

38、幫助使用人員了解系統(tǒng)的數(shù)據(jù)分布、數(shù)據(jù)關系、業(yè)務規(guī)則、指標口徑等。元數(shù)據(jù)包括：系統(tǒng)類元數(shù)據(jù)、技術類元數(shù)、管理類元數(shù)據(jù)?？傮w功能框架圖第24頁共51頁技術建議書針對數(shù)據(jù)中心的要求，元數(shù)據(jù)管理需要具備的關鍵的特性如下:1)要求提供標準化的應用開發(fā)工具，滿足在不同平臺上的開發(fā)需求2) 100%的ETL開發(fā)、數(shù)據(jù)模型開發(fā)、應用開發(fā)能基于開發(fā)工具實現(xiàn)3) 95%以上的元數(shù)據(jù)能自動采集、解析與管理，元數(shù)據(jù)的范圍包括但不局限于數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)詞典、字段維度、程序映射邏輯、數(shù)據(jù)生命周期等4)多租戶的統(tǒng)一元數(shù)據(jù)管理7.2.2 基于元數(shù)據(jù)的應用開發(fā)工具提供統(tǒng)一的應用開發(fā)工具，完成高效應用的開發(fā)，弁可以自動完成應用元數(shù)

39、據(jù)的采集。提供諸如數(shù)據(jù)展示包括報表工具，儀表盤分析等工具如1、支持常見的各種報表樣式匍帙報鑫多表汨闞I爨眼報表交叉式報表2、支持常見各種分析圖，同時支持圖表組合分析3、支持各種數(shù)據(jù)源方式第25頁共51頁技術建議書支持oracle,db2,mysql等常見的關系型數(shù)據(jù)庫支持gp，gbase等mpp數(shù)據(jù)庫支持hdfs,hbase等大數(shù)據(jù)平臺提供數(shù)據(jù)支持webservice獲取數(shù)據(jù)7.2.3 基于元數(shù)據(jù)的數(shù)據(jù)開發(fā)工具采用元數(shù)據(jù)驅(qū)動（MDA）設計理念，去規(guī)劃元數(shù)據(jù)對象的創(chuàng)建、運行、評估、維護各環(huán)節(jié)節(jié)。屏蔽大數(shù)據(jù)平臺差異性，統(tǒng)一模型設計、統(tǒng)一程序開發(fā)，將元數(shù)據(jù)融入到開發(fā)各個環(huán)節(jié)，利于管理。數(shù)據(jù)模型設計支

40、持IDE數(shù)據(jù)模型設計，同時支持模型設計工具powerdesign、Erwin批量導入功能。提供數(shù)據(jù)周期、數(shù)據(jù)表級字段級銘感設置、字段口徑定義。數(shù)據(jù)流程設計設計程序輸入表和輸出表的元數(shù)據(jù)信息。程序開發(fā)根據(jù)設計的內(nèi)容轉(zhuǎn)換成開發(fā)內(nèi)容。開發(fā)人員就可以在此基礎上進行開發(fā)。提供各個接入平臺統(tǒng)一封裝函數(shù)，降低開發(fā)難度數(shù)據(jù)質(zhì)量控制1 .常規(guī)檢查。包括及時性，運行狀態(tài)，運行時長，處理記錄數(shù)等進行常規(guī)檢查。2 .對程序日志進行稽核。包括單步的處理時長，記錄數(shù)的波動等3 .對程序的目標表啟動檢查。檢查目標的統(tǒng)計指標值，關鍵字段維度、層次間數(shù)據(jù)的一致性進行檢查提供程序界面測試功能對開發(fā)內(nèi)容進行測試和調(diào)優(yōu)，檢查質(zhì)量規(guī)范

41、，性能，質(zhì)量是否滿足期望發(fā)布應用到正式運行環(huán)境元數(shù)據(jù)收集存儲：程序的基本信息。包括程序的名稱，中文名稱，備注，周期，層次，主題，創(chuàng)建人，開發(fā)人員程序的處理步驟信息。包括程序步驟編號，調(diào)用函數(shù)，執(zhí)行腳本程序輸入輸出關系。輸入模型，輸出模型程序的字段映射規(guī)則。輸入模型到輸出模型的轉(zhuǎn)換規(guī)則第26頁共51頁技術建議書DB2Oraclemysol和2APIs數(shù)據(jù)流設計設計數(shù)據(jù)模型，設置數(shù)據(jù)存儲周期，敏感級別，數(shù)據(jù)模型數(shù)據(jù)流設計，支持模型字段映射關系設計1. 數(shù)據(jù)流程設計設計程序輸入表和輸出表.輸入表可以是文件，也可以是遠程數(shù)據(jù)庫上的某個表。目標表可以是文件也可以是遠程目標數(shù)據(jù)庫上的表。2.

42、 數(shù)據(jù)模型設計對輸入表和輸出表，進行表結(jié)構(gòu)的設計。包括表的基本信息，存儲信息和表的關系。根據(jù)不同的存儲類別，會有設計參數(shù)上的差異。3. 轉(zhuǎn)換映射規(guī)則設計根據(jù)表的關系和表模型信息，進行轉(zhuǎn)換映射。映射規(guī)則包括合弁，拆分，規(guī)則轉(zhuǎn)換，函數(shù)轉(zhuǎn)換等常見的操作第27頁共51頁技術建議書可視化程序開發(fā)統(tǒng)一封裝的函數(shù)庫，屏蔽底層差異性，通過類sql編寫，或函數(shù)調(diào)度，實現(xiàn)跨平臺統(tǒng)一開發(fā)。根據(jù)數(shù)據(jù)倉庫處理過程抽象出5大類通用函數(shù)庫，統(tǒng)一調(diào)用參數(shù)接口，開發(fā)人員針對不同不平臺實現(xiàn)無差異的開發(fā)。如將某類數(shù)據(jù)文件加載到數(shù)據(jù)庫中，開發(fā)人員只要指定數(shù)據(jù)文件路徑和目標表。系統(tǒng)執(zhí)行時如果是要入庫到DB2調(diào)用DB2的命

43、令，如果是Hadoop平臺，調(diào)用Hadoop的命令。通過可視化的流程界面，拖拽方式實現(xiàn)對函數(shù)的編排，對每個節(jié)點函數(shù)編寫參數(shù)，實現(xiàn)數(shù)據(jù)加工功能。降低開發(fā)難度。開發(fā)時候，對函數(shù)進行編排，填寫節(jié)點函數(shù)參數(shù)。實現(xiàn)一個具體的數(shù)據(jù)處理過程第28頁共51頁技術建議書進行函數(shù)旌外每不韋點，對I直一個更鼓對每個由總曲R鑿入妻機或編寫黑QL嚴支持多種腳本開發(fā)，提供基于web腳本開發(fā)工具編寫如tcl、python開發(fā)程序；能夠從開發(fā)的腳本中自動解析建立元數(shù)據(jù)：輸入表和輸出表的關系；腳本類的開發(fā)工具，集成了開發(fā)，測試，上線集成操作。同時將函數(shù)庫，數(shù)據(jù)模型統(tǒng)一進行集成；g構(gòu)息建管創(chuàng)構(gòu)里二查看數(shù)據(jù)或運行的詳:細日志信息7

44、.2.4關鍵技術說明7.2,4.1前向元數(shù)據(jù)管理1、在開發(fā)過程中通過IDE工具產(chǎn)生結(jié)構(gòu)化的元數(shù)據(jù)信息。第29頁共51頁技術建議書即吸如E用江具31V元她先2、在上線時，對元數(shù)據(jù)內(nèi)容進行稽核檢查，保證元數(shù)據(jù)信息的完整性，合理性。通過統(tǒng)一的上線作為管理的控制點。每個團隊提交要上線的內(nèi)容，存到統(tǒng)一元數(shù)據(jù)庫進行標準化檢查稽核。上線時檢查的內(nèi)容：程序需要提交的內(nèi)容：程序本身的信息和程序輸出表的信息。IE字信最樂r.一三宗各函否日鉗崗哨Ham二上越的類暨wmWbiujt之卜巧善告右充可同魯ift-TcSSdE事歸X，刊3呻E網(wǎng)、，總溫;之勤良程軍財歲產(chǎn)二子三蒲衛(wèi)想毒尊求第30頁共51頁技術建議書7.2.4

45、.2多租戶的元數(shù)據(jù)管理團隊設置管理不同案統(tǒng)的開發(fā)事面入口UJFMVvwrjfMVvwjfftnAM*不同系統(tǒng)的開發(fā)目錄內(nèi)密統(tǒng)一元數(shù)據(jù)苣理每個開發(fā)團隊輸出到不同的開發(fā)目錄。內(nèi)容包括現(xiàn)有的數(shù)據(jù)字典、業(yè)務口徑、程序代碼等。這些輸出到同一的元數(shù)據(jù)中心，進行統(tǒng)一的標準化和規(guī)范化檢查統(tǒng)一的標準與規(guī)范，統(tǒng)制定基本的規(guī)范和標準，不管哪個開發(fā)小組開發(fā)的內(nèi)容必須滿足這些基本的標準。7.3流程管理通過流程管理實現(xiàn)對數(shù)據(jù)處理過程的統(tǒng)一管控，弁提供一系列工具實現(xiàn)數(shù)據(jù)處理過程可視化、可管控，它包括對系統(tǒng)資源、軟件資源、業(yè)務應用、參與人員等各種資源統(tǒng)一管理，綜合監(jiān)控平臺，隨時重現(xiàn)大數(shù)據(jù)環(huán)境中各個組成部分相互依賴，為各級IT

46、管理人員提供從資源規(guī)劃、資源收集、性能分析、故障定位與處理、統(tǒng)計分析、知識沉淀與管理過程的支持7.3.1 流程引擎流程管理集成自有輕量型流程引擎來完成各類流程快速配置開發(fā)。功能如下：1、流程的建模和實現(xiàn)在流程定義、執(zhí)行、管理控制等階段，業(yè)務和IT人員的高度一致流程運行，以及整體性能查看和監(jiān)控可視化提供靈活的手段實現(xiàn)流程的修改和演進支持流程模式以及部門協(xié)同，支持流程中的附件添加和查看自帶的業(yè)務規(guī)則和決策表支持分支選擇，路由到特定用戶、用戶組、角色、投票規(guī)第31頁共51頁技術建議書則、例外和事件處理、服務水平監(jiān)控規(guī)則等2、流程仿真、優(yōu)化和分析3、開發(fā)管控、版本控制4、流程評估和監(jiān)控分析叫配兒1If

47、.看lUQl堀7.4 作業(yè)任務管理通過元數(shù)據(jù)獲取作業(yè)輸入表作為作業(yè)啟動的前置條件1、通過數(shù)據(jù)流程設計來確定數(shù)據(jù)關系2、人工進行修改作業(yè)輸入、輸出3、支持手工設置前置作業(yè)作業(yè)任務資源占用類型評估采集程序的歷史運行時長，處理記錄數(shù)等關鍵指標，支持系統(tǒng)自動測算和人工指定，對程序的資源占用類型分為三類：1、高：運行時長特別長，處理記錄數(shù)比較多2、中：處理記錄數(shù)相對較小，處理步驟多，時間較長。3、低：運行時間很短的程序作業(yè)任務靜態(tài)優(yōu)先級按照應用的重要性，根據(jù)血緣分析，尋找路徑上的所有處理任務。1、重要越高的應用，其路徑上的節(jié)點的任務優(yōu)先級越高。2、人工進行修改維護第32頁共51頁技術建議書7.5 數(shù)據(jù)管

48、理7.5.1 數(shù)據(jù)生命周期管理上線由數(shù)據(jù)不管通過什么方式完成開發(fā)，上線必須保證數(shù)據(jù)的相關的信息完整性，合理性。管理員負責對上線要素信息的檢查。保證在上線時信息要素被正確保存，以作為后續(xù)使用。上線檢查基本信息要素權限信息要素存儲信息要素:數(shù)據(jù)關系要素:數(shù)據(jù)工系表的基本信息檢查第33頁共51頁技術建議書堇本信且字鰥的空寬使用規(guī)則旗量粉期1,年存蹣楓事U藉由B；幺案:V/0DWDUSERr-HONEMAPYYYV中文巖:dwdffl廣電悟喟曬翦叵關幫月或K蟹;土篁:孱次:匚業(yè)務玩水匚幃尸骸匚至W度匯總口匯總口6國案©即調(diào)尸電話號司對應美率月表存儲主用超級知表結(jié)構(gòu)USERST知

49、WRCHAR允許為£DATATII.IETIMESTAMP表存儲信息設置第34頁共51頁技術建議書系統(tǒng)規(guī)范性自動檢測廣事制出兩國:AMW電宇G修定再iz中卡上急a標M同阿M«t«r»KOftHwift*,*VKinMM.H丹肉XE*kr&甘鼻3電百并南br乘黑lj更溺野8酗看賺網(wǎng)典鵬鵬.婀更間鹿肝3rm/眼磔眄-r旭吃麟&F：tT生d龍山女國尊享尊即亡搦幣小灌*薜？it.上精*ait-府中的仁君孰弟廂f檸號婚典由視即扁春*W第曲目鸛，料看討Kr“曲.，麗-./-：-¥修NIN常總檢】m3rt二空*&qI1E二一言£四A?.L(Ft'11-L數(shù)據(jù)監(jiān)控.1存儲策略情況檢查表的實際存儲情況和規(guī)劃存儲周期情況進行對比,發(fā)現(xiàn)規(guī)劃與實際的差距，查找原因。為下期擴容做準備。T；圓卜NT：?7£匕b1時11：*T.姑,.1戶a1fti；Id4.1fi.2安全漏洞檢測安全策略管理:對數(shù)據(jù)加密的密鑰管理,敏感數(shù)據(jù)定義,賬號權限，離線數(shù)據(jù)終端的注冊等。如敏感信息是否有加密，賬號安全策略檢測：對安全策略是否實施到位進行自動檢測O的權限是否超出范圍第35頁共51頁技術建議書安全審計監(jiān)控：對數(shù)據(jù)所有的使用日志進行審計，是否涉及到敏感數(shù)據(jù)非法使用7.5