智慧能源大數(shù)據(jù)數(shù)字化管理平臺建設方案

數(shù)據(jù)管理數(shù)據(jù)管理數(shù)據(jù)處理流調(diào)度框架實時采集文檔工作流半/非結(jié)構化數(shù)據(jù)智慧能源大數(shù)據(jù)數(shù)字化管理平臺項目建設方案數(shù)據(jù)倉庫(BW)大數(shù)據(jù)庫(Hadoop)數(shù)據(jù)可視化服務數(shù)據(jù)分析服務多維分析服務應用層能力層數(shù)據(jù)層獲取層數(shù)據(jù)源機器學習服務數(shù)據(jù)檢素服務SAP-ETLSAP-PI客服應用數(shù)據(jù)質(zhì)管理數(shù)據(jù)共享服務結(jié)構化數(shù)據(jù)報表應用批量采集目錄1項目背景 32項目范圍 42.1云數(shù)據(jù)平臺架構規(guī)劃設計 42.2數(shù)據(jù)管理體系咨詢與設計 42.3云數(shù)據(jù)平臺建設與實施 52.4數(shù)據(jù)分析展示應用設計開發(fā) 63項目目標 73.1建立健全的數(shù)據(jù)管理體系 73.2提升對現(xiàn)有業(yè)務系統(tǒng)及數(shù)據(jù)平臺的管理水平 93.3為未來的大數(shù)據(jù)平臺建設提供基礎保障 93.4幫助XXX能源建立自己的數(shù)據(jù)管理能力 3.5}建立云端大數(shù)據(jù)平臺支撐業(yè)務創(chuàng)新和管理變革 4需求理解 5總體方案概述 135.1總體方案說明 5.2總體方案架構 5.3平臺部署架構 6技術方案 6.1技術方案 6.2產(chǎn)品功能清單 7施工組織設計 7.1工程概況 7.2勞動力計劃、主要設備材料、構件的用量計劃 7.3施工進度計劃及各階段進度的保證措施 7.4施工現(xiàn)場平面布置和臨時設施、臨時道路布置 7.5專項工程施工方案、工程項目實施的重點和難點及技術措施 2137.6安全、文明施工及環(huán)保措施 2907.7項目管理班子配備 3067.8質(zhì)量保證體系及措施 3167.9施工配合及施工界面的劃分 340第3頁架構的信息系統(tǒng)已難以應對，同時傳統(tǒng)商業(yè)智能系統(tǒng)和數(shù)據(jù)分析軟業(yè)務系統(tǒng)分布式資源管理架構數(shù)據(jù)挖掘分析數(shù)據(jù)共享發(fā)布采焦層數(shù)據(jù)應用層數(shù)據(jù)服務層數(shù)據(jù)數(shù)虐數(shù)據(jù)源報表門戶2.2數(shù)據(jù)管理體系咨詢與設計2.3云數(shù)據(jù)平臺建設與實施2.3.1數(shù)據(jù)分析平臺2.3.2數(shù)據(jù)展示平臺2.4數(shù)據(jù)分析展示應用設計開發(fā)迭代4迭代4迭代1迭代3管理管理體系標準體系安全體系標準體系云數(shù)據(jù)平臺是踐行信息化建設從流程為中心轉(zhuǎn)向以數(shù)據(jù)為中心業(yè)務&管理評估、規(guī)劃、預測、決策支持、●梳理數(shù)據(jù)資產(chǎn)關系，制定管理目標的策略解決，保障數(shù)據(jù)管理目標實現(xiàn)。通過梳理企業(yè)的關系，幫助管理人員全面掌握和理解企業(yè)數(shù)據(jù)資產(chǎn)現(xiàn)狀及數(shù)據(jù)間●建立企業(yè)的數(shù)據(jù)資產(chǎn)目錄建立企業(yè)內(nèi)數(shù)據(jù)資產(chǎn)目錄，實現(xiàn)相關人員對企業(yè)內(nèi)數(shù)據(jù)資產(chǎn)的全面掌握。明確數(shù)據(jù)資產(chǎn)的所有者、管理者和使●建立數(shù)據(jù)管理組織架構，落實數(shù)據(jù)管理●完善數(shù)據(jù)管控流程和規(guī)范，提高數(shù)據(jù)質(zhì)量針對組織架構中各方的職責，構建數(shù)據(jù)管理如數(shù)據(jù)采集創(chuàng)建、數(shù)工作，為分析數(shù)據(jù)統(tǒng)計方式的科學性、合理性奠定基礎，提升數(shù)3.2提升對現(xiàn)有業(yè)務系統(tǒng)及數(shù)據(jù)平臺的管理水平3.3為未來的大數(shù)據(jù)平臺建設提供基礎保障3.4幫助XXX能源建立自己的數(shù)據(jù)管理能力3.5建立云端大數(shù)據(jù)平臺支撐業(yè)務創(chuàng)新和管理變革1)數(shù)據(jù)平臺中數(shù)據(jù)內(nèi)容繁多，難以全面掌控?！駭?shù)據(jù)應用主要包括門戶和報表展現(xiàn)，展現(xiàn)的工具有SAPBO、客戶端進行報表展現(xiàn)。2)數(shù)據(jù)平臺中數(shù)據(jù)的流轉(zhuǎn)和邏輯過程復雜，難以追溯數(shù)據(jù)來源。公司目前沒有統(tǒng)一的數(shù)據(jù)資產(chǎn)標準，各業(yè)務系統(tǒng)中數(shù)據(jù)質(zhì)量參差同一個數(shù)據(jù)可能又有不同的命名，數(shù)據(jù)有效交互和共享存在問題。存在部分系統(tǒng)數(shù)據(jù)更新不及時的問題，核心業(yè)務數(shù)據(jù)無法朔源，數(shù)據(jù)的準確性和及時性較低，現(xiàn)有報表在建模時幾乎每個報表都要重復建模，人為參與工作過多且層次復雜，無法高效的對流程及指標進行精確監(jiān)控及分析，數(shù)據(jù)的利用效率和模型重復使用率較低。由于沒有統(tǒng)一的工具提供統(tǒng)一的數(shù)據(jù)流視圖，無法實現(xiàn)數(shù)據(jù)臺賬可視化管理、數(shù)據(jù)來源的可追朔以及數(shù)據(jù)質(zhì)量監(jiān)控全過程管理等功能，對于在應用層的結(jié)果數(shù)據(jù)無法追溯數(shù)據(jù)流轉(zhuǎn)和處理過程，也無法對于數(shù)據(jù)變更產(chǎn)生的影響進行分析，在數(shù)據(jù)資產(chǎn)的管理上消耗很多人力和時間成本，降低了公司的數(shù)據(jù)管理水平和數(shù)據(jù)使用效率。3)業(yè)務部門對數(shù)據(jù)結(jié)構和質(zhì)量無法管控目前數(shù)據(jù)管控的發(fā)展方向和需求是由業(yè)務部門提出，但業(yè)務人員對公司復雜的系統(tǒng)無法進行全面深入掌握，特別是技術層面。為了使業(yè)務部門從數(shù)據(jù)結(jié)構到數(shù)據(jù)質(zhì)量上更好的管控，梳理業(yè)務系統(tǒng)與數(shù)據(jù)庫結(jié)構關系，成為目前急需解決的問題之一。4)需要新型的大數(shù)據(jù)平臺挖掘數(shù)據(jù)價值XXX能源目前正在規(guī)劃未來的大數(shù)據(jù)平臺，以應對日益增長的業(yè)務數(shù)據(jù)并從中挖掘更多價值，增強企業(yè)競爭力。作為新規(guī)劃的大數(shù)5.1總體方案說明通過大數(shù)據(jù)技術平臺產(chǎn)品和技術服務，開展大數(shù)據(jù)平臺建設。逐(一)大數(shù)據(jù)分析平臺：●支持從SAP相關系統(tǒng)CCS、OIL、CRM等系統(tǒng)采用增量、數(shù)據(jù)變●支持數(shù)據(jù)采集寫入到HDFS、HBase、Hive等大數(shù)據(jù)庫中?！翊髷?shù)據(jù)平臺提供面向數(shù)據(jù)分析師的若干工具，包括數(shù)據(jù)加工(二)大數(shù)據(jù)展示平臺：●支持與底層關系數(shù)據(jù)庫、Hadoop大數(shù)據(jù)庫等多種類型的數(shù)據(jù)(三)大數(shù)據(jù)管理平臺：數(shù)貴嗜理元數(shù)據(jù)管理數(shù)貴嗜理元數(shù)據(jù)管理應用層能力層數(shù)據(jù)層獲取層數(shù)據(jù)源5.2總體方案架構本項目設計包括大數(shù)據(jù)分析、大數(shù)據(jù)展示和大數(shù)據(jù)管理(治理)檢核規(guī)則管理問題查詢分析數(shù)據(jù)倉庫(BW)大數(shù)據(jù)庫(Hadoop)DM層EPIC/MREPIC/MRHBaseHive數(shù)據(jù)全景地圖貼屋分布式文件系統(tǒng)HDFS數(shù)據(jù)模型管理模型變更管理SAP-ETLSAP-PISAP-DSDBConnectBigIata模型一致性檢查影響分析ccsOILCRMEAS預算合并文檔工作流外部網(wǎng)站5.3平臺部署架構6.1技術方案定義、數(shù)據(jù)開發(fā)上線、數(shù)據(jù)創(chuàng)建獲取、數(shù)據(jù)維護使用、數(shù)據(jù)歸檔臺的數(shù)據(jù)全景地圖，增強企業(yè)數(shù)據(jù)管控能力。第17頁小之光繁粗。大或牌料伽肺應用層、管理層，打造基于當前BW數(shù)據(jù)平臺和符合未來大數(shù)據(jù)小之光繁粗。大或牌料伽肺數(shù)據(jù)管理數(shù)據(jù)管理庫問題定位及溯源數(shù)據(jù)全景地圖存儲整合層：為數(shù)據(jù)平臺異構的元數(shù)據(jù)、和不同業(yè)量問題提供智能整合和儲存能力，為數(shù)據(jù)治理平臺設計的同類不同源的元數(shù)據(jù)在同一元模型的規(guī)范體系下整合存響和依賴，并滿足縮短數(shù)據(jù)平臺變更、維護、升級的時間要求和的BW數(shù)據(jù)倉庫內(nèi)物理模型、報表指標、ETL加工過程元數(shù)據(jù)采作為在建大數(shù)據(jù)平臺元數(shù)據(jù)管理的規(guī)范，為后續(xù)進一步管理針對等云數(shù)據(jù)平臺組件中元數(shù)據(jù)也將納入數(shù)據(jù)管理平臺進行統(tǒng)一管理，并對設計的邏輯模型與云數(shù)據(jù)平臺開發(fā)的物理模型進行一致從DataService工具中導出XML文件，完成對ETL操作元數(shù)據(jù)采集，以實現(xiàn)數(shù)據(jù)模型及數(shù)據(jù)流向關系的集中管理從而構建數(shù)據(jù)全我們還提供了針對大數(shù)據(jù)平臺中元數(shù)據(jù)采集適配器，可以完成對上的，把串聯(lián)整個平臺中各模塊的元數(shù)據(jù)進行有效的采集，然后圓國結(jié)系統(tǒng)通過集中管理企業(yè)的系統(tǒng)邏輯模型與物理模型，可以提高模型的據(jù)模型管理模塊查詢當前有哪些已建的數(shù)據(jù)模型，哪些模型是類同樣基于數(shù)據(jù)模型的管理，管理員借助元數(shù)據(jù)關聯(lián)度分析模前端應前端應前端應庫表i孤立結(jié)點數(shù)據(jù)源接口01作業(yè)作業(yè)管理員分析出庫表06、07和08物理模型沒有被任務加工作嚴重情況下可能導致下游系統(tǒng)報錯。而元數(shù)據(jù)的變更(新增、修系統(tǒng)負責，這樣就導致很難了解數(shù)據(jù)模型變更的整體情況，不清楚這些變更操作是否遵守規(guī)范、是否存在相互沖突的情況。對于借助數(shù)據(jù)管理平臺可以實現(xiàn)，當數(shù)據(jù)模型發(fā)生變更時，通過降低了數(shù)據(jù)模型變更系統(tǒng)下的風險，從而提供更加穩(wěn)定的數(shù)據(jù)服□06口未燃UE施00*增紅框標識數(shù)據(jù)模型變更將影響到后端多張表，在這種情況下就需1、梳理設計的邏輯模型及關系與落地開發(fā)物理模型一致性檢2、元數(shù)據(jù)庫中采集物理模型與實際運行的物理模型一致性檢元數(shù)據(jù)一致性檢查相關流程如圖6-1所示。元數(shù)據(jù)一致性檢查流程操作人員及備注流程說明檢查環(huán)節(jié)變更環(huán)節(jié)圖6-1元數(shù)據(jù)一致性檢查流程圖.5數(shù)據(jù)質(zhì)量問題監(jiān)控及溯源在復雜的數(shù)據(jù)集成環(huán)境中，數(shù)據(jù)從業(yè)務生產(chǎn)系統(tǒng)經(jīng)過ETL加工存儲到數(shù)據(jù)倉庫，然后在倉庫中進過復雜的處理加工計算生成了統(tǒng)計報表。在整個過程中經(jīng)過多個鏈條的傳遞，導致其最終的報表出現(xiàn)了數(shù)據(jù)質(zhì)量問題，而導致問題出現(xiàn)的原因可能有加工過程問題，也可能是在數(shù)據(jù)產(chǎn)生之初業(yè)務人員的錄入問題。這就需要對數(shù)據(jù)進行校驗檢一致性、合規(guī)性等多個維度進行校驗，實現(xiàn)數(shù)據(jù)質(zhì)量問題的檢核，并提供給業(yè)務用戶、管理人員進行查詢跟蹤。借助元數(shù)據(jù)管理的分析溯源能力，完成數(shù)據(jù)質(zhì)量問題源頭定位。數(shù)據(jù)質(zhì)量模塊的告警功能，可以實現(xiàn)對重點的數(shù)據(jù)質(zhì)量問題通知給相關的系統(tǒng)負責人?；跀?shù)據(jù)質(zhì)量問題檢核及溯源功能，我們可以對某張報表中抄表流水數(shù)據(jù)異常的問題進行問題定位，使用問題溯源功能最終定位問題來源為CCS抄收系統(tǒng)的抄表流水記錄?；诎l(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，可以通過郵件或者手機監(jiān)控等方式通知并做到與XXX公司內(nèi)郵箱集成。99四大大表通過數(shù)據(jù)質(zhì)量規(guī)則定義，是從多個維度保證數(shù)據(jù)質(zhì)量問題得現(xiàn)對用戶信息中手機號數(shù)據(jù)項進行非空校驗，查詢到用戶手機號為空的數(shù)據(jù)質(zhì)量問題。將問題通知給業(yè)務人員，并跟蹤業(yè)務人員對數(shù)據(jù)問題整改情況，通過數(shù)據(jù)質(zhì)量考核評估機制，保證數(shù)據(jù)質(zhì)及時性一致性完整性準確性多少個作業(yè)等信息，使其能夠從管理的角度對所有數(shù)據(jù)資產(chǎn)情況用戶全面了解元數(shù)據(jù)管理模塊中的元數(shù)據(jù)分布，該統(tǒng)計功能可以按元數(shù)據(jù)類型、元數(shù)據(jù)創(chuàng)建者和元數(shù)據(jù)的版本號來進行統(tǒng)計。同時可以對數(shù)據(jù)資產(chǎn)的使用情況統(tǒng)計通過元數(shù)據(jù)管理模塊了解用戶企業(yè)數(shù)據(jù)成熟度評估讓企業(yè)的項目目標更明確。我們的項目同的。數(shù)據(jù)管理項目會為企業(yè)評估現(xiàn)階段的企業(yè)數(shù)據(jù)發(fā)展在內(nèi)所處的位置。企業(yè)數(shù)據(jù)管理從影響因素等隨機階段臨時人員或無人員無無認知階段科技人員兼職項目方式的臨時流程Office文檔數(shù)據(jù)分散存儲成長階段有專職或兼職人員有明確的職責系統(tǒng)內(nèi)、部門內(nèi)系統(tǒng)內(nèi)數(shù)據(jù)管理數(shù)據(jù)集市沒有或者分散的數(shù)據(jù)管理平臺成熟階段有固定專職人員人員分工細化跨系統(tǒng)、跨部門的固化流程數(shù)據(jù)倉庫企業(yè)級數(shù)據(jù)管理平臺創(chuàng)新階段專職組織人員、分工常態(tài)化數(shù)據(jù)服務常態(tài)化優(yōu)化的企業(yè)級管理流程優(yōu)質(zhì)數(shù)據(jù)倉庫大數(shù)據(jù)倉庫掌握企業(yè)數(shù)據(jù)、現(xiàn)場訪談等手段完成。通過現(xiàn)狀調(diào)研達到以下目標：狀，分組織架構、制度流程、產(chǎn)品支撐、數(shù)據(jù)質(zhì)量等幾個專題分別進行打分，行成企業(yè)的數(shù)據(jù)能力雷達圖。找到企業(yè)數(shù)據(jù)建設現(xiàn)階段的不足；■從多角度若干維度調(diào)查企業(yè)數(shù)據(jù)現(xiàn)狀并編寫詳細現(xiàn)狀說明書；.2梳理和建立數(shù)據(jù)資產(chǎn)目錄根據(jù)前面的評估結(jié)果進行企業(yè)數(shù)據(jù)資產(chǎn)目錄的梳理和建立，為數(shù)據(jù)資產(chǎn)的系統(tǒng)化管理提供基礎?！鼋⑵髽I(yè)內(nèi)數(shù)據(jù)資產(chǎn)目錄，梳理數(shù)據(jù)資產(chǎn)間的關系、影響，實現(xiàn)相關人員對企業(yè)內(nèi)數(shù)據(jù)資產(chǎn)的全面掌握。■明確數(shù)據(jù)資產(chǎn)的所有者、管理者和使用者的主要工作任務和職責，清晰界定并有效整合這三個角色。.3建立數(shù)據(jù)管理組織架構數(shù)據(jù)管理工作是一個企業(yè)級工作，需要技術、業(yè)務等各方面通力合作，為決策層管理層此需要成立專門的數(shù)據(jù)管理委員會統(tǒng)一執(zhí)行層■根據(jù)業(yè)界先進的數(shù)據(jù)管理經(jīng)驗，建立企業(yè)的數(shù)據(jù)管理要素體總體架構與職責分工。在其指導下，在數(shù)據(jù)管理各個領域建立相應的的政策、開展提供有據(jù)可依的管理辦法、規(guī)定數(shù)據(jù)管理的業(yè)務流程、數(shù)據(jù)管理的認責體系、人員角色和崗位職責、數(shù)據(jù)管理的支基于行業(yè)專業(yè)的數(shù)據(jù)問題管理方法對企業(yè)數(shù)據(jù)的業(yè)務核檢規(guī)則進行梳第30頁■全面梳理企業(yè)的數(shù)據(jù)質(zhì)量問題；■提供數(shù)據(jù)問題修改的最佳方法；數(shù)據(jù)管理平臺架構設計用戶管理影響日志管理元數(shù)據(jù)資料庫數(shù)據(jù)接口元數(shù)據(jù)手動采集參數(shù)配置查詢分析元數(shù)據(jù)存儲層元數(shù)據(jù)獲取層功能應用層儲模板W權限管理系統(tǒng)提供的清洗組件以及數(shù)據(jù)質(zhì)量問題處理流程為各系統(tǒng)數(shù)據(jù)質(zhì)系、管理模型變更。從而更加有效的發(fā)掘和利用信息資產(chǎn)的價值，實現(xiàn)精準高效的分析和決策，推進系統(tǒng)變更管理，降低項目通過數(shù)據(jù)管理平臺的建設將現(xiàn)有數(shù)據(jù)平臺和規(guī)劃中的大數(shù)據(jù)平動化、開放的管理。該平臺將能夠提供XXX能源統(tǒng)一的數(shù)據(jù)資產(chǎn)視1)元數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)產(chǎn)品安裝、調(diào)試；2)將已梳理完成的業(yè)務模型(如計量域業(yè)務模型)導入元數(shù)據(jù)管3)將已梳理完成的業(yè)務模型檢核規(guī)則導入數(shù)據(jù)質(zhì)量管理系統(tǒng)進4)對現(xiàn)有業(yè)務系統(tǒng)(如ERP、CCS、加氣站管理系統(tǒng)、數(shù)據(jù)平臺等)的元數(shù)據(jù)進行采集，并進行調(diào)試、驗證；5)對現(xiàn)有數(shù)據(jù)平臺的元數(shù)據(jù)進行采集，并進行調(diào)試、驗證；為數(shù)據(jù)管理部門和使用部門提供統(tǒng)一的大數(shù)據(jù)分析服務。平臺面向數(shù)據(jù)分析平臺應用場景在這種方式下需要在業(yè)務數(shù)據(jù)庫中針對增、刪、改三種操作建立觸發(fā)器，并由觸發(fā)器將變化的數(shù)據(jù)寫入臨時表中，最后■基于日志文件的增量數(shù)據(jù)抽取這種方式是使用數(shù)據(jù)庫本身的日志系統(tǒng)，由DI讀取并解析數(shù)◆缺點：各數(shù)據(jù)庫系統(tǒng)的日志文件絕大部如Oracle數(shù)據(jù)庫的日志文件只有Oracle本身的ETL工具使用這種方式進行增量數(shù)據(jù)抽取的前提是源數(shù)據(jù)庫與目標數(shù)間，然后以這個時間作為參數(shù)從源數(shù)據(jù)庫中讀取大于這個時◆缺點：源數(shù)據(jù)庫沒有時間戳字段的表需要過手工編寫代碼或者采用數(shù)據(jù)庫存儲過程的方式通常也可實現(xiàn)簡單人員只需在圖形化環(huán)境中通過拖拽方式就可以描述復雜的數(shù)據(jù)變換據(jù)的流向。系統(tǒng)提供超過40個數(shù)據(jù)處理組件，應對各種復雜處理。.1.3半結(jié)構化與非結(jié)構化數(shù)據(jù)(文件)的抽取DIComponentLibrary(數(shù)據(jù)集成組件庫)包括了一組與數(shù)據(jù)集JavaScript執(zhí)行SQL腳本表輸出Excd輸出表輸出插入/更新數(shù)據(jù)抽取與裝載組件集包含了一組對不同數(shù)據(jù)源、關系型數(shù)據(jù)的非結(jié)構化數(shù)據(jù)、支持Oracle、MSSQLServer、MySQL、DB2、Sybase、Informix等關系型數(shù)據(jù)庫、支持ArcGIS空間數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)換組件集包含了一組對數(shù)據(jù)進行轉(zhuǎn)換、過濾、清洗、合并的組件，以實現(xiàn)對復雜、凌亂數(shù)據(jù)的業(yè)務處理。借助DI數(shù)據(jù)轉(zhuǎn)換組■對數(shù)據(jù)按照某一標識進行拆分■根據(jù)字段值的不同進行數(shù)據(jù)映射■對一份數(shù)據(jù)按照不同類型進行分組■針對源數(shù)據(jù)庫與目標數(shù)據(jù)庫的字段名稱不同進行映射■將兩份數(shù)據(jù)合并成一份■將一份數(shù)據(jù)按照某一列的值進行排序■指定一個邏輯條件進行數(shù)據(jù)的過濾■對數(shù)據(jù)中牽扯到的數(shù)值信息進行數(shù)學計算■對無法滿足的需求可借助JavaScript功能自定義處理方式入.1.5支持準實時數(shù)據(jù)的采集和處理快速通過模型設計器或者作業(yè)自動化生成工具實現(xiàn)數(shù)據(jù)處理模硬盤使用情況、連接狀態(tài)、服務器工作狀態(tài)(在線or離線)等物理內(nèi)存使用率：CPU使用率：http://9:810成功.(2011-03-2811:35:57)http://08:828物理內(nèi)存使用率：0http://80:848成功，(2011-03-2811:35:57)ETLP1us管理服務器成功.(2011-03-2811:35;57)物理內(nèi)存使用率：CPU使用軍：http://:8181成功.(2011-03-2811:35:57)http://:8282成功，(2011-03-2811:35:57)■定制簡單化，僅需簡單的鼠標點擊拖拉即可完成任務調(diào)度■靈活的消息機制，把各種消息自動分發(fā)給用戶(例：將作業(yè)的執(zhí)行狀態(tài)通知給管理員等)■平臺組件化，耦合度低，接口簡單，易開發(fā)■采用了先進的J2EE技術架構，平臺具有很強的跨平臺性和良■可配置的代理負載加權算法，可以在執(zhí)行作業(yè)時支持多機集第41頁規(guī)模數(shù)據(jù)的高負荷運行調(diào)度平臺的邏輯架構如下圖所示：觸發(fā)監(jiān)控和管理控制臺管理控制臺是用戶設計調(diào)度作業(yè)、進行調(diào)度監(jiān)控和資源監(jiān)控的控制界面，有兩種用戶角色：管理員和操作員，管理員具備平臺所有的操作權限，操作員只能監(jiān)視系統(tǒng)運行狀態(tài)，以及作業(yè)異常時允許有限的管理功能。調(diào)度引擎是PrimetonDI調(diào)度的核心組件，它接收作業(yè)觸發(fā)監(jiān)控接口的作業(yè)輸入，然后檢查作業(yè)的依賴關系，通過資源管理器的資源分配將作業(yè)分發(fā)到調(diào)度代理執(zhí)行作業(yè)。■作業(yè)觸發(fā)監(jiān)控接口■作業(yè)流執(zhí)行策略重試次數(shù))和是否檢查上次狀態(tài)(如果檢查，失敗后不能自動在構成一個作業(yè)流的諸多作業(yè)中，可以對每一個作業(yè)依據(jù)參■作業(yè)/流優(yōu)先級選項/VIP通道■支持作業(yè)(流)復雜依賴關系作業(yè)(流)前置配置：作業(yè)流能夠定義前置(一個或多個作業(yè)流，并且由前置作業(yè)流執(zhí)行狀態(tài)來控制該作業(yè)流是否執(zhí)行)作業(yè)(流)后置配置：根據(jù)作業(yè)(流)的執(zhí)行狀態(tài)、返回值、作業(yè)參數(shù)等來決定后置作業(yè)(流)是否執(zhí)行翻牌策略定義：支持單個作業(yè)(流)自動翻牌<單個作業(yè)(流)調(diào)度代理通知和報警數(shù)據(jù)字典用于維護大數(shù)據(jù)平臺內(nèi)存儲的所有數(shù)據(jù)的元數(shù)據(jù) 據(jù)存儲系統(tǒng)(HDFS),用于存儲大容量結(jié)構化數(shù)據(jù)文件，并作為大數(shù)海量數(shù)據(jù)檢索和查詢滿足企業(yè)對大數(shù)據(jù)平臺中的海量結(jié)構化和的進行檢索的分發(fā)以及自動的負載均衡。主要包括全文檢索基礎功能組件和全文索引分區(qū)服務套件兩個方面，而這兩個方面的都是使用了分布式技術，能夠有效的提高系統(tǒng)效率，縮短相應時間。海量數(shù)據(jù)檢索和查詢主要有以下特點：●鍵值查詢：以“對象”為基本單位，基于其標識屬性(ID),在大數(shù)據(jù)平臺中實現(xiàn)跨數(shù)據(jù)源的查詢和信息聚集；●通過繼承Mondrian開源ROLAP引擎，在大數(shù)據(jù)平臺上實現(xiàn)高效的●對大數(shù)據(jù)平臺中結(jié)構化、非結(jié)構化數(shù)據(jù)實現(xiàn)全文檢索功能●提供搜索結(jié)果導航組件，它能夠根據(jù)用戶的要求對搜索的結(jié)果提供在多個維度上的導航功能，為用戶進行快速的信息查看了對比提供了一種便捷的操作。發(fā)展預測綜合查詢處理接口非結(jié)構化查詢器OLAP查詢器OLTP查詢器其他大數(shù)據(jù)流程調(diào)度框架對大數(shù)據(jù)分析任務進行建模和統(tǒng)一調(diào)度管據(jù)去重，數(shù)據(jù)過濾，數(shù)據(jù)采樣等)物化為服務，用戶通過拖拽這些算子組合成一個大數(shù)據(jù)分析的流程，然后提交到大數(shù)據(jù)平臺進●機器學習功能：大數(shù)據(jù)流程調(diào)度框架也把一些常用的機器學習算法(聚類，決策樹，協(xié)同過濾等)物化為服務，用戶也能通過拖查文件中數(shù)驟查文件中數(shù)驟無標塑無標塑A 隨機采樣?▼機器學習.5數(shù)據(jù)分析及可視化對數(shù)據(jù)進行建模，抽象出維度和度量屬性，封裝在數(shù)據(jù)立方體中。提供可視化的ROLAP分析界面，通過拖拽需要分析的維度和度量，業(yè)務分析員可以在線可視化的進行數(shù)據(jù)統(tǒng)計和分析。可以生成多種類型的數(shù)據(jù)圖表，如餅圖、折線圖、柱狀圖、地圖等，并將圖表靈活地發(fā)布到第三方網(wǎng)站、電子郵箱、微博等互聯(lián)網(wǎng)平臺。提供數(shù)據(jù)圖表訂閱發(fā)布的功能，用戶可以像訂閱微博一樣將圖表訂閱到頁面的指定位置。數(shù)據(jù)圖表的實時更新功能，發(fā)布或訂閱的圖表在其平臺載體上可以實時更新數(shù)據(jù)，便于用戶迅速獲取信息。數(shù)據(jù)圖表的級聯(lián)功能，發(fā)布出去的多個數(shù)據(jù)圖表可以配置級聯(lián)關系，當用戶點擊圖表的序列點時，會自動刷新頁面上有級聯(lián)關系的子圖表。/Oc數(shù)據(jù)分析平臺架構數(shù)據(jù)轉(zhuǎn)化服務圖算法服務機器學習服務服務負載均衡(HAProxy)分布式數(shù)據(jù)緩存海量文件系統(tǒng)通用大數(shù)據(jù)編程接口(RestAPI)監(jiān)控報警服務自動化部署服務第三方應用大數(shù)據(jù)建?？诨A設施子系統(tǒng)□核心服務子系統(tǒng)□上層表現(xiàn)子系統(tǒng)□數(shù)據(jù)采集子系統(tǒng)]服務輔助子系統(tǒng)□外部功能模塊[]計劃開發(fā)模塊塊。當需要作為可托管SaaS服務交付時，該模塊可以為整個大■大數(shù)據(jù)文件系統(tǒng)：該模塊繼承通用的大數(shù)據(jù)存儲系統(tǒng)(HDFS、Tachyon等),用于存儲大容量結(jié)構化數(shù)據(jù)文件，并作■海量文件系統(tǒng)：專注于海量非結(jié)構化小文件(10kb~~20MB)的高可靠分布式文件存儲引擎，由XXIaaS產(chǎn)品數(shù)據(jù)(Metadata)信息，以層級結(jié)構組織大數(shù)據(jù)平臺內(nèi)的異構學重點項目epiC實現(xiàn)和擴展的并行處理引擎，該引擎在完全兼容整個數(shù)據(jù)處理任務的各個環(huán)節(jié)建模為一個DataFlow中的各個數(shù)據(jù)處

索引生成：對存儲數(shù)據(jù)生成聚集索引、輔助索引、全文索引等；

其他轉(zhuǎn)化：如數(shù)據(jù)匿名化，敏感數(shù)據(jù)加密等；

最短路徑：在大規(guī)模圖數(shù)據(jù)中應答任意兩個對象在指定度

子圖匹配：挖掘大規(guī)模圖數(shù)據(jù)指定模式的子圖；

數(shù)據(jù)立方建立：對于導入的原始數(shù)據(jù)庫，由用戶指定需

數(shù)據(jù)立方分析：加載大數(shù)據(jù)平臺中存儲的數(shù)據(jù)立方，為 (Slice)和切塊(Dice)、以及

數(shù)據(jù)分析查詢：通過繼承Mondrian開源ROL

全文檢索：基于ElasticSearach/Solr等等開源解決方案，索功能·大數(shù)據(jù)平臺Web用戶界面：基于Backbone、JQuery等前端框架第54頁業(yè)務模型引擎任務調(diào)度引擎元數(shù)據(jù)引擎分布式處理引擎DIServer(數(shù)據(jù)集成引擎)基于JAVA構建，是PrimetonDI"擎自身的模型調(diào)度等。數(shù)據(jù)集成引擎可以滿足大規(guī)模數(shù)據(jù)的并發(fā)處DIComponentLibrary(數(shù)據(jù)集成組件庫)包括了一組與數(shù)據(jù)集DIGovernor(數(shù)據(jù)集成調(diào)度模型)是DI提供的系統(tǒng)管理監(jiān)控與提供二次開發(fā)API,與第三方系統(tǒng)集成>用拖拉方式畫出數(shù)據(jù)交換模型>支持多種處理處理模式(同步、異步)根據(jù)數(shù)據(jù)交換模型配置，運行時通過Studio界面可實時監(jiān)控通過DIStudio可將開發(fā)好的數(shù)據(jù)處理模型部署到DIServer,需要與未來的云數(shù)據(jù)平臺進行數(shù)據(jù)集成的能力，云數(shù)據(jù)平臺為報圖表形式同時顯示多個指標，圖形類型非常豐富，直觀地展現(xiàn)企Cockpit),將企業(yè)的決策與管理量化為一套可執(zhí)行的績效體系，使企業(yè)管理系統(tǒng)進入一個新的領域，為管理層提供“一站式”管理駕駛艙能以易于理解的圖表形式同時顯示多個指標——每個銷售團隊的銷售額、VIP客戶的盈利增長、各個部門的計劃戶非常直觀地監(jiān)控不同地區(qū)的業(yè)務發(fā)展和績效情況。地圖區(qū)域采日收人峰臺章確日收人峰臺章確2號5陽.134■1百3-245百萬翅)數(shù)據(jù)展示平臺架構設計)應用系統(tǒng)BI應用系統(tǒng)分析Dashboard(儀表盤、管理駕駛艙)是產(chǎn)品的重要組件，通過管理圖形、儀表盤、預警等方式，監(jiān)控、分析關鍵指標、業(yè)務目標，幫助您的企業(yè)發(fā)展，保持與戰(zhàn)略的步調(diào)一致。DashboardDashboard實現(xiàn)對BI應用的提升，并采用Web2.0技術，以簡潔、直觀的界面，展現(xiàn)企業(yè)各環(huán)節(jié)的經(jīng)營數(shù)據(jù)，并以豐富的展現(xiàn)形式為企業(yè)決策者提供分析和管理上的幫助，洞察企業(yè)的運營狀況。企業(yè)高級管理者要監(jiān)控企業(yè)運營，各級經(jīng)理要努力實現(xiàn)自己的目標，評估分析業(yè)務進展情況并采取行動。用戶借助Dashboard可以更深入地了解業(yè)務、更有把握地按時實現(xiàn)自己的目標，并保持個人和部門行為與決策協(xié)調(diào)一致。圖：績效監(jiān)控.2靈活查詢層Query(靈活查詢)是產(chǎn)品的重要組件，是面向關系數(shù)據(jù)庫的靈活查詢平臺，滿足用戶自助式的定制查詢和報表。業(yè)務用戶可以輕松的從數(shù)據(jù)庫中訪問、瀏覽和探察數(shù)據(jù)；滿足業(yè)務人員自助式、零編程、快速地定制查詢。第62頁Query具備可視化的定制能力，使企業(yè)中越來越多的員工能夠分享BI技術所帶來的變革。通過友好的界面輕松定制與瀏覽定制與瀏覽展現(xiàn)模板權限設置與發(fā)布管理管理業(yè)務元數(shù)據(jù)定義業(yè)務視圖定義元數(shù)據(jù)分析查詢定制分析瀏覽Query幫助用戶快速對業(yè)務流程進行度量。例如，它們可以Report(業(yè)務報表)PrimetoniDataTM的重要組件，滿足各報表，更支持基于數(shù)據(jù)補錄、報表數(shù)據(jù)匯總、數(shù)據(jù)平衡校驗、誤管報表平臺，包括銀監(jiān)會“1104工程”監(jiān)管報表、人民銀行大集Analysis(多維分析)是PrimetoniDataTM的重要組件，基隨著信息化時代的來臨，時間成本對于企業(yè)的重要性也越來越高，在重要時刻的及時反應甚至可以幫助企業(yè)獲得更多的回報率，而“移動辦公”也已經(jīng)成為了企業(yè)管理者樂于見到的主流辦它可以在iPad/iPhone/iPodTouch上為您的員工和客戶展示業(yè)務報表、KPI(關鍵績效指標)、文檔和儀表盤。不僅有的圖形、圖表、儀表盤、地圖、表格都是可交互的，簡單的觸Mobile利用移動信息展現(xiàn)平臺建立移動終端與服務器的連接，擺脫時間和場所局限，隨時進行高效的公司管理和溝通，助產(chǎn)品具有獨立的發(fā)布管理，提供報表級、目錄級和主題級的報表發(fā)布是指管理員將報表授權后發(fā)布在前端界面進行瀏覽，以便實現(xiàn)各級別的用戶登錄系統(tǒng)看到不同的瀏覽界面與各類報表等的展現(xiàn)。具體功能如下：單個報表發(fā)布多個報表批量發(fā)布取消單個報表發(fā)布批量取消發(fā)布目錄發(fā)布是指管理員通過完善的用戶權限管理，將目錄以本級別內(nèi)的資源發(fā)布到展現(xiàn)界面中，以便實現(xiàn)各級別的用戶登錄系統(tǒng)看到不同的瀏覽界面與各類報表等的展現(xiàn)。主題發(fā)布主題發(fā)布是指管理員新建發(fā)布主題，將相同用戶組關注的資源與目錄為重點發(fā)布到展現(xiàn)界面中，以便實現(xiàn)各級別的用戶登錄系統(tǒng)看到不同的瀏覽界面與各類報表等的展現(xiàn)。系統(tǒng)有多套主題，比如總行管理員可以定義“總行主題、分行A主題、分行B主題等”,讓不同分行的人登錄系統(tǒng)后能看到不同的“瀏覽”界面展產(chǎn)品銷售分析(月.告、每月員工出勤情況報告，并發(fā)送給領導審閱；又如業(yè)務系統(tǒng)一般每晚進行數(shù)據(jù)的抽取和導入，所以每天的清晨，公司的各級管理人員都需要一份昨日的業(yè)務分析報告，而系統(tǒng)分析人員又不運行和發(fā)送報表和告警報表。還可自定義任務，即通過腳本，調(diào)戶(即角色),讓其根據(jù)任務時間表的安排自動執(zhí)行任務，并可將個組可以設置組管理員對本組成員(包括用戶和下級用戶組)進行權6.2產(chǎn)品功能清單1元數(shù)據(jù)采集查詢2詳細3增加4修改5刪除6調(diào)整時間7任務狀態(tài)8立即運行9手動采集手動采集采集日志刪除高級刪除取消采集器數(shù)據(jù)源管理增加修改刪除增加修改刪除元數(shù)據(jù)分析影響分析/血統(tǒng)分析/全鏈路分析/ETL調(diào)度分析放大縮小切換粒度查詢漫游全屏導出打印影響分析血統(tǒng)分析全鏈分析1元數(shù)據(jù)屬性差異分析元數(shù)據(jù)屬性差異分析表關聯(lián)度分析查詢第70頁詳細批量影響血統(tǒng)分析增加分析任務刪除分析任務啟動分析終止分析元數(shù)據(jù)變更管理元數(shù)據(jù)更新查詢元數(shù)據(jù)變更查詢元數(shù)據(jù)變更訂閱新建修改刪除發(fā)送結(jié)果變更數(shù)據(jù)變更訂閱查詢元數(shù)據(jù)版本管理版本查詢查詢版本概要版本樹批量版本發(fā)布刷新查看版本元數(shù)據(jù)樹版本管理定版版本比較版本恢復第71頁修改痕跡元數(shù)據(jù)導出元數(shù)據(jù)導出元數(shù)據(jù)導出分析結(jié)果導出元數(shù)據(jù)檢核檢核基準庫增加修改刪除檢核對象庫增加修改刪除元數(shù)據(jù)落地檢核新增檢核修改檢核刪除檢核比對檢核查看結(jié)果檢核結(jié)果查詢查看檢核結(jié)果系統(tǒng)視圖管理視圖用戶視圖管理視圖采集模板管理模板定制模板刪除模板修改模板下載第72頁創(chuàng)建模板映射修改模板映射下載模板映射管理元數(shù)據(jù)映射管理查詢目錄映射增加目錄映射運行目錄映射元數(shù)據(jù)類型映射管理查詢模型映射增加模型映射元模型管理元模型管理元模型查詢元模型增加元模型刪除元模型修改采集適配器第73頁Shell日志采集適配器Shell日志采集適配器配器器集適配器適配器Cognos8.4適配器Cognos10采集適配器元數(shù)據(jù)維護元數(shù)據(jù)維護元數(shù)據(jù)查詢元數(shù)據(jù)增加元數(shù)據(jù)修改元數(shù)據(jù)刪除元數(shù)據(jù)檢索通用查詢通用查詢高級查詢高級查詢數(shù)據(jù)地圖數(shù)據(jù)地圖數(shù)據(jù)地圖增加修改刪除第74頁分配用戶用戶管理增加修改刪除分配角色重置密碼角色管理增加修改刪除分配用戶分配菜單分配資源增加修改刪除復制系統(tǒng)管理系統(tǒng)配置系統(tǒng)配置系統(tǒng)參數(shù)增加修改刪除參數(shù)明細第75頁系統(tǒng)日志查詢刪除顯示參數(shù)在線用戶查詢修改密碼修改密碼刷新內(nèi)存刷新內(nèi)存元數(shù)據(jù)管理產(chǎn)品的元模型符合CWM規(guī)范，同時提供字典、代碼管理等技術元數(shù)據(jù)和指標、業(yè)務規(guī)則等業(yè)務元數(shù)據(jù)，符合企業(yè)數(shù)據(jù)倉庫環(huán)境的各類元數(shù)據(jù)管理模型。元模型可由用戶自定義擴展，滿足客戶化元數(shù)據(jù)的需求。有元模型查詢、元模型增加、同義詞00日宏庫檢勤索引否否mages/metamodeVTable.查詢/過內(nèi)查詢/過內(nèi)新田修改參胞所屬類名表表所屬類名表表否8表表空間元素段、元數(shù)據(jù)采集管理型的模板適用于系統(tǒng)元數(shù)據(jù)的導入導出，系統(tǒng)中所有的元模型(類)輔助的技術手段。模板功能主要為自動和手動導入元數(shù)據(jù)時使用，該功能主要提供技術人員導出需要導入元數(shù)據(jù)的數(shù)據(jù)模板，方便提模極映射編號；模板編號是否有效數(shù)據(jù)源是是是述的是同一個元數(shù)據(jù)的現(xiàn)象，也包括在設計和實現(xiàn)之間存在的多個元數(shù)據(jù)，但描述的是同一元數(shù)據(jù)的現(xiàn)象，系統(tǒng)提供了兩種方式實現(xiàn)，其一是通過提引入元數(shù)據(jù)映射管理的概念，其主要思路是通過配置元數(shù)據(jù)之間的映射關系，在有映射關系的元數(shù)據(jù)目錄下如果元數(shù)據(jù)的代碼相同則認為是同一元數(shù)據(jù)。元數(shù)據(jù)映射功能需要建立模型映射，再建立元數(shù)據(jù)映射。模型映射的目的是為了使不同工具但本質(zhì)上相同的元數(shù)據(jù)建立映射關系。其二自動建立元數(shù)據(jù)間的映射，采集適配器在采集元數(shù)據(jù)采集的時候自動建立起元數(shù)據(jù)間的映□元模型缺射管理金首頁引用類所屬包：LDM表PowerOesgne..著票請選擇-關系型包PXCusscFeder.DataStPaGFInputpnsDatastage包PaDB2IhputPnsDataStPaDataSetInpDutaStage包PhDataSetOut…paStag是是是是是是是是責共4頁?2量示1·20,共68條□元數(shù)據(jù)映射管理□元數(shù)據(jù)映射管理□元模確射管理元數(shù)據(jù)目錄映射管理REP_CDBEDW/POWERMART-文件/VO.9-FIe/FLATFLE-REP_CDBEDW..URP/POWERMART-舉加目舉味射除目學峽射運行目果法射|查潤殊射結(jié)果請選峰-青選殊-VPP金普頁關系數(shù)據(jù)庫適配器：采集來自Oracle、DB2、Teradata、關系以及MicroStrategy報表采集。根據(jù)數(shù)據(jù)采集來源的不同，元數(shù)據(jù)系統(tǒng)支持的采集工具下表所工具采集內(nèi)容類型物理實例直連服務器關系數(shù)據(jù)庫物理實例直連服務器物理實例直連服務器TeradataDatabaseversi物理實例直連服務器物理實例、物理實例、物理實例、直連服務器SQL數(shù)據(jù)加工邏輯直連服務器TeradataDatabaseversiSQL數(shù)據(jù)加工邏輯Perl日志文件SQL數(shù)據(jù)加工邏輯She11日志文件SQL數(shù)據(jù)加工邏輯cedure存模型除外)直連服務器報表直連服務器報表工具物理模型建模工具物理模型物理模型自定義內(nèi)容件自定義業(yè)務模型自定義內(nèi)容直連服務表和視圖的內(nèi)容)自定義內(nèi)容自定義內(nèi)容TeradataDatabaseversi自定義內(nèi)容采集元數(shù)據(jù)后，對變動元數(shù)據(jù)提供入庫審核功能，有效控制了數(shù)據(jù)庫和結(jié)構的異常修改和修改確認，保證了元數(shù)據(jù)本身的數(shù)據(jù)質(zhì)已審模元數(shù)意已較回元數(shù)據(jù)已審核依貌已及回依救0000000系統(tǒng)提供按照業(yè)務線的企業(yè)數(shù)據(jù)流圖，業(yè)務人員可以個性化該視圖，展現(xiàn)關心的業(yè)務線數(shù)據(jù)流圖，為業(yè)務人員理解系統(tǒng)提供了最1、請先成建視圖，然后在視圖上也建文件來：提示：在視圖樹上可以通過右建快捷某單填編視、從左邊的元數(shù)據(jù)樹施使的據(jù)機圖文件2制新加V0.9C總層交執(zhí)擇口VO0.時區(qū)代碼區(qū)元數(shù)據(jù)基本信息、屬性、被依賴關系、依賴關系、組合關系的查詢修改和刪除操作。它是最基本的管理手段之一，技術人員和業(yè)O2*##階者第項第2★3第4頁□元數(shù)鋼代碼元數(shù)部名稱1的*曲曲曲通現(xiàn)查確，產(chǎn)品通州查省星SECHENT4產(chǎn)品開元數(shù)語//他口他算教進文展表GN產(chǎn)縣壓開元數(shù)組/口作算數(shù)值交第白表000_NO率W00_TYPE產(chǎn)品屬開元數(shù)據(jù)SN#量開戶批安本子產(chǎn)品值要化表(冊)產(chǎn)F&/VO.9號需德國模/DEEDW5UMLDMvu叫=工總層規(guī)理模塵索引T□四貨款發(fā)放、回收詳細情況報送#□?費教發(fā)放能戶利息累計上貨款賬戶巴貨教子類型與表內(nèi)外對應關系?常內(nèi)有數(shù)賬戶圖導出系統(tǒng)提供元數(shù)據(jù)的生命周期管理，發(fā)布、刪除和狀態(tài)變更都有嚴格的流程，并提供了版本管理功能，這些都確保元數(shù)據(jù)的質(zhì)量，七、版本詳情元數(shù)據(jù)詳情版本樹與最新比對數(shù)據(jù)平臺素引田公共緩中區(qū)金融計平臺定版人員定版時間基線版本v2.0.01否A00811752其線所本V1.0.否A00811752013-10-1420:04用戶可以自行訂閱關注的元數(shù)據(jù)，當這些元數(shù)據(jù)發(fā)生變更后，系統(tǒng)將以用戶指定的形式通知用戶變更的發(fā)生，用戶可根據(jù)指引，進一步在系統(tǒng)中查詢到該變更的具體內(nèi)容及相關的影響分析，變更并不是在第一時間通知用戶的，而是系統(tǒng)以設置的某個周期，檢查代庫表之間的差異，引入了元數(shù)據(jù)檢核，通過對已采集的ERWin,據(jù)創(chuàng)建對象庫，來創(chuàng)建要比較的關聯(lián)對象，運行檢核后可以查看檢四檢核對象庫網(wǎng)四檢核對象庫網(wǎng)查看結(jié)果刪涂企業(yè)元數(shù)據(jù)資產(chǎn)存在同一元數(shù)據(jù)流經(jīng)不同數(shù)據(jù)層的情況以及元數(shù)據(jù)在設計和實現(xiàn)不同的生命周期中有不同的存在形式情況，為建立不同數(shù)據(jù)層、不同生命周期的同一元數(shù)據(jù)的關系，引入元數(shù)據(jù)映射管理概念，其目標是通過配置目錄之間的映射關系，在有映射關元模型映射管理首頁山元數(shù)據(jù)導出+0◎映射管理元數(shù)據(jù)映射管理元數(shù)據(jù)分析與影響分析類似，血統(tǒng)分析是建立在企業(yè)整體元數(shù)據(jù)整合的基礎上，提供了跨IT系統(tǒng)、跨BI工具的元數(shù)據(jù)分析，實現(xiàn)以數(shù)據(jù)流向為主線的血緣追溯。血統(tǒng)分析的作用主要表現(xiàn)為以下幾個方面，提升報表信息的可信度，為企業(yè)數(shù)據(jù)的合規(guī)性提供驗證手段，幫助業(yè)務部門與IT支撐部門實現(xiàn)信息共享、提升協(xié)調(diào)工作效率。●詳細分析影響分析：CUSTOMERS影響分析：CUSTOMERS為了實現(xiàn)正確、及時的分析功能，產(chǎn)品將企業(yè)元數(shù)據(jù)進行整合，改變了原有各IT系統(tǒng)、BI工具集數(shù)據(jù)模型等元數(shù)據(jù)間各自隔離、互補關聯(lián)的現(xiàn)狀，有效地將各部分的局部表述統(tǒng)一為整體，歸并重復表述，并對沖突表述進行甄別并提供進一步處理，在此基礎上影響分析提供基于數(shù)據(jù)流影響分析功能。用戶分析能迅速了解分析對象的下游數(shù)據(jù)信息，快速識別元數(shù)據(jù)的價值，掌握元數(shù)據(jù)變更可能造成的影響，以便更有效的評估變化帶來的風險，從而幫助用分析cUSToMtRs*|SToreS*A0t551*t金●jiouguuR.●jiouguuR.CuntoNEE● EE□6·概覽分析.3表的關聯(lián)程度分析分析表元數(shù)據(jù)與其他元數(shù)據(jù)的關系出現(xiàn)次數(shù)(如：表與ETL程序、表與OLAP、表與指標等),分析庫表的重要程度，出現(xiàn)次數(shù)越多的庫表重要程度越高。主要為技術人員使用，用于展現(xiàn)表在系統(tǒng)元數(shù)據(jù)代碼元數(shù)據(jù)名稱TR_CD_MAP代碼映射表/V0.9基礎層仁總層TRLPARTY_ID_MAP當事人編號映射表AG_AGT_PARTY_RELA_H協(xié)議當事人關系歷史/V0.9基礎層匯總層物理模型AG_AGREEMENTAG_AGREEMENT/V0.9基礎展匯總層物理模/PDATA282FM_CUENTMQENT AG_AGT_RELA_HAG_AGT_RELA_H/V0.9基礎層仁總層物理模型/PDATAGAGTIMPDTH企業(yè)內(nèi)的元數(shù)據(jù)，種類繁多、形式各異，集中管理與元數(shù)據(jù)產(chǎn)品后，如何提供便捷的使用方式，變成為發(fā)揮企業(yè)信息資產(chǎn)價值的關鍵。前文中提到的用戶數(shù)據(jù)視圖、元數(shù)據(jù)查詢等功能，面向元數(shù)據(jù)細節(jié)信息的使用需求，更適用于具體的人員、部門基于元數(shù)據(jù)開展相關工作，對于企業(yè)管理人員等高層用戶，由于關注范圍廣泛，大量的細節(jié)信息不能有效的滿足該類用戶的需要，而企業(yè)的數(shù)據(jù)地圖用于宏觀層面，組織信息，力求以用戶視角對企業(yè)信息進行歸熱μ-a生數(shù)據(jù)地圖選中系統(tǒng)高亮展示：數(shù)據(jù)地圖數(shù)據(jù)地圖管理駕駛能固定報表通過選擇某系統(tǒng)節(jié)點，連線會以高亮方式展示系統(tǒng)之間的上下游關系通過雙擊數(shù)據(jù)地圖上某個系統(tǒng)節(jié)點可展示該系統(tǒng)的詳細信息元數(shù)據(jù)基本信息系統(tǒng)信量數(shù)據(jù)康額理·儲改×刪除維護關系直看歷史版本管理·影響分析;血續(xù)分析通過雙擊系統(tǒng)之間連線的錨點，可下鉆到這兩個系統(tǒng)下的數(shù)據(jù)庫之間的關系w通過雙擊數(shù)據(jù)庫之間的連線可獲取這兩個數(shù)據(jù)庫之間所有存在的表級關系Schempt據(jù)地面頁□選判入冊□Schemg時招通西日標數(shù)據(jù)庫日標者4通過點擊下鉆圖標可下鉆展示這兩個表下的所有存在的字段級查司/過跡查司/過跡目標表Docu..CLEN..數(shù)據(jù)質(zhì)量定義模塊是整個數(shù)據(jù)質(zhì)量平臺的基礎，它通過對質(zhì)量維度、檢核類別、度量規(guī)則以及檢核方法的定義和管理給檢核任務本系統(tǒng)通過對不同業(yè)務規(guī)則的收集、分類、抽象和概括，定義了六種數(shù)據(jù)質(zhì)量維度。質(zhì)量維度反映了數(shù)據(jù)質(zhì)量不同的規(guī)格標準，在質(zhì)量維度的基礎上根據(jù)各業(yè)務規(guī)則的具體特點細化出了九種檢核類別，使得數(shù)據(jù)質(zhì)量問題更具有條理性和層次感，并可以直接檢核類別從實施的角度對各質(zhì)量維度進行更小粒度的劃分，并度量規(guī)則是由業(yè)務人員根據(jù)各檢核類別對不同的業(yè)務實體提出的數(shù)據(jù)質(zhì)量的衡量標準。它是各檢核類別在不同業(yè)務實體上的具體量規(guī)則都是從業(yè)務實體的角度上對質(zhì)量問題進行簡單的描述，都包含一個或多個信息項，這些信息項就是每一個業(yè)務實體具體所要檢核的對象，這樣我們就在每一個度量規(guī)則的基礎上根據(jù)不同的信息檢核方法是度量規(guī)則在不同信息項上的落地實施，也是檢核任務模塊任務執(zhí)行的主體。根據(jù)度量規(guī)則中不同的信息項定義出不同的檢核方法，每一個檢核方法根據(jù)其檢核對象定義各自的檢核腳本檢核方法中的檢核腳本就是數(shù)據(jù)質(zhì)量系統(tǒng)在執(zhí)行檢核操作時所實際執(zhí)行的腳本，它反映了質(zhì)量問題的檢核邏輯，根據(jù)檢核類別的為了方便檢核腳本的定義，數(shù)據(jù)質(zhì)量系統(tǒng)提供了腳本配置模板，填寫好腳本配置模板后，系統(tǒng)便可生成檢核方法各自的檢核腳對于腳本配置模板，系統(tǒng)提供了相應的界面，在頁面上導入模板后便可由系統(tǒng)自動生成檢核方法，然后系統(tǒng)會校驗這些檢核方法的正確性，對于配置錯誤的腳本會予以標識，并可在界面中查詢錯檢核任務調(diào)度模塊是數(shù)據(jù)質(zhì)量平臺的核心，通過執(zhí)行檢核方法生成相應的檢核結(jié)果問題數(shù)據(jù)文件，檢核結(jié)果問題數(shù)據(jù)能夠反映出檢核任務調(diào)度模塊統(tǒng)一管理系統(tǒng)內(nèi)所有檢核任務，在上游系統(tǒng)批處理作業(yè)結(jié)束之后會觸發(fā)執(zhí)行檢核任務生成程序，生成相應的檢核任務列表，發(fā)現(xiàn)有待執(zhí)行的檢核任務并且當前系統(tǒng)中沒有正在執(zhí)檢核任務開始后立即將此任務的狀態(tài)更改為“正在執(zhí)行”,在執(zhí)行檢核過程中發(fā)現(xiàn)錯誤，即可將此檢核方法對應的檢核任務狀態(tài)置為“執(zhí)行出錯”,對于成功檢核完成的任務，將其置為“檢核完一個檢核任務通常包含很多檢核方法，為了提高檢核的效率，采用多線程方式。系統(tǒng)根據(jù)此次檢核任務的檢核方法數(shù)目來決定此次檢核任務分配的線程數(shù)，同時為了避免給檢核系統(tǒng)造成過大的壓力，會有一個最大線程數(shù)，這個最大值可在系統(tǒng)配置模塊中進行配檢核方法會被分配給多個檢核線程(線程數(shù)目由此次執(zhí)行的檢核方法數(shù)目決定，并擁有一個最大線程數(shù)),這些檢核線程會同時啟動，并且同時啟動一個伴隨線程。這個伴隨線程用于記錄這些檢核在檢核任務執(zhí)行過程中，依次執(zhí)行各個檢核方法，檢核方法的執(zhí)行實際上就是其檢核腳本的執(zhí)行。這些檢核方法如果有查詢出的數(shù)據(jù)便會在receive目錄中生成其對應的檢核結(jié)果文件(dat文件),采集程序使用quartz作業(yè)的方式進行輪詢采集，由于每次需要采集的文件數(shù)量不同，所包含的數(shù)據(jù)量也不同，再加之其他因素的可能性干擾，所以每一次作業(yè)所使用的時間不會相同，這樣就會使得每一次作業(yè)啟動時上一次作業(yè)未必已經(jīng)結(jié)束。為了避免不同作業(yè)批次之間的資源爭用問題，系統(tǒng)采用單作業(yè)執(zhí)行的方式，如果作業(yè)啟動時上一次作業(yè)還沒有結(jié)束，則本次作業(yè)自動結(jié)束，直到上次作檢核結(jié)果采集模塊將檢核結(jié)果文件采集入庫，并在采集過程中對這些檢核結(jié)果數(shù)據(jù)進行簡單的匯總操作，并將這些明細數(shù)據(jù)和匯總數(shù)據(jù)分別存入結(jié)果明細表和匯總表。此過程中如果發(fā)生了異常則對數(shù)據(jù)庫表進行回滾操作，以避免出現(xiàn)不完整的數(shù)據(jù)，然后將此文每一個結(jié)果文件在采集入庫后都將被刪除，在所有的結(jié)果文件采集結(jié)束后，判斷當前文件夾下是否還有未采集的結(jié)果文件，如果未到達而沒有采集的文件，則保留當前文件夾中的所有文件，等待問題數(shù)據(jù)分析模塊對問題數(shù)據(jù)進行檢索、分析，進而啟動問題治理流程。所以檢核結(jié)果分析模塊是檢核系統(tǒng)數(shù)據(jù)質(zhì)量問題暴露的在本模塊中提供了對數(shù)據(jù)質(zhì)量問題數(shù)據(jù)的檢索、重點關注檢核對象問題數(shù)據(jù)的監(jiān)控、對問題數(shù)據(jù)數(shù)量變化的趨勢分析、對問題數(shù)在問題數(shù)據(jù)檢索中，可根據(jù)不同條件進行組合檢索，還可對查詢結(jié)果(包括匯總數(shù)據(jù)和明細數(shù)據(jù))進行自定義排序以及根據(jù)問題率對結(jié)果數(shù)據(jù)進行篩選。在查看結(jié)果明細數(shù)據(jù)時，用戶可根據(jù)不同系統(tǒng)、不同檢核類別定制自己的明細數(shù)據(jù)顯示列，這部分可在系統(tǒng)配在趨勢分析中，用戶可選擇一段時間內(nèi)的同一個檢核方法所檢核出的問題數(shù)據(jù)量的變化趨勢圖，以更直觀的方式查看數(shù)據(jù)質(zhì)量問數(shù)據(jù)質(zhì)量報告提供了一個集中展示數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量狀況的窗口，數(shù)據(jù)質(zhì)量管理人員召集相關人員對數(shù)據(jù)質(zhì)量報告進行分析討論，以總結(jié)經(jīng)驗、沉淀知識和改進方法，不斷提高各數(shù)據(jù)平臺數(shù)據(jù)數(shù)據(jù)質(zhì)量報告支持圖形化展現(xiàn)，并可支持鉆取到明細頁面，打?qū)τ谠L問用戶的不同需求，為滿足重點需要監(jiān)控的檢核方法進系統(tǒng)配置模塊包括參數(shù)配置、數(shù)據(jù)源配置和結(jié)果明細頁面顯示配置，它為數(shù)據(jù)質(zhì)量管理系統(tǒng)其他模塊的正常運行提供了必要的輔修改)不同的參數(shù)類型。數(shù)據(jù)源配置用于檢核任務模塊中本系統(tǒng)對各檢核系統(tǒng)數(shù)據(jù)庫連接的獲取。在檢核任務模塊中，所有檢核方法的執(zhí)行需要獲取目標系統(tǒng)的數(shù)據(jù)源連接，然后才能在目標系統(tǒng)中執(zhí)行檢核腳本。獲取數(shù)據(jù)源連接的必要參數(shù)，比如數(shù)據(jù)庫驅(qū)動名稱、連接URL、數(shù)據(jù)庫連接用戶名和密碼都在這部分進行配置。另外，檢核任務模塊是多線程檢核的方式，線程數(shù)的分配是系統(tǒng)根據(jù)此次任務所包含的檢核方法數(shù)計算出的，當檢核方法數(shù)過多時可能會導致檢核線程創(chuàng)建過多從而影響目標系統(tǒng)數(shù)據(jù)庫的正常運行，因此我們需要為每一個數(shù)據(jù)源定義一個最大連接數(shù)，而這個數(shù)據(jù)源的最大連接數(shù)就是在此部分檢核結(jié)果數(shù)據(jù)的報文頭部分包含了結(jié)果數(shù)據(jù)的相關屬性信息，對于不同的檢核系統(tǒng)和檢核類別這些報文頭信息的相關度不同，因此系統(tǒng)提供了結(jié)果明細頁面配置功能來對不同檢核系統(tǒng)、不同檢核類別的結(jié)果數(shù)據(jù)進行定制化配置。用戶可在此處配置報文頭屬性的系統(tǒng)管理模塊不具備任何業(yè)務功能，它主要通過對用戶與系統(tǒng)的維護和管理為整個數(shù)據(jù)質(zhì)量系統(tǒng)的運行和用戶的正常使用提供必用戶管理單元用于對用戶的管理和維護，包括對用戶的增加、第101頁角色管理單元用于對角色的管理和維護，包括對角色的增加、修改、刪除，并對角色所屬的用戶和菜單進行分配管理。通過角色對菜單的分配來實現(xiàn)系統(tǒng)權限的控制，此處權限控制級別可以做到菜單管理單元用于定義系統(tǒng)中各頁面菜單的屬性，包括菜單名在線用戶單元用于記錄用戶最近一次登錄的信息，密碼管理單元用于用戶密碼的修改，刷新內(nèi)存單元用于刷新在內(nèi)存中所存儲的變量值，包括檢核類別、參數(shù)配置與數(shù)據(jù)源配置中對數(shù)據(jù)的修改操第102頁任務調(diào)度引學分布式處理引擎業(yè)務模型引摯元數(shù)據(jù)引舉DIServer(數(shù)據(jù)集成引擎)基于JAVA擎自身的模型調(diào)度等。數(shù)據(jù)集成引擎可以滿足大規(guī)模數(shù)據(jù)的并發(fā)處第103頁DIComponentLibrary(數(shù)據(jù)集成組件庫)包括了一組與數(shù)據(jù)集成相關的服務構建，通過這些豐富的組件，開發(fā)人員可以在集成開發(fā)環(huán)境下基于可視化的組件圖元快速開發(fā)出高效的數(shù)據(jù)處理模型。DI組件庫包含了數(shù)據(jù)抽取組件集、數(shù)據(jù)裝載組件集、數(shù)據(jù)轉(zhuǎn)換組件集以及用來傳輸二進制數(shù)據(jù)的數(shù)據(jù)傳輸組件集。獲取文件名稱獲取文件名稱Access輸入文本文件輸入字段選擇字段選擇過慮記錄去除重復記錄執(zhí)行SQL腳本表輸出Exce輸出表輸出XML輸出冊除插入/更新冊除數(shù)據(jù)抽取與裝載組件集包含了一組對不同數(shù)據(jù)源、關系型數(shù)據(jù)的非結(jié)構化數(shù)據(jù)、支持Oracle、MSSQLServer、MySQL、DB2、Sybase、Informix等關系型數(shù)據(jù)庫、支持A數(shù)據(jù)轉(zhuǎn)換組件集包含了一組對數(shù)據(jù)進行轉(zhuǎn)換、過濾、清洗、合并的組件，以實現(xiàn)對復雜、凌亂數(shù)據(jù)的業(yè)務處理。借助DI數(shù)據(jù)轉(zhuǎn)換組■對數(shù)據(jù)按照某一標識進行拆分■將一份數(shù)據(jù)按照某一列的值進行排序■對兩份進行進行全文比對，找出其中的異同■對無法滿足的需求可借助JavaScript功能自定義處理方式DIStudio(數(shù)據(jù)集成建模工具)是基于SWT技術開發(fā)的可視化國與>支持多種處理處理模式(同步、異步)根據(jù)數(shù)據(jù)交換模型配置，運行時通過Studio界面可實時監(jiān)控通過DIStudio可將開發(fā)好的數(shù)據(jù)處理模型部署到DIServer,DIGovernor(數(shù)據(jù)集成模型治理)是DI提供的系統(tǒng)管理監(jiān)控與.5DIMetadataWarehouse庫)用于保存通過數(shù)據(jù)集成建模工具構建的數(shù)據(jù)處理模型，支持大數(shù)據(jù)流作業(yè)調(diào)度平臺大數(shù)據(jù)流作業(yè)調(diào)度平臺針對大數(shù)據(jù)分析任務進行建模和統(tǒng)一調(diào)Q?體的數(shù)據(jù)分析工作流(如圖所示),然后提交到后臺執(zhí)行；右邊黃框標示的部分是各種算子的配置參數(shù)部分，用戶可以配置這些算法的各種相關參數(shù)。大數(shù)據(jù)流作業(yè)調(diào)度平臺主要提供用戶管理，數(shù)據(jù)導入服務，數(shù)據(jù)分析服務，機器學習服務，歷史任務管理，以及數(shù)據(jù)分析和可視化服務等功能。.1數(shù)據(jù)導入服務功能用戶通過網(wǎng)頁界面或者命令行工具可以高效地把外部的結(jié)構化數(shù)據(jù)和非結(jié)構化數(shù)據(jù)導入到大數(shù)據(jù)平臺中。對于非結(jié)構化數(shù)據(jù)，用戶通過網(wǎng)頁界面可以方便地把本地文件上傳到大數(shù)據(jù)平臺的分布式文件系統(tǒng)hdfs中，也可以使用命令行的方式進行批量導入?！颉颞嬃鎏幚韺τ诮Y(jié)構化數(shù)據(jù)，用戶通過網(wǎng)頁界面可以配置數(shù)據(jù)所處的數(shù)據(jù)庫的一些參數(shù)，然后提交到大數(shù)據(jù)平臺的后臺進行自動化導入。oo模板大數(shù)據(jù)流作業(yè)調(diào)度平臺把一些常用的數(shù)據(jù)分析算子(數(shù)據(jù)去重，數(shù)據(jù)過濾，數(shù)據(jù)采樣等)物化為服務，用戶通過拖拽這些算子組合成C階的向量空間，在這些高階向量空間里，有些分類或者回歸問·任務參數(shù)無標超大數(shù)據(jù)流作業(yè)調(diào)度平臺通過一個簡單易用的用戶界面把這些復T查看數(shù)據(jù)導入到HdfsA導入到Hive~數(shù)據(jù)源數(shù)據(jù)處理T數(shù)據(jù)去重畫布操作：畫布右上方的5個按鈕為畫布相關的操作，從左到右其周圍出現(xiàn)3個按鈕，分別為刪除任務、刪除所有鏈接(僅在任務有連線時顯示)、連線(拖拽連接至其他任務)。連接任務后將第113頁×無標題D第114頁里T加權采樣①1任務輸入大數(shù)據(jù)流作業(yè)調(diào)度平臺可以對用戶繪制的數(shù)據(jù)流進行存儲，執(zhí)如下圖2個按鈕分別為保存和另存為。點擊頁面最左側(cè)的標簽可保存的全部工作流，點擊即可將其畫在畫布上，點擊名字后面的方將出現(xiàn)日志窗口，展示整個工作流執(zhí)行的日志。工作流執(zhí)行的等入別eT過述2400-201518:19:06CST0477cb4c-1d0aff7063fLBaOddh]NFO-Hon"Bmtto24-09-201518:19:06CS70477cb+k-1004-1779-63f1cBcateSddb)NFO-nshingupfow直Q??理保存在分布式數(shù)據(jù)字典中的用戶基本信息。提供批量導入新用;日列行4?口4?■AZ通過拖拽操作產(chǎn)生的圖表可以保存在系統(tǒng)中，并在圖表管理率、數(shù)據(jù)源URL等。設置發(fā)布Widget設置發(fā)布Widget的選項一設置Widget名稱—-- 保存取消.10圖表級聯(lián)功能發(fā)布出去的圖表可以設置成動態(tài)更新模式，當后臺數(shù)據(jù)發(fā)生變化時會重新渲染；多個數(shù)據(jù)圖表可以配置級聯(lián)關系，當用戶點擊圖表的序列點時，會自動刷新頁面上有級聯(lián)關系的子圖表。test~w2~a0d743bf82794968b61b9提交取消.11數(shù)據(jù)源管理功能本系統(tǒng)支持多種數(shù)據(jù)源，主要包括結(jié)構化數(shù)據(jù)源(如REST數(shù)據(jù)源(以RESTAPI的形式像外界提供時變數(shù)據(jù))?？胻data/achema/loodmart.12支持多種工作模式第121頁大數(shù)據(jù)處理平臺第122頁Hadoop/MapReduce/epiC并行計算引擎，Pregel/GraphLab并行處理引擎，Spark并行處理引擎，數(shù)據(jù)挖掘算法引擎。.1大數(shù)據(jù)存儲模型Hadoop平臺提供了海量數(shù)據(jù)的分布式存儲與處理的框架。基于服務器本地的計算與存儲資源，Hadoop集群可以擴展到上千臺服務器。同時，Hadoop在設計時充分考慮了硬件設備的不可靠因素，在軟件層面提供數(shù)據(jù)和計算的高可靠保證。HDFS:分布式文件系統(tǒng)√有較強的容錯性√可擴展，能構建大規(guī)模的應用●HBase:非結(jié)構化No√列式存儲，節(jié)省存儲空間√提供大數(shù)據(jù)量的高速讀寫操作●Hive:分布式關系型數(shù)據(jù)庫√數(shù)據(jù)可保存在HDFS,可提供海量的數(shù)據(jù)存儲第124頁epiC平臺共分三個層次，底層為大數(shù)據(jù)處理層；中層是部署基于最新的科研成果自主研發(fā)的大數(shù)據(jù)處理模塊。針對Hadoop的比較測試中，E3在15個測試查詢中比Hadoop快2.5倍以上，HStack項目ES2Cayley-GraphIn換器/epiC核心項目性能上高出很多其他并行計算框架(例如MapReduce、Mahout)第126頁式計算，擁有HadoopMapReduce所具有關聯(lián)規(guī)則的發(fā)現(xiàn)是數(shù)據(jù)挖掘的主要技術之一，也是在無指導數(shù)據(jù)集中可能存在的相互關系和關聯(lián)模式。常用的關聯(lián)規(guī)則挖掘想是通過候選集生成和情節(jié)的向下封閉檢測兩個階段來挖掘頻繁項集。其挖掘步驟為：依據(jù)支持度找出所有頻繁項集(頻度),依據(jù)置信度產(chǎn)生關聯(lián)規(guī)則(強度)。FP增長算法是在大型數(shù)據(jù)庫中挖掘頻繁項集的一個有效算以從數(shù)據(jù)集中提取描述數(shù)據(jù)類的一個函數(shù)或模型(也常稱為分類的數(shù)據(jù)對象已經(jīng)有類標識，通過學習可以形成表達數(shù)據(jù)對象與類此，聚類的意義就在于將觀察到的內(nèi)容組織成類分層結(jié)構，把類區(qū)域，因而發(fā)現(xiàn)全局的分布模式，以及數(shù)據(jù)屬方法，目的在于了解兩個或多個變量間是否相關、相關方向與強量。更具體的來說，回歸分析可以幫助人們了解在只有一個自變線性回歸分析。如果在回歸分析中，只包括一個自變量和一個因第130頁深度學習(DeepLearning)是機器學習研究中的一個新領域，它被引入到機器學習中使機器學習更接近于其原始的目標：人工深度學習的概念源于人工神經(jīng)網(wǎng)絡的研究。含多隱層的多層對復雜分類問題其泛化能力受到一定制約。深度學習可通過學習深度學習的實質(zhì)，是通過構建具有很多隱層的機器學習模型第131頁構的深度，通常有5層、6層，甚至10多層的隱層節(jié)點；2)明預測更加容易。與人工規(guī)則構造特征的方法相比，利用大數(shù)據(jù)來自動化部署管理平臺可以根據(jù)實際的配置情況自動調(diào)用云平●大數(shù)據(jù)平臺自動化運維功能可以對大數(shù)據(jù)平臺以及資源動態(tài)數(shù)據(jù)處理分析模塊，可以對全平臺的監(jiān)控數(shù)據(jù)進行實時的分第132頁后立即通過短信、郵件等方式向指定的運維人員發(fā)送報警信大數(shù)據(jù)平臺運維數(shù)據(jù)報表系統(tǒng)，該系統(tǒng)可以對將自動化運維系統(tǒng)的監(jiān)控信息、報警信息生成報表，以便服務運維人員形成定期的運維報告。6.2.3數(shù)據(jù)展現(xiàn)平臺普道員工決策層統(tǒng)一登陸管理應用系統(tǒng)BI應用系統(tǒng)分析BI工具UnifiedServer、ETL幾大模塊組成。Dashboard(儀表盤、管理駕駛艙)是產(chǎn)品的重要組件，通過管理圖Dashboard實現(xiàn)對Bl應用的提升，并采用Web2.0技術，以簡潔、第134頁圖：績效監(jiān)控●非常直觀的展現(xiàn)形式。以易于理解的圖表形式同時顯示多個指標，圖形類型非常豐富，直觀地展現(xiàn)企業(yè)運營的輪廓?！窠换ナ降腒PI分析。用戶可以在儀表盤上實現(xiàn)交互式的分析，進一步發(fā)現(xiàn)和揭示數(shù)據(jù)中隱含的關聯(lián)。●個性化的用戶體驗。每個用戶都可以通過鼠標拖拽、快捷地建立符合自己喜好的駕駛艙顯示布局和顯示內(nèi)容，以突出每個階段所關心的重點?！衽c地理信息技術結(jié)合。將帶有“地域性”或“區(qū)域性”特征的信息通過地圖的形式進行展現(xiàn)，更加直觀地監(jiān)控每個地區(qū)的業(yè)務情.1直觀的管理駕駛艙“一圖解千言”,通過圖形展現(xiàn)，企業(yè)可以很快地提取出關鍵因素，確定商業(yè)計劃與實際情況之間的差距，而且有能力深入分析每個具體領域中的詳細狀況。Dashboard是非常直觀的管理駕駛艙(ManagementCockpit),將企業(yè)的決策與管理量化為一套可執(zhí)行的績效體系，使企業(yè)管理系統(tǒng)進入Dashboard能以易于理解的圖表形式同時顯示多個指標每個銷售團隊的銷售額、VIP客戶的盈利增長、各個部門的計劃完成情況等。將大量的信息集中在一個界面上，直觀地展現(xiàn)企業(yè)運營的輪廓，更易于理解。因此您可以立刻掌握復雜數(shù)據(jù)中最重要的層面，更有效地對業(yè)務進行度量和管理。Dashboard零編程、可配置地實現(xiàn)餅圖、柱圖、線圖、面積圖、條形圖、圓環(huán)圖、聯(lián)合圖、雙Y軸圖、油量圖、散點圖、泡泡圖、雷達名年佰月0T衛(wèi)40份月新體國同工作。您還可以進一步的分析理解商業(yè)活動中的關聯(lián)與出現(xiàn)的問●根本原因分析：具備聯(lián)動分析、關聯(lián)跳轉(zhuǎn)、明細分析等能力，可主動預警：跟蹤和監(jiān)控潛在的數(shù)以千計的業(yè)務指標和接收實時的消息。一旦用戶收到預警，可以進行分析并查找問題的根本原4源時料在用用鐘天題(天)量單型數(shù)(單數(shù)》交m室單部(》有獨入無產(chǎn)出數(shù)量(臺)4源時料在用用鐘天題(天)量單型數(shù)(單數(shù)》交m室單部(》有獨入無產(chǎn)出數(shù)量(臺)●●些品在東周時法題(天))腹客所克城理圳8西家座指區(qū)提出T第139頁個性化的內(nèi)容，包括桌面、菜單、目錄(頁面)、