某企業(yè)數(shù)據(jù)智能管理治理平臺(tái)設(shè)計(jì)建設(shè)技術(shù)方案

項(xiàng)目編號(hào)：某企業(yè)數(shù)據(jù)智能管理治理平臺(tái)設(shè)計(jì)建設(shè)方案目錄1.1 總體建設(shè)方案概述 31.1.1 數(shù)據(jù)治理論述 51.1.2 數(shù)據(jù)治理流程 71.1.3 基礎(chǔ)庫(kù)治理步驟 81.1.4 治理過(guò)程產(chǎn)出 111.2 平臺(tái)建設(shè)總體設(shè)計(jì) 111.2.1 平臺(tái)設(shè)計(jì)理念 121.2.2 平臺(tái)架構(gòu)設(shè)計(jì) 131.2.3 平臺(tái)技術(shù)特點(diǎn) 151.3 數(shù)據(jù)治理建設(shè)方案 161.3.1 數(shù)據(jù)標(biāo)準(zhǔn)管理 161.3.2 元數(shù)據(jù)管理 201.3.3 數(shù)據(jù)質(zhì)量管理 251.3.4 數(shù)據(jù)集成管理 301.4 數(shù)據(jù)管理建設(shè)方案 311.4.1 數(shù)據(jù)資產(chǎn)管理 311.4.2 數(shù)據(jù)異常管理 441.4.3 數(shù)據(jù)架構(gòu)管理 471.4.4 數(shù)據(jù)開(kāi)發(fā)管理 481.5 數(shù)據(jù)智能建設(shè)方案 541.5.1 數(shù)據(jù)血緣 541.5.2 智能標(biāo)簽 561.5.3 數(shù)據(jù)探索 581.5.4 畫(huà)像分析 59總體建設(shè)方案概述數(shù)據(jù)管理平臺(tái)涵蓋了數(shù)據(jù)的全局治理和過(guò)程管控，是數(shù)據(jù)可用的前提，只有確保數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化，可信可用，才能進(jìn)一步通過(guò)數(shù)據(jù)運(yùn)營(yíng)、數(shù)據(jù)應(yīng)用幫助大數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理，發(fā)現(xiàn)內(nèi)部數(shù)據(jù)問(wèn)題、發(fā)掘數(shù)據(jù)價(jià)值，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的盤(pán)活和有效利用。數(shù)據(jù)管理平臺(tái)基于元模型驅(qū)動(dòng)模式，構(gòu)建一體化的數(shù)據(jù)資產(chǎn)管控，實(shí)現(xiàn)全流程、全生命周期和全景式的“三全”治理，確保每一份數(shù)據(jù)資產(chǎn)皆可靠、可信、可用。通過(guò)對(duì)數(shù)據(jù)、應(yīng)用、系統(tǒng)綜合管理，構(gòu)建標(biāo)準(zhǔn)化、流程化、自動(dòng)化、一體化的數(shù)據(jù)管理體系。數(shù)據(jù)治理將分散、多樣化的數(shù)據(jù)通過(guò)匯集、標(biāo)準(zhǔn)化、清洗等操作對(duì)數(shù)據(jù)的質(zhì)量進(jìn)行全面的提升和監(jiān)控，形成城市大數(shù)據(jù)的管理和控制機(jī)制，并提供一站式數(shù)據(jù)治理體系，持續(xù)不斷的挖掘和提升數(shù)據(jù)的應(yīng)用價(jià)值。從功能角度，數(shù)據(jù)治理系統(tǒng)包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)目錄管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)集成、工作流、數(shù)據(jù)地圖/數(shù)據(jù)血緣、數(shù)據(jù)管理數(shù)據(jù)安全、多租戶(hù)、元數(shù)據(jù)管理、系統(tǒng)安全等功能。制定相關(guān)標(biāo)準(zhǔn)規(guī)范及管理制度，通過(guò)相應(yīng)平臺(tái)工具匯聚區(qū)內(nèi)各單位公共數(shù)據(jù)及市級(jí)落地?cái)?shù)據(jù)資源，形成區(qū)級(jí)數(shù)據(jù)池，同時(shí)經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換、融合、治理后高質(zhì)量的公共數(shù)據(jù)資源，形成區(qū)級(jí)綜合數(shù)據(jù)平臺(tái)。數(shù)據(jù)治理系統(tǒng)通過(guò)對(duì)數(shù)據(jù)全生命周期、端到端的全鏈路透明化管控，實(shí)現(xiàn)“數(shù)據(jù)模型標(biāo)準(zhǔn)化、數(shù)據(jù)關(guān)系脈絡(luò)化、數(shù)據(jù)加工可視化、數(shù)據(jù)質(zhì)量度量化”，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一管理及全業(yè)務(wù)流程的實(shí)時(shí)監(jiān)控，有效解決數(shù)據(jù)資源不可知、數(shù)據(jù)質(zhì)量不可控、數(shù)據(jù)關(guān)系不可聯(lián)、數(shù)據(jù)脈絡(luò)不清晰的痛點(diǎn)問(wèn)題。數(shù)據(jù)治理就是將數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的手段和方法，采用的數(shù)據(jù)治理子系統(tǒng)和工具，以分布式存儲(chǔ)和運(yùn)算為基礎(chǔ)，通過(guò)人工智能和機(jī)器學(xué)習(xí)技術(shù)，輔之以適量的人工訓(xùn)練和專(zhuān)家反饋不斷優(yōu)化數(shù)據(jù)理解和數(shù)據(jù)關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)給圍繞閔行區(qū)大數(shù)據(jù)資源平臺(tái)的應(yīng)用建設(shè)目標(biāo)，包含數(shù)據(jù)地圖、數(shù)據(jù)質(zhì)量、智能監(jiān)控、數(shù)據(jù)保護(hù)傘以及安全衛(wèi)士，提供全面的數(shù)據(jù)治理能力，提供數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對(duì)等方面服務(wù)。在數(shù)據(jù)打通過(guò)程中，同時(shí)做好數(shù)據(jù)質(zhì)量管理，主要包括四個(gè)方面數(shù)據(jù)缺失補(bǔ)缺、數(shù)據(jù)重復(fù)去重、數(shù)據(jù)錯(cuò)誤糾正、數(shù)據(jù)不可用補(bǔ)救。數(shù)據(jù)治理子系統(tǒng)通過(guò)標(biāo)準(zhǔn)API接口、用戶(hù)自主上傳與自主數(shù)據(jù)抽取技術(shù)將用戶(hù)內(nèi)部數(shù)據(jù)直接導(dǎo)入數(shù)據(jù)池，利用全局?jǐn)?shù)據(jù)處理技術(shù)在數(shù)據(jù)池中解決大量數(shù)據(jù)的集成處理，將數(shù)據(jù)統(tǒng)一整合、集成，最終形成可以提供高質(zhì)量數(shù)據(jù)的數(shù)據(jù)集成平臺(tái)，提供規(guī)則、無(wú)錯(cuò)漏、清潔、有價(jià)值、易使用的集成數(shù)據(jù)環(huán)境。數(shù)據(jù)治理流程圖數(shù)據(jù)治理子系統(tǒng)支持現(xiàn)有的絕大多數(shù)數(shù)據(jù)格式的導(dǎo)入和識(shí)別。通過(guò)結(jié)合人工智能技術(shù)，數(shù)據(jù)治理系統(tǒng)能夠?qū)?shù)據(jù)自動(dòng)識(shí)別并抽取存入數(shù)據(jù)湖中，與傳統(tǒng)ETL不同的是，數(shù)據(jù)治理系統(tǒng)的全局?jǐn)?shù)據(jù)處理技術(shù)在應(yīng)對(duì)多系統(tǒng)、多部門(mén)、多環(huán)節(jié)、多數(shù)據(jù)、多表單的使用場(chǎng)景時(shí)更加科學(xué)。全局?jǐn)?shù)據(jù)處理能夠避免在全局?jǐn)?shù)據(jù)匯總前的信息流失，最大程度的在完成數(shù)據(jù)集成的同時(shí)保持?jǐn)?shù)據(jù)的高保真、高還原。數(shù)據(jù)治理論述大數(shù)據(jù)治理工作從數(shù)據(jù)匯聚開(kāi)始，到最終服務(wù)業(yè)務(wù)，主要包括以下幾個(gè)階段：第一階段：數(shù)據(jù)匯聚，融合管理從政務(wù)辦公網(wǎng)、感知網(wǎng)、社會(huì)協(xié)同單位收集各類(lèi)數(shù)據(jù)，形成大數(shù)據(jù)中心的數(shù)據(jù)基礎(chǔ)，并對(duì)匯集的原始數(shù)據(jù)開(kāi)展基于數(shù)據(jù)管理視角和業(yè)務(wù)應(yīng)用視角的治理及應(yīng)用工作?；跀?shù)據(jù)管理視角，對(duì)業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)進(jìn)行集中采集和管理，從站位全局服務(wù)閔行區(qū)大數(shù)據(jù)創(chuàng)新應(yīng)用的角度梳理大數(shù)據(jù)資產(chǎn)，構(gòu)建數(shù)據(jù)資源目錄和數(shù)據(jù)資產(chǎn)管理應(yīng)用，達(dá)到數(shù)據(jù)資源的規(guī)范化和可視化；匯聚后的原始數(shù)據(jù)仍處于零散、不可直接使用的狀態(tài)，為數(shù)據(jù)使用者提供一站式的集成開(kāi)發(fā)環(huán)境，從而滿(mǎn)足數(shù)據(jù)資源平臺(tái)下，數(shù)據(jù)開(kāi)發(fā)者進(jìn)行ETL開(kāi)發(fā)、數(shù)據(jù)挖掘算法開(kāi)發(fā)、數(shù)據(jù)主題庫(kù)建設(shè)等需求；對(duì)數(shù)據(jù)融合處理的全過(guò)程通過(guò)質(zhì)量管理工具進(jìn)行管理監(jiān)測(cè)，保障數(shù)據(jù)質(zhì)量；因政府?dāng)?shù)據(jù)的機(jī)密性、高敏感性等特點(diǎn)，需對(duì)數(shù)據(jù)資源層中各數(shù)據(jù)項(xiàng)進(jìn)行安全上的分類(lèi)分級(jí)，確保數(shù)據(jù)使用合理、安全可控?；跇I(yè)務(wù)應(yīng)用視角，對(duì)匯聚的基礎(chǔ)數(shù)據(jù)開(kāi)展模型治理，通過(guò)數(shù)據(jù)清洗加工、基于業(yè)務(wù)背景及要求的處理加工、以及面向應(yīng)用專(zhuān)題場(chǎng)景的開(kāi)發(fā)，依次構(gòu)建整合數(shù)據(jù)資源層、主題數(shù)據(jù)資源層、應(yīng)用數(shù)據(jù)資源層，形成指標(biāo)口徑一致、統(tǒng)存統(tǒng)用的大數(shù)據(jù)資源層。第二階段：基于數(shù)據(jù)，提煉抽象信息，形成知識(shí)因政務(wù)大數(shù)據(jù)涉及的來(lái)源廣泛、數(shù)據(jù)采集背景及方法多樣甚至特殊、復(fù)雜，導(dǎo)致因不同的匯集場(chǎng)景等因素，各個(gè)實(shí)體對(duì)象往往存在多個(gè)ID，需要對(duì)ID間關(guān)系做計(jì)算，通過(guò)IDMapping，建立ID和實(shí)體人/物間的關(guān)系，從而串聯(lián)起實(shí)體人/物的屬性／行為信息。數(shù)據(jù)中的各種人/物、事件、活動(dòng)軌跡也不是孤立存在的，需要對(duì)各個(gè)部份的數(shù)據(jù)做動(dòng)態(tài)關(guān)系識(shí)別、軌跡匹配等操作，形成統(tǒng)一的關(guān)系庫(kù)、軌跡庫(kù)等。基于業(yè)務(wù)需求引導(dǎo)和對(duì)數(shù)據(jù)資源信息的價(jià)值梳理,對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步提煉加工和算法計(jì)算，將數(shù)據(jù)標(biāo)簽化，基于“四大庫(kù)”構(gòu)建全息檔案等標(biāo)簽庫(kù)，支撐專(zhuān)題應(yīng)用庫(kù)建設(shè),并通過(guò)標(biāo)簽中心產(chǎn)品對(duì)用戶(hù)及開(kāi)發(fā)者開(kāi)放。第三階段：構(gòu)建應(yīng)用，服務(wù)業(yè)務(wù)按照業(yè)務(wù)場(chǎng)景需求，將基礎(chǔ)庫(kù)、主題庫(kù)和專(zhuān)題庫(kù)等進(jìn)一步組合利用，可構(gòu)建起各類(lèi)業(yè)務(wù)創(chuàng)新應(yīng)用，如監(jiān)控大屏、全息畫(huà)像、預(yù)警中心等應(yīng)用。通過(guò)數(shù)據(jù)服務(wù)平臺(tái)，可以把數(shù)據(jù)和標(biāo)簽在線(xiàn)服務(wù)化提供給開(kāi)發(fā)者和用戶(hù)。數(shù)據(jù)治理流程標(biāo)準(zhǔn)錄入數(shù)據(jù)治理平臺(tái)會(huì)包含部分5大庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)，行標(biāo)、部門(mén)標(biāo)準(zhǔn)等需由實(shí)施人員從客戶(hù)處采集后錄入系統(tǒng)同步數(shù)據(jù)結(jié)構(gòu)由于數(shù)據(jù)治理過(guò)程需采集數(shù)據(jù)元并標(biāo)準(zhǔn)化，故需先將生產(chǎn)庫(kù)需橋接庫(kù)表的數(shù)據(jù)結(jié)構(gòu)錄入前置庫(kù)元數(shù)據(jù)采集將數(shù)據(jù)結(jié)構(gòu)采集入數(shù)據(jù)治理平臺(tái)標(biāo)準(zhǔn)化實(shí)施人員為采集來(lái)的元數(shù)據(jù)掛接數(shù)據(jù)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)化其元數(shù)據(jù)格式屬性、值域等落標(biāo)及數(shù)據(jù)橋接部門(mén)管理員根據(jù)標(biāo)準(zhǔn)化的字段屬性，將生產(chǎn)庫(kù)數(shù)據(jù)橋接到前置庫(kù)質(zhì)檢及整改中心管理員對(duì)前置庫(kù)數(shù)據(jù)進(jìn)行質(zhì)量檢查及整改數(shù)據(jù)集成中心管理員將質(zhì)檢后數(shù)據(jù)集成到治理庫(kù)邏輯質(zhì)檢中心管理員對(duì)治理庫(kù)的數(shù)據(jù)根據(jù)業(yè)務(wù)需求進(jìn)行邏輯層質(zhì)量檢查資源掛載部門(mén)管理人員對(duì)已完成數(shù)據(jù)治理的治理庫(kù)數(shù)據(jù)進(jìn)行資源掛載基礎(chǔ)庫(kù)治理步驟針對(duì)于基礎(chǔ)庫(kù)的治理主要流程如下：基礎(chǔ)庫(kù)準(zhǔn)備基礎(chǔ)物理庫(kù)以及基礎(chǔ)庫(kù)元數(shù)據(jù)通過(guò)產(chǎn)品初始化腳本創(chuàng)建。默認(rèn)基礎(chǔ)庫(kù)模型中的字段約束，包括字段類(lèi)型，長(zhǎng)度，規(guī)則等參考基礎(chǔ)庫(kù)基礎(chǔ)目錄技術(shù)規(guī)范，例如人口庫(kù)：數(shù)據(jù)集成以人口庫(kù)為例，將前置庫(kù)中的部分?jǐn)?shù)據(jù)和人口數(shù)據(jù)元進(jìn)行關(guān)聯(lián)。以人口基本信息表單（T_RK_BaseInfo）和人口擴(kuò)展信息（T_RK_Summary）為目標(biāo)，主要驗(yàn)證：多個(gè)表的數(shù)據(jù)合并：戶(hù)籍人口和流動(dòng)人口匯集到人口庫(kù)基本信息表。默認(rèn)字段賦值；人口基本信息表中的rowguid、personguid需要uuid賦值。一張表到多張表；戶(hù)籍人口和流動(dòng)人口匯集到人口庫(kù)擴(kuò)展信息表，并且擴(kuò)展信息表的personguid需要與基本信息的personguid一致。規(guī)則過(guò)濾；自動(dòng)過(guò)濾不滿(mǎn)足身份證校驗(yàn)的數(shù)據(jù)；自動(dòng)過(guò)濾不滿(mǎn)足代碼項(xiàng)的數(shù)據(jù)，其中不滿(mǎn)足部門(mén)代碼項(xiàng)的、滿(mǎn)足部門(mén)代碼項(xiàng)但是人口庫(kù)中沒(méi)有對(duì)應(yīng)的代碼項(xiàng)的數(shù)據(jù)都需要過(guò)濾。代碼項(xiàng)轉(zhuǎn)換；性別和名族代碼項(xiàng)，部門(mén)代碼項(xiàng)實(shí)際值與人口庫(kù)代碼項(xiàng)的值不一致的，通過(guò)顯示值進(jìn)行匹配后自動(dòng)轉(zhuǎn)換成人口庫(kù)的值。其他來(lái)源的字段更新。人口基本信息表的死亡標(biāo)識(shí)狀態(tài)由民政局的死亡信息目錄進(jìn)行更新。需要滿(mǎn)足條件的才會(huì)進(jìn)行更新。溯源分析通過(guò)可視化圖形，展現(xiàn)人口庫(kù)和公安、民政等部門(mén)的溯源關(guān)系。治理過(guò)程產(chǎn)出通過(guò)數(shù)據(jù)治理工作后，形成的數(shù)據(jù)治理成果物。平臺(tái)建設(shè)總體設(shè)計(jì)本項(xiàng)目建設(shè)數(shù)據(jù)智能管理平臺(tái)適用于分析型系統(tǒng)數(shù)據(jù)處理的各個(gè)過(guò)程，負(fù)責(zé)數(shù)據(jù)的加工處理以及加工處理過(guò)程數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平臺(tái)可以提供數(shù)據(jù)輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出和貫穿數(shù)據(jù)處理各個(gè)過(guò)程的全流程、全生命周期的數(shù)據(jù)處理、數(shù)據(jù)治理和數(shù)據(jù)管控的一體化建設(shè)。整個(gè)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行治理、管理與應(yīng)用的過(guò)程分為以下三個(gè)核心環(huán)節(jié)：采集/集成環(huán)節(jié)提供更多渠道、更復(fù)雜數(shù)據(jù)源的采集，包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)ETL，外部文件、第三方接口抽取，實(shí)時(shí)消息采集等。加工/計(jì)算環(huán)節(jié)提供隨時(shí)變化的數(shù)據(jù)加工，包括批量數(shù)據(jù)加工，實(shí)時(shí)交互計(jì)算，機(jī)器學(xué)習(xí)等。決策/探索環(huán)節(jié)支持用戶(hù)個(gè)性化需求、自主數(shù)據(jù)探索，提供固定主題的報(bào)表、指標(biāo)，臨時(shí)報(bào)表需求、自助取數(shù)，數(shù)據(jù)探索、數(shù)據(jù)實(shí)驗(yàn)等功能。平臺(tái)設(shè)計(jì)理念本項(xiàng)目建設(shè)數(shù)據(jù)智能管理平臺(tái)的總體設(shè)計(jì)理念如下：數(shù)據(jù)模型標(biāo)準(zhǔn)化通過(guò)平臺(tái)將數(shù)據(jù)模型的要求嚴(yán)格落地，杜絕不滿(mǎn)足標(biāo)準(zhǔn)的數(shù)據(jù)模型出現(xiàn)在系統(tǒng)中。數(shù)據(jù)治理產(chǎn)品化數(shù)據(jù)治理的成果和內(nèi)容，必須通過(guò)切實(shí)可行的IT手段落實(shí)到系統(tǒng)來(lái)嚴(yán)格執(zhí)行數(shù)據(jù)處理工廠(chǎng)化數(shù)據(jù)處理工作，必須實(shí)現(xiàn)工廠(chǎng)化的建設(shè)和管理，以“極速、低成本、高質(zhì)量”要求來(lái)響應(yīng)業(yè)務(wù)部門(mén)的個(gè)性化數(shù)據(jù)需求。數(shù)據(jù)運(yùn)營(yíng)全員化體現(xiàn)“平臺(tái)化、開(kāi)放性”的思想，提高數(shù)據(jù)開(kāi)放的可視化，實(shí)現(xiàn)人人參與數(shù)據(jù)治理、數(shù)據(jù)建設(shè)和數(shù)據(jù)運(yùn)維數(shù)據(jù)安全可控化體現(xiàn)安全的重要性、必要性，保障系統(tǒng)數(shù)據(jù)安全和數(shù)據(jù)服務(wù)開(kāi)放過(guò)程中數(shù)據(jù)的安全可控。平臺(tái)架構(gòu)設(shè)計(jì)總體架構(gòu)設(shè)計(jì)平臺(tái)采用工廠(chǎng)化的數(shù)據(jù)處理和管理模式，通過(guò)數(shù)據(jù)生產(chǎn)計(jì)劃、數(shù)據(jù)生產(chǎn)執(zhí)行和數(shù)據(jù)生產(chǎn)管理三大子模塊，保障數(shù)據(jù)處理全過(guò)程透明可控，實(shí)現(xiàn)工具化、流程化和自動(dòng)化的開(kāi)發(fā)、運(yùn)維、管理，提升數(shù)據(jù)開(kāi)發(fā)、生產(chǎn)的效率，保持系統(tǒng)健康、持續(xù)、穩(wěn)定的發(fā)展。數(shù)據(jù)生產(chǎn)計(jì)劃模塊：主要功能為：需求設(shè)計(jì)、設(shè)計(jì)確認(rèn)等。數(shù)據(jù)處理執(zhí)行模塊：負(fù)責(zé)數(shù)據(jù)處理計(jì)劃的執(zhí)行、數(shù)據(jù)的生產(chǎn)和數(shù)據(jù)質(zhì)量控制等工作。數(shù)據(jù)處理管理模塊：負(fù)責(zé)軟件開(kāi)發(fā)和數(shù)據(jù)規(guī)范的管控。技術(shù)架構(gòu)設(shè)計(jì)為實(shí)現(xiàn)工廠(chǎng)化的數(shù)據(jù)處理和管理，本項(xiàng)目數(shù)據(jù)智能管理平臺(tái)采用基于元數(shù)據(jù)驅(qū)動(dòng)的開(kāi)發(fā)模式，保障元數(shù)據(jù)與實(shí)際系統(tǒng)情況的一致性，通過(guò)元數(shù)據(jù)準(zhǔn)確描述系統(tǒng)，指導(dǎo)系統(tǒng)建設(shè)。技術(shù)架構(gòu)圖如下：提供數(shù)據(jù)對(duì)象設(shè)計(jì)功能提供元數(shù)據(jù)獲取和管理功能提供數(shù)據(jù)質(zhì)量管理功能提供對(duì)象化接口模塊提供與各類(lèi)底層平臺(tái)對(duì)接功能提供可視化的標(biāo)準(zhǔn)IDE環(huán)境提供基于元數(shù)據(jù)血緣圖的調(diào)度功能平臺(tái)技術(shù)特點(diǎn)MetadataBeforeCoding業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)的強(qiáng)制性前向獲取機(jī)制，杜絕元數(shù)據(jù)的后期補(bǔ)錄，建設(shè)保證業(yè)務(wù)元數(shù)據(jù)/技術(shù)元數(shù)據(jù)/技術(shù)實(shí)現(xiàn)這三者一致性的技術(shù)機(jī)制BusinessDrivenDesign以最大化業(yè)務(wù)需求吻合度為目標(biāo)，所有數(shù)據(jù)對(duì)象的設(shè)計(jì)和實(shí)現(xiàn)，都必須以業(yè)務(wù)需求為驅(qū)動(dòng)，在最大程度上保證數(shù)據(jù)對(duì)象與業(yè)務(wù)需求的一致性。ObjectOrientedArchitecture將數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、數(shù)據(jù)加工、數(shù)據(jù)質(zhì)量檢查等與數(shù)據(jù)相關(guān)的內(nèi)容統(tǒng)一作為數(shù)據(jù)對(duì)象管理起來(lái)，且該數(shù)據(jù)對(duì)象是系統(tǒng)的最小管理單元。TCUPrinciple數(shù)據(jù)對(duì)象必須遵循TCU（TakeCareofYourself）的設(shè)計(jì)原則，所有與數(shù)據(jù)有關(guān)的工作全部在對(duì)應(yīng)的數(shù)據(jù)對(duì)象內(nèi)部完成，確保數(shù)據(jù)對(duì)象之間只有數(shù)據(jù)加工過(guò)程的上下游關(guān)系。數(shù)據(jù)治理建設(shè)方案數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范了業(yè)務(wù)術(shù)語(yǔ)，元數(shù)據(jù)，參考數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)，指標(biāo)數(shù)據(jù)的規(guī)范定義、獲取原則、管理要求等。包括設(shè)計(jì)基礎(chǔ)類(lèi)和分析類(lèi)數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)準(zhǔn)管理組織和職責(zé)，以明確的組織、職責(zé)、流程設(shè)計(jì)為前提，調(diào)動(dòng)業(yè)務(wù)部門(mén)、技術(shù)部門(mén)和系統(tǒng)技術(shù)團(tuán)隊(duì)共同參與數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)，建立全局?jǐn)?shù)據(jù)標(biāo)準(zhǔn)流程，制定總體落地計(jì)劃，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行，增強(qiáng)內(nèi)部對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的理解，指導(dǎo)信息化建設(shè)中對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的參照。數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)管理體系主要包含數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實(shí)施機(jī)制、及數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)維護(hù)三部分。平臺(tái)通過(guò)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實(shí)施機(jī)制、及數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)維護(hù)三部分進(jìn)行數(shù)據(jù)資源管理，制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)準(zhǔn)管理組織和職責(zé)，以明確的組織、職責(zé)、流程設(shè)計(jì)。落地實(shí)施機(jī)制從規(guī)范推廣、技術(shù)平臺(tái)支撐兩方面保障；數(shù)據(jù)標(biāo)準(zhǔn)平臺(tái)維護(hù)主要包括建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)技術(shù)平臺(tái)，支撐數(shù)據(jù)標(biāo)準(zhǔn)日常管理工作兩方面。數(shù)據(jù)標(biāo)準(zhǔn)管理機(jī)制設(shè)計(jì)設(shè)計(jì)基礎(chǔ)類(lèi)和分析類(lèi)數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)準(zhǔn)管理組織和職責(zé)，以明確的組織、職責(zé)、流程設(shè)計(jì)為前提，調(diào)動(dòng)業(yè)務(wù)部門(mén)、技術(shù)部門(mén)和系統(tǒng)技術(shù)團(tuán)隊(duì)共同參與數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)，建立企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)流程，制定總體落地計(jì)劃，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行，增強(qiáng)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的理解，指導(dǎo)信息化建設(shè)中對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的參照。數(shù)據(jù)標(biāo)準(zhǔn)分類(lèi)規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)是對(duì)數(shù)據(jù)的名稱(chēng)、含義、結(jié)構(gòu)、取值等信息的統(tǒng)一定義，達(dá)成對(duì)數(shù)據(jù)的業(yè)務(wù)理解、技術(shù)實(shí)現(xiàn)的一致性。基于數(shù)據(jù)模型理論將數(shù)據(jù)標(biāo)準(zhǔn)延伸至5個(gè)分類(lèi)，涵蓋技術(shù)、業(yè)務(wù)多個(gè)視角。業(yè)務(wù)術(shù)語(yǔ)：從一致性、通用性等方面統(tǒng)一業(yè)務(wù)術(shù)語(yǔ)定義。數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)：用來(lái)描述實(shí)體的某種屬性，包含數(shù)據(jù)項(xiàng)的名稱(chēng)、編號(hào)、別名、簡(jiǎn)述、數(shù)據(jù)項(xiàng)的長(zhǎng)度、類(lèi)型、數(shù)據(jù)項(xiàng)的取值范圍。參考數(shù)據(jù)標(biāo)準(zhǔn)：識(shí)別參考數(shù)據(jù)，并建立參考數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)樣例，使參考數(shù)據(jù)可在不同系統(tǒng)中被使用而保持統(tǒng)一標(biāo)準(zhǔn)值。主數(shù)據(jù)標(biāo)準(zhǔn)：主數(shù)據(jù)編碼是應(yīng)用系統(tǒng)中的重要數(shù)據(jù)類(lèi)型之一，通常用來(lái)描述業(yè)務(wù)操作的具體對(duì)象及其特征，注重唯一性，特征一致性，穩(wěn)定性及有效性。唯一性：在一個(gè)系統(tǒng)，一個(gè)平臺(tái)甚至整個(gè)范圍內(nèi)同一主數(shù)據(jù)編碼要求具有唯一的識(shí)別標(biāo)志（代碼，名稱(chēng)，特征描述等），用以明確區(qū)分業(yè)務(wù)對(duì)象，業(yè)務(wù)范圍和業(yè)務(wù)的具體細(xì)節(jié)特征一致性：主數(shù)據(jù)在不同系統(tǒng)中，均按統(tǒng)一標(biāo)準(zhǔn)出現(xiàn)穩(wěn)定性：主數(shù)據(jù)相對(duì)穩(wěn)定，本身屬性不會(huì)隨交易過(guò)程而被修改有效性：貫穿該業(yè)務(wù)對(duì)象的全生命周期過(guò)程，只要該業(yè)務(wù)對(duì)象存在，則此數(shù)據(jù)不會(huì)喪失有效性指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)：需要收集指標(biāo)的管理信息、業(yè)務(wù)定義、以及維度定義，需要兼顧通用性和個(gè)性化，個(gè)性化方面支持各使用部門(mén)個(gè)性化定制數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)規(guī)范以分析型應(yīng)用建設(shè)和操作型應(yīng)用集成為導(dǎo)向，兩套方法結(jié)合，建立數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)體系分析型應(yīng)用建設(shè)導(dǎo)向：以分析應(yīng)用指標(biāo)范圍為依據(jù)，重點(diǎn)結(jié)合業(yè)務(wù)戰(zhàn)略及管理要求，自上而下追溯數(shù)據(jù)源，聚焦數(shù)據(jù)標(biāo)準(zhǔn)范圍。操作型應(yīng)用集成導(dǎo)向：自上而下的原則，基于實(shí)際業(yè)務(wù)流程及操作，重點(diǎn)識(shí)別跨業(yè)務(wù)、跨流程的集成點(diǎn)及關(guān)鍵步驟，分析提煉共享數(shù)據(jù)，完成業(yè)務(wù)流程和應(yīng)用共享的數(shù)據(jù)映射，刪除冗余、非重點(diǎn)數(shù)據(jù)，精簡(jiǎn)數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)范圍。數(shù)據(jù)元管理數(shù)據(jù)元管理主要包括數(shù)據(jù)元新增、數(shù)據(jù)元導(dǎo)入、數(shù)據(jù)元發(fā)布、數(shù)據(jù)元修改、數(shù)據(jù)元?jiǎng)h除、數(shù)據(jù)元停用、數(shù)據(jù)元檢索等功能。同時(shí)支持?jǐn)?shù)據(jù)元版本管理及版本之間的差異核對(duì)功能以及支持基于基礎(chǔ)庫(kù)、主題庫(kù)的元數(shù)據(jù)快速創(chuàng)建標(biāo)準(zhǔn)數(shù)據(jù)元，并建立和相關(guān)元數(shù)據(jù)的關(guān)聯(lián)關(guān)系。標(biāo)準(zhǔn)代碼配置標(biāo)準(zhǔn)代碼配置支持代碼的分類(lèi)、標(biāo)準(zhǔn)代碼項(xiàng)的新增、導(dǎo)入、導(dǎo)出功能，提供了標(biāo)準(zhǔn)代碼維護(hù)的能力；可關(guān)聯(lián)到國(guó)標(biāo)、地標(biāo)代碼字典，為數(shù)據(jù)的規(guī)范性提供了更加詳細(xì)的描述，為后續(xù)的數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)等工作提供支撐。標(biāo)準(zhǔn)數(shù)據(jù)元具有唯一的編碼（標(biāo)準(zhǔn)代碼），按照實(shí)際的業(yè)務(wù)領(lǐng)域進(jìn)行分類(lèi)之后，可以形成帶有業(yè)務(wù)領(lǐng)域特征的相關(guān)編碼，比如“FR00001”代表法人相關(guān)的數(shù)據(jù)元標(biāo)準(zhǔn)代碼。常用規(guī)則配置數(shù)據(jù)元的值有部分需要滿(mǎn)足固定格式的標(biāo)準(zhǔn)，治理過(guò)程中需要通過(guò)固定的值組成規(guī)則來(lái)規(guī)范數(shù)據(jù)源值的格式，例如身份證、電話(huà)號(hào)碼、電子郵箱等格式。包括通用規(guī)則及各部門(mén)根據(jù)自身需求實(shí)際制定的規(guī)則，常用規(guī)則配置會(huì)針對(duì)公共數(shù)據(jù)的特性?xún)?nèi)置部分常用的規(guī)則，同時(shí)提供了規(guī)則的配置修改能力。元數(shù)據(jù)管理按照數(shù)據(jù)整合的層次結(jié)構(gòu)、主題域劃分，需要實(shí)現(xiàn)各層的各種對(duì)象，如表、存儲(chǔ)過(guò)程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結(jié)構(gòu)之間的數(shù)據(jù)流程、各對(duì)象之間的關(guān)系，以及向外提供的各類(lèi)數(shù)據(jù)服務(wù)的信息。元數(shù)據(jù)管理目標(biāo)元數(shù)據(jù)建設(shè)以服務(wù)項(xiàng)目管控需要為出發(fā)點(diǎn)，立足于項(xiàng)目建設(shè)實(shí)際，通過(guò)合理規(guī)劃和全面分析，以項(xiàng)目中的關(guān)鍵點(diǎn)和問(wèn)題點(diǎn)作為優(yōu)先和重點(diǎn)突破方向，實(shí)現(xiàn)元數(shù)據(jù)的逐步演進(jìn)和完善。元數(shù)據(jù)管理內(nèi)容元數(shù)據(jù)內(nèi)容涉及到整個(gè)大數(shù)據(jù)資源平臺(tái)的各個(gè)數(shù)據(jù)環(huán)節(jié)，包括數(shù)據(jù)采集、逐層加工稽核，數(shù)據(jù)服務(wù)到最終應(yīng)用展現(xiàn)的處理，元數(shù)據(jù)管理貫穿了整個(gè)流程，并與各環(huán)節(jié)實(shí)現(xiàn)有效互動(dòng)。元數(shù)據(jù)管理分類(lèi)按照元數(shù)據(jù)的定義分類(lèi)，綜合價(jià)值分析系統(tǒng)元數(shù)據(jù)管理分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)三類(lèi)。其中：（1）業(yè)務(wù)元數(shù)據(jù)使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；訪(fǎng)問(wèn)數(shù)據(jù)的原則和數(shù)據(jù)來(lái)源；系統(tǒng)所提供的分析方法及公式、報(bào)表信息；對(duì)業(yè)務(wù)元數(shù)據(jù)來(lái)源的管理和差異性對(duì)比；（2）技術(shù)元數(shù)據(jù)系統(tǒng)結(jié)構(gòu)的描述（各個(gè)主題的定義，星型模式或雪花型模式的描述定義等）；整合數(shù)據(jù)層的機(jī)構(gòu)單位的數(shù)據(jù)模型描述（以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式）；對(duì)數(shù)據(jù)稽核規(guī)則的定義、匯總數(shù)據(jù)層模型描述與裝載描述（包括維度、層次、度量以及相應(yīng)事實(shí)表、概要表的抽取規(guī)則）；（3）管理元數(shù)據(jù)系統(tǒng)內(nèi)部用戶(hù)的數(shù)據(jù)處理操作規(guī)則，包括抽取、轉(zhuǎn)換、加載、匯總等各類(lèi)操作的用戶(hù)權(quán)限、操作時(shí)間窗管理、異常處理規(guī)則等；外部訪(fǎng)問(wèn)用戶(hù)（主要針對(duì)該系統(tǒng)對(duì)外提供的數(shù)據(jù)服務(wù)）的操作規(guī)則和方式，包括所提供的數(shù)據(jù)服務(wù)接口、數(shù)據(jù)訪(fǎng)問(wèn)方式、操作；各類(lèi)用戶(hù)的操作記錄日志，包括操作用戶(hù)、登錄方式、操作對(duì)象、持續(xù)時(shí)間、操作類(lèi)型等相關(guān)信息。元數(shù)據(jù)管理組織為了保障元數(shù)據(jù)管理目標(biāo)的順利達(dá)成，需要從組織架構(gòu)層面建立專(zhuān)業(yè)的元數(shù)據(jù)管控組織予以保障，確保元數(shù)據(jù)管控要求得以落實(shí)、制度得以執(zhí)行。元數(shù)據(jù)管理流程元數(shù)據(jù)維護(hù)管理流程是以需求提出作為開(kāi)始，經(jīng)歷規(guī)劃設(shè)計(jì)、開(kāi)發(fā)實(shí)施、需求驗(yàn)收等項(xiàng)目階段的元數(shù)據(jù)建立和校驗(yàn)，最后實(shí)現(xiàn)元數(shù)據(jù)的發(fā)布和運(yùn)維管理。在這些階段中，元數(shù)據(jù)管控組負(fù)責(zé)元數(shù)據(jù)信息的全生命周期流程的管理和監(jiān)控。元數(shù)據(jù)管理功能元數(shù)據(jù)管理包括元數(shù)據(jù)基礎(chǔ)數(shù)據(jù)管理和元數(shù)據(jù)應(yīng)用，由元數(shù)據(jù)自動(dòng)獲取、元數(shù)據(jù)檢索、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、血緣關(guān)系等功能組成等。元數(shù)據(jù)管理功能架構(gòu)元數(shù)據(jù)自動(dòng)獲取對(duì)元數(shù)據(jù)獲取數(shù)據(jù)源以及這些數(shù)據(jù)源之間的關(guān)系進(jìn)行集中登記管理，并形成自動(dòng)獲取數(shù)據(jù)源的全局視圖，實(shí)現(xiàn)元數(shù)據(jù)自動(dòng)獲取數(shù)據(jù)信息。要實(shí)現(xiàn)元數(shù)據(jù)的自動(dòng)獲取，需要在集成的元數(shù)據(jù)平臺(tái)中配置自動(dòng)獲取策略和調(diào)度時(shí)間等，使元數(shù)據(jù)能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動(dòng)獲取過(guò)程，滿(mǎn)足元數(shù)據(jù)自動(dòng)獲取的時(shí)效性。調(diào)度策略包括時(shí)間周期觸發(fā)、事件觸發(fā)兩種方式。例如，在每周星期一凌晨00:00到01:00之間觸發(fā)數(shù)據(jù)資源平臺(tái)元數(shù)據(jù)的自動(dòng)獲取過(guò)程，或者在數(shù)據(jù)處理程序更新后12小時(shí)內(nèi)觸發(fā)相應(yīng)的映射關(guān)系元數(shù)據(jù)自動(dòng)獲取過(guò)程。元數(shù)據(jù)維護(hù)包括元數(shù)據(jù)的定義、變更及版本管理，對(duì)主機(jī)信息、數(shù)據(jù)庫(kù)信息、用戶(hù)信息、數(shù)據(jù)對(duì)象信息、業(yè)務(wù)規(guī)則信息、加工邏輯等進(jìn)行維護(hù)和管控。元數(shù)據(jù)掃描支持以手動(dòng)或定時(shí)的方式掃描指定的數(shù)據(jù)庫(kù)資源，并提取和解析相關(guān)的信息在比較掃描數(shù)據(jù)和原有數(shù)據(jù)的差異后自動(dòng)將差異數(shù)據(jù)維護(hù)到指定的元數(shù)據(jù)目錄。元數(shù)據(jù)檢索在元數(shù)據(jù)管理首頁(yè)用戶(hù)通過(guò)輸入關(guān)鍵字后，系統(tǒng)采用全文檢索的方式迅速查找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息，并將信息返回給用戶(hù)。用戶(hù)能夠通過(guò)展示的路徑信息快速定位到元數(shù)據(jù)組織樹(shù)上的節(jié)點(diǎn)。元數(shù)據(jù)版本版本管理分為元數(shù)據(jù)對(duì)象版本管理與基線(xiàn)版本管理兩種類(lèi)型。元數(shù)據(jù)對(duì)象版本：對(duì)元數(shù)據(jù)的每次提交形成版本（上一版本形成歷史版本），提供歷史版本間，歷史版本與當(dāng)前版本對(duì)比功能；基線(xiàn)版本，對(duì)某一階段產(chǎn)生的元數(shù)據(jù)對(duì)象形成數(shù)據(jù)集，提供不同階段產(chǎn)生的數(shù)據(jù)集的版本比較權(quán)限管理及查詢(xún)統(tǒng)一實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)和操作管控，對(duì)用戶(hù)進(jìn)行角色權(quán)限、對(duì)象權(quán)限、數(shù)據(jù)權(quán)限等方面的管控和查詢(xún)；元數(shù)據(jù)的導(dǎo)入/導(dǎo)出在系統(tǒng)層面實(shí)現(xiàn)元數(shù)據(jù)的導(dǎo)入/導(dǎo)出功能，以保證數(shù)據(jù)模型、數(shù)據(jù)對(duì)象能夠靈活的遷移，支持模型間的檢查和比對(duì)，以便于數(shù)據(jù)模型的維護(hù)和擴(kuò)展。數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理主要包含對(duì)數(shù)據(jù)完整性、準(zhǔn)確性、鮮活性、權(quán)威性的分析和管理，并對(duì)數(shù)據(jù)進(jìn)行跟蹤、處理和解決，實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的質(zhì)量。能夠提供規(guī)則配置、質(zhì)量監(jiān)控、問(wèn)題處理等功能，及時(shí)發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問(wèn)題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價(jià)值。質(zhì)量模型配置數(shù)據(jù)質(zhì)量分析的基本單元，一個(gè)質(zhì)量模型由可以由一套實(shí)體表、一套規(guī)則以及多套質(zhì)檢方案組成，用戶(hù)在定義質(zhì)檢方案時(shí)，可以根據(jù)業(yè)務(wù)需要選擇實(shí)體表和規(guī)則，方案與方案之間相互獨(dú)立，互不干擾。通過(guò)執(zhí)行模型下的質(zhì)檢方案，可以得到用戶(hù)關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問(wèn)題數(shù)據(jù)明細(xì)信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。質(zhì)量規(guī)則管理數(shù)據(jù)質(zhì)量規(guī)則是數(shù)據(jù)質(zhì)量審核的邏輯校驗(yàn)標(biāo)準(zhǔn)，是數(shù)據(jù)質(zhì)量監(jiān)控管理的基礎(chǔ)。系統(tǒng)支持多種規(guī)則類(lèi)型，提供了全方位的視角來(lái)為用戶(hù)解析數(shù)據(jù)質(zhì)量。一套規(guī)則能在多套方案中復(fù)用，在保證多角度準(zhǔn)確數(shù)據(jù)質(zhì)量分析的前提下，大大減少了用戶(hù)投入的精力與時(shí)間，為用戶(hù)提供了一種靈活而全面的數(shù)據(jù)質(zhì)量分析方式。系統(tǒng)包括以下質(zhì)量規(guī)則：空值檢查空值檢查用于檢查關(guān)鍵字段非空值域檢查值域檢查用于檢查關(guān)鍵字段的取值范圍，支持?jǐn)?shù)值型、字符型、日期型字段檢查規(guī)范檢查規(guī)范檢查用于檢查指標(biāo)值的格式是否規(guī)范，支持身份證、手機(jī)號(hào)碼、郵箱、日期等多種數(shù)據(jù)類(lèi)型的檢測(cè)，支持自定義正則表達(dá)式邏輯檢查邏輯檢查用于檢查指標(biāo)之間是否滿(mǎn)足一定的邏輯關(guān)系重復(fù)數(shù)據(jù)檢查重復(fù)數(shù)據(jù)檢查用于檢查表內(nèi)是否有重復(fù)數(shù)據(jù)。規(guī)則算法：groupby重復(fù)依據(jù)字段，count(1)>1的算重復(fù)及時(shí)性檢查及時(shí)性檢查，用于檢查數(shù)據(jù)的及時(shí)性，衡量數(shù)據(jù)抽取或數(shù)據(jù)上報(bào)是否及時(shí)。規(guī)則算法：算出上報(bào)時(shí)間字段的值，如果沒(méi)寫(xiě)上報(bào)時(shí)間表達(dá)式，則最佳上報(bào)時(shí)間都是以下一期的第一天做為參照依據(jù)，再將上報(bào)時(shí)間與最佳上報(bào)時(shí)間做為比較，看是否在允許誤差最大天數(shù)范圍內(nèi)缺失記錄檢查記錄缺失檢查用于判斷記錄是否完整，是否缺少數(shù)據(jù)行。根據(jù)比照表字段檢查目標(biāo)字段是否缺少數(shù)據(jù)，檢查實(shí)體表字段與比照字段的數(shù)據(jù)量、數(shù)值是否完全一致。規(guī)則算法：對(duì)檢查表字段和比照字段進(jìn)行g(shù)roupby并求count，根據(jù)兩個(gè)字段groupby的結(jié)果來(lái)outerjoin，count不相等或檢查字段值和比照字段值有一個(gè)為空時(shí)，此行結(jié)果都算錯(cuò)引用完整性檢查引用完整性檢查用于判斷實(shí)體表中的數(shù)據(jù)是否完全存在于比照表中。實(shí)體表檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中。規(guī)則算法：實(shí)體表的檢查字段關(guān)聯(lián)distinct后的比照表的字段，關(guān)聯(lián)后，如果比照字段為空，則檢查字段的值非來(lái)源于比照表，則該規(guī)則對(duì)應(yīng)結(jié)果為false方案配置調(diào)度依據(jù)質(zhì)量規(guī)則執(zhí)行的實(shí)際治理需求，通過(guò)圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，依據(jù)執(zhí)行規(guī)則管控平臺(tái)自動(dòng)執(zhí)行質(zhì)量規(guī)則檢查。質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時(shí)間周期（如月、周、日）、事件觸發(fā)等執(zhí)行方式，并且在控制臺(tái)可以查看質(zhì)檢方案執(zhí)行歷史，對(duì)數(shù)據(jù)質(zhì)檢全流程進(jìn)行管控。界面配置通過(guò)圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，通過(guò)界面進(jìn)行數(shù)據(jù)傳參。觸發(fā)方式質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時(shí)間周期（如月、周、日）、事件觸發(fā)等執(zhí)行方式。全流程管控固定時(shí)間監(jiān)控業(yè)務(wù)系統(tǒng)運(yùn)行的各類(lèi)數(shù)據(jù)，及時(shí)發(fā)現(xiàn)并整改數(shù)據(jù)異常，完善系統(tǒng)運(yùn)行機(jī)制。質(zhì)檢結(jié)果查看基于質(zhì)檢方案執(zhí)行過(guò)程，反饋每次質(zhì)檢產(chǎn)生的異常數(shù)據(jù)，根據(jù)問(wèn)題數(shù)據(jù)所配置的規(guī)則提供問(wèn)題詳情、比對(duì)及整改重檢的能力。結(jié)合實(shí)際可執(zhí)行和可實(shí)現(xiàn)的原則，分析系統(tǒng)存在的數(shù)據(jù)質(zhì)量問(wèn)題：分析與檢測(cè)著重于在數(shù)據(jù)的定義基礎(chǔ)上，利用數(shù)據(jù)的邏輯和業(yè)務(wù)規(guī)則度數(shù)據(jù)質(zhì)量進(jìn)行檢測(cè)和分析。整改與重建著重與在數(shù)據(jù)的分析和檢測(cè)基礎(chǔ)上，利用起結(jié)果對(duì)數(shù)據(jù)，特別是源數(shù)據(jù)的數(shù)據(jù)管理提出整改意見(jiàn)，重建數(shù)據(jù)質(zhì)量的管理能力。具體系統(tǒng)方案如下:質(zhì)檢分析報(bào)告基于質(zhì)檢方案及質(zhì)檢結(jié)果，對(duì)每次質(zhì)檢的檢查數(shù)、問(wèn)題數(shù)、整改數(shù)等進(jìn)行統(tǒng)計(jì)，形成統(tǒng)計(jì)圖。支持按日、按月統(tǒng)計(jì)及柱狀圖、折線(xiàn)圖。數(shù)據(jù)集成管理數(shù)據(jù)集成主要在數(shù)據(jù)治理平臺(tái)承擔(dān)數(shù)據(jù)管道作用，通過(guò)數(shù)據(jù)集成現(xiàn)實(shí)不通業(yè)務(wù)數(shù)據(jù)的匯聚、數(shù)據(jù)中心基礎(chǔ)庫(kù)的清洗等流程，通過(guò)在線(xiàn)簡(jiǎn)單靈活的可視化頁(yè)面針對(duì)不同的數(shù)據(jù)匯聚、清洗流程進(jìn)行配置建立，平臺(tái)直接對(duì)接調(diào)度底層的數(shù)據(jù)傳輸工具進(jìn)行數(shù)據(jù)管道的打通；實(shí)現(xiàn)了數(shù)據(jù)集成建模與數(shù)據(jù)集成匯聚快速、高效流轉(zhuǎn)的全過(guò)程。數(shù)據(jù)建模配置提供數(shù)據(jù)集成中數(shù)據(jù)單元集模型配置，數(shù)據(jù)模型即為數(shù)據(jù)集成中的數(shù)據(jù)單元集。集成方案管理根據(jù)實(shí)際數(shù)據(jù)集成需求，系統(tǒng)提供了統(tǒng)一的集成方案配置，集成方案可以通過(guò)構(gòu)建的數(shù)據(jù)模型實(shí)現(xiàn)多維度的數(shù)據(jù)匯聚、清洗等數(shù)據(jù)處理流程，解決了公共數(shù)據(jù)中大量的數(shù)據(jù)梳理處理工作，大大減少了人工對(duì)數(shù)據(jù)對(duì)比、校準(zhǔn)、映射等繁雜的工作，同時(shí)實(shí)現(xiàn)數(shù)據(jù)在前置庫(kù)、基礎(chǔ)庫(kù)等之間的快速匯聚能力。支持?jǐn)?shù)據(jù)匯聚（來(lái)源表全表到目標(biāo)表）、更新（基于目標(biāo)表主鍵從不同來(lái)源獲取所需字段）及全量、增量功能。同時(shí)，數(shù)據(jù)集成過(guò)程中，支持不同元數(shù)據(jù)代碼項(xiàng)之間的映射轉(zhuǎn)換功能，基本的數(shù)據(jù)格式驗(yàn)證以及任務(wù)調(diào)度配置。數(shù)據(jù)來(lái)源統(tǒng)計(jì)用于統(tǒng)計(jì)集成模型中所有數(shù)據(jù)的來(lái)源方向，以及各庫(kù)表、各字段的精確來(lái)源，并且提供基于領(lǐng)域的快速篩選數(shù)據(jù)管理建設(shè)方案數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)管理平臺(tái)主要負(fù)責(zé)對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一注冊(cè)和管理，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)體系化管控。主要包括數(shù)據(jù)資產(chǎn)注冊(cè)管理、數(shù)據(jù)資產(chǎn)分類(lèi)管理、數(shù)據(jù)資產(chǎn)查詢(xún)、數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)分析、數(shù)據(jù)資產(chǎn)版本管理、數(shù)據(jù)資產(chǎn)變更管理、資產(chǎn)運(yùn)行審計(jì)管理、資產(chǎn)統(tǒng)計(jì)分析，接口管理、數(shù)據(jù)質(zhì)量等功能。數(shù)據(jù)資產(chǎn)注冊(cè)管理平臺(tái)提供數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)注冊(cè)管理、數(shù)據(jù)資產(chǎn)注冊(cè)審核、生成數(shù)據(jù)庫(kù)管理等功能。提供采集器、在線(xiàn)維護(hù)、自動(dòng)注冊(cè)接口等方式來(lái)注冊(cè)數(shù)據(jù)資產(chǎn)。數(shù)據(jù)源管理 平臺(tái)提供對(duì)數(shù)據(jù)源注冊(cè)管理的功能，主要是對(duì)數(shù)據(jù)提供者所在數(shù)據(jù)庫(kù)、Hadoop庫(kù)的注冊(cè)管理。數(shù)據(jù)庫(kù)注冊(cè)管理，主要負(fù)責(zé)數(shù)據(jù)庫(kù)基本信息的注冊(cè)配置，包含但不限于以下內(nèi)容：數(shù)據(jù)庫(kù)類(lèi)型數(shù)據(jù)庫(kù)版本數(shù)據(jù)庫(kù)服務(wù)IP數(shù)據(jù)庫(kù)服務(wù)端口數(shù)據(jù)庫(kù)SID數(shù)據(jù)庫(kù)表空間……Hadoop庫(kù)注冊(cè)管理，主要負(fù)責(zé)Hive庫(kù)基本信息、HDFS文件信息的注冊(cè)配置，包含但不限于以下內(nèi)容：HIVE數(shù)據(jù)庫(kù)服務(wù)IPHIVE數(shù)據(jù)庫(kù)服務(wù)端口HDFS文件系統(tǒng)服務(wù)IPHDFS文件系統(tǒng)服務(wù)端口……數(shù)據(jù)資產(chǎn)注冊(cè)管理 平臺(tái)提供對(duì)數(shù)據(jù)資產(chǎn)注冊(cè)管理的功能，主要包括對(duì)表、視圖、序列、文件、ETL過(guò)程、Hadoop等進(jìn)行注冊(cè)管理。1）業(yè)務(wù)系統(tǒng)信息收集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：業(yè)務(wù)系統(tǒng)名稱(chēng)業(yè)務(wù)系統(tǒng)描述業(yè)務(wù)系統(tǒng)服務(wù)IP業(yè)務(wù)系統(tǒng)服務(wù)端口2）數(shù)據(jù)庫(kù)信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：數(shù)據(jù)庫(kù)類(lèi)型數(shù)據(jù)庫(kù)版本數(shù)據(jù)庫(kù)服務(wù)IP數(shù)據(jù)庫(kù)服務(wù)端口數(shù)據(jù)庫(kù)SID數(shù)據(jù)庫(kù)表空間3）表結(jié)構(gòu)信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：表名稱(chēng)表中文名稱(chēng)業(yè)務(wù)信息描述表結(jié)構(gòu)定義表數(shù)據(jù)處理邏輯4）視圖信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：視圖名稱(chēng)視圖中文名稱(chēng)業(yè)務(wù)信息描述視圖結(jié)構(gòu)定義5）字段信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：字段名稱(chēng)字段中文名稱(chēng)字段詳細(xì)描述字段類(lèi)型定義6）指標(biāo)信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：指標(biāo)名稱(chēng)指標(biāo)中文名稱(chēng)指標(biāo)業(yè)務(wù)描述指標(biāo)統(tǒng)計(jì)口徑指標(biāo)統(tǒng)計(jì)周期7）報(bào)表信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：報(bào)表名稱(chēng)報(bào)表中文名稱(chēng)報(bào)表業(yè)務(wù)描述報(bào)表格式報(bào)表統(tǒng)計(jì)周期8）hadoop平臺(tái)信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：Hadoop集群名稱(chēng)Hadoop集群描述Hadoop集群主節(jié)點(diǎn)IPHadoop集群從節(jié)點(diǎn)IP9）hadoophive庫(kù)表信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：Hive數(shù)據(jù)庫(kù)服務(wù)IPHive數(shù)據(jù)庫(kù)服務(wù)端口Hive表名稱(chēng)Hive表中文名稱(chēng)Hive表業(yè)務(wù)描述信息Hive表結(jié)構(gòu)定義10）ETL過(guò)程信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：ETL作業(yè)名稱(chēng)ETL作業(yè)業(yè)務(wù)描述信息ETL過(guò)程處理邏輯ETL作業(yè)運(yùn)行周期ETL來(lái)源表名稱(chēng)ETL來(lái)源文件路徑ETL目標(biāo)表名稱(chēng)ETL目標(biāo)文件路徑11）文件接口信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：接口文件名稱(chēng)接口文件業(yè)務(wù)描述信息接口文件路徑接口文件大小接口內(nèi)容與表字段映射關(guān)系12）OLAP信息采集與資產(chǎn)注冊(cè)；13）webservice接口信息采集與資產(chǎn)注冊(cè)，包含但不限于以下內(nèi)容：webservice接口名稱(chēng)webservice接口描述webservice接口負(fù)責(zé)人數(shù)據(jù)資產(chǎn)注冊(cè)審核 平臺(tái)提供對(duì)數(shù)據(jù)資產(chǎn)注冊(cè)的審核功能，通過(guò)在平臺(tái)中定義數(shù)據(jù)資產(chǎn)的相關(guān)命名規(guī)范，可實(shí)現(xiàn)對(duì)數(shù)據(jù)資產(chǎn)的自動(dòng)審核，主要包括對(duì)表/視圖、文件等數(shù)據(jù)資產(chǎn)進(jìn)行審核分析。當(dāng)數(shù)據(jù)資產(chǎn)命名不符合規(guī)范時(shí)，平臺(tái)會(huì)提示錯(cuò)誤信息，并阻止資產(chǎn)的注冊(cè)操作，當(dāng)數(shù)據(jù)資產(chǎn)命名審核通過(guò)后，交由相應(yīng)的審核人進(jìn)行審核，保障數(shù)據(jù)資產(chǎn)的完整和規(guī)范性。生成數(shù)據(jù)庫(kù)管理 平臺(tái)可基于數(shù)據(jù)資產(chǎn)（表），通過(guò)在平臺(tái)中指定生成表的數(shù)據(jù)庫(kù)及表空間等信息后自動(dòng)生成相應(yīng)數(shù)據(jù)庫(kù)的建表腳本并在數(shù)據(jù)庫(kù)中生成數(shù)據(jù)表，如下圖所示：數(shù)據(jù)資產(chǎn)分類(lèi)管理平臺(tái)提供對(duì)數(shù)據(jù)資產(chǎn)的分類(lèi)管理功能，在數(shù)據(jù)資產(chǎn)注冊(cè)同時(shí)或注冊(cè)后，可在數(shù)據(jù)資產(chǎn)上標(biāo)識(shí)不同的屬性標(biāo)簽，通過(guò)屬性標(biāo)簽完成對(duì)數(shù)據(jù)資產(chǎn)的分類(lèi)整理，為資產(chǎn)查詢(xún)、資產(chǎn)統(tǒng)計(jì)、資產(chǎn)盤(pán)點(diǎn)等功能提供支撐。常見(jiàn)的屬性標(biāo)簽包括：資產(chǎn)類(lèi)型：數(shù)據(jù)表、文件、接口、指標(biāo)、報(bào)表等數(shù)據(jù)來(lái)源：B域、O域、M域等主題域：參與人、服務(wù)、資源、事件、市場(chǎng)營(yíng)銷(xiāo)、企業(yè)管理、公共。所屬層級(jí)：接口層、輕度匯總層、中度匯總層、高度匯總層、應(yīng)用層等存儲(chǔ)周期：按年、按季度、按月、按周、按日等數(shù)據(jù)資產(chǎn)分類(lèi)體系在數(shù)據(jù)資產(chǎn)的分類(lèi)管理中，平臺(tái)按照數(shù)據(jù)資產(chǎn)的生命周期對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個(gè)數(shù)據(jù)源抽取到大數(shù)據(jù)平臺(tái)，輸出層是指大數(shù)據(jù)平臺(tái)數(shù)據(jù)輸出到外部渠道或內(nèi)部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺(tái)內(nèi)進(jìn)行加工處理的過(guò)程。數(shù)據(jù)資產(chǎn)分類(lèi)查詢(xún)平臺(tái)提供數(shù)據(jù)資產(chǎn)分類(lèi)查詢(xún)功能，可通過(guò)選取分類(lèi)標(biāo)簽中具體的屬性標(biāo)簽對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行篩查。數(shù)據(jù)資產(chǎn)分類(lèi)統(tǒng)計(jì)平臺(tái)提供數(shù)據(jù)資產(chǎn)分類(lèi)統(tǒng)計(jì)功能，可對(duì)各種標(biāo)簽屬性的數(shù)據(jù)資產(chǎn)進(jìn)行分類(lèi)統(tǒng)計(jì)，并形成統(tǒng)計(jì)報(bào)表，供使用人員查詢(xún)不同屬性數(shù)據(jù)資產(chǎn)的整體統(tǒng)計(jì)情況。數(shù)據(jù)資產(chǎn)目錄管理數(shù)據(jù)資產(chǎn)目錄資產(chǎn)目錄是對(duì)平臺(tái)元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類(lèi)目是目錄信息與服務(wù)、保障與支撐所組成的一個(gè)整體針對(duì)資產(chǎn)的合理組織，需要對(duì)資產(chǎn)進(jìn)行對(duì)應(yīng)分類(lèi)，如部門(mén)類(lèi)目、主題類(lèi)目、行業(yè)類(lèi)目等，可對(duì)該類(lèi)目下資產(chǎn)數(shù)據(jù)進(jìn)行搜索、展現(xiàn)以及權(quán)限申請(qǐng)。數(shù)據(jù)資產(chǎn)查詢(xún)平臺(tái)提供數(shù)據(jù)資產(chǎn)查詢(xún)功能，主要分為通用查詢(xún)和高級(jí)查詢(xún)兩種方式。通用查詢(xún)：通過(guò)在通用查詢(xún)搜索框中輸入查詢(xún)關(guān)鍵字，可對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行模糊查詢(xún)。高級(jí)查詢(xún)：根據(jù)指定數(shù)據(jù)資產(chǎn)屬性信息的具體值對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行精確查詢(xún)，包括數(shù)據(jù)資產(chǎn)名稱(chēng)、資產(chǎn)編碼、資產(chǎn)分類(lèi)標(biāo)簽等屬性。數(shù)據(jù)資產(chǎn)地圖管理平臺(tái)提供數(shù)據(jù)地圖功能，通過(guò)可視化的圖形界面，對(duì)大數(shù)據(jù)平臺(tái)各系統(tǒng)、各層次之間的脈絡(luò)關(guān)系進(jìn)行全面、多層次的展示，并提供從系統(tǒng)、數(shù)據(jù)庫(kù)、表間以及字段級(jí)的關(guān)聯(lián)關(guān)系下鉆分析功能，幫助用戶(hù)從不同粒度了解數(shù)據(jù)資產(chǎn)之間的關(guān)聯(lián)情況，同時(shí)可動(dòng)態(tài)了解數(shù)據(jù)資產(chǎn)的執(zhí)行情況。數(shù)據(jù)資產(chǎn)版本管理平臺(tái)提供數(shù)據(jù)資產(chǎn)版本管理功能，主要包括版本發(fā)布、版本查看、版本比對(duì)、版本恢復(fù)等功能。版本發(fā)布，通過(guò)版本發(fā)布功能提供對(duì)數(shù)據(jù)資產(chǎn)信息的版本更新和固化；版本查看，可查看數(shù)據(jù)資產(chǎn)的版本變更歷史；版本比對(duì)，通過(guò)選擇歷史版本可與當(dāng)前發(fā)布的數(shù)據(jù)資產(chǎn)版本進(jìn)行差異比較；版本恢復(fù)功能，支持恢復(fù)到以前歷史版本的資產(chǎn)信息；數(shù)據(jù)資產(chǎn)變更管理平臺(tái)提供數(shù)據(jù)資產(chǎn)變更管理功能，可對(duì)數(shù)據(jù)資產(chǎn)信息中除定義名稱(chēng)以外的其他信息進(jìn)行變更，并提供在變更發(fā)布前的數(shù)據(jù)資產(chǎn)信息規(guī)范審核。數(shù)據(jù)資產(chǎn)審計(jì)管理平臺(tái)提供資產(chǎn)運(yùn)行審計(jì)管理功能，主要包括數(shù)據(jù)資產(chǎn)模型審計(jì)、數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計(jì)等部分。1）數(shù)據(jù)資產(chǎn)模型審計(jì)：可對(duì)表、視圖、文件、Hadoop等靜態(tài)結(jié)構(gòu)進(jìn)行審計(jì)，根據(jù)元數(shù)據(jù)的配置，與數(shù)據(jù)庫(kù)內(nèi)實(shí)際的表／視圖信息、實(shí)際生成的文件信息以及Hadoop中實(shí)際的結(jié)構(gòu)信息進(jìn)行比對(duì)，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)定義在整個(gè)應(yīng)用中的一致性檢查。2）數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計(jì)：可對(duì)數(shù)據(jù)資產(chǎn)中的表數(shù)據(jù)進(jìn)行審計(jì)，包括元數(shù)據(jù)表字段上的空值、字典值等。數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)管理平臺(tái)提供數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)分析功能，主要包括統(tǒng)計(jì)綜合查詢(xún)、數(shù)據(jù)資產(chǎn)一致性檢查、數(shù)據(jù)資產(chǎn)更變統(tǒng)計(jì)、數(shù)據(jù)資產(chǎn)屬性檢查、數(shù)據(jù)資產(chǎn)空值檢查、數(shù)據(jù)資產(chǎn)字典值檢查等功能。數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)分析1、統(tǒng)計(jì)綜合查詢(xún)，可通過(guò)數(shù)據(jù)資產(chǎn)的各種屬性標(biāo)簽，如資產(chǎn)類(lèi)型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫(kù)類(lèi)型、應(yīng)用等，對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行查詢(xún)。2、數(shù)據(jù)資產(chǎn)一致性檢查，平臺(tái)提供以報(bào)表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫(kù)內(nèi)實(shí)際的表／視圖信息、實(shí)際生成的文件信息、Hadoop中實(shí)際的結(jié)構(gòu)信息等內(nèi)容進(jìn)行比對(duì)并輸出差異分析結(jié)果，在分析結(jié)果不一致的情況下給出提醒，并將分析結(jié)果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報(bào)告》的組成部分。3、數(shù)據(jù)資產(chǎn)變更統(tǒng)計(jì)，可通過(guò)數(shù)據(jù)資產(chǎn)的各種屬性標(biāo)簽，如資產(chǎn)類(lèi)型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫(kù)類(lèi)型、應(yīng)用等，對(duì)數(shù)據(jù)資產(chǎn)變更歷史進(jìn)行統(tǒng)計(jì)查詢(xún)。4、數(shù)據(jù)資產(chǎn)屬性檢查，平臺(tái)提供以報(bào)表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫(kù)內(nèi)實(shí)際的表／視圖的屬性信息、與實(shí)際生成的文件內(nèi)的屬性信息、與Hadoop中實(shí)際的結(jié)構(gòu)信息進(jìn)行比對(duì)并輸出差異分析結(jié)果，在分析結(jié)果不一致的情況下給出提醒，并將分析結(jié)果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報(bào)告》的組成部分。5、數(shù)據(jù)資產(chǎn)空值檢查，平臺(tái)提供以報(bào)表的形式，對(duì)元數(shù)據(jù)表字段上的空值配置進(jìn)行檢查，在檢查結(jié)果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)空值檢查報(bào)告》。6、數(shù)據(jù)資產(chǎn)字典值檢查，平臺(tái)提供以報(bào)表的形式，對(duì)元數(shù)據(jù)表字段上的字典值配置進(jìn)行檢查，在檢查結(jié)果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)字典值檢查報(bào)告》。數(shù)據(jù)資產(chǎn)報(bào)告針對(duì)整體平臺(tái)上的對(duì)應(yīng)數(shù)據(jù)，提供定周期了解其對(duì)應(yīng)資產(chǎn)情況，對(duì)總體資產(chǎn)情況進(jìn)行分析。數(shù)據(jù)資產(chǎn)盤(pán)點(diǎn) 平臺(tái)提供數(shù)據(jù)負(fù)資產(chǎn)盤(pán)點(diǎn)功能，通過(guò)分析系統(tǒng)中孤立未使用的庫(kù)表，即數(shù)據(jù)負(fù)資產(chǎn)，并以報(bào)表形式輸出分析結(jié)果，為用戶(hù)清除數(shù)據(jù)負(fù)資產(chǎn)或轉(zhuǎn)存提供幫助。數(shù)據(jù)異常管理異常對(duì)接管理開(kāi)發(fā)可以對(duì)接數(shù)據(jù)交換總線(xiàn)、數(shù)據(jù)集成總線(xiàn)、數(shù)據(jù)服務(wù)總線(xiàn)系統(tǒng)中異常日志模塊的功能。異常問(wèn)題列表開(kāi)發(fā)展示異常問(wèn)題信息，按等級(jí)進(jìn)行分類(lèi)或主動(dòng)推送，同時(shí)對(duì)異常問(wèn)題進(jìn)行歸類(lèi)整理，并定義規(guī)則進(jìn)行選擇性忽略或提醒的功能。人工處理管理開(kāi)發(fā)人工處理管理是記錄針對(duì)異常信息，人工處理所登記的臺(tái)賬信息，可按照異常分類(lèi)進(jìn)行分類(lèi)授權(quán)，實(shí)現(xiàn)指定問(wèn)題的指定人員處理的功能。系統(tǒng)處理管理開(kāi)發(fā)統(tǒng)處理管理是針對(duì)異常信息集成的各子平臺(tái)系統(tǒng)處理結(jié)果的收集，該類(lèi)信息往往不需要人工干預(yù)的功能。實(shí)時(shí)數(shù)據(jù)質(zhì)量管理針對(duì)實(shí)時(shí)流數(shù)據(jù)需要提供數(shù)據(jù)質(zhì)量管理功能，即提供對(duì)實(shí)時(shí)流的數(shù)據(jù)質(zhì)量規(guī)則的設(shè)置、維護(hù)、調(diào)度、優(yōu)化等規(guī)則的管理功能，以及對(duì)實(shí)時(shí)流數(shù)據(jù)源接口關(guān)鍵數(shù)據(jù)、數(shù)據(jù)實(shí)體和處理過(guò)程的監(jiān)控告警，輔助數(shù)據(jù)質(zhì)量管理人員快速定位問(wèn)題的原因及處理方案，并定期生成針對(duì)實(shí)時(shí)流數(shù)據(jù)的數(shù)據(jù)質(zhì)量評(píng)估報(bào)告的功能。數(shù)據(jù)質(zhì)量定制化開(kāi)發(fā)通過(guò)自定義擴(kuò)展規(guī)則能力，靈活方便的自定義擴(kuò)展能力，可以靈活定制質(zhì)量監(jiān)控的規(guī)則、問(wèn)題數(shù)據(jù)的檢測(cè)規(guī)則和問(wèn)題數(shù)據(jù)的清洗回收的方式。異常數(shù)據(jù)分析基于集成方案，反饋統(tǒng)計(jì)分析集成過(guò)程中不符合方案中各字段清洗規(guī)則的異常數(shù)據(jù)結(jié)果，同時(shí)支持多維度的問(wèn)題分析以及排查。異常處理統(tǒng)計(jì)分析開(kāi)發(fā)按照異常分類(lèi)、處理情況、時(shí)間、等級(jí)等維度進(jìn)行分類(lèi)統(tǒng)計(jì)，以圖表的形式展現(xiàn)便于管理人員匯總分析的功能。數(shù)據(jù)架構(gòu)管理平臺(tái)支持定義全企業(yè)的數(shù)據(jù)架構(gòu)，包括數(shù)據(jù)的主題、層次，所涉及的部門(mén)、所用到的數(shù)據(jù)庫(kù)類(lèi)型。功能包括數(shù)據(jù)架構(gòu)節(jié)點(diǎn)的增加，刪除。業(yè)務(wù)架構(gòu)管理從數(shù)據(jù)架構(gòu)中選擇適合團(tuán)隊(duì)的數(shù)據(jù)架構(gòu)，并綁定到團(tuán)隊(duì)，以約束開(kāi)發(fā)團(tuán)隊(duì)在開(kāi)發(fā)過(guò)程中選擇數(shù)據(jù)架構(gòu)。存儲(chǔ)架構(gòu)管理在異構(gòu)數(shù)據(jù)庫(kù)的環(huán)境下，不同的數(shù)據(jù)庫(kù)有不同的參數(shù)設(shè)置，為減少開(kāi)發(fā)人員在模型開(kāi)發(fā)過(guò)程中的操作，同時(shí)也保障模型在落地到物理環(huán)境的正確性，通過(guò)在存儲(chǔ)架構(gòu)中設(shè)置默認(rèn)的參數(shù)配置來(lái)保障開(kāi)發(fā)的準(zhǔn)備性。數(shù)據(jù)開(kāi)發(fā)管理流數(shù)據(jù)處理平臺(tái)支持對(duì)流數(shù)據(jù)的處理與管理，流數(shù)據(jù)的處理過(guò)程為數(shù)據(jù)實(shí)時(shí)采集-->數(shù)據(jù)實(shí)時(shí)計(jì)算-->數(shù)據(jù)實(shí)時(shí)查詢(xún)服務(wù)。實(shí)時(shí)采集主要應(yīng)對(duì)海量數(shù)據(jù)進(jìn)行高性能的實(shí)時(shí)數(shù)據(jù)采集處理，以實(shí)時(shí)、高效、低延遲為核心驅(qū)動(dòng)點(diǎn)，具備毫秒級(jí)數(shù)據(jù)觸發(fā)能力，實(shí)現(xiàn)秒級(jí)單位時(shí)間窗口的數(shù)據(jù)統(tǒng)計(jì)分析能力。需要支持的數(shù)據(jù)源類(lèi)型可以分為以下四類(lèi)：網(wǎng)絡(luò)協(xié)議數(shù)據(jù)源，包括Socket、JMS、HTTP、HTTPS等常見(jiàn)類(lèi)型的網(wǎng)絡(luò)協(xié)議。本/異地文件數(shù)據(jù)源，包括目錄掃描、文本文件，F(xiàn)TP，SDTP等數(shù)據(jù)。分布式文件系統(tǒng)數(shù)據(jù)源，包括HDFS，HBase，Hive等數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)源，包括DB2，Teradata，vertica等數(shù)據(jù)。支持物聯(lián)網(wǎng)網(wǎng)關(guān)采集：將物聯(lián)網(wǎng)數(shù)據(jù)從物聯(lián)網(wǎng)網(wǎng)關(guān)接入，提供協(xié)議適配和標(biāo)準(zhǔn)化處理，以及滿(mǎn)足海量物聯(lián)網(wǎng)數(shù)據(jù)的入湖。來(lái)自多種數(shù)據(jù)源的實(shí)時(shí)信息，因?yàn)槠鋾r(shí)效性高，數(shù)據(jù)的有效期短暫，需要實(shí)時(shí)提取和分析來(lái)自各種分布式系統(tǒng)的信息，并分發(fā)到不同的應(yīng)用中進(jìn)行處理。同時(shí)，系統(tǒng)必須高效、可靠、可管理、可監(jiān)控并且具有一定的對(duì)外開(kāi)放能力。流數(shù)據(jù)引擎開(kāi)發(fā)提供數(shù)據(jù)融合，統(tǒng)計(jì)，分析的高速處理能力，對(duì)于實(shí)時(shí)性要求較高的數(shù)據(jù)計(jì)算提供支撐的功能流數(shù)據(jù)計(jì)算模型管理開(kāi)發(fā)提供對(duì)已設(shè)計(jì)完成的數(shù)據(jù)計(jì)算模型進(jìn)行申請(qǐng)，注冊(cè)，提交，執(zhí)行，監(jiān)控的統(tǒng)一管理的功能流數(shù)據(jù)計(jì)算公共模型開(kāi)發(fā)開(kāi)發(fā)提供對(duì)于場(chǎng)景需求較多的數(shù)據(jù)模型可開(kāi)發(fā)公共模型的功能，公共模型可以供其他用戶(hù)調(diào)用，可重復(fù)使用的功能流數(shù)據(jù)計(jì)算結(jié)果接口開(kāi)發(fā)開(kāi)發(fā)提供對(duì)流數(shù)據(jù)計(jì)算結(jié)果接口開(kāi)發(fā)功能和計(jì)算結(jié)果數(shù)據(jù)可通過(guò)接口形式供可視化調(diào)用或其他應(yīng)用的功能流數(shù)據(jù)計(jì)算模型查詢(xún)開(kāi)發(fā)提供流數(shù)據(jù)計(jì)算模型查詢(xún)功能，通過(guò)對(duì)流數(shù)據(jù)計(jì)算模型發(fā)布可以是其他用戶(hù)查看計(jì)算模型邏輯，進(jìn)行模型再利用，減少其他用戶(hù)開(kāi)發(fā)工作量的功能。數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)開(kāi)發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡(jiǎn)化開(kāi)發(fā)過(guò)程。統(tǒng)一數(shù)據(jù)開(kāi)發(fā)入口，支持可視化開(kāi)發(fā)和原生態(tài)開(kāi)發(fā)兩種開(kāi)發(fā)模式，實(shí)現(xiàn)原生態(tài)開(kāi)發(fā)與可視化編排的互相轉(zhuǎn)換，提升開(kāi)發(fā)效率。支持可視化開(kāi)發(fā)支持原生態(tài)開(kāi)發(fā)統(tǒng)一調(diào)度管理平臺(tái)支持對(duì)數(shù)據(jù)開(kāi)發(fā)與管理任務(wù)的統(tǒng)一調(diào)度，包括流程設(shè)計(jì)與管理、調(diào)度策略管控、任務(wù)調(diào)度控制、標(biāo)準(zhǔn)化控件等功能模塊，通過(guò)作業(yè)/任務(wù)管理、作業(yè)/任務(wù)調(diào)度、作業(yè)/任務(wù)執(zhí)行實(shí)現(xiàn)對(duì)采集、轉(zhuǎn)換、加載、調(diào)度、監(jiān)控，從而形成統(tǒng)一的調(diào)度與管理。以一個(gè)業(yè)務(wù)量生產(chǎn)過(guò)程為例。傳統(tǒng)做法是通過(guò)接口通信表或時(shí)序依賴(lài)進(jìn)行協(xié)同生產(chǎn)。在統(tǒng)一調(diào)度平臺(tái)中以數(shù)據(jù)流作為驅(qū)動(dòng),通過(guò)控制中心進(jìn)行作業(yè)命令下發(fā)，狀態(tài)收集進(jìn)行控制，達(dá)到各個(gè)異構(gòu)系統(tǒng)，多個(gè)子系統(tǒng)的協(xié)同調(diào)度。數(shù)據(jù)運(yùn)維管理監(jiān)控運(yùn)維監(jiān)控運(yùn)維為數(shù)據(jù)開(kāi)發(fā)者和維護(hù)者提供一站式的數(shù)據(jù)運(yùn)維管控能力，可自主管理作業(yè)的部署、作業(yè)優(yōu)先級(jí)、以及生產(chǎn)監(jiān)控運(yùn)維平臺(tái)提供數(shù)據(jù)監(jiān)控運(yùn)維、任務(wù)運(yùn)行情況監(jiān)控、異常情況告警、日常運(yùn)維數(shù)據(jù)統(tǒng)計(jì)等功能。運(yùn)維概覽運(yùn)維概覽主要用來(lái)展示調(diào)度任務(wù)的指標(biāo)數(shù)據(jù)情況，目前包括任務(wù)完成情況、任務(wù)運(yùn)行情況、任務(wù)執(zhí)行時(shí)長(zhǎng)排行、調(diào)度任務(wù)數(shù)量趨勢(shì)、若干統(tǒng)計(jì)指標(biāo)，如N天出錯(cuò)排行、任務(wù)類(lèi)型分布、N天基線(xiàn)破線(xiàn)次數(shù)排行等。運(yùn)維任務(wù)可視化展示調(diào)度任務(wù)DAG圖，方便數(shù)據(jù)運(yùn)維管理。1)提供任務(wù)運(yùn)行狀態(tài)監(jiān)控告警2)提供單任務(wù)重跑、多任務(wù)重跑、kill、置成功、暫停等操作3)提供列表和DAG兩種模式4)實(shí)現(xiàn)針對(duì)周期運(yùn)行、測(cè)試運(yùn)行、手動(dòng)運(yùn)行任務(wù)查看任務(wù)運(yùn)行狀態(tài)5)實(shí)現(xiàn)針對(duì)任務(wù)進(jìn)行重跑、停止、查看運(yùn)行日志、查看節(jié)點(diǎn)代碼、查看節(jié)點(diǎn)屬性。監(jiān)控告警監(jiān)控告警是調(diào)度任務(wù)的監(jiān)控保障系統(tǒng)，當(dāng)任務(wù)出現(xiàn)錯(cuò)誤時(shí)，系統(tǒng)會(huì)通過(guò)預(yù)定義的方式告知任務(wù)失敗，提供按照