數(shù)據(jù)產(chǎn)品規(guī)格說明書【精選文檔】

1、第1頁數(shù)據(jù)管控產(chǎn)品規(guī)格說明書第一章引言1.1編寫目的本文檔作為數(shù)據(jù)管控產(chǎn)品體系（元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理）的產(chǎn)品方案說明書，介紹元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的解決方案。1.2項(xiàng)目背景經(jīng)過多年建設(shè)，企業(yè)一般已經(jīng)初步建成了各類管理信息系統(tǒng)，雖然在運(yùn)用和分析數(shù)據(jù)支持經(jīng)營決策方面已初見成效,但是對比戰(zhàn)略發(fā)展要求和國內(nèi)外最佳實(shí)踐經(jīng)驗(yàn)，還是存在數(shù)據(jù)管控水平不高，以及配套體系建設(shè)相對滯后的問題.為解決這些問題，企業(yè)會(huì)做種種努力,但由于未采用系統(tǒng)性的管控治理，數(shù)據(jù)問題并未能從根本上解決，阻礙了企業(yè)管理精細(xì)化的進(jìn)程。參考國內(nèi)外同業(yè)先進(jìn)理念、做法，一般會(huì)從數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)據(jù)分布、數(shù)據(jù)安全、數(shù)據(jù)生命周期管理等6個(gè)方

2、面，采用全面規(guī)劃、分步實(shí)施的策略，分階段有序推進(jìn)數(shù)據(jù)管控項(xiàng)目建設(shè)，包括構(gòu)建統(tǒng)一的數(shù)據(jù)管控制度體系、優(yōu)化數(shù)據(jù)管控流程、實(shí)施有針對性的數(shù)據(jù)管控配套系統(tǒng)建設(shè),實(shí)現(xiàn)對數(shù)據(jù)資產(chǎn)的全面管理和深度利用，進(jìn)而提升數(shù)據(jù)資產(chǎn)管理水平和信息服務(wù)水平，形成差異化的競爭優(yōu)勢和核心競爭力。第二章方案概述2.1方案目標(biāo)本方案主要完成以下工作：完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估管理系統(tǒng)的引進(jìn)、集成部署和客戶化定制；完成風(fēng)險(xiǎn)相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)在元數(shù)據(jù)管理系統(tǒng)的落地；完成風(fēng)險(xiǎn)相關(guān)數(shù)據(jù)質(zhì)量的評(píng)估及數(shù)據(jù)質(zhì)量評(píng)估分析模型的開發(fā)。完成其他業(yè)務(wù)需求中明確的試點(diǎn)系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布和質(zhì)量評(píng)估落地工作。數(shù)據(jù)產(chǎn)品規(guī)格說明書第 頁項(xiàng)目范圍實(shí)施內(nèi)容元數(shù)據(jù)管理

3、系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估管理系統(tǒng)相關(guān)基礎(chǔ)性工作根據(jù)業(yè)務(wù)需求，結(jié)合企業(yè)現(xiàn)有系統(tǒng)的情況，制定具體項(xiàng)目實(shí)施方案，確保能完成相關(guān)咨詢成果在系統(tǒng)內(nèi)的部署和設(shè)置。完成系統(tǒng)接口設(shè)計(jì)、系統(tǒng)架構(gòu)設(shè)計(jì)和形成實(shí)施所需的需求規(guī)格化文檔等工作。完成產(chǎn)品的集成安裝和初步調(diào)試工作。若提供的軟硬件配置建議書不能完全滿足企業(yè)軟硬件選型需要的，需要協(xié)助事先完成必要的產(chǎn)品測試工作,確定最終的系統(tǒng)軟硬件配置清單。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估管理系統(tǒng)的客制化開發(fā)實(shí)施根據(jù)企業(yè)的業(yè)務(wù)需求,對產(chǎn)品或應(yīng)用進(jìn)行客制化實(shí)施。根據(jù)對業(yè)務(wù)、技術(shù)元數(shù)據(jù)進(jìn)行抽取和加載，在系統(tǒng)中建立元數(shù)據(jù)之間的映射關(guān)系.根據(jù)評(píng)分模型對評(píng)分卡進(jìn)行客制化開發(fā)，并能將評(píng)分結(jié)果數(shù)據(jù)在第

4、三方報(bào)表平臺(tái)上展現(xiàn)。本階段需要完成系統(tǒng)的概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)；完成數(shù)據(jù)接口設(shè)計(jì)和數(shù)據(jù)ETL工作;完成產(chǎn)品的配置，應(yīng)用和報(bào)表的客制化開發(fā)等。產(chǎn)品客戶化過程中，出現(xiàn)在場人員無法解決的技術(shù)或產(chǎn)品問題時(shí)，投標(biāo)人應(yīng)及時(shí)組織國內(nèi)國外資源，快速解決問題，不能因此對項(xiàng)目進(jìn)度造成影響。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估管理系統(tǒng)的測試完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估管理系統(tǒng)的各類測試工作，包括：單元測試、集成測試、壓力測試和協(xié)助用戶測試，測試工作需要符合企業(yè)測試規(guī)范要求.單元測試和集成測試的主要工作是：制定測試策略和計(jì)劃、準(zhǔn)備測試案例和數(shù)據(jù)、執(zhí)行各類測試案例(含功能測試、接口測試、報(bào)表測試、系統(tǒng)管理和非功能性需求測試等)

5、、分析測試結(jié)果、針對測試問題進(jìn)行回歸測試。壓力測試的主要工作是：制定測試策略和計(jì)劃、準(zhǔn)備測試案例和數(shù)據(jù)、執(zhí)行性能測試案例、分析測試結(jié)果、針對測試問題進(jìn)行回歸測試,完成系統(tǒng)調(diào)優(yōu)工作。用戶測試的主要內(nèi)容是：做好測試數(shù)據(jù)準(zhǔn)備工作,并協(xié)助完成測試.元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估管理系統(tǒng)的上線和試運(yùn)行完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估管理系統(tǒng)的上線和試運(yùn)行工作。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估管理系統(tǒng)上線的相關(guān)事宜，主要包括:確定系統(tǒng)軟硬件、完成系統(tǒng)整體部署(含集成部署)、調(diào)試和調(diào)優(yōu)、完成系統(tǒng)的初始化工作。完成符合企業(yè)規(guī)范的上線和移交文檔。編寫用戶操作手冊、業(yè)務(wù)手冊、系統(tǒng)操作手冊等。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評(píng)估

6、管理系統(tǒng)試運(yùn)行相關(guān)工作，主要包括：試運(yùn)行實(shí)施規(guī)劃、試運(yùn)行過程中的問題整理和處理、試運(yùn)行結(jié)果分析等。維護(hù)系統(tǒng)、明確系統(tǒng)應(yīng)急處理機(jī)制并演練方案概述數(shù)據(jù)管控系統(tǒng)建設(shè)方案元數(shù)據(jù)產(chǎn)品MetaOne系統(tǒng)和數(shù)據(jù)質(zhì)量系統(tǒng)QualityOne，并結(jié)合專業(yè)的業(yè)務(wù)和技術(shù)團(tuán)隊(duì),旨在建立一套符合企業(yè)數(shù)據(jù)管控體系建設(shè)需求的數(shù)據(jù)管控體系系統(tǒng)。數(shù)據(jù)管控體系建設(shè)項(xiàng)目依托元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理體系,旨在建立一套符合企業(yè)特色的數(shù)據(jù)管控體系系統(tǒng)，本項(xiàng)目實(shí)施主要完成數(shù)據(jù)管控系統(tǒng)咨詢成果落地工作，通過數(shù)據(jù)標(biāo)準(zhǔn)配置；指標(biāo)標(biāo)準(zhǔn)管理及分析預(yù)警;元數(shù)據(jù)獲取和調(diào)度;數(shù)據(jù)質(zhì)量分析和預(yù)警展示和數(shù)據(jù)探查分析和預(yù)警等模塊,全方位全角度展示企業(yè)系統(tǒng)平臺(tái)技術(shù)和

7、業(yè)務(wù)元數(shù)據(jù)分析，最終，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控預(yù)警。第三章總體方案系統(tǒng)架構(gòu)總體系統(tǒng)架構(gòu)數(shù)據(jù)管控體系建設(shè)平臺(tái)實(shí)施方案采用雙模式進(jìn)行調(diào)度配置，為保證第一時(shí)間有效監(jiān)控業(yè)務(wù)風(fēng)險(xiǎn)相關(guān)業(yè)務(wù)指標(biāo)監(jiān)控情況，因此,總體方案中,首先采用企業(yè)數(shù)據(jù)倉庫平臺(tái)調(diào)度平臺(tái)優(yōu)先監(jiān)控風(fēng)險(xiǎn)相關(guān)業(yè)務(wù)指標(biāo)信息,其次元數(shù)據(jù)管理產(chǎn)品內(nèi)部調(diào)度機(jī)制，加載相關(guān)平臺(tái)，關(guān)系數(shù)據(jù)庫（應(yīng)用業(yè)務(wù)數(shù)據(jù)和技術(shù)業(yè)務(wù)數(shù)據(jù)）和數(shù)據(jù)模型等元數(shù)據(jù)信息.信息交付層：主要展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量成果信息，展示方式主要通過都必須通過AD域驗(yàn)證（統(tǒng)一認(rèn)證平臺(tái)），信息訪問通過報(bào)表平臺(tái)BIEE和元數(shù)據(jù)系統(tǒng)內(nèi)部展示平臺(tái)展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量分析預(yù)警信息。應(yīng)用層:主要提供企業(yè)BIEE報(bào)表系統(tǒng)展示的

8、數(shù)據(jù)接口，展示業(yè)務(wù)客戶需要的業(yè)務(wù)元數(shù)據(jù)信息。系統(tǒng)管理層：主要描述MetaOne和QualityOne為用戶提供基本功能完善的元數(shù)據(jù)倉儲(chǔ)管理平臺(tái)，并支持基于平臺(tái)的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強(qiáng)大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲(chǔ)層、基本功能層、接口層、應(yīng)用層。數(shù)據(jù)獲取層:主要描述系統(tǒng)獲取元數(shù)據(jù)方式有兩種觸發(fā)方式，為實(shí)現(xiàn)監(jiān)控風(fēng)險(xiǎn)相關(guān)業(yè)務(wù)指標(biāo)，系統(tǒng)將采用部分任務(wù)配置在調(diào)度平臺(tái)調(diào)度；其他數(shù)據(jù)獲取方式將采用MetaOne定時(shí)觸發(fā)和依賴滿足觸發(fā)任務(wù)，將所需的業(yè)務(wù)指標(biāo)數(shù)據(jù)和平臺(tái)技術(shù)數(shù)據(jù)安裝規(guī)范加載至平臺(tái)內(nèi)部。源數(shù)據(jù)層：主要描述數(shù)據(jù)管控體系的數(shù)據(jù)源信息，包括標(biāo)準(zhǔn)格的業(yè)務(wù)元數(shù)據(jù)

9、；鏡像業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫；ETL系統(tǒng)標(biāo)準(zhǔn)元數(shù)據(jù)信息；平臺(tái)相關(guān)技術(shù)元數(shù)據(jù)信息；模型設(shè)計(jì)文件元數(shù)據(jù)和咨詢涉及的其他標(biāo)準(zhǔn)元數(shù)據(jù)文件成果。物理系統(tǒng)架構(gòu)數(shù)據(jù)管控體系系統(tǒng)物理架構(gòu)采用應(yīng)用服務(wù)和數(shù)據(jù)庫服務(wù)器獨(dú)立方式設(shè)計(jì)，同時(shí)，兩臺(tái)服務(wù)器具體內(nèi)部互補(bǔ)自動(dòng)切換功能，有效防止由其他因素導(dǎo)致的系統(tǒng)癱瘓。3.2系統(tǒng)數(shù)據(jù)流程下面展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量系統(tǒng)數(shù)據(jù)流程圖示如下：3.3網(wǎng)絡(luò)和安全MetaOne元數(shù)據(jù)系統(tǒng)部署于企業(yè)的業(yè)務(wù)網(wǎng)段，通過代理將應(yīng)用服務(wù)器地址反向映射辦公網(wǎng)段，僅開通WEB服務(wù)端口，向位于辦公網(wǎng)段的業(yè)務(wù)管理用戶提供服務(wù);其他業(yè)務(wù)系統(tǒng)的接入均在企業(yè)的業(yè)務(wù)網(wǎng)段內(nèi)，與外部環(huán)境隔離。開放的Internet標(biāo)準(zhǔn)系統(tǒng)建立

10、在開放的Internet標(biāo)準(zhǔn)之上，例如：SSL,HTTP,XML,TCP/IP,SOAP，支持多層次的客戶機(jī)/服務(wù)器體系結(jié)構(gòu)，其通過TCI組件支持多種報(bào)文的傳輸、組包、解包；利用webservice實(shí)現(xiàn)與異構(gòu)系統(tǒng)之間的數(shù)據(jù)交換?？梢猿晒\(yùn)行在支持Java虛擬機(jī)的各種操作系統(tǒng)及相應(yīng)的各種硬件平臺(tái)上，符合信息技術(shù)的發(fā)展方向，具備廣泛的應(yīng)用前景。系統(tǒng)層安全系統(tǒng)層安全主要針對系統(tǒng)的操作系統(tǒng)和數(shù)據(jù)庫等軟件平臺(tái)進(jìn)行安全防護(hù)，其主要采用的措施如下：安裝系統(tǒng)的安全補(bǔ)丁(Patch).關(guān)閉不需要的進(jìn)程服務(wù)和端口。使用漏洞掃描產(chǎn)品，定期進(jìn)行安全掃描及時(shí)發(fā)現(xiàn)問題并采取補(bǔ)救措施。定期審核系統(tǒng)配置，避免因配置不當(dāng)造成的

11、權(quán)限管理混亂.業(yè)務(wù)安全控制通過安全代理前置設(shè)備、防火墻等系統(tǒng)來保證系統(tǒng)的安全性，以及通過負(fù)載均衡來保證系統(tǒng)的高可用性，這只是從網(wǎng)絡(luò)環(huán)境和系統(tǒng)結(jié)構(gòu)的角度保證系統(tǒng)的安全，整個(gè)系統(tǒng)的安全性應(yīng)該是一個(gè)多層次的概念。主要考慮一下幾個(gè)方面：關(guān)鍵操作有詳細(xì)的操作記錄可查。登錄系統(tǒng)日志的安全審計(jì)多維的交易權(quán)限管理機(jī)制，關(guān)鍵操作提供多重授權(quán)功能。對于管理端的關(guān)鍵數(shù)據(jù)設(shè)置提供嚴(yán)格的復(fù)核機(jī)制，以保證數(shù)據(jù)的正確性、合法性.會(huì)話管理（Session）:與應(yīng)用服務(wù)器的會(huì)話管理結(jié)合，實(shí)現(xiàn)多種會(huì)話的建立和管理，讓不同的會(huì)話采用統(tǒng)一的管理機(jī)制。同時(shí)實(shí)現(xiàn)會(huì)話的超時(shí)管理，有效防范避免操作人員使用已經(jīng)失效的會(huì)話進(jìn)行誤操作，同時(shí)防止垃

12、圾會(huì)話數(shù)據(jù)占用內(nèi)存，影響系統(tǒng)性能甚至使系統(tǒng)無法工作。統(tǒng)一身份認(rèn)證針對統(tǒng)一身份認(rèn)證系統(tǒng)的要求，系統(tǒng)采取一種適用（針對）于WebLogicServer的、簡潔的、有效可行的統(tǒng)一認(rèn)證即單點(diǎn)登陸（SSO）解決方案.這個(gè)方案以集中統(tǒng)一的用戶信息為基礎(chǔ)，但不包括上節(jié)說明的權(quán)限管理，而僅僅提供一個(gè)身份驗(yàn)證的服務(wù)實(shí)現(xiàn)SSO的本義。在SSO幫助用戶完成身份驗(yàn)證后，由系統(tǒng)本身的權(quán)限管理進(jìn)行用戶行為的進(jìn)一步控制這樣不僅完成了用戶帳號(hào)的集中管理，又不失原有系統(tǒng)靈活的權(quán)限控制。而且方案簡單可行,不需要對原有應(yīng)用做較大更改，適合快速解決SingleSign-On問題，符合行內(nèi)系統(tǒng)的要求。其主要采用SAMLBrowserP

13、ostProfile方案，通過推模式獲取SAMLToken，由IdentityProvider推Assertion到ServiceProvider.而后驗(yàn)證Assertion將用戶重新定向到目標(biāo)URL。3.4系統(tǒng)災(zāi)備為了保障對數(shù)據(jù)處理的高可靠性和高可用性，系統(tǒng)需要具有較好的實(shí)時(shí)備份和災(zāi)難恢復(fù)能力。系統(tǒng)采用SQLSERVER2008數(shù)據(jù)庫服務(wù)器支持的雙機(jī)熱備容錯(cuò)方案來實(shí)現(xiàn)系統(tǒng)的備份策略，由兩臺(tái)機(jī)器共享一個(gè)磁盤陣列（共享磁盤組），當(dāng)其中一臺(tái)機(jī)器發(fā)生故障時(shí)，另外一臺(tái)機(jī)器接管整個(gè)磁盤陣列，從而實(shí)現(xiàn)雙機(jī)容錯(cuò).如下圖：第四章方案細(xì)化4.1產(chǎn)品功能元數(shù)據(jù)元數(shù)據(jù)產(chǎn)品MetaOne采用高內(nèi)聚、低耦合的組件式產(chǎn)品

14、架構(gòu)，豐富功能組件，為客戶搭建功能強(qiáng)大的元數(shù)據(jù)管理平臺(tái)。向用戶全面開放元數(shù)據(jù)功能調(diào)用接口,并提供整套實(shí)施方法論。使用戶在完成元數(shù)據(jù)管理、維護(hù)等基礎(chǔ)功能的同時(shí)，方便實(shí)現(xiàn)二次開發(fā)，滿足行業(yè)應(yīng)用的針對性需求.基本管理平臺(tái)(MetaOnePlatform)由元數(shù)據(jù)倉儲(chǔ)、Web應(yīng)用程序、元數(shù)據(jù)接口層、統(tǒng)一數(shù)據(jù)源管理客戶端、元模型操控臺(tái)以及元數(shù)據(jù)基本維護(hù)管理功能組成的組件集合，是MetaOne產(chǎn)品的基本功能集。元數(shù)據(jù)存儲(chǔ)庫(MetaDataRepository)基于關(guān)系數(shù)據(jù)庫的元數(shù)據(jù)存儲(chǔ)庫，用于實(shí)現(xiàn)元數(shù)據(jù)的物理存儲(chǔ)。元數(shù)據(jù)基本維護(hù)界面(MetaOneWebAPP)B/S結(jié)構(gòu)的Web管理程序，實(shí)現(xiàn)用戶對元數(shù)

15、據(jù)的一般管理、維護(hù)操作。對外服務(wù)接口(MetaOneInterface(MOI)一組基于JavaRMI的API集合，內(nèi)容包括對元數(shù)據(jù)、元模型的所有基本操作，配套提供使用方法論，使用戶方便調(diào)用，實(shí)現(xiàn)二次應(yīng)用開發(fā)。元數(shù)據(jù)獲取器(MetaDataIntegrationBridge(MIB)數(shù)據(jù)源管理平臺(tái)，對所有連接系統(tǒng)的數(shù)據(jù)源進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)數(shù)據(jù)源元數(shù)據(jù)的抽取和元數(shù)據(jù)向MetaDataRepository的導(dǎo)入。元模型管理控制操作臺(tái)(MetaOneConsole)元模型操控臺(tái)，用戶通過操控臺(tái)實(shí)現(xiàn)元模型建模?；A(chǔ)應(yīng)用分析元數(shù)據(jù)的基本維護(hù)管理功能高級(jí)應(yīng)用分析通過元數(shù)據(jù)接口，調(diào)用元數(shù)據(jù)及相應(yīng)功能,針對行

16、業(yè)需求開發(fā)的應(yīng)用。功能特性MetaOne的產(chǎn)品理念，是為用戶提供基本功能完善的元數(shù)據(jù)倉儲(chǔ)管理平臺(tái)，并支持基于平臺(tái)的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強(qiáng)大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上,劃分為存儲(chǔ)層、基本功能層、接口層、應(yīng)用層.元數(shù)據(jù)存儲(chǔ)層包含元數(shù)據(jù)存儲(chǔ)庫，負(fù)責(zé)承載不同領(lǐng)域的元模型以及相關(guān)的元數(shù)據(jù).元數(shù)據(jù)基本功能層實(shí)現(xiàn)系統(tǒng)對元數(shù)據(jù)的基本功能，針對元數(shù)據(jù)自身的維護(hù)和管理。包括元數(shù)據(jù)的維護(hù)管理、元模型維護(hù)管理，影響分析、血統(tǒng)分析、差異分析等圖形展現(xiàn)功能,元數(shù)據(jù)版本管理、權(quán)限管理、日志管理、質(zhì)量管理等。接口層M0I為MetaOne提供的元數(shù)據(jù)接口集合，供二次開發(fā)對系統(tǒng)各類數(shù)據(jù)、功能

17、的調(diào)用。應(yīng)用層通過M0I接口層與元數(shù)據(jù)存儲(chǔ)層實(shí)現(xiàn)連接的部分屬于應(yīng)用層.包含兩個(gè)方面，Metaone提供的功能組件MOConsole和MIB，以及針對不用同的具體需求開發(fā)的應(yīng)用功能。數(shù)據(jù)流程MetaOne元數(shù)據(jù)管理系統(tǒng)將涵蓋系統(tǒng)數(shù)據(jù)處理流程各個(gè)環(huán)節(jié)的數(shù)據(jù)結(jié)構(gòu)等信息讀取進(jìn)來，包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等,并加入業(yè)務(wù)規(guī)則的描述和業(yè)務(wù)量值的內(nèi)涵，下面圖示詳細(xì)介紹數(shù)據(jù)獲取流程信息：數(shù)據(jù)獲取MetaOne元數(shù)據(jù)管理系統(tǒng)的元數(shù)據(jù)管理范圍，涵蓋系統(tǒng)數(shù)據(jù)處理流程各個(gè)環(huán)節(jié)，各個(gè)環(huán)節(jié)中數(shù)據(jù)源所能提供的數(shù)據(jù)類型、結(jié)構(gòu)都需要相對應(yīng)的元數(shù)據(jù)獲取方法。MetaOne元數(shù)據(jù)

18、管理系統(tǒng)提供統(tǒng)一的數(shù)據(jù)源管理平臺(tái)，平臺(tái)中集成了針對不同數(shù)據(jù)類型的元數(shù)據(jù)獲取功能插件，可以將包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等數(shù)據(jù)源進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)元數(shù)據(jù)的自動(dòng)獲取。MetaOne提供元數(shù)據(jù)整合獲取平臺(tái)元數(shù)據(jù)集成橋(MetadataIntegrationBridge，元數(shù)據(jù)集成橋)，提供自動(dòng)獲取、手工獲取兩種元數(shù)據(jù)獲取功能,自動(dòng)獲取主流BI工具的元數(shù)據(jù)或手工獲取XMI/Excel文件中的元數(shù)據(jù)。MIB具備強(qiáng)大的管理能力和可擴(kuò)展性，能夠?qū)ψ詣?dòng)獲取的數(shù)據(jù)源進(jìn)行管理,能夠提供自動(dòng)獲取的框架，在此框架可以擴(kuò)展自動(dòng)獲取的適配器；對元數(shù)據(jù)的自動(dòng)獲取提供持續(xù)穩(wěn)定

19、的調(diào)度支持，能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動(dòng)獲取過程，同時(shí)支持對自動(dòng)獲取過程的日志記錄。MIB體系架構(gòu)如下圖所示：MIB數(shù)據(jù)接口元數(shù)據(jù)集成橋能夠自動(dòng)獲取主流BI工具的元數(shù)據(jù)，并支持通過對SQL腳本、TCL腳本的詞法、語法和語義分析，生成滿足CWM規(guī)范要求的數(shù)據(jù)處理元數(shù)據(jù)，存儲(chǔ)到MetaOne中進(jìn)行統(tǒng)一管理。通過MIB,MetaOne可自動(dòng)獲取系統(tǒng)項(xiàng)目的相關(guān)工具所涉及的元數(shù)據(jù)，確保元數(shù)據(jù)及時(shí)更新與業(yè)務(wù)系統(tǒng)同步，減少人為的手工梳理過程.MIB技術(shù)特點(diǎn)元數(shù)據(jù)集成橋通過把不同數(shù)據(jù)源的元數(shù)據(jù)抽取、轉(zhuǎn)換到統(tǒng)一的元數(shù)據(jù)系統(tǒng)中，能夠?qū)崿F(xiàn)企業(yè)級(jí)的元數(shù)據(jù)整合、集中和統(tǒng)一，提升系統(tǒng)的元數(shù)據(jù)管理水平,其技術(shù)特

20、點(diǎn)如下：跨平臺(tái)：服務(wù)器支持Windows、Unix、Linux(Windows20002003，Linux，IBMAIX,SUNSolaris)，RCPClient支持Windows、Linux、MacOSX系統(tǒng)；兼容性：數(shù)據(jù)存儲(chǔ)于主流關(guān)系型數(shù)據(jù)庫系統(tǒng)，支持Oracle,DB2,SQLServer等；靈活及易用性：元數(shù)據(jù)集成橋提供了友好的圖形界面，用戶只需要配置相應(yīng)的參數(shù)就可以完成本次導(dǎo)入.用戶可以選擇需要導(dǎo)入的對象列表，設(shè)置過濾規(guī)則,選擇元數(shù)據(jù)的根節(jié)點(diǎn)，無需要編程就能夠完成各省的特性化需要。主流開放性：100%JAVA、按J2EE模式構(gòu)建、基于RCPClient的客戶端架構(gòu)，采用XMLRPC

21、和JSONRPC通信方式,支持各類編程語言開發(fā)的分布式應(yīng)用程序間的通信，如C、JAVA、Perl、PHP、.N等；全中文化和國際化：界面操作全部顯示中文?？梢愿鶕?jù)需要按照區(qū)域化的配置顯示客戶熟悉的語言.后臺(tái)自動(dòng)調(diào)度：通過后臺(tái)調(diào)度自動(dòng)定期執(zhí)行導(dǎo)入作業(yè)。支持增量導(dǎo)入和自動(dòng)關(guān)系維護(hù)：同一個(gè)數(shù)據(jù)源多次導(dǎo)入時(shí)，可以支持以增量方式進(jìn)行導(dǎo)入。減少數(shù)據(jù)處理量，提高效率.&自動(dòng)關(guān)系維護(hù)：通過元數(shù)據(jù)的屬性或者解析SQL的方式，能夠自動(dòng)的建立元數(shù)據(jù)之間的關(guān)系.9.支持大數(shù)據(jù)量：為了能夠支持超大數(shù)據(jù)量(200M)的元數(shù)據(jù)導(dǎo)入，系統(tǒng)優(yōu)化了XML解析和數(shù)據(jù)比較,并且支持多個(gè)Java虛擬機(jī)(JVM)的數(shù)據(jù)導(dǎo)入，最大限度的利

22、用了硬件系統(tǒng)的資源。數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)具有獨(dú)立的元模型管理控制平臺(tái)，實(shí)現(xiàn)元模型的建立、關(guān)系的維護(hù)等功能。元模型架構(gòu)支持國際CWM規(guī)范、提供行業(yè)預(yù)定義元模型、支持用戶按需完全定制，從而保障用戶隨著時(shí)間推移對更多種類元數(shù)據(jù)的管理需要，以及完善現(xiàn)有元數(shù)據(jù)定義的需要，能滿足企業(yè)中長期發(fā)展的需求，提高投資回報(bào)率.元模型管理功能包括：提供圖形化元模型管理控制臺(tái)(Console)支持元模型的增加、刪除、修改等基本操作支持標(biāo)準(zhǔn)的CWM元模型支持元模型擴(kuò)展和自定義支持繼承、關(guān)聯(lián)、依賴等基本關(guān)系類型支持關(guān)系類型擴(kuò)展支持多業(yè)務(wù)領(lǐng)域(Domain)支持跨業(yè)務(wù)領(lǐng)域的元模型差異分析以XML格式對元模型進(jìn)行導(dǎo)入導(dǎo)出數(shù)據(jù)

23、產(chǎn)品規(guī)格說明書數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量評(píng)估體系數(shù)據(jù)質(zhì)量評(píng)估體系主要由兩部分組成：數(shù)據(jù)質(zhì)量評(píng)估維度和數(shù)據(jù)質(zhì)量加權(quán)計(jì)分卡：數(shù)據(jù)質(zhì)量基礎(chǔ)評(píng)估維度是指對數(shù)據(jù)質(zhì)量進(jìn)行定量或定性評(píng)估時(shí)所采用的描述數(shù)據(jù)質(zhì)量不同方面特性的評(píng)價(jià)標(biāo)準(zhǔn)。數(shù)據(jù)質(zhì)量加權(quán)計(jì)分卡是在數(shù)據(jù)質(zhì)量評(píng)估維度的基礎(chǔ)上,根據(jù)業(yè)務(wù)關(guān)鍵性對各類維度進(jìn)行權(quán)重設(shè)定并計(jì)算形成數(shù)據(jù)質(zhì)量評(píng)分.數(shù)據(jù)質(zhì)量基礎(chǔ)評(píng)估維度根據(jù)數(shù)據(jù)用戶對數(shù)據(jù)質(zhì)量的關(guān)注點(diǎn)不同，數(shù)據(jù)質(zhì)量特征可分為兩類：數(shù)據(jù)內(nèi)容質(zhì)量和數(shù)據(jù)展示質(zhì)量。兩類數(shù)據(jù)質(zhì)量特征分別具有一套數(shù)據(jù)質(zhì)量的基礎(chǔ)評(píng)估維度。數(shù)據(jù)內(nèi)容質(zhì)量評(píng)估維度：數(shù)據(jù)展示質(zhì)量評(píng)估維度：數(shù)據(jù)質(zhì)量加權(quán)計(jì)分卡數(shù)據(jù)質(zhì)量加權(quán)評(píng)估計(jì)分是根據(jù)數(shù)據(jù)質(zhì)量評(píng)估維度、被評(píng)估數(shù)據(jù)的技術(shù)特

24、性和業(yè)務(wù)特性等等要素對數(shù)據(jù)進(jìn)行分類，對不同類型進(jìn)行權(quán)重值設(shè)置，對根據(jù)各類數(shù)據(jù)質(zhì)量評(píng)估維度得出的基礎(chǔ)評(píng)估量化值進(jìn)行加權(quán)計(jì)算并最終得到數(shù)據(jù)質(zhì)量綜合水平計(jì)分的過程。具體分類方式如下：數(shù)據(jù)質(zhì)量評(píng)估維度分類：將上述的基礎(chǔ)評(píng)估維度進(jìn)行進(jìn)一步分類，可得到數(shù)據(jù)質(zhì)量六個(gè)方面的特性,即：合理性、一致性、及時(shí)性、完整性、唯一性和準(zhǔn)確性。數(shù)據(jù)技術(shù)特性分類:根據(jù)數(shù)據(jù)的來源不同,可以分為基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)倉庫匯總數(shù)據(jù)、應(yīng)用層數(shù)據(jù)等.數(shù)據(jù)業(yè)務(wù)特性分類：可以根據(jù)業(yè)務(wù)條線對數(shù)據(jù)進(jìn)行分類，如市場風(fēng)險(xiǎn)數(shù)據(jù)、信貸風(fēng)險(xiǎn)數(shù)據(jù)、操作風(fēng)險(xiǎn)數(shù)據(jù)等。對不同分類設(shè)置權(quán)值后，即可進(jìn)行數(shù)據(jù)質(zhì)量水平的加權(quán)計(jì)算。數(shù)據(jù)質(zhì)量加權(quán)計(jì)分卡的總體設(shè)計(jì)思路示意圖如下所示

25、:數(shù)據(jù)產(chǎn)品規(guī)格說明書第 頁功能框架數(shù)據(jù)質(zhì)量組件包含兩塊內(nèi)容：規(guī)則制定，質(zhì)量評(píng)估.規(guī)則制定是基于咨詢數(shù)據(jù)標(biāo)準(zhǔn)的導(dǎo)入,也包含企業(yè)后續(xù)對數(shù)據(jù)質(zhì)量規(guī)則的制定（數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)接口，元數(shù)據(jù)規(guī)則等）；質(zhì)量評(píng)估則是對規(guī)則結(jié)果的調(diào)整，通過數(shù)據(jù)評(píng)估，制定一整套數(shù)據(jù)質(zhì)量管理流程，便于對數(shù)據(jù)進(jìn)行修正，對業(yè)務(wù)規(guī)則進(jìn)行合并，清理，更好得服務(wù)決策和分析。質(zhì)量管理數(shù)據(jù)質(zhì)量管理系統(tǒng)通過對KPI指標(biāo)信息進(jìn)行采集，對監(jiān)控規(guī)則進(jìn)行設(shè)置，對異常信息進(jìn)行告警，出具數(shù)據(jù)質(zhì)量報(bào)告等功能，可以滿足企業(yè)對高管系統(tǒng)KPI指標(biāo)進(jìn)行監(jiān)控的需求.對于數(shù)據(jù)質(zhì)量管理來說，對規(guī)則的靈活設(shè)置,對任務(wù)的及時(shí)反饋，對結(jié)果的評(píng)估,以及和第三方工具緊密集合是一個(gè)產(chǎn)品成

26、敗的關(guān)鍵。對于數(shù)據(jù)質(zhì)量流程，一般框架如下：存儲(chǔ)管理數(shù)據(jù)質(zhì)量管理系統(tǒng)定義了支撐數(shù)據(jù)質(zhì)量監(jiān)控功能并符合CWM標(biāo)準(zhǔn)的元模型結(jié)構(gòu),包括監(jiān)控對象、采集項(xiàng)、采集規(guī)則以及監(jiān)控規(guī)則等。其中所涉及的元數(shù)據(jù)信息如監(jiān)控對象信息,需要從元數(shù)據(jù)管理系統(tǒng)獲取.質(zhì)量管理人員也可以創(chuàng)建新的元數(shù)據(jù)，來滿足質(zhì)量監(jiān)控的需要.相關(guān)的質(zhì)量信息存儲(chǔ)在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中。采集管理數(shù)據(jù)質(zhì)量采集模塊由采集服務(wù)器和采集代理組成，采集代理支持分布式部署，采集服務(wù)器對采集代理進(jìn)行集中管理，支持的功能如下所示：代理啟動(dòng)時(shí)向服務(wù)器注冊請求，注冊信息包含代理的IP地址、通訊端口、進(jìn)程ID,啟動(dòng)時(shí)間；代理每個(gè)一段時(shí)間要向服務(wù)器發(fā)送心跳檢測信號(hào)，心跳間隔時(shí)

27、間可配置；代理在允許結(jié)束時(shí)向服務(wù)器發(fā)送注銷請求；代理可以支持服務(wù)器對代理運(yùn)行狀態(tài)的查詢;代理在與服務(wù)器中斷連接后可以保留已運(yùn)行完畢檢查報(bào)告和未運(yùn)行完的任務(wù)狀態(tài)；代理負(fù)責(zé)采集數(shù)據(jù)，將采集的格式化成質(zhì)量平臺(tái)的數(shù)據(jù)格式，關(guān)聯(lián)相應(yīng)的監(jiān)控對象；服務(wù)器集中保管所有的采集配置數(shù)據(jù)，代理自動(dòng)從服務(wù)器獲取相關(guān)的采集信息。規(guī)則監(jiān)控管理數(shù)據(jù)質(zhì)量管理系統(tǒng)的規(guī)則包括數(shù)據(jù)采集規(guī)則、監(jiān)控規(guī)則以及告警規(guī)則等，因采集規(guī)則和告警規(guī)則相對較簡單。監(jiān)控規(guī)則存儲(chǔ)在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中,包括規(guī)則當(dāng)前信息、歷史信息以及變更信息等，具體規(guī)則可以通過QualityOne選擇，也可以通過前端二次開發(fā)，獲取更多的詳細(xì)分析.為了實(shí)現(xiàn)監(jiān)控規(guī)則的靈活調(diào)

28、度及與業(yè)務(wù)分析過程相結(jié)合，規(guī)則調(diào)度部分支持時(shí)間觸發(fā)調(diào)度和規(guī)則依賴調(diào)度兩種方式，具體說明如下。時(shí)間觸發(fā)方式，即按照定時(shí)觸發(fā)、循環(huán)觸發(fā)及間隔觸發(fā)的方式對規(guī)則進(jìn)行調(diào)度.如下圖所示。規(guī)則依賴調(diào)度，即某規(guī)則是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足，或某規(guī)則執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個(gè)節(jié)點(diǎn)是否執(zhí)行。此調(diào)度方式可支持?jǐn)?shù)據(jù)質(zhì)量問題的逐步探查式分析。告警管理數(shù)據(jù)質(zhì)量采集和檢查過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時(shí)，系統(tǒng)會(huì)提示某些數(shù)據(jù)或者規(guī)則超過了指定閥值，系統(tǒng)就對這些數(shù)據(jù)做告警處理.告警流程，可以通過數(shù)據(jù)接口的方式，嵌入到數(shù)據(jù)質(zhì)量管理流程中，便于后續(xù)做進(jìn)一步的處理.在告警時(shí)，客戶需分析查明告警原因，需要具體的明細(xì)

29、數(shù)據(jù)，系統(tǒng)提供界面查詢的接口，也提供后端文件的接口，便于后續(xù)的檢查，也可以用于外部前端接口更深入的分析，或者檢查歷史趨勢。質(zhì)量報(bào)告數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)質(zhì)量日常管理各種報(bào)告，包括數(shù)據(jù)質(zhì)量問題相關(guān)的各種明細(xì)及匯總報(bào)告.質(zhì)量報(bào)告模塊集成了內(nèi)置的圖形引擎，支持多種圖形的動(dòng)態(tài)展示，如柱狀圖、餅圖、折線圖等，可輸出數(shù)據(jù)表格與圖形動(dòng)態(tài)聯(lián)動(dòng)的各種數(shù)據(jù)質(zhì)量式樣，也可通過提供外部數(shù)據(jù)接口的方式，輸出復(fù)雜的質(zhì)量報(bào)告。質(zhì)量評(píng)估數(shù)據(jù)質(zhì)量評(píng)估是指依據(jù)數(shù)據(jù)質(zhì)量評(píng)估任務(wù)要求,結(jié)合數(shù)據(jù)質(zhì)量探查的結(jié)果，按照一定規(guī)則,對探查結(jié)果進(jìn)行統(tǒng)計(jì)分析，并形成綜合評(píng)估分析結(jié)果的活動(dòng),該活動(dòng)需求包括任務(wù)管理、評(píng)估規(guī)則設(shè)置、評(píng)估結(jié)果分析等。數(shù)據(jù)質(zhì)

30、量評(píng)估師對指定規(guī)則設(shè)置后的處理流程，如下圖所示（一圖為審計(jì)流程，二圖為評(píng)估處理流程）圖一圖二質(zhì)量探查數(shù)據(jù)剖析功能內(nèi)置豐富的分析評(píng)估模型內(nèi)置針對指標(biāo)日常和節(jié)假日波動(dòng)的閾值分析和優(yōu)化模型、針對指標(biāo)業(yè)務(wù)相關(guān)性的關(guān)聯(lián)波動(dòng)分析模型、針對問題分布的監(jiān)控覆蓋和規(guī)則優(yōu)化分析模型等常用分析評(píng)估模型，并且可以根據(jù)業(yè)務(wù)需要進(jìn)行擴(kuò)充。列分析，對數(shù)據(jù)源表中的字段的值進(jìn)行統(tǒng)計(jì)。比如:最大值，最小值，唯一值個(gè)數(shù)，NULL值的比例，字段類型,長度,字段格式以及數(shù)值分布比例等；連接分析,對兩個(gè)表之間的連接列和匹配程度進(jìn)行分析；鍵值分析，分析和檢查表的中某1列或多列是否符合唯一性約束高級(jí)分析功能規(guī)則管理：支持對數(shù)據(jù)源表中的字段設(shè)

31、置評(píng)分權(quán)重，以及配置校驗(yàn)規(guī)則;規(guī)則分類：質(zhì)量監(jiān)控信息進(jìn)行規(guī)則校驗(yàn)、觸發(fā)質(zhì)量告警的計(jì)算準(zhǔn)則，是判斷是否為數(shù)據(jù)質(zhì)量問題的標(biāo)準(zhǔn),主要包括如下幾類:均差探查一致性校驗(yàn)規(guī)則自定義檢查規(guī)則關(guān)聯(lián)性分析檢查支持度分析數(shù)據(jù)質(zhì)量產(chǎn)品功能需求MetaOne支持度說明系統(tǒng)操作功能100%系統(tǒng)服務(wù)功能100%變更和升級(jí)100%基本功能要求數(shù)據(jù)探查列分析100%連接分析100%鍵值分析100%復(fù)雜規(guī)則分析100%數(shù)據(jù)準(zhǔn)確性分析100%數(shù)據(jù)一致性分析100%數(shù)據(jù)完整性分析100%數(shù)據(jù)規(guī)范性分析100%數(shù)據(jù)參照完整性分析100%其他分析100%質(zhì)量評(píng)估定義評(píng)估任務(wù)100%跟蹤評(píng)估結(jié)果100%評(píng)估規(guī)則設(shè)定100%權(quán)重設(shè)置100

32、%評(píng)估計(jì)算手工或者自動(dòng)100%支持第三方100%通過接口方式，需要ETL工作統(tǒng)計(jì)報(bào)表需求100%用戶權(quán)限管理需求100%安全審計(jì)需求100%性能說明100%其他要求100%視情況而定，可以客制化4.2系統(tǒng)調(diào)度數(shù)據(jù)管控體系內(nèi)部任務(wù)調(diào)度機(jī)制采用雙模型進(jìn)行，整體系統(tǒng)調(diào)度集合企業(yè)數(shù)據(jù)倉庫的統(tǒng)一調(diào)度平臺(tái)觸發(fā)平臺(tái)內(nèi)部調(diào)度機(jī)制.系統(tǒng)調(diào)度設(shè)計(jì)遵循企業(yè)Automation調(diào)度機(jī)制,主要是幫助有效監(jiān)控?cái)?shù)據(jù)管控體系項(xiàng)目中的關(guān)注風(fēng)險(xiǎn)系統(tǒng)指標(biāo)規(guī)則.4.3系統(tǒng)集成MetaOne系統(tǒng)根據(jù)需要靈活地為其他系統(tǒng)、應(yīng)用或平臺(tái)所嵌套集成，以滿足業(yè)務(wù)用戶能夠就近訪問操作的需要；MetaOne系統(tǒng)具備該能力，是由于MetaOne采用平臺(tái)架構(gòu)，提供強(qiáng)大的API接口，MOI(MetaOneInterface)是MetaOne根據(jù)多年元數(shù)據(jù)