數(shù)據(jù)管控規(guī)范

1、.1 數(shù)據(jù)管理架構(gòu)1.1 數(shù)據(jù)管理平臺(tái)功能藍(lán)圖數(shù)據(jù)管理就是對(duì)交易中心現(xiàn)有的業(yè)務(wù)支撐系統(tǒng)的數(shù)據(jù)進(jìn)行統(tǒng)一的數(shù)據(jù)管理、質(zhì)量管控、并且通過標(biāo)準(zhǔn)的共享模式，實(shí)現(xiàn)核心數(shù)據(jù)統(tǒng)一存儲(chǔ)，維護(hù)和使用的問題，提升交易中心現(xiàn)有數(shù)據(jù)的安全存儲(chǔ)和高效使用等能力，并更加深入地進(jìn)行數(shù)據(jù)挖掘等工作，為中心創(chuàng)造更多的價(jià)值。未來(lái)的數(shù)據(jù)管理平臺(tái)將對(duì)中心現(xiàn)有系統(tǒng)的數(shù)據(jù)進(jìn)行統(tǒng)一的數(shù)據(jù)的整合、數(shù)據(jù)的管控，并運(yùn)用數(shù)據(jù)進(jìn)行統(tǒng)一的服務(wù)管控來(lái)提升服務(wù)共享的水平，為中心的服務(wù)提供全方面的數(shù)據(jù)支撐。數(shù)據(jù)管理平臺(tái)的功能藍(lán)圖如圖所示：l 數(shù)據(jù)整合域，是對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行采集和清洗轉(zhuǎn)換，并對(duì)采集過程中的數(shù)據(jù)進(jìn)行質(zhì)量檢測(cè)，來(lái)確保整合數(shù)據(jù)的準(zhǔn)確性和可靠性

2、。l 數(shù)據(jù)管控域，對(duì)采集到數(shù)據(jù)按照其不同的屬性進(jìn)行分類存儲(chǔ)管控，對(duì)數(shù)據(jù)的質(zhì)量、數(shù)據(jù)的安全以及信息的生命周期進(jìn)行統(tǒng)一的管理，并對(duì)數(shù)據(jù)在使用過程的各種信息進(jìn)行統(tǒng)計(jì)分析。l 服務(wù)共享域， 利用數(shù)據(jù)管理平臺(tái)已有的數(shù)據(jù)資源，進(jìn)行自定義的數(shù)據(jù)服務(wù)配置，定制出符合要求的服務(wù)，進(jìn)行相關(guān)服務(wù)流程的編排，通過數(shù)據(jù)中心將服務(wù)進(jìn)行發(fā)布。l 服務(wù)管理域，主要是對(duì)提供的服務(wù)進(jìn)行管理，包括服務(wù)應(yīng)用的管理，服務(wù)流程的管理以及服務(wù)監(jiān)控。1.2 數(shù)據(jù)集成數(shù)據(jù)整合就是將離散于各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化。數(shù)據(jù)整合階段主要分為以下三個(gè)步驟執(zhí)行：l 數(shù)據(jù)類型識(shí)別根據(jù)業(yè)務(wù)使用情況分析目前各個(gè)系統(tǒng)中的數(shù)據(jù)實(shí)體，其中哪些是主數(shù)據(jù)，哪些是非

3、主數(shù)據(jù)但需要共享的數(shù)據(jù)，哪些是私有數(shù)據(jù)。數(shù)據(jù)類型會(huì)作為制定同步規(guī)則和清洗規(guī)則的重要依據(jù)。l 數(shù)據(jù)同步規(guī)則確定分析采集的各種數(shù)據(jù)需要達(dá)到的同步頻率，從實(shí)時(shí)、準(zhǔn)實(shí)時(shí)到天、月不等，針對(duì)不同的同步頻率需求結(jié)合每次同步的數(shù)據(jù)量來(lái)選擇同步方式，ETL（抽取-轉(zhuǎn)化-加載）和ESB（企業(yè)服務(wù)總線）分別適用于不同場(chǎng)景。ETL本身也有多種具體的技術(shù)手段來(lái)實(shí)現(xiàn)各種情況下的同步，如Hotplug、全表對(duì)比、時(shí)間戳等。在這里，將根據(jù)不同的數(shù)據(jù)類別和數(shù)據(jù)使用頻度和需求頻度等情況，制定出相應(yīng)的數(shù)據(jù)同步的機(jī)制，采用實(shí)時(shí)數(shù)據(jù)整合和批量數(shù)據(jù)整合兩種方式進(jìn)行數(shù)據(jù)的整合。l 數(shù)據(jù)清洗規(guī)則確定在進(jìn)行數(shù)據(jù)整合過程中，由于不同系統(tǒng)中可能重

4、復(fù)出現(xiàn)的數(shù)據(jù)，以及數(shù)據(jù)本身的缺失和錯(cuò)誤等問題，為了避免由于不同系統(tǒng)中相同數(shù)據(jù)由于編碼規(guī)則、格式之間的差異，在清洗過程中需要制定統(tǒng)一的數(shù)據(jù)清洗規(guī)則，對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，確保數(shù)據(jù)管理平臺(tái)中的數(shù)據(jù)能夠保持一致性。同時(shí)，在數(shù)據(jù)清洗的過程中，需要對(duì)采集數(shù)據(jù)的質(zhì)量以及清洗后數(shù)據(jù)的質(zhì)量進(jìn)行檢測(cè)。其中，在數(shù)據(jù)采集過程中，對(duì)采集的數(shù)據(jù)進(jìn)行整合，確保采集的數(shù)據(jù)都能滿足質(zhì)量要求，能夠通過正確的清洗和轉(zhuǎn)換；對(duì)于轉(zhuǎn)換完成的數(shù)據(jù)，通過再次的檢測(cè)，保證轉(zhuǎn)換數(shù)據(jù)的一致性和正確性，從而確保數(shù)據(jù)的準(zhǔn)確行和權(quán)威性。1.3 數(shù)據(jù)管控?cái)?shù)據(jù)管控就是對(duì)于進(jìn)行整合后的數(shù)據(jù)進(jìn)行相關(guān)的管控，使其能夠滿足交易中心管理對(duì)于數(shù)據(jù)使用的各種需求。1.

5、3.1 數(shù)據(jù)生命周期規(guī)劃數(shù)據(jù)生命周期規(guī)劃，就是對(duì)數(shù)據(jù)從在各個(gè)應(yīng)用系統(tǒng)的中產(chǎn)生，然后通過各種采集整合手段聚合到數(shù)據(jù)管理平臺(tái)，直至最終通過建立各種主題數(shù)據(jù)倉(cāng)庫(kù)提供各種數(shù)據(jù)服務(wù)的整個(gè)過程進(jìn)行規(guī)劃，使數(shù)據(jù)能夠滿足各種業(yè)務(wù)的使用需要。數(shù)據(jù)生命周期規(guī)劃，把數(shù)據(jù)劃分為以下3個(gè)域，分別保存不同階段的數(shù)據(jù)：ADB應(yīng)用數(shù)據(jù)庫(kù)數(shù)據(jù)管理平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)核心功能為操作型應(yīng)用提供數(shù)據(jù)存儲(chǔ)和訪問提供領(lǐng)域內(nèi)統(tǒng)一、一致的數(shù)據(jù)視圖，包含MDM主數(shù)據(jù)管理1、存儲(chǔ)數(shù)據(jù)管理平臺(tái)歷史數(shù)據(jù)2、為分析應(yīng)用提供多維數(shù)據(jù)基礎(chǔ)數(shù)據(jù)模型應(yīng)用自身的數(shù)據(jù)模型共享數(shù)據(jù)模型共享關(guān)系模型，多維分析模型數(shù)據(jù)存儲(chǔ)類型關(guān)系型數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)、

6、或多維數(shù)據(jù)引擎軟件數(shù)據(jù)內(nèi)容本應(yīng)用需要的所有細(xì)節(jié)信息運(yùn)營(yíng)共享信息數(shù)據(jù)管理平臺(tái)的所有歷史數(shù)據(jù)支撐的應(yīng)用實(shí)時(shí)應(yīng)用統(tǒng)一視圖、準(zhǔn)實(shí)時(shí)/實(shí)時(shí)的數(shù)據(jù)訪問支撐分析型應(yīng)用數(shù)據(jù)更新頻率秒分鐘到1天1天-1周數(shù)據(jù)存儲(chǔ)周期3-12個(gè)月3-12個(gè)月所有l(wèi) ADB應(yīng)用數(shù)據(jù)庫(kù)應(yīng)用數(shù)據(jù)庫(kù)主要是為交易中心主要的業(yè)務(wù)支撐系統(tǒng)和內(nèi)部管理系統(tǒng)的應(yīng)用提供數(shù)據(jù)存儲(chǔ)和訪問。在應(yīng)用數(shù)據(jù)庫(kù)只存儲(chǔ)支撐本系統(tǒng)運(yùn)行的數(shù)據(jù)資源，以滿足本系統(tǒng)的使用要求。應(yīng)用數(shù)據(jù)庫(kù)的數(shù)據(jù)在進(jìn)行日常業(yè)務(wù)處理的過程中，不斷的進(jìn)行更新，以便同實(shí)際的業(yè)務(wù)情況保持一致。l 數(shù)據(jù)管理平臺(tái)應(yīng)用數(shù)據(jù)庫(kù)的數(shù)據(jù)，經(jīng)過統(tǒng)一的清洗和轉(zhuǎn)換后，進(jìn)入數(shù)據(jù)管理平臺(tái)進(jìn)行統(tǒng)一的存儲(chǔ)管理。在數(shù)據(jù)管理平臺(tái)，將

7、通過建立統(tǒng)一的數(shù)據(jù)視圖，為各種數(shù)據(jù)服務(wù)提供數(shù)據(jù)。數(shù)據(jù)管理平臺(tái)的數(shù)據(jù)更新根據(jù)不同的數(shù)據(jù)需求和應(yīng)用系統(tǒng)的實(shí)際情況進(jìn)行區(qū)分，通過實(shí)時(shí)的數(shù)據(jù)采集和批量數(shù)據(jù)采集兩種方式進(jìn)行。l 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)是為了滿足某一特定的決策支持和聯(lián)機(jī)分析而建立的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。交易中心在進(jìn)行業(yè)務(wù)活動(dòng)和內(nèi)部管理的過程中形成了大量的數(shù)據(jù)資源，利用數(shù)據(jù)倉(cāng)庫(kù)，對(duì)已有的數(shù)據(jù)資源進(jìn)行深入的挖掘和聯(lián)機(jī)分析，即可以滿足交易中心日常的數(shù)據(jù)查詢要求；又可充分挖掘數(shù)據(jù)內(nèi)涵的意義，為中心的各項(xiàng)業(yè)務(wù)決策提供良好的支持。例如，根據(jù)交易中心目前的使用要求，建立交易信息、企業(yè)信息、專家信息的主題數(shù)據(jù)倉(cāng)庫(kù)，為中心的各項(xiàng)活動(dòng)提供業(yè)務(wù)支持。1.3.2 元數(shù)據(jù)管理

8、元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，元數(shù)據(jù)主要用于在數(shù)據(jù)倉(cāng)庫(kù)里描述數(shù)據(jù)及其環(huán)境，它是在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標(biāo)定義，轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。因此，元數(shù)據(jù)的管理對(duì)于數(shù)據(jù)倉(cāng)庫(kù)有著重要的意義。在目前的數(shù)據(jù)管理平臺(tái)上，將提供對(duì)各數(shù)據(jù)的實(shí)體定義和流程管控管理兩方面的元數(shù)據(jù)進(jìn)行管理。其中，數(shù)據(jù)實(shí)體管理是對(duì)各個(gè)數(shù)據(jù)實(shí)體來(lái)進(jìn)行實(shí)體定義，對(duì)實(shí)體之間的關(guān)系進(jìn)行約束，實(shí)現(xiàn)對(duì)數(shù)據(jù)管理平臺(tái)里所有數(shù)據(jù)實(shí)體的管理。對(duì)于流程管控管理方面，通過制定規(guī)范的數(shù)據(jù)流程制度，嚴(yán)格控制數(shù)據(jù)的流向以及數(shù)據(jù)在各流程中的情況，對(duì)數(shù)據(jù)管理平臺(tái)中的各項(xiàng)數(shù)據(jù)流程進(jìn)行管控。1.3.3 主數(shù)據(jù)管理主數(shù)據(jù)是描述核心業(yè)務(wù)實(shí)體（如招標(biāo)項(xiàng)目、企業(yè)和

9、專家）的一個(gè)或多個(gè)屬性，主數(shù)據(jù)管理具有很高的重要性。首先，完善的主數(shù)據(jù)管理可以使各個(gè)業(yè)務(wù)視角能獲得一致的數(shù)據(jù)基礎(chǔ)，減少數(shù)據(jù)差異帶來(lái)的業(yè)務(wù)錯(cuò)誤和客戶投訴，還可以充分發(fā)揮各個(gè)業(yè)務(wù)視角數(shù)據(jù)管理和維護(hù)的能力，而不加重業(yè)務(wù)部門的負(fù)擔(dān)，另外，主數(shù)據(jù)管理是SOA實(shí)施過程中，關(guān)鍵業(yè)務(wù)對(duì)象抽象的重要基礎(chǔ)。主數(shù)據(jù)管理具備以下功能特點(diǎn)：u 整合：在組織層面上整合了現(xiàn)有應(yīng)用系統(tǒng)的主數(shù)據(jù)信息，進(jìn)行主數(shù)據(jù)的集中處理。u 共享：主數(shù)據(jù)作為組織權(quán)威的統(tǒng)一、一致的數(shù)據(jù)，為組織各應(yīng)用系統(tǒng)提供準(zhǔn)確的共享數(shù)據(jù)。u 統(tǒng)一：實(shí)現(xiàn)對(duì)于客戶、產(chǎn)品和供應(yīng)商都通用的主數(shù)據(jù)形式，加速數(shù)據(jù)輸入、檢索和分析。u 并行管理：支持?jǐn)?shù)據(jù)的多用戶管理，包括限

10、制某些用戶添加、更新或查看維護(hù)主數(shù)據(jù)的流程的能力。u 集成能力：集成產(chǎn)品信息管理、客戶關(guān)系管理、客戶數(shù)據(jù)集成以及可對(duì)主數(shù)據(jù)進(jìn)行分析的其他解決方案。在交易中心的系統(tǒng)中，主要的主數(shù)據(jù)為招投標(biāo)項(xiàng)目主數(shù)據(jù)、企業(yè)主數(shù)據(jù)和專家主數(shù)據(jù)，各個(gè)主數(shù)據(jù)又由若干個(gè)相關(guān)實(shí)體組成。通過統(tǒng)一的主數(shù)據(jù)管理，可以規(guī)范數(shù)據(jù)的錄入和使用，使得數(shù)據(jù)的存儲(chǔ)的一致性，使用的規(guī)范性。以下為各主數(shù)據(jù)在進(jìn)行主數(shù)據(jù)管理前后的情況列表。主數(shù)據(jù)主系統(tǒng)（生產(chǎn)系統(tǒng)）從屬系統(tǒng)（使用系統(tǒng)）招標(biāo)項(xiàng)目項(xiàng)目基本信息網(wǎng)上填報(bào)編碼系統(tǒng)，交易系統(tǒng)，評(píng)標(biāo)系統(tǒng)，企業(yè)庫(kù)，專家?guī)?，電子化資審，誠(chéng)信平臺(tái)項(xiàng)目編碼編碼系統(tǒng)交易系統(tǒng)，評(píng)標(biāo)系統(tǒng)，企業(yè)庫(kù)，專家?guī)欤娮踊Y審，誠(chéng)信平臺(tái)正

11、式投標(biāo)人交易系統(tǒng)評(píng)標(biāo)系統(tǒng)，企業(yè)庫(kù)，專家?guī)?，誠(chéng)信平臺(tái)定標(biāo)結(jié)果交易系統(tǒng)企業(yè)庫(kù)，專家?guī)欤\(chéng)信平臺(tái)中標(biāo)公示交易系統(tǒng)企業(yè)庫(kù)，專家?guī)欤\(chéng)信平臺(tái)專家抽取信息交易系統(tǒng)專家?guī)鞂＜液灥叫畔⒔灰紫到y(tǒng)專家?guī)鞂＜覍＜一拘畔＜規(guī)旖灰紫到y(tǒng)，評(píng)標(biāo)系統(tǒng)專家回避單位專家?guī)旖灰紫到y(tǒng)，評(píng)標(biāo)系統(tǒng)人員指紋庫(kù)專家?guī)旖灰紫到y(tǒng)，評(píng)標(biāo)系統(tǒng)企業(yè)企業(yè)基本信息企業(yè)庫(kù)交易系統(tǒng)，電子化資審，誠(chéng)信平臺(tái)企業(yè)項(xiàng)目信息企業(yè)庫(kù)交易系統(tǒng)，電子化資審，誠(chéng)信平臺(tái)企業(yè)人員信息企業(yè)庫(kù)交易系統(tǒng)，電子化資審，誠(chéng)信平臺(tái)表1 應(yīng)用系統(tǒng)整合前主數(shù)據(jù)情況主數(shù)據(jù)主系統(tǒng)（生產(chǎn)造系統(tǒng)）從屬系統(tǒng)（使用系統(tǒng)）招標(biāo)項(xiàng)目項(xiàng)目基本信息交易系統(tǒng)評(píng)標(biāo)系統(tǒng)，企業(yè)庫(kù)，專家?guī)祉?xiàng)目編碼交易系統(tǒng)評(píng)標(biāo)系統(tǒng)，企業(yè)庫(kù)

12、，專家?guī)煺酵稑?biāo)人交易系統(tǒng)評(píng)標(biāo)系統(tǒng)，企業(yè)庫(kù)，專家?guī)於?biāo)結(jié)果交易系統(tǒng)企業(yè)庫(kù)，專家?guī)熘袠?biāo)公示交易系統(tǒng)企業(yè)庫(kù)，專家?guī)鞂＜页槿⌒畔⒔灰紫到y(tǒng)專家?guī)鞂＜液灥叫畔⒔灰紫到y(tǒng)專家?guī)鞂＜覍＜一拘畔＜規(guī)旖灰紫到y(tǒng)，評(píng)標(biāo)系統(tǒng)專家回避單位專家?guī)旖灰紫到y(tǒng)，評(píng)標(biāo)系統(tǒng)人員指紋庫(kù)專家?guī)旖灰紫到y(tǒng)，評(píng)標(biāo)系統(tǒng)企業(yè)企業(yè)基本信息企業(yè)庫(kù)交易系統(tǒng) 企業(yè)項(xiàng)目信息企業(yè)庫(kù)交易系統(tǒng) 企業(yè)人員信息企業(yè)庫(kù)交易系統(tǒng) 表2 應(yīng)用系統(tǒng)整合后主數(shù)據(jù)情況通過對(duì)于系統(tǒng)的整合和主數(shù)據(jù)管理后，對(duì)于數(shù)據(jù)的使用和管理都更為明晰，使得系統(tǒng)間的數(shù)據(jù)交互更加清晰，系統(tǒng)間的耦合程度大為降低，系統(tǒng)的效率大為提高。1.3.4 數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量的好壞是數(shù)據(jù)應(yīng)用的基礎(chǔ)，因此，在數(shù)據(jù)

13、管理平臺(tái)中，對(duì)于數(shù)據(jù)質(zhì)量的管理也是數(shù)據(jù)管理的重點(diǎn)。對(duì)于數(shù)據(jù)質(zhì)量的管理，主要分為對(duì)數(shù)據(jù)使用的流程進(jìn)行管理，以保證數(shù)據(jù)的使用符合規(guī)范的流程，保證了數(shù)據(jù)使用的規(guī)劃；對(duì)數(shù)據(jù)使用的應(yīng)用服務(wù)進(jìn)行管理，以便對(duì)于各項(xiàng)數(shù)據(jù)服務(wù)的情況有一個(gè)全面、細(xì)致的了解；最后，對(duì)于數(shù)據(jù)服務(wù)的信息進(jìn)行監(jiān)測(cè)，對(duì)于異常情況進(jìn)行預(yù)警，并輸出服務(wù)信息報(bào)表，以便對(duì)服務(wù)情況進(jìn)行分析。1.4 服務(wù)共享數(shù)據(jù)共享的基本思路是將現(xiàn)存系統(tǒng)中點(diǎn)對(duì)點(diǎn)的網(wǎng)狀結(jié)構(gòu)改造為基于數(shù)據(jù)總線的模式。通過運(yùn)用數(shù)據(jù)總線的模式，通過統(tǒng)一規(guī)范的數(shù)據(jù)共享機(jī)制使得對(duì)于數(shù)據(jù)管理的可以大大降低后續(xù)對(duì)數(shù)據(jù)維護(hù)的成本。下表為獨(dú)立接口和總線模式的各種效率對(duì)比。比較項(xiàng) 獨(dú)立接口 數(shù)據(jù)總線 接

14、口數(shù)量 多n*(n-1) 少(n) 耦合程度 緊 松 開發(fā)復(fù)雜性 復(fù)雜，手工編碼 簡(jiǎn)單 管理與維護(hù) 混亂 容易，集中管理 擴(kuò)展性 困難 易擴(kuò)展 實(shí)施周期 長(zhǎng) 短 通過在交易中心的系統(tǒng)調(diào)研，我們整理出現(xiàn)有的系統(tǒng)的數(shù)據(jù)接口以及系統(tǒng)接口的數(shù)據(jù)交換情況，并以此進(jìn)行數(shù)據(jù)總線的改造，形成基于總線的數(shù)據(jù)共享模式，以期達(dá)到服務(wù)共享的目的。整合前的系統(tǒng)之間的數(shù)據(jù)交互關(guān)系復(fù)雜，且企業(yè)庫(kù)等系統(tǒng)同交易系統(tǒng)形成一個(gè)大的系統(tǒng)，不便于數(shù)據(jù)服務(wù)的共享。運(yùn)用數(shù)據(jù)總線的思想，我們構(gòu)建了基于總線的數(shù)據(jù)服務(wù)形式，情況如下圖所示。如圖所示，通過數(shù)據(jù)總線的形式，我們整合了所有系統(tǒng)的數(shù)據(jù)，并通過數(shù)據(jù)總線的形式，提供了統(tǒng)一的數(shù)據(jù)服務(wù)，使得數(shù)據(jù)的管理和使用能夠有一個(gè)統(tǒng)一的機(jī)制，以便能夠更好的達(dá)到服務(wù)共享的目的。1.5 服務(wù)治理在總線上實(shí)現(xiàn)數(shù)據(jù)服務(wù)共享后，為了使用戶更好的了解數(shù)據(jù)服務(wù)的應(yīng)用情況，需要在為系統(tǒng)上搭建數(shù)據(jù)服務(wù)的維護(hù)管理功能。用戶可通過圖形化的方式實(shí)現(xiàn)對(duì)數(shù)據(jù)服務(wù)的監(jiān)控、統(tǒng)計(jì)和分析。服務(wù)治理功能主要用來(lái)對(duì)眾多的服務(wù)進(jìn)行管理和控制（包括此處的數(shù)據(jù)服務(wù)，也包括今后將實(shí)現(xiàn)的業(yè)務(wù)服務(wù)），為服務(wù)消費(fèi)者、服務(wù)供應(yīng)商、SOA運(yùn)營(yíng)人員提