關(guān)于大數(shù)據(jù)治理的研究與分析

1、關(guān)于大數(shù)據(jù)治理的研究與分析2016-05-01目錄1數(shù)據(jù)治理的背景和現(xiàn)狀11.1 數(shù)據(jù)治理背景11.2 數(shù)據(jù)治理現(xiàn)狀22數(shù)據(jù)治理策略22.1 數(shù)據(jù)治理要素32.2 數(shù)據(jù)治理策略33元數(shù)據(jù)管理53.1 元數(shù)據(jù)的定義53.2 為什么要進(jìn)行元數(shù)據(jù)管理63.3 數(shù)據(jù)模型標(biāo)準(zhǔn)化73.4 標(biāo)準(zhǔn)化體系（數(shù)據(jù)定義&模型設(shè)計(jì)）74主數(shù)據(jù)84.1 主數(shù)據(jù)的定義84.2 為什么要作主數(shù)據(jù)管理84.3 如何做好主數(shù)據(jù)管理94.4 主數(shù)據(jù)實(shí)施流程94.5 主數(shù)據(jù)管理體系105數(shù)據(jù)質(zhì)量管理105.1 數(shù)據(jù)質(zhì)量問(wèn)題105.2 組織架構(gòu)設(shè)計(jì)115.3 數(shù)據(jù)質(zhì)量治理流程115.4 數(shù)據(jù)治理管理方法121數(shù)據(jù)治理的背景和

2、現(xiàn)狀1.1數(shù)據(jù)治理背景隨著網(wǎng)絡(luò)和信息技術(shù)的不斷普及，人類(lèi)產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)。大約每?jī)赡攴环?，根?jù)監(jiān)測(cè)，這個(gè)速度在2020年之前會(huì)繼續(xù)保持下去。這意味著人類(lèi)在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長(zhǎng)。信息數(shù)據(jù)的單位由TB-PB-EB-ZB的級(jí)別暴增。這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇。如何管理和使用這些數(shù)據(jù)，逐漸成為一個(gè)新的領(lǐng)域，于是大數(shù)據(jù)的概念應(yīng)運(yùn)而生。大數(shù)據(jù)時(shí)代凸現(xiàn)數(shù)摭重要性數(shù)據(jù)治理是大數(shù)據(jù)的基礎(chǔ)I信息孤島現(xiàn)象嚴(yán)重治理6數(shù)據(jù)應(yīng)用未得到有效皆理J"數(shù)據(jù)安全問(wèn)題日益

3、嚴(yán)梭圖1數(shù)據(jù)治理背景圖1.2數(shù)據(jù)治理現(xiàn)狀大數(shù)據(jù)的快速發(fā)展，使它成為IT領(lǐng)域的又一大新興產(chǎn)業(yè)。據(jù)中央財(cái)經(jīng)大學(xué)中國(guó)經(jīng)濟(jì)管理研究院博士張永力估算，國(guó)外大數(shù)據(jù)行業(yè)約有1000億美元的市場(chǎng)，而且每年都以10%的速度在增長(zhǎng)，增速是軟件行業(yè)的兩倍。我國(guó)2012年大數(shù)據(jù)市場(chǎng)規(guī)模大約4.7億元，2013年增速將達(dá)到138%,達(dá)到11.2億元，產(chǎn)業(yè)發(fā)展?jié)摿Ψ浅＞薮?。我?guó)大數(shù)據(jù)飛速發(fā)展的背后存在諸多的問(wèn)題：相關(guān)利益交織，協(xié)調(diào)難；方案規(guī)劃容易，落地困難；過(guò)度依賴(lài)技術(shù)工具；對(duì)于數(shù)據(jù)沒(méi)有明確區(qū)分。個(gè)人計(jì)ITK/網(wǎng)霜式r云目摩,兒昭機(jī)上中帆微姓理X分布式訃W大數(shù)揖jm-1圖2數(shù)據(jù)現(xiàn)狀分析圖2數(shù)據(jù)治理策略2.1 數(shù)據(jù)治理要素

4、圖3數(shù)據(jù)治理要素分析圖2.2 數(shù)據(jù)治理策略第一步：落實(shí)合適的人員負(fù)責(zé)治理。任何成功的數(shù)據(jù)治理計(jì)劃的第一個(gè)步驟就是，要在本企業(yè)找到CEO可以授權(quán)的人，然后讓該人負(fù)責(zé)項(xiàng)目的具體實(shí)施。沒(méi)有什么能取代強(qiáng)有力的領(lǐng)導(dǎo)人。數(shù)據(jù)治理是涉及人事的一個(gè)難題，這需要在許多不同的利益相關(guān)者之間達(dá)成共識(shí)。因而,在本企業(yè)里面選定這樣的領(lǐng)導(dǎo)人是一項(xiàng)重要工作。治理官員一旦選定下來(lái)，就要成立由企業(yè)的利益相關(guān)者組成的治理委員會(huì)，制訂監(jiān)管政策、向CEO及董事會(huì)報(bào)告進(jìn)度。第二步：調(diào)查清楚所處環(huán)境。一旦選定了領(lǐng)導(dǎo)小組，就要調(diào)查當(dāng)前情形，并清查不同部門(mén)在不同領(lǐng)域的當(dāng)前最佳實(shí)踐。領(lǐng)導(dǎo)小組需要越過(guò)獨(dú)立系統(tǒng)看待問(wèn)題，而企業(yè)數(shù)據(jù)治理評(píng)估方法對(duì)這

5、項(xiàng)工作來(lái)說(shuō)必不可少。并且提供了一份路線(xiàn)圖以便確定以這有助于比較本企業(yè)的數(shù)據(jù)治理計(jì)劃目前處于什么狀態(tài),后的目標(biāo)。第三步：制訂數(shù)據(jù)治理策略。數(shù)據(jù)治理評(píng)估之后，治理委員會(huì)就應(yīng)當(dāng)考慮制訂遠(yuǎn)景，希望公司的數(shù)據(jù)治理實(shí)踐在接下來(lái)的幾年達(dá)到何種目標(biāo)，根據(jù)這種需求為未來(lái)制訂遠(yuǎn)景。委員會(huì)應(yīng)當(dāng)向后規(guī)劃，并且制訂切合實(shí)際的里程碑和項(xiàng)目計(jì)劃來(lái)填補(bǔ)相關(guān)的缺口。具體辦法就是制訂關(guān)鍵績(jī)效指標(biāo)來(lái)跟蹤進(jìn)度，并且向CEO和董事會(huì)提交年度報(bào)告來(lái)證實(shí)成果。第四步：算出數(shù)據(jù)價(jià)值。估算數(shù)據(jù)價(jià)值。要是公司不知道數(shù)據(jù)的價(jià)值，它們就無(wú)法提高、保護(hù)或者評(píng)估數(shù)據(jù)對(duì)賬本底線(xiàn)的價(jià)值。數(shù)據(jù)不是一種普通商品，而是像水龍頭里出來(lái)的水-對(duì)生命至關(guān)重要，又往往被

6、人們認(rèn)為是理所當(dāng)然的。你要是不知道某物的價(jià)格，就無(wú)法算出它的價(jià)值。如果你想算出數(shù)據(jù)的價(jià)值，就要根據(jù)用戶(hù)權(quán)限和IT服務(wù)的效用，為數(shù)據(jù)建立內(nèi)部市場(chǎng)。當(dāng)本企業(yè)的每個(gè)人都在直接付費(fèi)獲取IT服務(wù)和數(shù)據(jù)時(shí)，數(shù)據(jù)的價(jià)值就成了公司價(jià)目表上的一部分。第五步：算出風(fēng)險(xiǎn)概率。知道數(shù)據(jù)在過(guò)去是如何使用和濫用的，這有助于了解數(shù)據(jù)在將來(lái)會(huì)如何被危及和披露。每家企業(yè)都有一些原因，如一些事件和損失在獨(dú)立系統(tǒng)、層次體系和商業(yè)報(bào)告中消失。這些數(shù)據(jù)已經(jīng)可供使用，卻沒(méi)有被大多數(shù)企業(yè)所使用。收集這些數(shù)據(jù)，與其意義聯(lián)系起來(lái)，并研成基于事實(shí)的商業(yè)智能方法，從究長(zhǎng)期的損失趨勢(shì)，這可以幫助任何企業(yè)把風(fēng)險(xiǎn)管理轉(zhuǎn)變而可分析過(guò)去事件，預(yù)測(cè)未來(lái)?yè)p失，

7、改變當(dāng)前的政策要求，成為未來(lái)改善風(fēng)險(xiǎn)緩解策略。第六步：密切關(guān)注控制措施的效果。數(shù)據(jù)治理在很大程度上涉及企業(yè)的組織行為。企業(yè)每天在變化,因而它們的數(shù)據(jù)、價(jià)值及風(fēng)險(xiǎn)也在迅速變化。遺憾的是，大多數(shù)企業(yè)每年對(duì)自己只評(píng)估一次。要是公司無(wú)法改變組織控制措施來(lái)滿(mǎn)足每天或者每周出現(xiàn)的需求，也就談不上變化治理。數(shù)找質(zhì)提打是R標(biāo)圖4數(shù)據(jù)治理實(shí)施建議圖3元數(shù)據(jù)管理3.1 元數(shù)據(jù)的定義技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開(kāi)發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)使用的數(shù)據(jù)，它主要包括以下信息：數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述，包括倉(cāng)庫(kù)模式、視圖、維、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容；業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的體系結(jié)

8、構(gòu)和模式。業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，它提供了介于使用者和實(shí)際系統(tǒng)之間的語(yǔ)義層，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠“讀懂”數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；訪(fǎng)問(wèn)數(shù)據(jù)的原則和數(shù)據(jù)的來(lái)源；系統(tǒng)所提供的分析方法以及公式和報(bào)表的信息；具體包括以下信息：企業(yè)概念模型：這是業(yè)務(wù)元數(shù)據(jù)所應(yīng)提供的重要的信息，它表示企業(yè)數(shù)據(jù)模型的高層信息、整個(gè)企業(yè)的業(yè)務(wù)概念和相互關(guān)系。3.2 為什么要進(jìn)行元數(shù)據(jù)管理效據(jù)的參考框紫可視牝數(shù)據(jù)流動(dòng)IE=日卜r-e!n,?"影響和血緣分析推進(jìn)標(biāo)準(zhǔn)化建設(shè)*+!規(guī)范化數(shù)據(jù)審計(jì)圖5數(shù)據(jù)管理分析圖3.3數(shù)

9、據(jù)模型標(biāo)準(zhǔn)化蜜憚性.無(wú)時(shí)的.口里管是出鵬一方杜；配吃通算.餐兒料再節(jié)管理性詢(xún)咕，的蠢樸.佗川施m.”玷圖6數(shù)據(jù)模型示意圖3.4標(biāo)準(zhǔn)化體系（數(shù)據(jù)定義&模型設(shè)計(jì)）標(biāo)準(zhǔn)化體系：一定范圍內(nèi)的標(biāo)準(zhǔn)按其內(nèi)在聯(lián)系形成的科學(xué)的有機(jī)整體。標(biāo)準(zhǔn)化體系它規(guī)定了質(zhì)量方針、目標(biāo)、職責(zé)和程序，并通過(guò)建立相關(guān)體系進(jìn)行過(guò)程管理、質(zhì)量策劃、質(zhì)量控制、質(zhì)量保證和質(zhì)量改進(jìn)。應(yīng)用系統(tǒng)圖7標(biāo)準(zhǔn)化體系示意圖4主數(shù)據(jù)4.1 主數(shù)據(jù)的定義企業(yè)主數(shù)據(jù)分散存儲(chǔ)在企業(yè)各系統(tǒng)內(nèi)，是對(duì)企業(yè)至關(guān)重要的核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，比如客戶(hù)、合作伙伴、員工等。4.2 為什么要作主數(shù)據(jù)管理主數(shù)據(jù)管理(MDM,MasterDataManagement)描述了一

10、組規(guī)程、技術(shù)和解決方案，這些規(guī)程、技術(shù)和解決方案用于為所有利益相關(guān)方(如用戶(hù)、應(yīng)用程序、數(shù)據(jù)倉(cāng)庫(kù)、流程以及貿(mào)易伙伴)創(chuàng)建并維護(hù)業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。主數(shù)據(jù)管理的關(guān)鍵就是“管理”。主數(shù)據(jù)管理不會(huì)創(chuàng)建新的數(shù)據(jù)或新的數(shù)據(jù)縱向結(jié)構(gòu)。相反，它提供了一種方法，使企業(yè)能夠有效地管理存儲(chǔ)在分布系統(tǒng)中的數(shù)據(jù)。主數(shù)據(jù)管理使用現(xiàn)有的系統(tǒng)，它從這些系統(tǒng)中獲取最新信息，并提供了先進(jìn)的技術(shù)和流程，用于自動(dòng)、準(zhǔn)確、及時(shí)地分發(fā)和分析整個(gè)企業(yè)中的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證。圖8數(shù)據(jù)管理原因分析圖4.3 如何做好主數(shù)據(jù)管理通過(guò)單一平臺(tái)上成熟的多領(lǐng)域MDM集中主數(shù)據(jù)的管理，從而消除點(diǎn)對(duì)點(diǎn)集成，簡(jiǎn)化您的結(jié)構(gòu)，降低維護(hù)

11、成本，改進(jìn)數(shù)據(jù)治理。InformaticaMDM（主數(shù)據(jù)管理）能夠通過(guò)以下步驟幫助企業(yè)成功進(jìn)行多領(lǐng)域主數(shù)據(jù)管理：1 .建模：用靈活的數(shù)據(jù)模型定義任意類(lèi)型的主數(shù)據(jù)2 .識(shí)別：快速匹配和準(zhǔn)確識(shí)別重復(fù)項(xiàng)目3 .解決：合并以創(chuàng)建可靠、唯一的真實(shí)來(lái)源4 .聯(lián)系：揭示各類(lèi)主數(shù)據(jù)之間的關(guān)系5 .治理：創(chuàng)建、使用、管理和監(jiān)控主數(shù)據(jù)4.4 主數(shù)據(jù)實(shí)施流程圖9數(shù)據(jù)管理實(shí)施流程圖4.5 主數(shù)據(jù)管理體系g人事財(cái)L."10主數(shù)據(jù)管理體系流程圖5數(shù)據(jù)質(zhì)量管理5.1 數(shù)據(jù)質(zhì)量問(wèn)題 數(shù)據(jù)的值域 數(shù)據(jù)的定義 數(shù)據(jù)的完整性 數(shù)據(jù)的有效性,業(yè)務(wù)規(guī)則 結(jié)構(gòu)完整性 數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)流5.2 組織架構(gòu)設(shè)計(jì)統(tǒng)計(jì)需門(mén)（業(yè)務(wù)部n>r£/羿規(guī)則的制定在業(yè)務(wù)房面統(tǒng)管我據(jù)炭年和安全.H術(shù)品門(mén)東加數(shù)現(xiàn)集成、使IH等過(guò)程中的翼?yè)?jù)班州.井對(duì)數(shù)據(jù)質(zhì)報(bào)估進(jìn)行定期發(fā)布.技術(shù)部門(mén)注置評(píng)審委姐會(huì).時(shí)數(shù)堀方面的專(zhuān)事濟(jì)行腎撲*兵希氏術(shù)為關(guān)否決帽.圖11架構(gòu)分析圖5.3 數(shù)據(jù)質(zhì)量治理流程數(shù)據(jù)質(zhì)量治理流程數(shù)據(jù)質(zhì)量管理婉范圖12數(shù)據(jù)質(zhì)量治理流程圖保障組織間高建立合理的數(shù)據(jù)管理機(jī)構(gòu)、制定數(shù)據(jù)