數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案

PagePAGE\*Arabic2of7數(shù)據(jù)倉(cāng)庫(kù)概述經(jīng)過(guò)多年IT的建設(shè)，信息對(duì)于XXX的日常管理已經(jīng)日益重要，并逐漸成為重要的信息資產(chǎn)，信息資產(chǎn)的管理已經(jīng)成為日常管理中一個(gè)非常重要的環(huán)節(jié)。如何管理和利用好XXX內(nèi)部紛繁的數(shù)據(jù)也越來(lái)越成為信息管理的一項(xiàng)重要工作。在過(guò)去相當(dāng)一段時(shí)間內(nèi)，XXX業(yè)務(wù)系統(tǒng)的構(gòu)建主要圍繞著業(yè)務(wù)的數(shù)據(jù)展開，應(yīng)用的構(gòu)建多是自下而上構(gòu)建，主要以滿足某個(gè)部門的業(yè)務(wù)功能為主，我們稱之為業(yè)務(wù)處理的時(shí)代。這樣的構(gòu)建方式造成了一個(gè)個(gè)分立的應(yīng)用，分立的應(yīng)用導(dǎo)致了一個(gè)個(gè)的靜態(tài)豎井。由于數(shù)據(jù)從屬于應(yīng)用，缺乏XXX全局的單一視圖，形成了一個(gè)個(gè)信息孤島，分立的系統(tǒng)之間缺乏溝通，同樣數(shù)據(jù)的孤島導(dǎo)致只能獲得片面的信息，而不是全局的單一視圖。存儲(chǔ)這些信息的載體可能是各種異構(gòu)或同構(gòu)的關(guān)系型數(shù)據(jù)庫(kù)，也有可能是XML、EXCEL等文件。因此，構(gòu)建新一代的一體化平臺(tái)提上了日程并最終促成全域數(shù)據(jù)的管理方式，目的是覆蓋XXX各個(gè)環(huán)節(jié)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)，完善元數(shù)據(jù)管理，形成全局的數(shù)據(jù)字典、業(yè)務(wù)數(shù)據(jù)規(guī)范和統(tǒng)一的業(yè)務(wù)指標(biāo)含義，能夠靈活的獲取XXX業(yè)務(wù)數(shù)據(jù)的單一視圖（需要保證數(shù)據(jù)的一致性、完整性、準(zhǔn)確性和及時(shí)性）。數(shù)據(jù)的交換和共享主要發(fā)生在上下級(jí)組織機(jī)構(gòu)之間或同級(jí)的不同部門之間。最終，這些數(shù)據(jù)可以為部隊(duì)分析、決策支持（多維分析、即席查詢、數(shù)據(jù)挖掘）等應(yīng)用提供更及時(shí)、準(zhǔn)確、有效的支持。數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)是實(shí)現(xiàn)跨系統(tǒng)數(shù)據(jù)共享，解決信息孤島，提升數(shù)據(jù)質(zhì)量，輔助決策分析，提供統(tǒng)一的數(shù)據(jù)服務(wù)。同時(shí)，數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建也面臨著各種挑戰(zhàn)，比如信息整合在技術(shù)上的復(fù)雜度、信息整合的管理成本、數(shù)據(jù)資源的獲取、信息整合的實(shí)施周期以及整合項(xiàng)目的風(fēng)險(xiǎn)等。全域數(shù)據(jù)庫(kù)總體架構(gòu)全域數(shù)據(jù)庫(kù)總體架構(gòu)全域數(shù)據(jù)庫(kù)總體的層次，最下面是基礎(chǔ)架構(gòu)層，主要包括支撐這一架構(gòu)運(yùn)行的主機(jī)系統(tǒng)、存儲(chǔ)備份系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)等內(nèi)容。從下往上看，再上面是數(shù)據(jù)源層，既包括各個(gè)業(yè)務(wù)的關(guān)系型數(shù)據(jù)源、內(nèi)容管理數(shù)據(jù)源也包括半結(jié)構(gòu)化數(shù)據(jù)源比如XML、EXCEL等，也包括各個(gè)總隊(duì)、支隊(duì)的業(yè)務(wù)數(shù)據(jù)源。數(shù)據(jù)源層之上是“交換服務(wù)體系”，主要包括信息服務(wù)總線和服務(wù)總線兩部分。信息服務(wù)總線主要實(shí)現(xiàn)數(shù)據(jù)層的信息整合和數(shù)據(jù)轉(zhuǎn)換，而服務(wù)總線主要實(shí)現(xiàn)應(yīng)用層的信息交換和整合。信息服務(wù)總線主要依托聯(lián)邦、復(fù)制、清洗、轉(zhuǎn)換等技術(shù)實(shí)現(xiàn)，其主要包括信息整合服務(wù)和清洗轉(zhuǎn)換加載服務(wù)兩部分。通過(guò)信息服務(wù)總線的信息整合服務(wù)（數(shù)據(jù)聯(lián)邦、復(fù)制），可以透明、實(shí)時(shí)的訪問(wèn)分布在總隊(duì)和支隊(duì)的各個(gè)業(yè)務(wù)系統(tǒng)中的各種同構(gòu)、異構(gòu)數(shù)據(jù)（前提是擁有足夠的權(quán)限）。信息整合服務(wù)在整個(gè)XXX層面保證數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)總體架構(gòu)多維分析從數(shù)據(jù)的全方位了解現(xiàn)狀，管理人員往往希望從不同的角度來(lái)審視業(yè)務(wù)數(shù)值，比如從時(shí)間、地域、類別、功能來(lái)看同一類數(shù)據(jù)的總和。每一個(gè)分析的角度可以叫做一個(gè)維，因此，把多角度分析方式稱為多維分析。以前，每一個(gè)分析的角度需要制作一張報(bào)表。由此產(chǎn)生了在線多維分析功能，根據(jù)用戶常用的多種分析角度，事先計(jì)算好一些輔助結(jié)構(gòu)，以便在查詢時(shí)能盡快抽取到所要的記錄，并快速地從一維轉(zhuǎn)變到另一維，將不同角度的信息以數(shù)字、直方圖、餅圖、曲線等等方式展現(xiàn)在您面前。即席查詢可以將數(shù)據(jù)進(jìn)行查詢分組，進(jìn)行資源的管理，可以設(shè)置查詢優(yōu)先級(jí)，可以自動(dòng)控制，調(diào)度復(fù)雜查詢和進(jìn)行跟蹤分析查詢?？梢园凑找韵轮匾椒ㄟM(jìn)行使用，主動(dòng)和動(dòng)態(tài)地控制數(shù)據(jù)庫(kù)的查詢流程，為不同大小的查詢定義不同的查詢類別，從而改善查詢之間的系統(tǒng)資源共享，避免較小的查詢被較大的查詢阻塞等。數(shù)據(jù)挖掘數(shù)據(jù)挖掘正如在礦井中可以開采出珍貴的礦石，在數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)里也常?？梢蚤_采出業(yè)務(wù)人員意想不到的信息。它比多維分析更進(jìn)一步。例如，如果管理人員要求比較各個(gè)區(qū)域某類出入境特征數(shù)量在過(guò)去一年的情況，可以從多維分析中找答案。但是，如果管理人員要問(wèn)為何一個(gè)地區(qū)的出入境特征情況突然變得特別好或是不好，或者問(wèn)該出入境特征在另一地區(qū)將會(huì)怎么樣，這時(shí)數(shù)據(jù)挖掘知識(shí)可以作出解答。數(shù)據(jù)倉(cāng)庫(kù)層數(shù)據(jù)倉(cāng)庫(kù)用于抽取、整合、分布、存儲(chǔ)有用的信息，數(shù)據(jù)信息往往分布在不同的部門和下級(jí)單位，管理者要綜觀全局、運(yùn)籌帷幄，必須能迅速地找到能反映真實(shí)情況的數(shù)據(jù)，這些數(shù)據(jù)也許是當(dāng)前的現(xiàn)實(shí)數(shù)據(jù)，也可能是過(guò)去的歷史數(shù)據(jù)。因此，有必要把各個(gè)區(qū)域的數(shù)據(jù)集合起來(lái)，去其糟粕、取其精華，將真實(shí)的