




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
數(shù)據(jù)倉庫白皮書數(shù)據(jù)倉庫白皮書-結(jié)構(gòu)與應(yīng)用篇
IBM、Oracle等廠商都提出了自己的數(shù)據(jù)倉庫結(jié)構(gòu),但嚴(yán)格說來,任何一個(gè)數(shù)據(jù)倉庫結(jié)構(gòu)都是從一個(gè)基本框架發(fā)展而來,實(shí)現(xiàn)時(shí)再根據(jù)分析處理的需要具體增加一些部件。其中斯坦福大學(xué)"WHPS”課題組提出的一個(gè)基本的數(shù)據(jù)倉庫模型如圖1所示。
為了能夠?qū)⒁延械臄?shù)據(jù)源提取出來,并組織成可用于決策分析所需的綜合數(shù)據(jù)的形式,一個(gè)數(shù)據(jù)倉庫的基本體系結(jié)構(gòu)中應(yīng)有以下幾個(gè)基本組成部分:
?數(shù)據(jù)源指為數(shù)據(jù)倉庫提供最底層數(shù)據(jù)的運(yùn)作數(shù)據(jù)庫系統(tǒng)及外部數(shù)據(jù)。
?監(jiān)視器負(fù)責(zé)感知數(shù)據(jù)源發(fā)生的變化,并按數(shù)據(jù)倉庫的需求提取數(shù)據(jù)。
彙成謂
監(jiān)視話
監(jiān)視■謂
監(jiān)視■既
DB
DB
客戶痙用
圖1數(shù)據(jù)倉庫基本體系結(jié)構(gòu)
?集成器將從運(yùn)作數(shù)據(jù)庫中提取的數(shù)據(jù)經(jīng)過轉(zhuǎn)換、計(jì)算、綜合等操作,集成到數(shù)據(jù)倉庫中
?數(shù)據(jù)倉庫存貯已經(jīng)按企業(yè)級(jí)視圖轉(zhuǎn)換的數(shù)據(jù),供分析處理用。根據(jù)不同的分析要求,數(shù)據(jù)按不同的綜合程度存儲(chǔ)。數(shù)據(jù)倉庫中還應(yīng)存儲(chǔ)元數(shù)據(jù),其中記錄了數(shù)據(jù)的結(jié)構(gòu)和數(shù)據(jù)倉庫的任何變化,以支持?jǐn)?shù)據(jù)倉庫的開發(fā)和使用。
?客戶應(yīng)用供用戶對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行訪問查詢,并以直觀的方表示分析結(jié)果的工具。
應(yīng)用行業(yè)
新世紀(jì)客戶關(guān)系在各種交易中所起到的作用越來越重要,在市場(chǎng)經(jīng)濟(jì)這個(gè)天平上的法碼也是越來越沉重了。從而使得在目前競(jìng)爭激烈的知識(shí)經(jīng)濟(jì)環(huán)境和電子商務(wù)經(jīng)濟(jì)模式下,重要的信息往往可以決定企業(yè)的成敗,甚至決定企業(yè)的生死存亡。因此,很多行業(yè)都采用了數(shù)據(jù)倉庫解決方案充當(dāng)企業(yè)決策機(jī)構(gòu)的智囊和參謀。如我們平時(shí)所說的民航訂票系統(tǒng)、銀行ATM系統(tǒng)、證券交易系統(tǒng)、期貨交易系統(tǒng)、鐵路售票系統(tǒng)、移動(dòng)通信用戶信息管理與服務(wù)系統(tǒng)等就是建立在大型數(shù)據(jù)庫基礎(chǔ)之上的數(shù)據(jù)倉庫。由于篇幅有限,下面僅就以下行業(yè)來加以簡單說明。
證券
證券公司利用客戶行為分析系統(tǒng)將所有客戶的操作記錄進(jìn)行歸類和整理,并結(jié)合行情走勢(shì)、上市公司資料、宏觀微觀經(jīng)濟(jì)數(shù)據(jù)等,在掌握大量數(shù)據(jù)的情況下,對(duì)客戶的行為和市場(chǎng)各因素的關(guān)聯(lián)、客戶的操作習(xí)慣、盈虧情況、公司的利潤分布等進(jìn)行統(tǒng)計(jì)和分析,從而獲得以往一直想獲得但卻無法獲取的關(guān)于客戶在本公司的行為、盈虧、習(xí)慣等關(guān)鍵信息。證券商在獲得這些信息后,就有能力為客戶提供針對(duì)其個(gè)人習(xí)慣、投資組合的投資建議,從而真正作到對(duì)客戶的貼心服務(wù)。
銀行
隨著社會(huì)主義市場(chǎng)經(jīng)濟(jì)改革的深化,傳統(tǒng)的計(jì)劃金融模式逐漸瓦解,市場(chǎng)金融模式逐漸形成。在這個(gè)變革過程中,由于體制、市場(chǎng)、企業(yè)、個(gè)體等經(jīng)濟(jì)要素變化、發(fā)展的不平衡性,帶來了銀行對(duì)各種金融變量控制的隨機(jī)性和模糊性。如何防范銀行的經(jīng)營風(fēng)險(xiǎn)、實(shí)現(xiàn)科學(xué)管理以及進(jìn)行決策,成為當(dāng)今金融研究的一個(gè)重要課題。利用數(shù)據(jù)倉庫的強(qiáng)大功能,銀行可以建立企業(yè)客戶群、個(gè)人客戶群的數(shù)據(jù)庫,并對(duì)企業(yè)的結(jié)構(gòu)、經(jīng)營、財(cái)務(wù)、市場(chǎng)競(jìng)爭等多個(gè)數(shù)據(jù)源進(jìn)行統(tǒng)一的組織,形成一個(gè)一體化的存儲(chǔ)結(jié)構(gòu),為決策分析奠定基礎(chǔ)。通過先進(jìn)的信息加工、分析、處理軟件,加上銀行的經(jīng)營決策、信貸營銷人員的個(gè)人經(jīng)驗(yàn),對(duì)每一個(gè)投資方向、每一筆貸款作出科學(xué)的判斷,可以有效控制投資、信貸風(fēng)險(xiǎn)。
稅務(wù)
增加稅收、提高效率、改善執(zhí)法的一致性與公平性、降低對(duì)納稅人的負(fù)擔(dān)和干擾,是稅務(wù)稽征部門的重要目標(biāo)。然而這些目標(biāo)往往又是相互沖突的,要在其間找到最適當(dāng)?shù)钠胶恻c(diǎn)非常困難。通過應(yīng)用數(shù)據(jù)倉庫技術(shù),對(duì)稅收部門的內(nèi)部和外部數(shù)據(jù)進(jìn)行綜合分析處理,可以解決三個(gè)方面的問題:一是查出應(yīng)稅未報(bào)者和瞞稅漏稅者,并對(duì)其進(jìn)行跟蹤;二是對(duì)不同行業(yè)、產(chǎn)品和市場(chǎng)中納稅人的行為特性進(jìn)行描述,找出普遍規(guī)律,謀求因勢(shì)利導(dǎo)的稅務(wù)策略;三是對(duì)不同行業(yè)、產(chǎn)品和市場(chǎng)應(yīng)收稅款進(jìn)行預(yù)測(cè),制定最有效的征收計(jì)劃。數(shù)據(jù)倉庫技術(shù)之所以能夠查出漏稅者,其基本思想是通過對(duì)大量數(shù)據(jù)資料的分析來掌握各行各業(yè)、各種產(chǎn)品和各類市場(chǎng)的從業(yè)人員以及企業(yè)的納稅能力,并與其實(shí)際納稅金額進(jìn)行對(duì)比,從而查出可能的偷漏稅者。澳大利亞政府稅務(wù)部門將數(shù)據(jù)倉庫技術(shù)用于支持稅收業(yè)務(wù),系統(tǒng)經(jīng)過3年的運(yùn)行,投入回報(bào)率達(dá)到1:15。
保險(xiǎn)
隨著商業(yè)保險(xiǎn)公司業(yè)務(wù)系統(tǒng)日趨完善,數(shù)據(jù)交換和處理中心的建立,如何滿足保險(xiǎn)行業(yè)日益增長的各種查詢、統(tǒng)計(jì)、報(bào)表以及分析的需求,如何提高防范和化解經(jīng)營風(fēng)險(xiǎn)的能力,如何有效利用這些數(shù)據(jù)來實(shí)現(xiàn)經(jīng)營目標(biāo),預(yù)測(cè)保險(xiǎn)業(yè)的發(fā)展趨勢(shì),甚至如何利用這些數(shù)據(jù)來設(shè)計(jì)保險(xiǎn)企業(yè)的發(fā)展宏圖以在激烈的競(jìng)爭中贏得先機(jī),是保險(xiǎn)決策支持系統(tǒng)需要解決的問題,也是目前保險(xiǎn)企業(yè)在信息技術(shù)應(yīng)用上的首要難題。
數(shù)據(jù)倉庫的實(shí)施
數(shù)據(jù)倉庫是一個(gè)解決方案,而不是一個(gè)可以買到的產(chǎn)品。不同企業(yè)會(huì)有不同的數(shù)據(jù)倉庫,企業(yè)人員往往不懂如何利用數(shù)據(jù)倉庫,不能發(fā)揮其決策支持的作用,而數(shù)據(jù)倉庫公司人員又不懂業(yè)務(wù),不知道建立哪些決策主題,從數(shù)據(jù)源中抽取哪些數(shù)據(jù),因此需要雙方互相溝通,共同協(xié)商開發(fā)數(shù)據(jù)倉庫。
開發(fā)數(shù)據(jù)倉庫流程包括以下幾步:
?啟動(dòng)工程建立開發(fā)數(shù)據(jù)倉庫工程的目標(biāo)及制定工程計(jì)劃。計(jì)劃包括數(shù)據(jù)范圍、提供者、技術(shù)設(shè)備、資源、技能、組員培訓(xùn)、責(zé)任、方式方法、工程跟蹤及詳細(xì)工程調(diào)度。
?建立技術(shù)環(huán)境選擇實(shí)現(xiàn)數(shù)據(jù)倉庫的軟硬件資源,包括開發(fā)平臺(tái)、DBMS、網(wǎng)絡(luò)通信、開發(fā)工具、終端訪問工具及建立服務(wù)水平目標(biāo)(可用性、裝載、維護(hù)及查詢性能)等。
?確定主題進(jìn)行倉庫結(jié)構(gòu)設(shè)計(jì)因?yàn)閿?shù)據(jù)倉庫是面向決策支持的,它具有數(shù)據(jù)量大但更新不頻繁等特點(diǎn),所以必須對(duì)數(shù)據(jù)倉庫進(jìn)行精心設(shè)計(jì),才能滿足數(shù)據(jù)量快速增加而查詢性能并不下降的要求。
?數(shù)據(jù)倉庫的物理庫設(shè)計(jì)基于用戶的需求,著眼于某個(gè)主題,開發(fā)數(shù)據(jù)倉庫中數(shù)據(jù)的物理存儲(chǔ)結(jié)構(gòu)。
?數(shù)據(jù)抽取、精練、分布根據(jù)數(shù)據(jù)倉庫的設(shè)計(jì),實(shí)現(xiàn)從源數(shù)據(jù)抽取數(shù)據(jù)、清理數(shù)據(jù)、綜合數(shù)據(jù)和裝載數(shù)據(jù)。
?對(duì)數(shù)據(jù)倉庫的OLAP訪問建立數(shù)據(jù)倉庫的目的是要為決策支持服務(wù),所以需要各種能對(duì)數(shù)據(jù)倉庫進(jìn)行訪問分析的工具集,包括優(yōu)化查詢工具、統(tǒng)計(jì)分析工具、C/S工具及數(shù)據(jù)挖掘工具,通過分析工具實(shí)現(xiàn)決策支持需要。
?數(shù)據(jù)倉庫的管理數(shù)據(jù)倉庫必須象其他系統(tǒng)一樣進(jìn)行管理,使數(shù)據(jù)倉庫正常運(yùn)行。
另外,在實(shí)施數(shù)據(jù)倉庫時(shí),還應(yīng)注意以下問題:
(1)與傳統(tǒng)業(yè)務(wù)系統(tǒng)不同,數(shù)據(jù)倉庫是面向管理決策層應(yīng)用的,必須有系統(tǒng)自身的最終用戶——企業(yè)決策層的參與。數(shù)據(jù)倉庫應(yīng)用本身并不是業(yè)務(wù)流程的再現(xiàn),而是基于數(shù)據(jù)分析的管理模式的體現(xiàn)。在這個(gè)層次上,數(shù)據(jù)倉庫對(duì)于企業(yè)決策層的意義首先不是信息技術(shù)和產(chǎn)品上的,而是企業(yè)經(jīng)營管理模式上的。數(shù)據(jù)倉庫的實(shí)施者需要在商業(yè)智能化如何能夠幫助企業(yè)獲得市場(chǎng)競(jìng)爭力上下工夫,提供切實(shí)有效的系統(tǒng)實(shí)施目標(biāo)和規(guī)劃,使得企業(yè)決策層充分認(rèn)識(shí)到數(shù)據(jù)倉庫是他們自己所需要的系統(tǒng),在投入和配合上給予充分的支持。
(2)由于數(shù)據(jù)倉庫的訪問和查詢往往能夠通過工具來提供,因此數(shù)據(jù)倉庫的功能取決于系統(tǒng)的規(guī)劃和設(shè)計(jì)。在了解數(shù)據(jù)倉庫應(yīng)用需求的時(shí)候,主要的對(duì)象應(yīng)該是企業(yè)的決策部門和管理部門,而不是信息系統(tǒng)部門。了解應(yīng)用的需求必須從企業(yè)如何利用信息進(jìn)行管理的角度出發(fā),需要有豐富的行業(yè)經(jīng)驗(yàn)。在這個(gè)階段,對(duì)于國內(nèi)數(shù)據(jù)倉庫應(yīng)用來說,可以將復(fù)雜的數(shù)據(jù)分析需求分解成若干專題,這些專題在行業(yè)內(nèi)往往具有一定的普遍性,有現(xiàn)成的設(shè)計(jì)模式可以借鑒。數(shù)據(jù)倉庫的設(shè)計(jì)實(shí)施也宜逐個(gè)擊破,每個(gè)階段都能滿足一部分用戶的需求,最后獲得全面的成功。
(3)在對(duì)待原始數(shù)據(jù)的問題上,我們需要堅(jiān)持一個(gè)原則,就是不拘泥于業(yè)務(wù)系統(tǒng)的現(xiàn)狀。由于數(shù)據(jù)倉庫是獨(dú)立于業(yè)務(wù)系統(tǒng)的,數(shù)據(jù)倉庫的實(shí)施將以管理層需要的分析決策為主線,在設(shè)計(jì)中可以為不確定數(shù)據(jù)預(yù)留空間。對(duì)于數(shù)據(jù)的完整性和質(zhì)量問題可通過如下方式處理:利用多種方式加載數(shù)據(jù),可以設(shè)計(jì)專門的輸入接口收集數(shù)據(jù),如獲取客戶的個(gè)人資料;放寬數(shù)據(jù)的時(shí)效性,在分析中標(biāo)明個(gè)別數(shù)據(jù)的有效時(shí)間;在系統(tǒng)中標(biāo)識(shí)出低質(zhì)量的數(shù)據(jù),規(guī)范業(yè)務(wù)系統(tǒng)。
(4)數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載是一項(xiàng)技術(shù)含量不高但卻非常煩瑣的工作,在系統(tǒng)實(shí)施過程中建議由專門小組或人員負(fù)責(zé)數(shù)據(jù)抽取的工作,將其納入統(tǒng)一的管理和設(shè)計(jì),不僅考慮原始數(shù)據(jù)源的類型,還必須考慮抽取的時(shí)間和方式。一個(gè)數(shù)據(jù)倉庫系統(tǒng)往往同時(shí)存在多種數(shù)據(jù)抽取方式以適應(yīng)原始數(shù)據(jù)的多樣性,因此討論單一抽取工具的選型是沒有意義的,原則只能有一個(gè):簡便、快捷、易維護(hù)。
(5)用戶對(duì)數(shù)據(jù)倉庫的認(rèn)識(shí)常常從報(bào)表起步,但數(shù)據(jù)倉庫并不是為業(yè)務(wù)報(bào)表而設(shè)計(jì)。需要指出的是,數(shù)據(jù)倉庫的分析工具在固定格式的報(bào)表再現(xiàn)上有時(shí)不如專門定制的程序。因此,以解決報(bào)表問題作為建立數(shù)據(jù)倉庫的目的一般都會(huì)以用戶的失望告終。數(shù)據(jù)倉庫的強(qiáng)項(xiàng)在于提供聯(lián)機(jī)的業(yè)務(wù)分析手段,正因?yàn)閿?shù)據(jù)倉庫的使用,才使管理人員逐步擺脫對(duì)固定報(bào)表的依賴,取而代之地以豐富、動(dòng)態(tài)的聯(lián)機(jī)查詢和分析來了解企業(yè)和市場(chǎng)的動(dòng)態(tài)。
(6)系統(tǒng)的實(shí)施需要明確的計(jì)劃和時(shí)間表,新的技術(shù)和產(chǎn)品可以分階段加入,但要避免無休止的測(cè)試和選型。因?yàn)閿?shù)據(jù)倉庫的價(jià)值在于使用,如果讓一些沒有必要的信息去指導(dǎo)決策,那么數(shù)據(jù)倉庫將永遠(yuǎn)停留在投資階段。在定義實(shí)施計(jì)劃時(shí),需要明確系統(tǒng)的使用范圍、用戶的應(yīng)用模式等與選擇具體產(chǎn)品相關(guān)的重要問題。
數(shù)據(jù)倉庫白皮書-概念篇
人們?cè)谌粘I钪薪?jīng)常會(huì)遇到這樣的情況:超市的經(jīng)營者希望將經(jīng)常被同時(shí)購買的商品放在一起,以增加銷售;保險(xiǎn)公司想知道購買保險(xiǎn)的客戶一般具有哪些特征;醫(yī)學(xué)研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征,從而為治愈這種疾病提供一些幫助……對(duì)于以上問題,現(xiàn)有信息管理系統(tǒng)中的數(shù)據(jù)分析工具無法給出答案。因?yàn)闊o論是查詢、統(tǒng)計(jì)還是報(bào)表,其處理方式都是對(duì)指定的數(shù)據(jù)進(jìn)行簡單的數(shù)字處理,而不能對(duì)這些數(shù)據(jù)所包含的內(nèi)在信息進(jìn)行提取。隨著信息管理系統(tǒng)的廣泛應(yīng)用和數(shù)據(jù)量激增,人們希望能夠提供更高層次的數(shù)據(jù)分析功能。為此,數(shù)據(jù)倉庫應(yīng)運(yùn)而生。
數(shù)據(jù)倉庫的概念及特點(diǎn)
數(shù)據(jù)倉庫概念始于本世紀(jì)80年代中期,首次出現(xiàn)是在號(hào)稱"數(shù)據(jù)倉庫之父"WilliamH.lnmon的《建立數(shù)據(jù)倉庫》一書中。隨著人們對(duì)大型數(shù)據(jù)系統(tǒng)研究、管理、維護(hù)等方面的深刻識(shí)認(rèn)和不斷完善,在總結(jié)、豐富、集中多行企業(yè)信息的經(jīng)驗(yàn)之后,為數(shù)據(jù)倉庫給出了更為精確的定義,即“數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合"。
數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ),也沒有成熟的基本模式,且更偏向于工程,具有強(qiáng)烈的工程性。因此,在技術(shù)上人們習(xí)慣于從工作過程等方面來分析,并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲(chǔ)與管理以及數(shù)據(jù)的表現(xiàn)等三個(gè)基本方面。
⑴數(shù)據(jù)的抽取:數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉庫的入口。由于數(shù)據(jù)倉庫是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境,它需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入到數(shù)據(jù)倉庫。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復(fù)制、增量、轉(zhuǎn)換、調(diào)度和監(jiān)控等方面。數(shù)據(jù)倉庫中的數(shù)據(jù)并不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)保持實(shí)時(shí)同步,因此數(shù)據(jù)抽取可以定時(shí)進(jìn)行,但多個(gè)抽取操作執(zhí)行的時(shí)間、相互的順序、成敗對(duì)數(shù)據(jù)倉庫中信息的有效性則至關(guān)重要。
⑵存儲(chǔ)和管理:數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫,同時(shí)也決定了其對(duì)外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心,則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析。
⑶數(shù)據(jù)的表現(xiàn):數(shù)據(jù)表現(xiàn)實(shí)際上相當(dāng)于數(shù)據(jù)倉庫的門面,其性能主要集中在多維分析、數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘方面。而多維分析又是數(shù)據(jù)倉庫的重要表現(xiàn)形式,近幾年來由于互聯(lián)網(wǎng)的發(fā)展,使得多維分析領(lǐng)域的工具和產(chǎn)品更加注重提供基于Web前端聯(lián)機(jī)分析界面,而不僅僅是在網(wǎng)上發(fā)布數(shù)據(jù)。
提到數(shù)據(jù)倉庫,人們難免會(huì)想到僅有一字之差的數(shù)據(jù)庫,那么,數(shù)據(jù)倉庫和我們經(jīng)常提到的數(shù)據(jù)庫有哪些區(qū)別呢?為什么要使用數(shù)據(jù)倉庫呢?
從數(shù)據(jù)庫到數(shù)據(jù)倉庫
市場(chǎng)需求是技術(shù)發(fā)展的源動(dòng)力。在數(shù)據(jù)庫應(yīng)用的早期,計(jì)算機(jī)系統(tǒng)所處理的是從無到有的問題,是傳統(tǒng)手工業(yè)務(wù)自動(dòng)化的問題。例如銀行的儲(chǔ)蓄系統(tǒng)、電信的計(jì)費(fèi)系統(tǒng),它們都屬于典型的聯(lián)機(jī)事務(wù)處理系統(tǒng)。在當(dāng)時(shí),一個(gè)企業(yè)可以簡單地通過擁有聯(lián)機(jī)事務(wù)處理的計(jì)算機(jī)系統(tǒng)而獲得強(qiáng)大的市場(chǎng)競(jìng)爭力。記得在80年代末,北京工商銀行率先推出了全市個(gè)人儲(chǔ)蓄通存通兌業(yè)務(wù),廣大市民便將先前就近存于不同銀行的存款一并取出而存入了工商銀行。這便是通過聯(lián)機(jī)事務(wù)處理系統(tǒng)而獲得市場(chǎng)優(yōu)勢(shì)的案例。其次,當(dāng)時(shí)單位容量的聯(lián)機(jī)存儲(chǔ)介質(zhì)比現(xiàn)在昂貴得多,相對(duì)于市場(chǎng)競(jìng)爭的壓力,將大量的歷史業(yè)務(wù)數(shù)據(jù)長時(shí)間聯(lián)機(jī)保存去用于分析顯然是過于奢侈了。因此,聯(lián)機(jī)事務(wù)處理系統(tǒng)只涉及當(dāng)前數(shù)據(jù),系統(tǒng)積累下的歷史業(yè)務(wù)數(shù)據(jù)往往被轉(zhuǎn)儲(chǔ)到脫機(jī)的環(huán)境中。此外,在計(jì)算機(jī)系統(tǒng)應(yīng)用的早期,還沒有積累大量的歷史數(shù)據(jù)可供統(tǒng)計(jì)與分析。從而,聯(lián)機(jī)事務(wù)處理成為整個(gè)80年代直到90年代初數(shù)據(jù)庫應(yīng)用的主流。
然而,應(yīng)用在不斷地進(jìn)步,當(dāng)聯(lián)機(jī)事務(wù)處理系統(tǒng)應(yīng)用到一定階段的時(shí)候,企業(yè)家們便發(fā)現(xiàn)單靠擁有聯(lián)機(jī)事務(wù)處理系統(tǒng)已經(jīng)不足以獲得市場(chǎng)競(jìng)爭的優(yōu)勢(shì);他們需要對(duì)其自身業(yè)務(wù)的運(yùn)作以及整個(gè)市場(chǎng)相關(guān)行業(yè)的態(tài)勢(shì)進(jìn)行分析,從而做出有利的決策。同樣就拿北京各銀行的儲(chǔ)蓄業(yè)務(wù)來說,如今各家都擁有了聯(lián)網(wǎng)的儲(chǔ)蓄系統(tǒng),再要獲得市場(chǎng)競(jìng)爭的優(yōu)勢(shì),就需要在決策上下功夫,例如在業(yè)務(wù)密集地區(qū)增設(shè)自助網(wǎng)點(diǎn)、推出有針對(duì)性(如:某類職業(yè)圈、某年齡段)的儲(chǔ)蓄服務(wù)計(jì)劃。這些決策需要對(duì)大量的業(yè)務(wù)數(shù)據(jù)包括歷史業(yè)務(wù)數(shù)據(jù)進(jìn)行分析才能得到,而這種基于業(yè)務(wù)數(shù)據(jù)的決策分析,我們把它稱之為聯(lián)機(jī)分析處理。如果說傳統(tǒng)聯(lián)機(jī)事務(wù)處理強(qiáng)調(diào)的是更新數(shù)據(jù)庫——向數(shù)據(jù)庫中添加信息,那么聯(lián)機(jī)分析處理就是要從數(shù)據(jù)庫中獲取信息、利用信息。因此,著名的數(shù)據(jù)倉庫專家RalphKimball寫道:“我們花了20多年的時(shí)間將數(shù)據(jù)放入數(shù)據(jù)庫,如今是該將它們拿出來的時(shí)候了?!?/p>
事實(shí)上,將大量的業(yè)務(wù)數(shù)據(jù)應(yīng)用于分析和統(tǒng)計(jì)原本是一個(gè)非常簡單和自然的想法。但在實(shí)際的操作中,人們卻發(fā)現(xiàn)要獲得有用的信息并非想象的那么容易:第一,所有聯(lián)機(jī)事務(wù)處理強(qiáng)調(diào)的是數(shù)據(jù)更新處理性能和系統(tǒng)的可靠性,并不關(guān)心數(shù)據(jù)查詢的方便與快捷;聯(lián)機(jī)分析和事務(wù)處理對(duì)系統(tǒng)的要求不同,同一個(gè)數(shù)據(jù)庫在理論上難以做到兩全;第二,業(yè)務(wù)數(shù)據(jù)往往被存放于分散的異構(gòu)環(huán)境中,不易統(tǒng)一查詢?cè)L問,而且還有大量的歷史數(shù)據(jù)處于脫機(jī)狀態(tài),形同虛設(shè);第三,業(yè)務(wù)數(shù)據(jù)的模式是針對(duì)事務(wù)處理系統(tǒng)而設(shè)計(jì)的,數(shù)據(jù)的格式和描述方式并不適合非計(jì)算機(jī)專業(yè)人員進(jìn)行業(yè)務(wù)上的分析和統(tǒng)計(jì)。于是,有人感嘆:20年前查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太少了,而今天查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太多了。針對(duì)這一問題,人們專門為業(yè)務(wù)的統(tǒng)計(jì)分析建立一個(gè)數(shù)據(jù)中心,它的數(shù)據(jù)可以從聯(lián)機(jī)的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù)中得到;它是一個(gè)聯(lián)機(jī)的系統(tǒng),專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù),通過它可滿足決策支持和聯(lián)機(jī)分析應(yīng)用所要求的一切。這個(gè)數(shù)據(jù)中心就叫做數(shù)據(jù)倉庫。如果需要給數(shù)據(jù)倉庫一個(gè)定義的話,那么可以把它看作一個(gè)作為決策支持系統(tǒng)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。數(shù)據(jù)倉庫所要研究和解決的問題就是從數(shù)據(jù)庫中獲取信息。
那么數(shù)據(jù)倉庫與數(shù)據(jù)庫(主要指關(guān)系數(shù)據(jù)庫)又是什么關(guān)系呢?回想當(dāng)初,人們固守封閉式系統(tǒng)是出于對(duì)事務(wù)處理的偏愛,人們選擇關(guān)系數(shù)據(jù)庫是為了方便地獲得信息。我們只要翻開C.J.Date博士的經(jīng)典之作《AnIntroductiontoDatabaseSystems》便會(huì)發(fā)現(xiàn):今天數(shù)據(jù)倉庫所要提供的正是當(dāng)年關(guān)系數(shù)據(jù)庫要所倡導(dǎo)的。然而,“成也蕭何,敗也蕭何”,由于關(guān)系數(shù)據(jù)庫系統(tǒng)在聯(lián)機(jī)事務(wù)處理應(yīng)用中獲得的巨大成功,使得人們已不知不覺將它劃歸為事務(wù)處理的范疇;過多地關(guān)注于事務(wù)處理能力的提高,使得關(guān)系數(shù)據(jù)庫在面對(duì)聯(lián)機(jī)分析應(yīng)用時(shí)又顯得“老革命遇到新問題”——今天的數(shù)據(jù)倉庫對(duì)關(guān)系數(shù)據(jù)庫的聯(lián)機(jī)分析能力提出了更高的要求,采用普通關(guān)系型數(shù)據(jù)庫作為數(shù)據(jù)倉庫在功能和性能上都是不夠的,它們必須有專門的改進(jìn)。因此,數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別不僅僅是應(yīng)用的方法和目的上的,同時(shí)也涉及產(chǎn)品和配置。
以辯證的眼光來看,數(shù)據(jù)倉庫的興起實(shí)際上是數(shù)據(jù)管理的一種回歸,是螺旋式的上升。今天的數(shù)據(jù)庫就好比當(dāng)年的層次數(shù)據(jù)庫和網(wǎng)型數(shù)據(jù)庫,它們面向事務(wù)處理;今天的數(shù)據(jù)倉庫就好比是當(dāng)年的關(guān)系數(shù)據(jù)庫,它針對(duì)聯(lián)機(jī)分析。所不同的是,今天的數(shù)據(jù)倉庫不必再為聯(lián)機(jī)事務(wù)處理的特性而奔忙,由于技術(shù)的專業(yè)化,它可更專心于聯(lián)機(jī)分析領(lǐng)域的發(fā)展和探索。
從廠商的角度看,經(jīng)過長期發(fā)展,聯(lián)機(jī)事務(wù)處理系統(tǒng)的市場(chǎng)至90年代中期出現(xiàn)飽和跡象,其增長速度明顯減慢。這導(dǎo)致各大數(shù)據(jù)庫廠商的傳統(tǒng)業(yè)務(wù)增長面臨嚴(yán)峻挑戰(zhàn),尋求新的業(yè)務(wù)增長點(diǎn)成為他們的當(dāng)務(wù)之急。數(shù)據(jù)倉庫的興起無疑為數(shù)據(jù)庫產(chǎn)品創(chuàng)造了巨大的市場(chǎng),它成為20世紀(jì)末到21世紀(jì)初數(shù)據(jù)庫市場(chǎng)的一個(gè)新的增長點(diǎn)。因此,數(shù)據(jù)倉庫這個(gè)詞兒打一開始便伴隨著轟轟烈烈的市場(chǎng)炒作。對(duì)于廣大用戶來說,只有從自身應(yīng)用需求出發(fā),破除技術(shù)和概念的神秘性,奉行“拿來主義”,避虛就實(shí),密切關(guān)注技術(shù)發(fā)展的方向,方可獲得滿意的產(chǎn)品、解決方案和經(jīng)濟(jì)效益。
總之,數(shù)據(jù)倉庫并非是一個(gè)僅僅存儲(chǔ)數(shù)據(jù)的簡單信息庫,因?yàn)檫@實(shí)際上與傳統(tǒng)數(shù)據(jù)庫沒有兩樣。數(shù)據(jù)倉庫實(shí)際上是一個(gè)“以大型數(shù)據(jù)管理信息系統(tǒng)為基礎(chǔ)的、附加在這個(gè)數(shù)據(jù)庫系統(tǒng)之上的、存儲(chǔ)了從企業(yè)所有業(yè)務(wù)數(shù)據(jù)庫中獲取的綜合數(shù)據(jù)的、并能利用這些綜合數(shù)據(jù)為用戶提供經(jīng)過處理后的有用信息的應(yīng)用系統(tǒng)”。如果說傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的重點(diǎn)與要求是快速、準(zhǔn)確、安全、可靠地將數(shù)據(jù)存進(jìn)數(shù)據(jù)庫中的話,那么數(shù)據(jù)倉庫的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從數(shù)據(jù)庫中取出數(shù)據(jù),經(jīng)過加工轉(zhuǎn)換成有規(guī)律信息之后,再供管理人員進(jìn)行分析使用。數(shù)據(jù)倉庫白皮書-典型產(chǎn)品篇
CA
數(shù)據(jù)倉庫的應(yīng)用是企業(yè)邁向新生代的一個(gè)嘗試,但在數(shù)據(jù)倉庫的應(yīng)用中卻又面臨著各種各樣的困難,如怎樣從大量積累數(shù)據(jù)中提取信息;如何對(duì)信息實(shí)現(xiàn)足夠的訪問與分析功能;數(shù)據(jù)入庫處理與應(yīng)用程序是否歸檔了;是否能夠最終實(shí)現(xiàn)真正的信息價(jià)值,是否能夠輕易地辯認(rèn)出哪些將受環(huán)境中的變動(dòng)影響等等一系列的問題重新擺在了企業(yè)的面前。
為此,CA為我們提供了一個(gè)穩(wěn)健的知識(shí)管理解決方案基礎(chǔ)架構(gòu)DecisionBase,它能夠滿足任何企業(yè)的需要,能夠集成完全不同的技術(shù)解決方案。通過對(duì)這些工具、應(yīng)用程序、進(jìn)程與咨詢服務(wù)的結(jié)合能夠使您的商業(yè)戰(zhàn)略更具競(jìng)爭性,使企業(yè)得以在市場(chǎng)中生存。
CA數(shù)據(jù)倉庫解決方案的特色:
?獨(dú)特的元數(shù)據(jù)管理與應(yīng)用
數(shù)據(jù)倉庫必須優(yōu)化,以更好地實(shí)現(xiàn)數(shù)據(jù)存取、大量的數(shù)據(jù)分析乃至交易分析,必須確保數(shù)據(jù)倉庫能夠從正確的地方搜集與存儲(chǔ)詳細(xì)的數(shù)據(jù),以便進(jìn)行正確的分析。元數(shù)據(jù)管理是倉庫環(huán)境、性能、利用率的關(guān)鍵基礎(chǔ),最終的數(shù)據(jù)倉庫的價(jià)值取決于基礎(chǔ)設(shè)計(jì)。CA的數(shù)據(jù)倉庫解決方案DecisionBase利用其知識(shí)庫(Repository)作為中心記錄用戶的信息資產(chǎn)關(guān)于入庫信息的
數(shù)據(jù)。使商業(yè)用戶能夠更輕易地駕馭數(shù)據(jù)倉庫和理解常有的隱含的數(shù)據(jù)信息。這樣元數(shù)據(jù)就象地圖一樣,它告訴用戶的數(shù)據(jù)倉庫里有什么信息,這些信息來自哪里。
?數(shù)據(jù)轉(zhuǎn)換
CADecisionBaseReporter提供了簡便的方案,創(chuàng)建與共享特定報(bào)表,并將其轉(zhuǎn)換為生產(chǎn)報(bào)表。它支持在報(bào)表內(nèi)進(jìn)行多重查詢—使用戶可在其報(bào)表中創(chuàng)建多重一對(duì)多關(guān)系,并可進(jìn)行并列比較。無需昂貴的中間件或臨時(shí)表格,報(bào)表生成程序就可將來自不同數(shù)據(jù)庫的數(shù)據(jù)鏈接起來,使CADecisionBaseReporter能夠輕松創(chuàng)建具有專業(yè)外觀的報(bào)表。
?解析處理功能
CA將三維可視化技術(shù)運(yùn)用到了DecisionBaseOLAPServer中,從而為復(fù)雜的數(shù)據(jù)提供了更好看、更為直觀的界面。這樣,用戶就能集中精力設(shè)計(jì)專門的商務(wù)功能——提供更穩(wěn)健的電子商務(wù)應(yīng)用程序,使他們能夠更快地進(jìn)入市場(chǎng)。CADecisionBaseOLAPServer提供了多維視角,并可通過標(biāo)準(zhǔn)關(guān)系數(shù)據(jù)庫頂端的“虛擬立方”實(shí)現(xiàn)分析處理功能。OLAPServer允許用戶通過基于LAN的客戶機(jī)或在瀏覽器內(nèi)現(xiàn)場(chǎng)編輯與執(zhí)行任何分析,動(dòng)態(tài)編輯數(shù)據(jù)。在任何層級(jí)或細(xì)節(jié)跟蹤與分析關(guān)鍵商業(yè)指標(biāo)。因?yàn)樗荳eb激活的,所以應(yīng)用程序可通過Internet、Intranet或Extranet服務(wù)器在企業(yè)內(nèi)輕松配置。
?預(yù)測(cè)管理功能
CANeugents是企業(yè)用于預(yù)測(cè)管理的先鋒。Neugents能夠預(yù)測(cè)商業(yè)結(jié)果、規(guī)劃前景、預(yù)計(jì)收入,并可識(shí)別對(duì)這些方面有所影響的因素。Neugents與基于規(guī)則的系統(tǒng)及基于經(jīng)驗(yàn)的推論
(EBR)一起提供了一整套聰明的解決方案,可用于任何商業(yè)問題。通過Neugents與DecisionBase,能夠檢測(cè)企業(yè)的客戶數(shù)據(jù),預(yù)測(cè)他們最可能購買哪些產(chǎn)品,然后據(jù)此安排生產(chǎn)系統(tǒng)。Neugents可在應(yīng)用程序內(nèi)建立學(xué)習(xí)功能,應(yīng)用程序可清楚地顯示過去所發(fā)生的狀況,并根據(jù)已經(jīng)改變的環(huán)境做出正確的反應(yīng)。
IBM
IBM公司新推出的DB2UDB7.1主要實(shí)現(xiàn)以下功能:電子商務(wù),包括e-commerce、ERP客戶關(guān)系管理、供應(yīng)鏈管理、網(wǎng)絡(luò)自助和商業(yè)智能,幫助企業(yè)實(shí)現(xiàn)電子商務(wù);商業(yè)智能,利用已有的數(shù)據(jù)資源來支持企業(yè)決策,包括數(shù)據(jù)訪問、數(shù)據(jù)分析、成本控制,獲取新的商業(yè)機(jī)會(huì)和提高客戶忠誠度;數(shù)據(jù)管理,包括準(zhǔn)確高效地運(yùn)行查詢和應(yīng)用,安全地存儲(chǔ)、訪問數(shù)據(jù),數(shù)據(jù)恢復(fù),在復(fù)雜的硬件環(huán)境下實(shí)現(xiàn)應(yīng)用;增強(qiáng)DB2家族,滿足當(dāng)今異構(gòu)計(jì)算環(huán)境需求,實(shí)現(xiàn)開放式解決
它主要有以下特性:
?集成能力強(qiáng)
主要包括通用數(shù)據(jù)支持、免費(fèi)新增數(shù)據(jù)倉庫中心和DB2OLAPstarterkit。用戶可以使用DB2的數(shù)據(jù)連接器(DataJoiner),象訪問DB2數(shù)據(jù)資源一樣訪問Oracle、Sybase、Informix、SQLServer等數(shù)據(jù)庫。DB2UDB的用戶現(xiàn)在可以跨越DB2數(shù)據(jù)庫、Oracle數(shù)據(jù)庫或者一個(gè)OLEDB資源進(jìn)行分布式的查詢,也就是可以通過使用DB2通用數(shù)據(jù)庫的SQL句法和API在一個(gè)工作單元的查詢內(nèi)訪問和處理保存在異構(gòu)數(shù)據(jù)資源中的數(shù)據(jù)。
?高級(jí)面向?qū)ο骃QL
DB2UDBV7中包含了一些先進(jìn)的SQL功能,對(duì)開發(fā)人員和分析員都非常有用。DB2可以提供臨時(shí)表格支持、應(yīng)用存儲(chǔ)點(diǎn)(savingpoint)、標(biāo)識(shí)欄(IDColumn)和嵌套存儲(chǔ)過程。
Windows集成
DB2UDB7.1增加了對(duì)于Windows環(huán)境集成的支持:OLE-DB2.0版本的客戶端支持功能;OLE存儲(chǔ)過程的集成支持;VisualStudio集成;LDAPonWin2000支持;擴(kuò)展用戶ID支持。DB2V7.1加強(qiáng)了對(duì)OLE-DB的支持功能。現(xiàn)在用戶可以用OLE-DB的應(yīng)用工具通過本地的OLE界面來訪問或查詢DB2數(shù)據(jù),也可以通過OLE-DB的表格功能把數(shù)據(jù)裝載到DB2中。
提供三個(gè)新的擴(kuò)展器:
?空間擴(kuò)展器(SpatialExtender)
新版DB2提出了空間SQL查詢概念(SpatiallyEnabledSQLQueries),使用戶可以在關(guān)系型數(shù)據(jù)庫中集成空間數(shù)據(jù)(通過坐標(biāo)確定位置)和普通的SQL數(shù)據(jù)。這兩種技術(shù)的結(jié)合使用戶可以進(jìn)行新型查詢。新的空間擴(kuò)展器將能夠存儲(chǔ)和索引空間數(shù)據(jù)(坐標(biāo)信息),并使用戶通過特定的空間數(shù)據(jù)查詢對(duì)其進(jìn)行訪問。
DB2XML擴(kuò)展器
IBMDB2XMLExtender體現(xiàn)了IBM全面的XML技術(shù)策略,在電子商務(wù)領(lǐng)域居業(yè)界領(lǐng)導(dǎo)地位。XML擴(kuò)展器是IBMB2B服務(wù)器的組成部分,使DB2服務(wù)器可以支持XML。通過XML擴(kuò)展器提供了XML文檔在DB2中的存儲(chǔ)和恢復(fù)機(jī)制,并可高效地查詢XML內(nèi)容。通過數(shù)據(jù)交換,XML擴(kuò)展器提供新的和已存在的DB2相關(guān)表格和XML格式文檔之間的映射。DB2用戶可以在任何地方通過XML擴(kuò)展器進(jìn)行電子商務(wù),實(shí)現(xiàn)企業(yè)之間(B2B)和企業(yè)與消費(fèi)者之間(B2C)的應(yīng)用。
Net.Search擴(kuò)展器
DB2SearchExtender包括一個(gè)DB2存儲(chǔ)過程,提高了Net.Data、Java和DB2CallLevel界面應(yīng)用的快速全文本查詢功能。它為應(yīng)用編程者提供了大量查詢功能,例如模糊查詢、逆序查詢、布爾操作和分區(qū)查詢。在Internet中使用DB2Net.SearchExtender進(jìn)行查詢具有極大的優(yōu)勢(shì),特別是在遇到并行查詢的大型檢索時(shí)。
Oracle
Oracle公司作為世界上最大的數(shù)據(jù)庫廠家之一,憑借其在技術(shù)、資源和經(jīng)驗(yàn)上的優(yōu)勢(shì),一直致力于為企業(yè)提供最能滿足企業(yè)競(jìng)爭需要的數(shù)據(jù)倉庫解決方案。Oracle的數(shù)據(jù)倉庫解決方案包含了業(yè)界領(lǐng)先的數(shù)據(jù)庫平臺(tái)、開發(fā)工具和應(yīng)用系統(tǒng)。Oracle數(shù)據(jù)倉庫突破了現(xiàn)有數(shù)據(jù)倉庫產(chǎn)品的局限,能夠幫助企業(yè)以任何方式訪問存放在任何地點(diǎn)的信息,在企業(yè)中的任何層次上,滿足信息檢索和商業(yè)決策的需求。
體系結(jié)構(gòu):
Oracle數(shù)據(jù)倉庫包含了一整套的產(chǎn)品和服務(wù),覆蓋了數(shù)據(jù)倉庫定義,設(shè)計(jì)和實(shí)施的整個(gè)過程。圖2描述了Oracle數(shù)據(jù)倉庫的組成部分。
Oracle提供完整的產(chǎn)品工具集滿足上述數(shù)據(jù)倉庫的用戶需求:
Oracle8i數(shù)據(jù)倉庫核心,是最新版本的數(shù)據(jù)庫產(chǎn)品,專門針對(duì)數(shù)據(jù)倉庫進(jìn)行了很多的改進(jìn),包括對(duì)更大數(shù)據(jù)量的支持(PB級(jí))、對(duì)更多用戶數(shù)的支持、更多數(shù)據(jù)倉庫專用函數(shù)的支持等。
?OracleWarehouseBuilder可以為數(shù)據(jù)倉庫解決方案提供完整、集成的實(shí)施框架,以前只能由單獨(dú)工具完成的功能現(xiàn)在能夠在同一環(huán)境中實(shí)現(xiàn),這些功能包括:數(shù)據(jù)建模、數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)移和裝載、聚合、元數(shù)據(jù)的管理等。OracleWarehouseBuilder還實(shí)現(xiàn)了數(shù)據(jù)倉庫不同部件如關(guān)系數(shù)據(jù)庫、多維數(shù)據(jù)庫以及前端分析工具的集成,為用戶提供完整的數(shù)據(jù)倉庫和商業(yè)智能系統(tǒng)。
?OracleDeveloperServer企業(yè)級(jí)的應(yīng)用系統(tǒng)開發(fā)工具,具有面向?qū)ο蠛投嗝襟w的支持能力,可同時(shí)生成Client/Server及Web下的應(yīng)用,支持團(tuán)隊(duì)開發(fā),具有極高的開發(fā)效率及網(wǎng)絡(luò)伸縮性。
App]
Operational
Data卜1
Extern^LOr^ple^/
-Data
CommonWarehouseMetaData
icApplications
artners
圖2Oracle數(shù)據(jù)倉庫體系結(jié)構(gòu)圖
?OracleDiscoverer是最終用戶查詢、報(bào)告、深入、旋轉(zhuǎn)和WEB公布工具,能夠幫助用戶迅速訪問關(guān)系型數(shù)據(jù)倉庫,從而使他們作出基于充分信息的決策。由于此類工具直接基于關(guān)系數(shù)據(jù)庫,我們也稱此類工具為ROLAP型分析工具。
?OracleExpress產(chǎn)品系列是基于多維數(shù)據(jù)模型OLAP分析和WEB訪問工具,能夠提供復(fù)雜的分析能力,其中包括預(yù)測(cè)、建模和假設(shè)(What-if)分析。滿足高級(jí)分析用戶的需求。
?OracleDarwin基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘工具,簡單易用的圖形化界面,提供決策樹、神經(jīng)網(wǎng)絡(luò)等多種數(shù)據(jù)挖掘方法,支持海量數(shù)據(jù)的并行處理,分析結(jié)果可以和現(xiàn)有系統(tǒng)集成。
Sybase
Sybase的WarehouseStudio是一個(gè)針對(duì)數(shù)據(jù)倉庫應(yīng)用的集成化的解決方案,包括:設(shè)計(jì)組件(WarehouseArchitect)、元數(shù)據(jù)管理軟件(WarehouseControlCenter)和一個(gè)可選的用于集成的組件(PowerStage)數(shù)據(jù)管理軟件(AdaptiveServerIQ)和提供一些具有可視化功能的分析軟件
(BusinessObject,Cognos,Brio,MicroStrategy和EnglishWizard)。下面將詳細(xì)介紹WarehouseStudio的各個(gè)組成部分。
?WarehouseStudio設(shè)計(jì)
為了能夠使用最通用的關(guān)系數(shù)據(jù)庫和多維數(shù)據(jù)庫的設(shè)計(jì)方法建立數(shù)據(jù)倉庫模型,Sybase專門開發(fā)了數(shù)據(jù)倉庫設(shè)計(jì)工具WarehouseArchitect。這個(gè)工具為設(shè)計(jì)人員建立了一個(gè)非常友好而單一的環(huán)境,能讓數(shù)據(jù)建模人員和系統(tǒng)設(shè)計(jì)人員很方便地處理數(shù)據(jù)倉庫設(shè)計(jì)中特殊的應(yīng)用需求。
WarehouseArchitect為數(shù)據(jù)倉庫的設(shè)計(jì)提供了三大類功能,即:
多維建模在WarehouseArchitect環(huán)境中,設(shè)計(jì)人員可以使用針對(duì)數(shù)據(jù)倉庫問題的所有常用的設(shè)計(jì)方法,可以獲得處置數(shù)據(jù)多維特性的功能支持。在這個(gè)環(huán)境中,可以使用自頂向下的建模方法或者是使用自底向上的建模方法獲得各種設(shè)計(jì)。
設(shè)計(jì)向?qū)arehouseArchitect所提供的設(shè)計(jì)向?qū)?,可以幫助設(shè)計(jì)人員生成數(shù)據(jù)的多維層系結(jié)構(gòu)、可以為聚合(aggregation)、劃分(partition)、導(dǎo)入(importing)處理而優(yōu)化的數(shù)據(jù)結(jié)構(gòu),還可以用逆向工程的方法獲得源數(shù)據(jù)定義。
(3)優(yōu)化代碼的生成WarehouseArchitect能夠生成最流行的目標(biāo)數(shù)據(jù)倉庫和應(yīng)用環(huán)境的目錄信息所需要的代碼,對(duì)不同的環(huán)境所生成的代碼也不同。
?WarehouseStudio的管理
無論要建立的目標(biāo)系統(tǒng)是數(shù)據(jù)倉庫還是數(shù)據(jù)集市,總的目的都是幫助用戶更好和更有根據(jù)地做出決策。在數(shù)據(jù)倉庫的建設(shè)中,將數(shù)據(jù)加載到數(shù)據(jù)倉庫只是完成了整個(gè)工作中很小的一部分。因此,Sybase特意提供了WarehouseControlCenter,這是WarehouseStudio的管理組件。通過對(duì)元數(shù)據(jù)的運(yùn)用和管理,這個(gè)組件在信息系統(tǒng)與數(shù)據(jù)倉庫的用戶間架起了一座橋梁。
?數(shù)據(jù)管理選件AdaptiveServerIQ
為了支持?jǐn)?shù)據(jù)倉庫應(yīng)用中大量交互式的和無定型的查詢處理的需要,Sybase特意設(shè)計(jì)了它的新系統(tǒng)AdaptiveServerIQ。
AdaptiveServerIQ是數(shù)據(jù)管理領(lǐng)域和傳統(tǒng)數(shù)據(jù)管理技術(shù)中各種創(chuàng)新技術(shù)(其中很多是Sybase具有專利權(quán)的技術(shù))的集中體現(xiàn),它所提交的DBMS對(duì)于用戶日常的業(yè)務(wù)運(yùn)作沒有任何妨礙。AdaptiveServerIQ所具備的新技術(shù)包括:高級(jí)索引方法與存取方法、預(yù)優(yōu)化及即興式連接策略、數(shù)據(jù)縮減和各種劃分方法。通過對(duì)這些技術(shù)的綜合運(yùn)用,AdaptiveServerIQ突破了傳統(tǒng)技術(shù)的很多限制,為在多用戶環(huán)境下的交互式分析提供了統(tǒng)一而高效的支持功能。
?WarehouseStudio的集成選件
WarehouseStudio中的組件PowerStage,可以對(duì)應(yīng)用開發(fā)人員提供幫助,使整個(gè)處理過程中那些最困難和最費(fèi)時(shí)間的工作(從數(shù)據(jù)的抽取到系統(tǒng)的集成)自動(dòng)完成或者得以簡化,同時(shí)保證快速得到可靠的結(jié)果。在PowerStage轉(zhuǎn)換功能的支持下,借助于以下技術(shù)設(shè)施,開發(fā)者很容易取得所需要的數(shù)據(jù)。PowerStage運(yùn)用一種可視化模型,將對(duì)數(shù)據(jù)進(jìn)行抽取、變換、預(yù)處理和向數(shù)據(jù)倉庫中集成的全過程直觀地展現(xiàn)出來。通過使用“工作流”圖以及一種稱之為“驛程(Stage)”的預(yù)定義的而且可重用的組件作為構(gòu)件,用戶很容易模擬數(shù)據(jù)從數(shù)據(jù)源到目標(biāo)倉庫的流動(dòng)過程。使用一種圖形化的點(diǎn)擊式的界面,可將各個(gè)“Stage”鏈接起來。
?WarehouseStudio的可視化特性
業(yè)界很多技術(shù)領(lǐng)先的可視化工具廠家(包括BusinessObject,Cognos,SAS,Brio,InformationAdvantage等等)的產(chǎn)品都支持WarehouseStudio。
Informix
InformixDataStage是一個(gè)可以簡化和自動(dòng)從任意數(shù)據(jù)源中抽取、轉(zhuǎn)換、集成和裝載數(shù)據(jù)的集成化工具。InformixDataStage的可視化設(shè)計(jì)使用戶可以通過一個(gè)直觀的可視模型設(shè)計(jì)數(shù)據(jù)的轉(zhuǎn)換過程。它允許開發(fā)者添加更多的數(shù)據(jù)源、目標(biāo)及轉(zhuǎn)換程序,而無需重建應(yīng)用程序,因此可降低成本,減少時(shí)間和資源。由于能快速確定解決方案,用戶可以在短時(shí)間存取他們所需的數(shù)據(jù),從而作出更明智的商業(yè)決策。
建立數(shù)據(jù)倉庫的過程不僅涉及到數(shù)據(jù)集市或數(shù)據(jù)倉庫的初始設(shè)計(jì),而且涉及到處理過程的集成、維護(hù)及擴(kuò)展環(huán)境,以便適應(yīng)新的數(shù)據(jù)源、新的過程和新的目標(biāo)。作為一個(gè)綜合的、基于組件的系統(tǒng),InformixDataStage支持聯(lián)機(jī)數(shù)據(jù)倉庫抽取過程:設(shè)計(jì)、構(gòu)建、集成、維護(hù)和擴(kuò)展你的數(shù)據(jù)倉庫環(huán)境。
?開放的、可擴(kuò)展的體系結(jié)構(gòu)
構(gòu)建一個(gè)數(shù)據(jù)集市包含許多普通的操作,而每個(gè)執(zhí)行過程都不可避免地需要定制解決方案,使之適應(yīng)特定的分析需求。有經(jīng)驗(yàn)的開發(fā)者懂得如何定制以便處理特殊的數(shù)據(jù)格式、專業(yè)化的商業(yè)規(guī)劃處理和復(fù)雜的邏輯轉(zhuǎn)換,這些工作大約占用構(gòu)建數(shù)據(jù)集市或數(shù)據(jù)倉庫所需的80%以上的
成本和時(shí)間。InformixDataStage提供一個(gè)基于組件的體系結(jié)構(gòu),可以通過模型化、重復(fù)使用模塊(如文件載入和聚合)來簡化和加快開發(fā)過程。另外,它還提供了更為強(qiáng)大的可伸縮性和經(jīng)濟(jì)性,允許用戶建立反映特定應(yīng)用需求的組件,然后封裝這些組件以便重用。
InformixDataStage利用開放的應(yīng)用程序接口(API)和開發(fā)工具箱來擴(kuò)展基于組件的體系結(jié)構(gòu)。使用這個(gè)接口,用戶能夠方便地構(gòu)建新的被稱為Plug-In的組件。利用這些Plug-In,用戶可以捕獲定制的轉(zhuǎn)換和商業(yè)規(guī)則,自動(dòng)歸檔并在InformixDataStage環(huán)境中重復(fù)使用,使用戶能構(gòu)建一個(gè)可擴(kuò)展的附加功能庫。
這一開放的體系結(jié)構(gòu)可以減少開發(fā)環(huán)節(jié)并降低項(xiàng)目成本。InformixDataStage使用戶能建立數(shù)據(jù)倉庫解決方案,從而快速地滿足所有用戶的需求并節(jié)約成本。
?InformixDataStage組件
設(shè)計(jì)器一一這是一個(gè)強(qiáng)大的,基于圖形用戶界面(GUI)的開發(fā)工具,它包含一個(gè)轉(zhuǎn)換引擎,一個(gè)元數(shù)據(jù)存儲(chǔ)和二種編程語言(SQL和BASIC)。使用設(shè)計(jì)器的拖拉功能,用戶能在準(zhǔn)備數(shù)據(jù)集市中建立一個(gè)數(shù)據(jù)轉(zhuǎn)換過程模型,防止操作系統(tǒng)的中斷及避免執(zhí)行錯(cuò)誤。
存儲(chǔ)管理器一一在開發(fā)數(shù)據(jù)集市的過程中,使用存儲(chǔ)管理器瀏覽、編輯和輸入元數(shù)據(jù)。這可能包括來自操作系統(tǒng)的元數(shù)據(jù)或目標(biāo)集市以及來自開發(fā)項(xiàng)目中新的元數(shù)據(jù)(例如新的數(shù)據(jù)類型定義、傳輸定義和商業(yè)規(guī)則)。
控制器一一使用控制器和運(yùn)行引擎來規(guī)劃運(yùn)行中的解決方案,測(cè)試和調(diào)試它的組件,并監(jiān)控執(zhí)行版本的結(jié)果(以特別要求或預(yù)定為基礎(chǔ))。
管理器一一管理器簡化數(shù)據(jù)集市的多種管理。使用管理器來分配權(quán)限給用戶或用戶組(控制InformixDataStage客戶應(yīng)用或他們看到的或執(zhí)行的工作),建立全局設(shè)置(例如:用于自動(dòng)清除日志文件的缺省設(shè)置),移動(dòng)、重命名或刪除項(xiàng)目和管理或發(fā)布從開發(fā)到生產(chǎn)的狀態(tài)。
服務(wù)器Informix在服務(wù)器方面強(qiáng)大的技術(shù)背景使得Informi
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 清廉課題申報(bào)書怎么寫
- 科研課題申報(bào)書抄襲
- 別墅擴(kuò)建土建合同范本
- 衛(wèi)浴勞動(dòng)合同范本
- 音樂 課題申報(bào)書
- 國家立項(xiàng)課題申報(bào)書
- 合同附合同范本
- 單項(xiàng)委托預(yù)定酒店合同范本
- 養(yǎng)殖土雞合同范本
- 中環(huán)租房合同范本
- 2025年湖南鐵道職業(yè)技術(shù)學(xué)院單招職業(yè)技能測(cè)試題庫帶答案
- 2025年江蘇揚(yáng)州市儀征市眾鑫建設(shè)開發(fā)有限公司招聘筆試參考題庫附帶答案詳解
- 部編高教版2023·職業(yè)模塊 中職語文 2.《寧夏閩寧鎮(zhèn):昔日干沙灘今日金沙灘》 課件
- 安全環(huán)保職業(yè)健康法律法規(guī)清單2024年
- 2022年袋鼠數(shù)學(xué)競(jìng)賽真題一二年級(jí)組含答案
- 人工智能引論智慧樹知到課后章節(jié)答案2023年下浙江大學(xué)
- 2023年高考語文全國乙卷《長出一地的好蕎麥》解析
- 清鈴撳針介紹
- 東方要略(1-完整版)
- 2022年三類人員(安全B證)安全繼續(xù)教育考試知識(shí)點(diǎn)
- 中國石油天然氣集團(tuán)公司保密管理規(guī)定
評(píng)論
0/150
提交評(píng)論