集裝箱碼頭數(shù)據(jù)倉庫的設(shè)計(jì)與實(shí)現(xiàn)

1、 集裝裝箱碼頭數(shù)數(shù)據(jù)倉庫的的設(shè)計(jì)與實(shí)實(shí)現(xiàn) 摘摘要隨著信息技技術(shù)的迅猛猛發(fā)展，數(shù)數(shù)據(jù)倉庫技技術(shù)在信息息技術(shù)領(lǐng)域域已經(jīng)成為為了研究的的熱點(diǎn)，并并且日益成成熟，成為為信息技術(shù)術(shù)領(lǐng)域的前前沿技術(shù)。實(shí)踐證明明，數(shù)據(jù)倉倉庫的建立立給企業(yè)帶帶來豐厚的的收益，集集裝箱碼頭頭也期望能能通過數(shù)據(jù)據(jù)倉庫的建建立來提升升企業(yè)的核核心競爭力力。本論文以集集裝箱碼頭頭數(shù)據(jù)倉庫庫項(xiàng)目需求求為基礎(chǔ)，致致力于研究究集裝箱碼碼頭數(shù)據(jù)倉倉庫吞吐量量主題的設(shè)設(shè)計(jì)方法與與應(yīng)用，通通過對集裝裝箱碼頭業(yè)業(yè)務(wù)的分析析和整理，選選擇合適的的技術(shù)路線線和數(shù)據(jù)倉倉庫架構(gòu)，實(shí)實(shí)現(xiàn)數(shù)據(jù)倉倉庫的建立立。ETL設(shè)計(jì)計(jì)是數(shù)據(jù)倉倉庫的核心心，在本論論文中也不

2、不例外，論論文使用大大量的篇幅幅介紹了EETL的設(shè)設(shè)計(jì)方法。為了減少少對源系統(tǒng)統(tǒng)的影響，設(shè)設(shè)計(jì)合適的的ETL顯顯得尤為重重要。作者者在充分分分析集裝箱箱碼頭業(yè)務(wù)務(wù)和數(shù)據(jù)倉倉庫技術(shù)的的基礎(chǔ)上，設(shè)設(shè)計(jì)了基于于時(shí)間的EETL方式式。項(xiàng)目中采用用維度建模模的方式實(shí)實(shí)現(xiàn)了集裝裝箱碼頭吞吞吐量多維維數(shù)據(jù)集，最最后選擇微微軟公司的的SQL Servver20008作為為數(shù)據(jù)倉庫庫存儲系統(tǒng)統(tǒng)，對外提提供吞吐量量多維數(shù)據(jù)據(jù)集進(jìn)行查查詢與分析析。關(guān)鍵詞：數(shù)據(jù)倉庫庫，集裝箱箱碼頭，EETL，維維度建模，吞吞吐量AbstrractWith the rapiid deeveloopmennt off infformaa

3、tionn tecchnollogy, datta wareehousse teechnoologyy in the fielld off infformaationn tecchnollogy has becoome aa ressearcch foocus, andd morre maaturee. Prractiice hhas pproveed thhat dataa warrehouuse bbringg the hugee proofitss to the enteerpriise, throough the conttaineer teerminnal iis allso eex

4、peccted to eestabblishh a ddata wareehousse too impprovee thee corre coompettitivvenesss.Thouggh thhe daata wwarehhousee reqquemeents of tthe pprojeect aat coontaiiner termminall ,thee autthor dediicateed too thee ressearcch thhe dataa warrehouuse ddesiggn meethodd andd appplicaationns foor coontaii

5、ner termminall on thheme of ccontaainerr throoughpput,tthen chooose the apprropriiate techhnoloogy rroadmmap aand ddata wareehousse arrchittectuure tto fiinishh thee estaablisshmennt off thee warrehouuse.ETL iis thhe moost iimporrtantt parrt inn data warehhousee connstruuctinng,itts aalso in tthis p

6、apeer,thhe auuthorr speend aa larrge aamounnt off spaace tto deescriibe tthe ddesiggn meethodd of ETL. In ordeer too redduce the impaact oon thhe soourcee sysstemss, ETTL deesignn is partticullarlyy impportaant.The requuiremmentss of Conttaineer teerminnal iis fullly anallysiss by authhor,aand tthen

7、 stuudy oon thhe baasis dataa warrehouuse ttechnnologgy,soo thee ETLL bassed oon tiime wwas cchoosse.Dimennsionnal mmodelling was usedd to desiign tthe mmultii-dimmensiion ccube of conttaineer teerminnal tthrouughpuut inn thiis prrojecct. FFinallly,tthe ssourcce daata wwere storred iin Miicrossoft S

8、QL Servver20008 ,andd suppply the multti-diimenssion cubee to vieww andd anaalysiis.Key WWordss：dw,conttaineer teerminnal,EETL, dimennsionnal mmodelling, throoughpput 目錄TOC o 1-3 h z u HYPERLINK l _Toc291407569 摘要 PAGEREF _Toc291407569 h i HYPERLINK l _Toc291407570 Abstrract PAGEREF _Toc291407570 h

9、ii HYPERLINK l _Tocc29144075771 圖目錄 PAGEREF _Toc291407571 h III HYPERLINK l _Toc291407572 表目錄 PAGEREF _Toc291407572 h IIV HYPERLINK l _Toc291407573 第1章 緒緒論 PAGEREF _Toc291407573 h 1 HYPERLINK l _Toc291407574 1.1 課課題背景 PAGEREF _Toc291407574 h 1 HYPERLINK l _Toc291407575 1.2 主主要的研究究內(nèi)容 PAGEREF _Toc2914

10、07575 h 2 HYPERLINK l _Toc291407576 1.3本章章小結(jié) PAGEREF _Toc291407576 h 3 HYPERLINK l _Toc291407577 第2章 數(shù)數(shù)據(jù)倉庫相相關(guān)技術(shù)介介紹 PAGEREF _Toc291407577 h 4 HYPERLINK l _Toc291407578 2.1 數(shù)數(shù)據(jù)倉庫的的發(fā)展 PAGEREF _Toc291407578 h 4 HYPERLINK l _Toc291407579 2.2 數(shù)數(shù)據(jù)倉庫的的實(shí)現(xiàn)過程程 PAGEREF _Toc291407579 h 5 HYPERLINK l _Toc29140758

11、0 2.3 新新興數(shù)據(jù)倉倉庫解決方方案 PAGEREF _Toc291407580 h 5 HYPERLINK l _Toc29140075811 2.4 本本章小結(jié) PAGEREF _Toc291407581 h 8 HYPERLINK l _Toc291407582 第3章 業(yè)業(yè)務(wù)整理與與項(xiàng)目規(guī)劃劃 PAGEREF _Toc291407582 h 9 HYPERLINK l _Toc291407583 3.1 業(yè)業(yè)務(wù)狀況介介紹 PAGEREF _Toc291407583 h 9 HYPERLINK l _Toc291407584 3.1.11 信息系系統(tǒng)應(yīng)用狀狀況 PAGEREF _Toc

12、291407584 h 10 HYPERLINK l _Toc291407585 3.1.22 報(bào)表數(shù)數(shù)據(jù)的需求求 PAGEREF _Toc291407585 h 10 HYPERLINK l _Toc291407586 3.1.33 其他需需求 PAGEREF _Toc291407586 h 11 HYPERLINK l _Toc291407587 3.2 數(shù)數(shù)據(jù)倉庫系系統(tǒng)階段規(guī)規(guī)劃 PAGEREF _Toc291407587 h 11 HYPERLINK l _Toc291407588 3.3 預(yù)預(yù)期產(chǎn)出成成果 PAGEREF _Toc291407588 h 11 HYPERLINK l

13、_Toc291407589 3.4 架架構(gòu)設(shè)計(jì) PAGEREF _Toc291407589 h 12 HYPERLINK l _Toc291407590 3.5 本本章小結(jié) PAGEREF _Toc291407590 h 15 HYPERLINK l _Toc291407591 第4章 數(shù)數(shù)據(jù)存儲結(jié)結(jié)構(gòu)設(shè)計(jì) PAGEREF _Toc291407591 h 16 HYPERLINK l _Toc291407592 4.1 數(shù)數(shù)據(jù)定義的的統(tǒng)一 PAGEREF _Toc291407592 h 16 HYPERLINK l _Toc291407593 4.2 數(shù)數(shù)據(jù)源結(jié)構(gòu)構(gòu)描述 PAGEREF _To

14、c291407593 h 16 HYPERLINK l _Toc2914077594 4.3 企企業(yè)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)化 PAGEREF _Toc291407594 h 18 HYPERLINK l _Toc291407595 4.4 數(shù)數(shù)據(jù)倉庫數(shù)數(shù)據(jù)結(jié)構(gòu) PAGEREF _Toc291407595 h 19 HYPERLINK l _Toc291407596 4.4.11 數(shù)據(jù)倉倉庫表結(jié)構(gòu)構(gòu) PAGEREF _Toc291407596 h 19 HYPERLINK l _Toc291407597 4.4.22 目標(biāo)數(shù)數(shù)據(jù)與源數(shù)數(shù)據(jù)的對應(yīng)應(yīng)關(guān)系 PAGEREF _Toc291407597 h 21 H

15、YPERLINK l _Toc291407598 4.5 本本章小結(jié) PAGEREF _Toc291407598 h 22 HYPERLINK l _Toc291407599 第5章 面面向集裝箱箱操作時(shí)間間的ETLL設(shè)計(jì) PAGEREF _Toc291407599 h 23 HYPERLINK l _Toc291407600 5.1 EETL的實(shí)實(shí)現(xiàn)方式 PAGEREF _Toc291407600 h 23 HYPERLINK l _Toc291407601 5.2 吞吞吐量數(shù)據(jù)據(jù)初始化 PAGEREF _Toc291407601 h 24 HYPERLINK l _Toc291407602

16、 5.3 數(shù)數(shù)據(jù)增量同同步 PAGEREF _Toc291407602 h 27 HYPERLINK l _Toc291407603 5.3.11 流程總總覽 PAGEREF _Toc291407603 h 27 HYPERLINK l _Toc291407604 5.3.22 ETLL增量同步步的具體實(shí)實(shí)現(xiàn) PAGEREF _Toc291407604 h 28 HYPERLINK l _Toc291407605 5.4 本本章小結(jié) PAGEREF _Toc291407605 h 31 HYPERLINK l _Toc291407606 第6章 吞吞吐量的多多維數(shù)據(jù)集集設(shè)計(jì) PAGEREF _

17、Toc291407606 h 32 HYPERLINK l _Toc291407607 6.1 邏邏輯設(shè)計(jì) PAGEREF _Toc291407607 h 32 HYPERLINK l _Toc291407608 6.1.11 確定主主題 PAGEREF _Toc291407608 h 32 HYPERLINK l _Toc291407609 6.1.22 粒度的的確定 PAGEREF _Toc291407609 h 32 HYPERLINK l _Toc29914077610 6.1.3 確定定維度表 PAGEREF _Toc291407610 h 33 HYPERLINK l _Toc29

18、1407611 6.1.44 確定事事實(shí)表 PAGEREF _Toc291407611 h 36 HYPERLINK l _Toc291407612 6.2 多多維數(shù)據(jù)集集的實(shí)現(xiàn) PAGEREF _Toc291407612 h 37 HYPERLINK l _Toc291407613 6.3 本本章小結(jié) PAGEREF _Toc291407613 h 39 HYPERLINK l _Toc291407614 第7章 數(shù)數(shù)據(jù)展示與與分析 PAGEREF _Toc291407614 h 41 HYPERLINK l _Toc291407615 7.1 辦辦公網(wǎng)吞吐吐量展示 PAGEREF _Toc

19、291407615 h 41 HYPERLINK l _Toc291407616 7.2 數(shù)數(shù)據(jù)倉庫報(bào)報(bào)表 PAGEREF _Toc291407616 h 41 HYPERLINK l _Toc291407617 7.3 數(shù)數(shù)據(jù)分析 PAGEREF _Toc291407617 h 42 HYPERLINK l _Toc291407618 7.4 本本章小結(jié) PAGEREF _Toc291407618 h 44 HYPERLINK l _Toc291407619 第8章 總總結(jié)與展望望 PAGEREF _Toc291407619 h 45 HYPERLINK l _Toc291407620 8.

20、1 總總結(jié) PAGEREF _Toc291407620 h 45 HYPERLINK l _Toc291407621 8.2 展展望 PAGEREF _Toc291407621 h 46 HYPERLINK l _Toc291407622 參考文獻(xiàn) PAGEREF _Toc291407622 h 47 HYPERLINK l _Toc291407623 作者簡歷 PAGEREF _Toc291407623 h 49 HYPERLINK l _Toc291407624 致謝 PAGEREF _Toc291407624 h 500圖目錄TOC h z c 圖圖1.1 項(xiàng)目所處處企業(yè)信息息化的位置置

21、.2 圖2.1 十大數(shù)據(jù)據(jù)倉庫排名名.4圖2.2 Infoobrigght Archhiteccturee.7圖3.1 數(shù)據(jù)倉庫庫體系結(jié)構(gòu)構(gòu).12圖3.2 OLAPP多維數(shù)據(jù)據(jù)集概念圖圖.14圖3.3 數(shù)據(jù)倉庫庫項(xiàng)目架構(gòu)構(gòu)圖.15圖4.1 表結(jié)構(gòu)范范例.117圖4.2 數(shù)據(jù)倉庫庫表結(jié)構(gòu)（一一）.220圖4.3 數(shù)據(jù)倉庫庫表結(jié)構(gòu)（二二）.221圖5.1 “數(shù)據(jù)流源源”屬性設(shè)置置.25圖5.2 數(shù)據(jù)倉庫庫初始化SSSIS包包結(jié)構(gòu).26圖5.3 增量數(shù)據(jù)據(jù)ETL流流程.28圖5.4 Impoort包抓抓取源數(shù)據(jù)據(jù).29圖5.5 導(dǎo)入增量量數(shù)據(jù).30圖5.6 ETL執(zhí)執(zhí)行計(jì)劃.31圖6.1 吞吐量維維

22、度關(guān)系.38圖6.2 日期的層層次關(guān)系.38圖6.3 度量值的的轉(zhuǎn)換.39圖7.1 通過MOOSS展示示吞吐量.41圖7.2 船舶作業(yè)業(yè)報(bào)表.42圖7.3 集裝箱吞吞吐量（一一）.43圖7.4 集裝箱吞吞吐量（二二）.43表目錄TOC h z c 表表2.1IInfobbrighht性能對對比8表3.1報(bào)表分分類舉例8表4.1源源系統(tǒng)吞吐吐量相關(guān)表表結(jié)構(gòu).17表6.1船船期維度.34表6.2集集裝箱維度度.35表6.3輔輔助作業(yè)維維度.366表6.4集集裝箱作業(yè)業(yè)類型緯度度.36表6.5作作業(yè)設(shè)備緯緯度.336表6.6操操作員表緯緯度.336表6.7集集裝箱吞吐吐量事實(shí).37表6.8輔輔助作業(yè)

23、吞吞吐量事實(shí)實(shí).337緒論課題背景本課題來源源于，寧波波大榭招商商國際碼頭頭（簡稱CCMICTT）。寧波大榭招招商國際碼碼頭有限公公司成立于于20033年6月，公公司是由香香港招商局局國際有限限公司、寧寧波港集團(tuán)團(tuán)、上海中中信港口投投資有限公公司三方共共同投資組組建的中外外合資企業(yè)業(yè)。 規(guī)劃劃建設(shè)3個個10萬噸噸級、1個個7萬噸級級集裝箱專專用泊位，碼碼頭全長11500米米，水深-17米，整整個港區(qū)建建成后總面面積1633.5萬平平方米，設(shè)設(shè)計(jì)年吞吐吐量達(dá)2440萬TEEU1。公司從從建立至今今一直保持持著高速發(fā)發(fā)展，在受受到金融危危機(jī)影響的的20099年，吞吐吐量仍然保保持近100%的增長長

24、，到達(dá)1119萬TTEU，22010年年吞吐量超超過1500萬TEUU。隨著公司的的發(fā)展，各各業(yè)務(wù)系統(tǒng)統(tǒng)的上線使使用，產(chǎn)生生的各種業(yè)業(yè)務(wù)數(shù)據(jù)分分布存儲在在不同的系系統(tǒng)中。例例如：主要要生產(chǎn)作業(yè)業(yè)量數(shù)據(jù)存存儲在集裝裝箱碼頭操操作管理系系統(tǒng)（TOOS）中，電電量數(shù)據(jù)在在RCMSS系統(tǒng)、電電量自動化化系統(tǒng)中有有存儲但是是數(shù)據(jù)意義義不同，費(fèi)費(fèi)收數(shù)據(jù)目目前存儲在在TOS系系統(tǒng)中以后后會存儲在在商務(wù)計(jì)費(fèi)費(fèi)系統(tǒng)中，應(yīng)應(yīng)收賬款的的收款情況況信息存儲儲在財(cái)務(wù)系系統(tǒng)中，設(shè)設(shè)備加油數(shù)數(shù)據(jù)存儲在在加油系統(tǒng)統(tǒng)中，等等等；目前的的數(shù)據(jù)分析析多是利用用獨(dú)立的業(yè)業(yè)務(wù)數(shù)據(jù)進(jìn)進(jìn)行數(shù)據(jù)提提取分析的的，無法靈靈活實(shí)現(xiàn)綜綜合性的數(shù)數(shù)據(jù)

25、關(guān)聯(lián)分分析及鉆取取分析。如如果需要對對各種作業(yè)業(yè)量及效率率進(jìn)行分析析、對作業(yè)業(yè)的成本進(jìn)進(jìn)行分析、對作業(yè)的的收入情況況進(jìn)行分析析就需要建建立一個適適合統(tǒng)計(jì)分分析的、便便于擴(kuò)展的的、符合我我司業(yè)務(wù)情情況的統(tǒng)一一的數(shù)據(jù)模模型，從而而將TOSS系統(tǒng)中的的作業(yè)數(shù)據(jù)據(jù)，商務(wù)費(fèi)費(fèi)收數(shù)據(jù)，財(cái)財(cái)務(wù)收款數(shù)數(shù)據(jù)，電量量數(shù)據(jù)，油油耗數(shù)據(jù)等等業(yè)務(wù)數(shù)據(jù)據(jù)統(tǒng)一起來來，為后續(xù)續(xù)的綜合數(shù)數(shù)據(jù)分析提提供支持。下圖所示中中橙色部分為為本次項(xiàng)目目實(shí)施在整整體企業(yè)信信息規(guī)劃中中所處的位位置，其中中前端展現(xiàn)現(xiàn)部分計(jì)劃劃在企業(yè)統(tǒng)統(tǒng)一信息平平臺中進(jìn)行行實(shí)現(xiàn)：圖1.1 項(xiàng)目所處處企業(yè)信息息化的位置置如圖1.11所示，經(jīng)經(jīng)過幾年的的信息化建建設(shè)

26、，公司司的信息化化基礎(chǔ)設(shè)施施、基礎(chǔ)業(yè)業(yè)務(wù)操作系系統(tǒng)已經(jīng)建建設(shè)完成，目目前的信息息化系統(tǒng)已已經(jīng)能夠滿滿足公司業(yè)業(yè)務(wù)操作需需求。但是是，隨著行行業(yè)競爭的的加劇、公公司發(fā)展對對積累的歷歷史數(shù)據(jù)進(jìn)進(jìn)行分析的的需要（例例如：從各各角度分析析吞吐量情情況、分析析成本情況況、分析收收入情況），就就需要在業(yè)業(yè)務(wù)操作層層的基礎(chǔ)上上構(gòu)建適合合統(tǒng)計(jì)分析析的分析數(shù)數(shù)據(jù)管理層層，以便為為公司各項(xiàng)項(xiàng)數(shù)據(jù)的整整合分析、為后續(xù)更更高層次的的商務(wù)智能能分析打下下基礎(chǔ)?；谝陨弦蛞蛩兀岢龀龃箝空猩躺檀a頭數(shù)據(jù)據(jù)倉庫項(xiàng)目目，本論文文就是在數(shù)數(shù)據(jù)倉庫建建設(shè)的初期期，探討如如何實(shí)現(xiàn)將將碼頭生產(chǎn)產(chǎn)操作數(shù)據(jù)導(dǎo)導(dǎo)入數(shù)據(jù)倉倉庫，并且且以直觀的

27、的形式在公公司內(nèi)部展展示吞吐量量相關(guān)數(shù)據(jù)據(jù)，提供公公司業(yè)務(wù)相相關(guān)人員便便捷查看，并并能供給業(yè)業(yè)務(wù)人員對對集裝箱吞吞吐量數(shù)據(jù)據(jù)進(jìn)行多方方面的分析析和鉆取。主要的研究究內(nèi)容本文針對寧寧波大榭招招商國際集集裝箱碼頭頭業(yè)務(wù)的特特點(diǎn)和現(xiàn)狀狀，主要對對企業(yè)數(shù)據(jù)據(jù)倉庫項(xiàng)目目吞吐量主主題域的建建立進(jìn)行研研究。本文文在對比了了幾種經(jīng)典典的數(shù)據(jù)倉倉庫設(shè)計(jì)架架構(gòu)之后，提提出一個適適合該碼頭頭的數(shù)據(jù)倉倉庫架構(gòu)，使使得企業(yè)的的分析數(shù)據(jù)據(jù)統(tǒng)一無誤誤，并能便便捷的提供供給業(yè)務(wù)崗崗位進(jìn)行分分析，并解解釋設(shè)計(jì)階階段的側(cè)重重點(diǎn)。本文主要研研究內(nèi)容包包括：首先，分析析招商國際際碼頭業(yè)務(wù)務(wù)需求，碼碼頭生產(chǎn)操作系系統(tǒng)（TOOS）中數(shù)數(shù)

28、據(jù)的邏輯輯關(guān)系、吞吞吐量相關(guān)關(guān)的數(shù)據(jù)來來源，并整整理與之相相關(guān)維度的的關(guān)系，然然后選擇數(shù)數(shù)據(jù)建模工工具建立起起吞吐量主主題的邏輯輯模型。其次，根據(jù)據(jù)招商國際際碼頭業(yè)務(wù)務(wù)系統(tǒng)的特特點(diǎn)，嘗試試以MS SQLSSERVEER20008作為目目標(biāo)數(shù)據(jù)庫庫存儲平臺臺完成物理理設(shè)計(jì)，采采用SSIIS作為EETL工具具，并設(shè)計(jì)計(jì)ETL的的處理流程程。最后，通過過結(jié)合招商商國際集裝裝箱碼頭的的企業(yè)信息息平臺特點(diǎn)點(diǎn)完成數(shù)據(jù)據(jù)的展示，供供給業(yè)務(wù)人人員通過報(bào)報(bào)表查詢分分析操作數(shù)數(shù)據(jù)。1.3本章章小結(jié)本章介紹了了寧波大榭榭招商國際際碼頭有限限公司的概概況和公司司信息化的的發(fā)展?fàn)顩r況。由于面臨提提高精細(xì)化化管理的程程度

29、、建立自身身的競爭優(yōu)優(yōu)勢、向管理要要紅利和業(yè)業(yè)務(wù)發(fā)展需需要等一系系列問題，為為了解決這這些問題而而提出的數(shù)數(shù)據(jù)倉庫項(xiàng)項(xiàng)目，同時(shí)時(shí)概括的說說明了論文文涉及項(xiàng)目目的主要內(nèi)內(nèi)容和目的的。最后，闡闡述了作者者在該項(xiàng)目目中從事的的研究內(nèi)容容。下一章章，將對數(shù)數(shù)據(jù)倉庫相相關(guān)技術(shù)進(jìn)進(jìn)行一個粗粗略的闡述述。數(shù)據(jù)倉庫相相關(guān)技術(shù)介介紹數(shù)據(jù)倉庫的的發(fā)展隨著PC的的迅速普及及，業(yè)務(wù)處處理系統(tǒng)的的運(yùn)行成本本大大降低低，極大地地推動了信信息處理技技術(shù)的發(fā)展展。企業(yè)大大型聯(lián)機(jī)事事務(wù)處理技技術(shù)已經(jīng)相相當(dāng)成熟，很很好地解決決了企業(yè)對對于實(shí)時(shí)業(yè)業(yè)務(wù)交易的的需求。與與此同時(shí)，激激烈的得各各行各業(yè)對對于數(shù)據(jù)處處理提出了了更高的要要求

30、。企業(yè)業(yè)已經(jīng)不滿滿能夠幫助助他們迅速速地處理業(yè)業(yè)務(wù)，而且且需要從浩浩如煙海的的大量業(yè)務(wù)務(wù)活動的規(guī)規(guī)律性，提提煉出經(jīng)營營管理所必必須的關(guān)鍵鍵信息，使使自身業(yè)務(wù)務(wù)的運(yùn)作以以及整個市市場相關(guān)行行業(yè)的態(tài)勢勢進(jìn)行分析析，從的決決策。正是是在這樣的的背景下，數(shù)數(shù)據(jù)倉庫技技術(shù)應(yīng)運(yùn)而而生了22。在剛開始的的時(shí)候，數(shù)數(shù)據(jù)倉庫市市場比較混混亂，數(shù)以以百計(jì)的數(shù)數(shù)據(jù)倉庫提提供商提供供了各自定定義的數(shù)據(jù)據(jù)倉庫產(chǎn)品品，經(jīng)過十十多年的發(fā)發(fā)展，數(shù)據(jù)據(jù)倉庫市場場已經(jīng)成熟熟起來，漸漸漸形成了了以Sybbase、IBM、OOraclle、Miicrossoft等等幾家ITT巨頭為首首的數(shù)據(jù)倉倉庫提供商商，他們?yōu)闉楦鞔罂鐕鴩髽I(yè)提供

31、供TB級別別的數(shù)據(jù)倉倉庫解決方方案，從OOraclle白皮書書中截取的的十大數(shù)據(jù)據(jù)倉庫排名名，如圖22.1：圖2.1 十大數(shù)據(jù)據(jù)倉庫排名名數(shù)據(jù)倉庫的的實(shí)現(xiàn)過程程數(shù)據(jù)倉庫的的建立可以以采用自頂頂向下的設(shè)設(shè)計(jì)方法，首首先對整個個企業(yè)所有有的數(shù)據(jù)整整合建模，按按照傳統(tǒng)的的關(guān)系概念念模型建立立原子單元元的中央數(shù)數(shù)據(jù)倉庫，然然后根據(jù)不不同的應(yīng)用用來分別建建立相應(yīng)的的數(shù)據(jù)集市市，數(shù)據(jù)集集市中的數(shù)數(shù)據(jù)全部來來自前面建建立的中央央數(shù)據(jù)倉庫庫。這種架架構(gòu)需要企企業(yè)的業(yè)務(wù)務(wù)明確，企企業(yè)內(nèi)部具具有準(zhǔn)確詳詳細(xì)的數(shù)據(jù)據(jù)模型定義義，需要調(diào)調(diào)動企業(yè)的的每個部門門參與，這這種方式需需要項(xiàng)目實(shí)實(shí)施人員有有豐富的實(shí)實(shí)際經(jīng)驗(yàn)，并并

32、且企業(yè)中中定義了規(guī)規(guī)范的數(shù)據(jù)據(jù)標(biāo)準(zhǔn)，這這種方式風(fēng)風(fēng)險(xiǎn)較大，但但是這種方方式中所有有應(yīng)用的數(shù)數(shù)據(jù)都是來來自中央數(shù)數(shù)據(jù)庫，能能夠極大的的確保數(shù)據(jù)據(jù)的一致性性。如果企業(yè)沒沒有做好完完善的準(zhǔn)備備，也可以以采用自底底向上的設(shè)設(shè)計(jì)方法，按按照某個相相關(guān)主題的的需求，通通過迭代的的方式來建建立企業(yè)數(shù)數(shù)據(jù)倉庫。這種方式式相對風(fēng)險(xiǎn)險(xiǎn)較小，實(shí)實(shí)施也較容容易。這種種方式首先先通過某個個具體的業(yè)業(yè)務(wù)需求進(jìn)進(jìn)行分析，按按照維度模模型建立數(shù)數(shù)據(jù)集市，然然后通過增增加維度和和數(shù)據(jù)集市市螺旋的向向上構(gòu)建數(shù)數(shù)據(jù)倉庫，這這種方式建建立的數(shù)據(jù)據(jù)倉庫僅僅僅是包含全全部數(shù)據(jù)集集市的聯(lián)合合。在最初初的分析階階段建立的的數(shù)據(jù)集市市就是實(shí)現(xiàn)

33、現(xiàn)數(shù)據(jù)倉庫庫的基礎(chǔ)，與與后期的數(shù)數(shù)據(jù)集市聯(lián)聯(lián)合實(shí)現(xiàn)數(shù)數(shù)據(jù)倉庫，不不同的數(shù)據(jù)據(jù)集市之間間可以通過過創(chuàng)建一個個統(tǒng)一的維維度來進(jìn)行行集成，每每當(dāng)增加數(shù)數(shù)據(jù)集市時(shí)時(shí)，都把新新的維度整整合進(jìn)統(tǒng)一一維度中去去。為了降低數(shù)數(shù)據(jù)倉庫建建立的復(fù)雜雜度，按照照自底向上上的方式，根根據(jù)不同的的需求分階階段的完成成數(shù)據(jù)倉庫庫的建設(shè)，這這種方式針針對業(yè)務(wù)應(yīng)應(yīng)用不是直直接建立維維度化的數(shù)數(shù)據(jù)集市，而而是先建立立適用于各各種數(shù)據(jù)集集市的原子子級的數(shù)據(jù)據(jù)倉庫，數(shù)數(shù)據(jù)集市建建立在原子子級的數(shù)據(jù)據(jù)倉庫之上上。新興數(shù)據(jù)倉倉庫解決方方案傳統(tǒng)的數(shù)據(jù)據(jù)庫提供商商提供了主要基于于自身數(shù)據(jù)據(jù)庫產(chǎn)品的的解決方案案，如Orraclee公司和微微

34、軟公司，他他們都提供供了一整套套的數(shù)據(jù)倉倉庫解決方方案，他們們不僅提供供了存儲數(shù)數(shù)據(jù)的DBBMS，而而且集成了了可視化的的ETL設(shè)設(shè)計(jì)工具，并并對外提供供OLAPP服務(wù)和快快速開發(fā)報(bào)報(bào)表的工具具，這些廠廠商憑借其其關(guān)系數(shù)據(jù)據(jù)庫系統(tǒng)用用戶量的優(yōu)優(yōu)勢，在數(shù)數(shù)據(jù)倉庫的的發(fā)展初期期，占有了較多多的市場份額額。然而，當(dāng)今今數(shù)據(jù)倉庫庫的市場已已經(jīng)不再由由傳統(tǒng)供應(yīng)應(yīng)商獨(dú)領(lǐng)風(fēng)風(fēng)騷,NOOSQL的的MonggoDB采采用鍵-值值存儲和方方式，具有有高性能和和高度的伸伸縮性，MMongooDB是面面向文檔的的數(shù)據(jù)庫，數(shù)數(shù)據(jù)存儲格格式為BSSON（可可以認(rèn)為是是二進(jìn)制的的JSONN），MoongoDDB中，一一個數(shù)

35、據(jù)庫庫可以有多多個Colllecttion，每每個Colllecttion是是Docuumentt的集合。Colllectiion和DDocumment和和傳統(tǒng)數(shù)據(jù)據(jù)庫的Taable和和Row并并不對等。數(shù)據(jù)庫和和Colllectiion都無無需預(yù)先定定義，隨時(shí)時(shí)可以創(chuàng)建建。使用傳統(tǒng)的的RDBMMS存儲一一些大尺寸寸、低價(jià)值值的數(shù)據(jù)時(shí)時(shí)會比較昂昂貴，在此此之前，往往往選擇傳傳統(tǒng)的文件件進(jìn)行存儲儲，而MoongoDDB的存儲儲方式很好好的解決了了這個問題題，可以輕輕松實(shí)現(xiàn)PPB級的存存儲；由于于MonggoDB的的Scheema FFree特特性，數(shù)據(jù)據(jù)改動時(shí)不不需要對數(shù)數(shù)據(jù)庫結(jié)構(gòu)構(gòu)進(jìn)行修改改，

36、省去傳傳統(tǒng)關(guān)系數(shù)數(shù)據(jù)庫基于于表結(jié)構(gòu)的的繁瑣DDDL操作，所所以，非常常適合事實(shí)實(shí)的插入、更新數(shù)據(jù)據(jù)。以互聯(lián)網(wǎng)企企業(yè)賬戶分分析的業(yè)務(wù)務(wù)場景為例例，賬戶分分析項(xiàng)目中中需要存儲儲賬戶，計(jì)計(jì)劃，單元元，關(guān)鍵詞詞多個層級級的各種維維度的數(shù)據(jù)據(jù)指標(biāo)提供供給用戶查查詢分析，數(shù)數(shù)據(jù)總量往往往都在上上億。這種種數(shù)據(jù)規(guī)模模巨大，每每日需要從從各種日志志文件中匯匯總各種數(shù)數(shù)據(jù)指標(biāo)按按不同層級級統(tǒng)計(jì)處結(jié)結(jié)果寫入數(shù)數(shù)據(jù)庫，并并且有大量量的日常客客戶端從各各種維度查查詢分析數(shù)數(shù)據(jù)。MoongoDDB高性能能的數(shù)據(jù)導(dǎo)導(dǎo)入和查詢詢功能非常常友好的支支持了這種種業(yè)務(wù)需求求，正如MMongooDB文檔檔里提到的的它非常適適合實(shí)時(shí)

37、分分析一樣。在互聯(lián)網(wǎng)浪浪潮下迅速速崛起的MMySQLL數(shù)據(jù)庫在在數(shù)據(jù)倉庫庫實(shí)現(xiàn)方面面也有著非非凡的表現(xiàn)現(xiàn)。Inffobriight是是開源的MMySQLL數(shù)據(jù)倉庫庫解決方案案，其中引入了了列存儲方方案，對數(shù)數(shù)據(jù)進(jìn)行高高強(qiáng)度的壓壓縮，同時(shí)時(shí)優(yōu)化了統(tǒng)計(jì)計(jì)算算(如sum/counnt/avvg/grroup by之類類),它已經(jīng)是是很多開源源或商用BBI系統(tǒng)的的底層存儲儲引擎。Infobbrighht的引擎擎是采用列式存存儲，這不不同于傳統(tǒng)統(tǒng)數(shù)據(jù)庫的的行式存儲儲，列式存存儲的主要要優(yōu)勢是減減少了每次次查詢所讀讀取的數(shù)據(jù)據(jù)量，無論論何時(shí)你從從傳統(tǒng)的數(shù)數(shù)據(jù)庫中讀讀取數(shù)據(jù)時(shí)時(shí)，都需要要完成的讀讀出每一行行

38、，不管在在查詢中你你是不是對對這些數(shù)據(jù)據(jù)感興趣。很可能你你讀了10000個字字節(jié)的記錄錄而僅僅為為了檢索110個字符符的用戶名名，而基于于列讀取數(shù)數(shù)據(jù)，你僅僅僅需要讀讀取查詢感感興趣的相相關(guān)列。這這在讀取一一條或者幾幾條數(shù)據(jù)時(shí)時(shí)可能體現(xiàn)現(xiàn)不出來優(yōu)優(yōu)勢，但是是很多的查查詢需要進(jìn)進(jìn)行全表掃掃表，如果果一個表有有千萬行，查查詢性能將將相差非常常巨大。列式存儲的的另外一個個優(yōu)點(diǎn)是每每個列本身身就是索引引，每個列列都可以索索引化，這這在夯實(shí)數(shù)數(shù)據(jù)庫中幾幾乎不可能能實(shí)現(xiàn)。除除此之外，列列式存儲還還有一個非非常吸引人人的優(yōu)點(diǎn)，那那就是列更更容易被壓壓縮，因?yàn)闉閷Σ煌牡臄?shù)據(jù)類型型可以使用不不同的算法法。其官

39、方方給出的數(shù)數(shù)據(jù)是，可可以達(dá)到110-400倍甚至更更高的壓縮縮比。圖2.2 Infoobrigght AArchiitecttureInfobbrighht的架構(gòu)構(gòu)如圖2.2，通過Knoowleddge GGrid來來組織數(shù)據(jù)據(jù)，將644K個單元元（列元素素）放到一一個Datta Pack（DDP）中進(jìn)進(jìn)行壓縮，由由于這些元元素具有相相同的數(shù)據(jù)據(jù)類型，IInfoBBrighht會選擇擇對于此數(shù)數(shù)據(jù)類型最最優(yōu)的算法法進(jìn)行壓縮縮，經(jīng)過壓壓縮的數(shù)據(jù)據(jù)，可以非非常明顯的的減少IOO壓力，降降低磁盤空空間的消耗耗。InfooBrigght還會會根據(jù)查詢詢SQL動動態(tài)將所有有的DP分分為三類：相關(guān)塊、無

40、關(guān)塊和和可疑塊。通過對數(shù)數(shù)據(jù)塊進(jìn)行行分類，可可以有效的的減少查詢詢所檢索的的數(shù)據(jù)量，提提高查詢效效率。在Infoobrigght官方方網(wǎng)站上介介紹的Baango數(shù)數(shù)據(jù)倉庫案案例中，清清晰的展示示了其優(yōu)秀秀的存儲和和查詢能力力。Banngo是歐歐洲一家電電信運(yùn)營商商，每個月月會產(chǎn)生11.5億行行數(shù)據(jù)，每每個月數(shù)據(jù)據(jù)增長量4450G。采用Innfobrrightt數(shù)據(jù)倉庫庫其應(yīng)用性性能大大提提升，對比比其原來的的SQL Servver架構(gòu)構(gòu)，如表22.1：表2.1 Infoobrigght性能能對比對比項(xiàng)InfobbrighhtSQL SServeer1000萬萬記錄22秒300秒1.5億記記錄5

41、64秒無返回結(jié)果果OLTP數(shù)數(shù)據(jù)4500GB10GB450GBB正是由于于Infoobrigght這種種海量數(shù)據(jù)據(jù)處理能力力，使得其其在海量數(shù)數(shù)據(jù)分析的的數(shù)據(jù)倉庫庫項(xiàng)目中得得到迅猛發(fā)發(fā)展。本章小結(jié)本章開始介介紹了數(shù)據(jù)據(jù)倉庫的發(fā)發(fā)展和實(shí)現(xiàn)現(xiàn)技術(shù)，另外介紹紹了數(shù)據(jù)倉倉庫的實(shí)現(xiàn)現(xiàn)過程，由由于數(shù)據(jù)倉倉庫是來源源與企業(yè)中中各種不同同應(yīng)用系統(tǒng)統(tǒng)的，把企企業(yè)中面向向事務(wù)型的的源數(shù)據(jù)整整合為統(tǒng)一一的、面向向分析的數(shù)數(shù)據(jù)倉庫中中是一個長長期反復(fù)的的過程，在在面臨大量量的數(shù)據(jù)時(shí)時(shí)，如何進(jìn)進(jìn)行管理和和整合是數(shù)數(shù)據(jù)倉庫設(shè)設(shè)計(jì)者所面面臨的重大大問題。作作者介紹了了兩種不同同的數(shù)據(jù)倉倉庫實(shí)現(xiàn)過過程，兩種種方式各有有優(yōu)缺點(diǎn)

42、，需需要根據(jù)實(shí)實(shí)際的業(yè)務(wù)務(wù)需求進(jìn)行行具體的選選擇，針對對不同的業(yè)業(yè)務(wù)需求采采用不同的的方式來進(jìn)進(jìn)行數(shù)據(jù)倉倉庫的建模。除了傳統(tǒng)的的數(shù)據(jù)倉庫庫解決方案案之外，本章的最最后詳細(xì)介介紹了當(dāng)前前熱點(diǎn)的IInfobbrighht數(shù)據(jù)倉倉庫解決方方案，通過過對其架構(gòu)構(gòu)和處理方方式的分析析體現(xiàn)了其其強(qiáng)大的查查詢和存儲儲優(yōu)勢。業(yè)務(wù)整理與與項(xiàng)目規(guī)劃劃業(yè)務(wù)狀況介介紹寧波大榭招招商國際碼碼頭有限公公司（以下下簡稱CMMICT）是以集裝箱裝卸為主營業(yè)務(wù)的碼頭公司，同時(shí)也提供集裝箱堆存和修箱服務(wù)。根據(jù)不同航線對內(nèi)貿(mào)箱、外貿(mào)箱、中轉(zhuǎn)箱、非中轉(zhuǎn)箱、重箱、空箱提供碼頭裝卸及堆存等服務(wù)，而收費(fèi)主要按不同航線以及箱型作為收費(fèi)基礎(chǔ)。

43、集裝箱碼頭頭所有對外外提供的服服務(wù)業(yè)務(wù)，歸歸結(jié)起來就就是“為客戶提提供吊箱服服務(wù)”這一核心心內(nèi)容。吊吊箱操作看看似簡單，但但由于在生生產(chǎn)操作過過程中存在在諸多外界界約束條件件和不確定定的變數(shù)，使使得集裝箱箱碼頭的生生產(chǎn)操作業(yè)業(yè)務(wù)呈現(xiàn)出出一系列獨(dú)獨(dú)特的特點(diǎn)點(diǎn)，如效率與成成本的矛盾盾，高峰與低低谷的平衡衡。船公司是與與碼頭關(guān)系系最為密切切的對象之之一，船公公司最基本本需求是“確保裝卸卸船操作效效率和安全全”。假設(shè)一一條船需要要裝卸10000個箱箱，同時(shí)開開三條、四四條還是五五條作業(yè)路路數(shù)，就是是一個很大大的問題。少開作業(yè)業(yè)線，全船船作業(yè)效率率可能只能能維持在990MPHH，船舶的的在港時(shí)間間將延長

44、。對于船公公司來說，船船舶只有在在海上航行行時(shí)才是創(chuàng)創(chuàng)造效益的的，在港口口停泊時(shí)間間越長，成成本就越高高。但少開開作業(yè)線，碼碼頭需要安安排出勤的的機(jī)械就少少，出勤人人員也少，調(diào)調(diào)度也更簡簡單，平均均單箱成本本就會更少少。多開作作業(yè)線，則則上述利益益態(tài)勢就會會此消彼長長。集裝箱物流流運(yùn)輸行業(yè)業(yè)在一年的的時(shí)間里，業(yè)業(yè)務(wù)量是不不均衡的，存存在著旺季季和淡季的的區(qū)別，而而相應(yīng)的集集裝箱碼頭頭業(yè)務(wù)量，也也存在著高高峰與低谷谷的情況。即使是在在一周的周周一到周日日，也由于于航線安排排的疏密程程度不均勻勻，不同的的時(shí)間段也也存在著作作業(yè)量的高高低起伏。但作為需需要持續(xù)經(jīng)經(jīng)營的集裝裝箱碼頭來來說，卻需需要維持

45、一一支相對穩(wěn)穩(wěn)定的作業(yè)業(yè)資源和人人員隊(duì)伍，那那么以相對對固定不變變的作業(yè)資資源，去應(yīng)應(yīng)對起伏不不定的業(yè)務(wù)務(wù)變化狀況況，就需要要高超的峰峰谷平衡管管理技巧，而而管理和平平衡的好壞壞，恰恰反反映在前述述的效率與與成本上。降低企業(yè)運(yùn)運(yùn)行成本提提高效率是是公司目前前正在攻關(guān)關(guān)的重要課課題，操作作部也投入入大量精力力和核心骨骨干投入成成本與效率率的研發(fā)，而而研發(fā)需要要大量的數(shù)數(shù)據(jù)進(jìn)行多多角度的分分析，公司司目前的數(shù)數(shù)據(jù)主要是是面向操作作的，不適適合進(jìn)行多多方面的分分析和挖掘掘操作，所所以期望通通過數(shù)據(jù)倉倉庫的建設(shè)設(shè)為公司后后期的生產(chǎn)產(chǎn)技術(shù)研發(fā)發(fā)，甚至公公司的運(yùn)營營決策找到到一條合適適的道路。信息系統(tǒng)應(yīng)應(yīng)

46、用狀況目前使用基基于Oraacle的的TOS碼碼頭生產(chǎn)管管理系統(tǒng)，TTOS系統(tǒng)統(tǒng)主要模塊塊包括碼頭頭生產(chǎn)操作作系統(tǒng)、商商務(wù)計(jì)費(fèi)系系統(tǒng)等，今今后將有越越來越多的的模塊將整整合到TOOS系統(tǒng)中中去。除了生產(chǎn)產(chǎn)最關(guān)鍵的的碼頭生產(chǎn)產(chǎn)管理系統(tǒng)統(tǒng)外，碼頭頭還在應(yīng)用用的有多種種信息系統(tǒng)統(tǒng)：企業(yè)辦公信信息系統(tǒng)Exchaange郵郵件系統(tǒng)K3財(cái)務(wù)系系統(tǒng)商務(wù)計(jì)費(fèi)系系統(tǒng)（目前集成成在TOSS系統(tǒng)，獨(dú)立立的計(jì)費(fèi)系系統(tǒng)即將開開發(fā)完畢）IBM MMaximmo EAAM資產(chǎn)管管理系統(tǒng)Microosoftt AD域域控管理系系統(tǒng)短信系統(tǒng)加油管理系系統(tǒng)電力管理系系統(tǒng)EDI報(bào)文文傳輸、港港務(wù)局信息息交互系統(tǒng)統(tǒng)、監(jiān)控系系統(tǒng)、海關(guān)

47、關(guān)交互系統(tǒng)統(tǒng)等等眾多的信息息系統(tǒng)間數(shù)數(shù)據(jù)定義不不統(tǒng)一，系系統(tǒng)間的交交互十分困困難，與外外部口岸單單位之間傳傳輸數(shù)據(jù)就就更加困難難，從不同同的系統(tǒng)內(nèi)內(nèi)查詢出的的數(shù)據(jù)都要要經(jīng)過不同同規(guī)則的轉(zhuǎn)轉(zhuǎn)換再發(fā)到到外部，企企業(yè)內(nèi)部數(shù)數(shù)據(jù)的統(tǒng)一一和標(biāo)準(zhǔn)化化要求就顯顯得十分迫迫切。報(bào)表數(shù)據(jù)的的需求在公司內(nèi)部部生產(chǎn)技術(shù)術(shù)研發(fā)、對外部單位位提供數(shù)據(jù)據(jù)，最直觀和和方便的就就是報(bào)表的的展示，所所以各部門門提出了各各種各樣的的報(bào)表需求求抽取部分分需求如表3.1：表3.1報(bào)報(bào)表分類舉舉例報(bào)表類型報(bào)表名稱吞吐量單航線箱量量吞吐量各航線箱量量對比統(tǒng)計(jì)計(jì)表吞吐量航線及港口口箱量吞吐量航線類型箱箱主箱量統(tǒng)統(tǒng)計(jì)表吞吐量裝卸貨港箱箱量統(tǒng)

48、計(jì)可以清楚的的發(fā)現(xiàn)，報(bào)報(bào)表都是為為了滿足前前面所述的的企業(yè)關(guān)鍵鍵業(yè)務(wù)崗位位迫切的需需求，除了了吞吐量相相關(guān)的數(shù)據(jù)據(jù)外，還需需要較多的的效率和考考核類的數(shù)數(shù)據(jù)，這些些數(shù)據(jù)全部部都是基于于集裝箱的的吞吐量。所以，集集裝箱吞吐吐量相關(guān)的的業(yè)務(wù)數(shù)據(jù)據(jù)都要需要要進(jìn)行清楚楚統(tǒng)一的定定義，經(jīng)過過清洗后導(dǎo)導(dǎo)入到數(shù)據(jù)據(jù)倉庫中，再再查詢出相相關(guān)數(shù)據(jù)提提供給不同同部門和單單位。其他需求如果僅僅提提供報(bào)表展展示給最終終用戶，則則不能提供供合適的渠渠道給生產(chǎn)產(chǎn)技術(shù)研發(fā)發(fā)人員進(jìn)行行數(shù)據(jù)的挖挖掘和分析析，以找到到生產(chǎn)中存存在的問題題和提高生生產(chǎn)效率的的方法，所所以，項(xiàng)目目還應(yīng)提供供便捷的數(shù)數(shù)據(jù)挖掘方方法，供給給生產(chǎn)研發(fā)發(fā)人

49、員進(jìn)行行數(shù)據(jù)分析析；此外，公公司其他部部門人員對對集裝箱吞吞吐量的變變化十分關(guān)關(guān)心，希望望能在辦公公網(wǎng)首頁上上可以直觀觀的查看到到集裝箱吞吞吐量的變變化狀況，最最好是以圖圖形的形式式展示，能能夠?qū)Ρ热トツ旰颓澳昴晖诘耐掏掏铝繝顩r況。數(shù)據(jù)倉庫系系統(tǒng)階段規(guī)劃綜合分析了了項(xiàng)目的需需求后，基基本上就確確定了數(shù)據(jù)倉庫庫應(yīng)用的主主題，因?yàn)闉閿?shù)據(jù)倉庫庫的建設(shè)是是一個長期期和迭代的的過程，而而本項(xiàng)目進(jìn)進(jìn)行的也是是數(shù)據(jù)倉庫庫的一個探探路石，在在與用戶溝溝通和交流流過之后發(fā)發(fā)現(xiàn)他們目目前對其他他主題的需需求不是特特別強(qiáng)烈，或或者他們還還不明確他他們的需求求，而吞吐吐量主題相相關(guān)的需求求就顯得十十分迫切，所以，當(dāng)

50、前項(xiàng)目先建立吞吐量相關(guān)的主題，關(guān)于財(cái)務(wù)、成本、收入等等主題待后期進(jìn)行。預(yù)期產(chǎn)出成成果充分分析了了用戶的需需求，總結(jié)結(jié)預(yù)期的項(xiàng)項(xiàng)目目標(biāo)如如下：建立企業(yè)數(shù)數(shù)據(jù)倉庫，保保存統(tǒng)一干干凈的操作作數(shù)據(jù)提供報(bào)表供供給業(yè)務(wù)崗崗位查詢建立OLAAP吞吐量量數(shù)據(jù)集，并并提供工具具進(jìn)行數(shù)據(jù)據(jù)挖掘和分分析在辦公網(wǎng)圖圖形化顯示示吞吐量數(shù)數(shù)據(jù)，并展展示與前兩兩年同期的的對比情況況整理集裝箱箱生產(chǎn)操作作系統(tǒng)TOOS數(shù)據(jù)庫庫中主要表表結(jié)構(gòu)，為為各種臨時(shí)時(shí)提取數(shù)據(jù)據(jù)提供參考考依據(jù)統(tǒng)一公司內(nèi)內(nèi)部各系統(tǒng)統(tǒng)的數(shù)據(jù)定定義和統(tǒng)計(jì)計(jì)標(biāo)準(zhǔn)，形形成吞吐量量相關(guān)的標(biāo)標(biāo)準(zhǔn)化文檔檔，在公司司內(nèi)部統(tǒng)一一數(shù)據(jù)標(biāo)準(zhǔn)準(zhǔn)，規(guī)范統(tǒng)統(tǒng)計(jì)數(shù)據(jù)的的規(guī)則為日后的企企業(yè)

51、運(yùn)營決決策系統(tǒng)探探索道路，期期望日后在在此基礎(chǔ)上上建立完善善的企業(yè)數(shù)數(shù)據(jù)倉庫系系統(tǒng)架構(gòu)設(shè)計(jì)架構(gòu)在軟件件工程領(lǐng)域域被提及的的次數(shù)非常常頻繁，這這是因?yàn)楹煤玫募軜?gòu)可可以更容易易的實(shí)現(xiàn)業(yè)業(yè)務(wù)需求，好好的架構(gòu)能能提供更優(yōu)優(yōu)秀的服務(wù)務(wù)性能，架架構(gòu)也決定定著項(xiàng)目的的靈活性和和開發(fā)的效效率。架構(gòu)構(gòu)的重要性性我就不在在此贅述，相相信大家都都明白架構(gòu)構(gòu)對項(xiàng)目的的重要性了了。數(shù)據(jù)倉庫的的主要工作作就是從不不同的數(shù)據(jù)據(jù)源中抽取取數(shù)據(jù)，通通過清洗、修正，再再導(dǎo)入到數(shù)數(shù)據(jù)倉庫的的存儲中，最最后再以不不同的形式式展示給用用戶。圖33.1可以清清晰的表達(dá)達(dá)項(xiàng)目的基基本架構(gòu)：圖3.1數(shù)數(shù)據(jù)倉庫體體系結(jié)構(gòu)從圖中可可以看出項(xiàng)項(xiàng)目

52、需要采采用不同的的架構(gòu)來實(shí)實(shí)現(xiàn)所需的的功能，圖圖中的功能能大致分為為三個部分分：第一部分，從從數(shù)據(jù)源導(dǎo)導(dǎo)入數(shù)據(jù)，處處理之后導(dǎo)導(dǎo)入數(shù)據(jù)倉倉庫中存儲儲；源數(shù)據(jù)據(jù)已經(jīng)是客客觀存在的的了，無需需也無法選選擇數(shù)據(jù)源源的存儲方方式。而導(dǎo)導(dǎo)入數(shù)據(jù)到到數(shù)據(jù)倉庫庫中的過程程我們一般般稱作ETTL，這個個過程需要要高速穩(wěn)定定的技術(shù)架架構(gòu)支持。第二部分分，數(shù)據(jù)倉倉庫存儲數(shù)數(shù)據(jù)的方式式當(dāng)然是整整個項(xiàng)目的的重中之重重了，另外外需要從數(shù)據(jù)據(jù)倉庫中抽抽取維度和和事實(shí)形成成OLAPP的數(shù)據(jù)集集，多維的的存儲方式式會得到更更高的性能能，建立OOLAP對對外提供服服務(wù)也需要要穩(wěn)定快速速的架構(gòu)支支持。第三部分分，數(shù)據(jù)的的前端展示示

53、。本項(xiàng)目目中要求數(shù)數(shù)據(jù)不僅要要在辦公網(wǎng)網(wǎng)中圖形化化顯示，而而且需要展展示獨(dú)立的的報(bào)表，還還需要支持持OLAPP分析工具具進(jìn)行數(shù)據(jù)據(jù)的鉆取和和分析，數(shù)數(shù)據(jù)的展示示靈活，傳傳統(tǒng)的報(bào)表表開發(fā)工作作量巨大，適適合非專業(yè)業(yè)人員使用用的OLAAP分析工工具更是不不多，并且且要支持?jǐn)?shù)數(shù)據(jù)在MOOSS搭建建的辦公網(wǎng)網(wǎng)中圖形化化顯示，前前段展示的的架構(gòu)更加加復(fù)雜。IT領(lǐng)域技技術(shù)熟悉萬萬變，選擇擇沒有服務(wù)務(wù)保障的技技術(shù)架構(gòu)往往往使項(xiàng)目目的風(fēng)險(xiǎn)倍倍增。在過過去的幾年年間，數(shù)家家IT巨子子宣布被收收購，就連連鼎鼎大名名的Sunn公司也免免不了被收收購的命運(yùn)運(yùn)，所以選選擇一家實(shí)實(shí)例雄厚，能能夠提供支支持本項(xiàng)目目的公司尤

54、尤為關(guān)鍵，最最好能夠提提供符合本本項(xiàng)目情況況的整套解解決方案。微軟公司近近期在大力力推廣其數(shù)數(shù)據(jù)倉庫解解決方案，其其Micrrosofft SQQL Seerverr 20008 提供供了一個完完整的數(shù)據(jù)據(jù)倉庫解決決方案平臺臺，為數(shù)據(jù)據(jù)倉庫應(yīng)用用提供了一一個快速、完整的解解決方案，其其中為用戶戶提供了可可用于構(gòu)建建典型和創(chuàng)創(chuàng)新的分析析應(yīng)用程序序所需的各各種特性、工具和功功能，其中中包括：SQLL Serrver 20088（關(guān)系數(shù)據(jù)據(jù)庫引擎）DTSS（數(shù)據(jù)轉(zhuǎn)換換服務(wù)）SQLL Serrver Anallysiss Serrvicees (分析析服務(wù))SQLL Serrver Repoortin

55、ng Seervicces （報(bào)表表服務(wù)）SQLL Serrver Manaagemeent SStudiio （數(shù)據(jù)據(jù)庫管理工工具集）Bussinesss Inntellligennce DDevellopmeent SStudiio（BI 應(yīng)用用程序開發(fā)發(fā)工具集）SQL SServeer20008的RDDBMS可可以作為中中小企業(yè)數(shù)數(shù)據(jù)倉庫的的首選存儲儲平臺，而而且可以通通過鏈接數(shù)數(shù)據(jù)庫的方方式訪問其其他數(shù)據(jù)源源，而且SSQL SServeer并非解解決方案所所必須的，同同樣的也可可以采用OOraclle作為存存儲平臺。數(shù)據(jù)整合服服務(wù)(Inntegrratioon Seervicces)，

56、它它的處理架架構(gòu)組件和和在此之上上的企業(yè)級級提取、轉(zhuǎn)轉(zhuǎn)換和裝載載(ETLL)工具，通通過SSIIS配合DDTS，能能夠設(shè)計(jì)出出符合企業(yè)業(yè)中大量的的ETL。而另外一項(xiàng)項(xiàng)關(guān)鍵的工工具就是SSQL SServeer 20008 RReporrtingg Serrvicee(SSRRS)7，其中包包含的報(bào)表表設(shè)計(jì)器提提供了一個個可視SSSAS多維維數(shù)據(jù)集查查詢設(shè)計(jì)器器，減少了了手動編寫寫OLAPP多維數(shù)據(jù)據(jù)查詢的需需求，從而而大大的方方便了報(bào)表表的快速創(chuàng)創(chuàng)建。在SQL Servver 22008 Anallysiss Serrvicees（SSSAS）為為數(shù)據(jù)倉庫庫提供了存存儲和查詢詢OLAPP多維數(shù)

57、據(jù)據(jù)集數(shù)據(jù)的的機(jī)制，它它還提供了了OLAPP多維數(shù)據(jù)據(jù)集供開發(fā)發(fā)人員進(jìn)行行開發(fā)和管管理。在經(jīng)經(jīng)費(fèi)有限的的時(shí)候，還還可以把SSSAS與與SQLSServeer20008安裝在在同一臺物物理服務(wù)器器，雖然不不推薦這么么做。當(dāng)源數(shù)據(jù)經(jīng)經(jīng)過抽取轉(zhuǎn)換并裝載到數(shù)數(shù)據(jù)倉庫之之后, 我我們就可以以通過各種種方式來呈呈現(xiàn)數(shù)據(jù)倉倉庫中的數(shù)數(shù)據(jù)，SSSAS我們們可以為數(shù)數(shù)據(jù)倉庫建建立一系列列的多維數(shù)數(shù)據(jù)集(CCUBE), 多維維數(shù)據(jù)集包包含一組通通常由數(shù)據(jù)據(jù)倉庫的子子集構(gòu)成的的、并組織織和匯總到到由一組維維度和度量量值定義的的多維結(jié)構(gòu)構(gòu)中的數(shù)據(jù)據(jù)，為了便便于理解，請參見圖3.2:圖3.2 OLAPP多維數(shù)據(jù)據(jù)集概念

58、圖圖（來自SSQL SServeer聯(lián)機(jī)叢叢書）在對比當(dāng)前前流行的數(shù)數(shù)據(jù)倉庫解解決方案之之后，發(fā)現(xiàn)現(xiàn)微軟公司司的商務(wù)智智能解決方方案最符合合本項(xiàng)目的的需求，同同時(shí)公司內(nèi)內(nèi)部已經(jīng)采采購了SQQL Seerverr系列產(chǎn)品品，內(nèi)部研研發(fā)人員在在使用SQQL Seerverr上也有也也有比較充充足的經(jīng)驗(yàn)驗(yàn)，所以最最終確定采采用微軟公公司提供的的SQL Serveer20008套件作作為數(shù)據(jù)倉倉庫的技術(shù)術(shù)路線，確確定技術(shù)路路線后的數(shù)數(shù)據(jù)倉庫項(xiàng)項(xiàng)目架構(gòu)如如圖3.3：圖3.3 數(shù)據(jù)倉庫庫項(xiàng)目架構(gòu)圖圖本章小結(jié)本章介紹了了項(xiàng)目所處處的業(yè)務(wù)環(huán)環(huán)境、企業(yè)業(yè)實(shí)際的業(yè)業(yè)務(wù)情況、目前正在在使用的信信息系統(tǒng)，以以及項(xiàng)目的

59、的需求和目目標(biāo)，同時(shí)時(shí)也描述了了期望達(dá)到到的目標(biāo)和和在項(xiàng)目的的過程當(dāng)中中附帶的成成果。最后后介紹了項(xiàng)項(xiàng)目的架構(gòu)構(gòu)設(shè)計(jì)所需需的不同支支持工具，并并選定微軟軟的SQLL Serrver22008套套件作為項(xiàng)項(xiàng)目的實(shí)現(xiàn)現(xiàn)工具，確確定了技術(shù)術(shù)路線后的的項(xiàng)目架構(gòu)構(gòu)更加清晰晰明了。數(shù)據(jù)存儲結(jié)結(jié)構(gòu)設(shè)計(jì)數(shù)據(jù)定義的的統(tǒng)一統(tǒng)一數(shù)據(jù)的的定義就是是對元數(shù)據(jù)據(jù)進(jìn)行管理理，在數(shù)據(jù)據(jù)倉庫的管管理中首要要關(guān)注的就就是元數(shù)據(jù)據(jù)，因?yàn)樵獢?shù)據(jù)是說明數(shù)據(jù)據(jù)的數(shù)據(jù),實(shí)際上元元數(shù)據(jù)時(shí)在在大多數(shù)數(shù)數(shù)據(jù)庫應(yīng)用用和信息處處理中用于于定義、關(guān)關(guān)聯(lián)和管理理數(shù)據(jù)的環(huán)環(huán)境。元數(shù)數(shù)據(jù)對于數(shù)數(shù)據(jù)倉庫的的設(shè)計(jì)、開開發(fā)和運(yùn)作作至關(guān)重要要，尤其是是在數(shù)據(jù)獲獲

60、取、轉(zhuǎn)換換和存取方方面8。只有統(tǒng)一了了數(shù)據(jù)的定定義，才能能對企業(yè)內(nèi)內(nèi)的不同應(yīng)應(yīng)用系統(tǒng)進(jìn)進(jìn)行集成，數(shù)數(shù)據(jù)的不一一致性定義義是普遍存存在的問題題，尤其是是在多信息息應(yīng)用系統(tǒng)統(tǒng)的企業(yè)內(nèi)內(nèi)部更是如如此，本項(xiàng)項(xiàng)目也期望望通過此項(xiàng)項(xiàng)目的進(jìn)行行能夠整理理出初步的的元數(shù)據(jù)管管理辦法。建立中央央數(shù)據(jù)庫存存儲元數(shù)據(jù)據(jù)，在日后后業(yè)務(wù)的變變更時(shí)先修修改中央數(shù)數(shù)據(jù)庫的元元數(shù)據(jù)，各各種應(yīng)用系系統(tǒng)間的交交互再通過過中央數(shù)據(jù)據(jù)庫進(jìn)行統(tǒng)統(tǒng)一的轉(zhuǎn)換換，這是一一種非常不不過的解決決方案，但但是這種解解決方案需需要企業(yè)投投入大量的的精力和人人員，在本本項(xiàng)目中顯顯得不是特特別合適。當(dāng)前期望望能夠通過過業(yè)務(wù)需求求的整理和和分析，商商討統(tǒng)