畢業(yè)論文_基于數(shù)據(jù)倉庫的商場租賃報表系統(tǒng)

1、基于數(shù)據(jù)倉庫的商場租賃報表系統(tǒng)學(xué)院（系）： 專業(yè)班級： 學(xué)生姓名： 指導(dǎo)教師： 本科生畢業(yè)設(shè)計（論文）開題報告1、目的及意義（含國內(nèi)外的研究現(xiàn)狀分析）（1）目的隨著90年代后期Internet 的興起與飛速發(fā)展，我們進(jìn)入了一個新的時代，大量的信息和數(shù)據(jù)，迎面而來，用科學(xué)的方法去整理數(shù)據(jù)，從而從不同視角對企業(yè)經(jīng)營各方面信息的精確分析、準(zhǔn)確判斷，比以往更為迫切,實施商業(yè)行為的有效性也比以往更受關(guān)注。使用這些技術(shù)建設(shè)的信息系統(tǒng)我們稱為數(shù)據(jù)倉庫系統(tǒng)。隨著數(shù)據(jù)倉庫技術(shù)應(yīng)用的不斷深入，近幾年數(shù)據(jù)倉庫技術(shù)得到長足的發(fā)展。典型的數(shù)據(jù)倉庫系統(tǒng)，比如：經(jīng)營分析系統(tǒng)，決策支持系統(tǒng)等等。也隨著數(shù)據(jù)倉庫系統(tǒng)帶來的良好效

2、果，各行各業(yè)的單位，已經(jīng)能很好的接受“整合數(shù)據(jù)，從數(shù)據(jù)中找知識，運用數(shù)據(jù)知識、用數(shù)據(jù)說話”等新的關(guān)系到改良生產(chǎn)活動各環(huán)節(jié)、提高生產(chǎn)效率、發(fā)展生產(chǎn)力的理念。數(shù)據(jù)倉庫技術(shù)就是基于數(shù)學(xué)及統(tǒng)計學(xué)嚴(yán)謹(jǐn)邏輯思維的并達(dá)成“科學(xué)的判斷、有效的行為”的一個工具。數(shù)據(jù)倉庫技術(shù)也是一種達(dá)成“數(shù)據(jù)整合、知識管理”的有效手段。它是面向主題的、集成的、與時間相關(guān)的、不可修改的數(shù)據(jù)集合。企業(yè)把大量的數(shù)據(jù)，年復(fù)一年的存入數(shù)據(jù)庫中，浩如煙海的歷史數(shù)據(jù)在之后的檢索和利用的時候變得無比困難，而數(shù)據(jù)倉庫便是把這些數(shù)據(jù)分門別類得存儲起來，讓提取歷史數(shù)據(jù)變得清晰而簡單，而決策層也可以根據(jù)歷史數(shù)據(jù)來做出恰當(dāng)?shù)臎Q策。隨著社會越來越進(jìn)步，我們

3、將要面臨的數(shù)據(jù)只會越來越多，越來越復(fù)雜，而對數(shù)據(jù)有效管理的需求，也將會越來越迫切。同時在查詢方面，各種時段各種維度的查詢要求以及數(shù)據(jù)處理的粒度需求也會越來越多樣化，而數(shù)據(jù)倉庫正是實現(xiàn)這一目標(biāo)的手段。所以我想利用此次畢業(yè)設(shè)計的機會，學(xué)習(xí)并制作一個基于數(shù)據(jù)倉庫的商場租賃報表系統(tǒng)，通過對幾乎毫無知識價值的源數(shù)據(jù)提取到數(shù)據(jù)倉庫中，并通過一些固定的邏輯，進(jìn)行抽取，清洗，轉(zhuǎn)移，裝載以后。生成不同粒度的報表，此報表對歷史的數(shù)據(jù)進(jìn)行了綜合和提煉，決策層便可以通過報表掌握商場的即時信息，并依據(jù)次信息做出準(zhǔn)確的決策。（2）意義商場租賃報表系統(tǒng)是基于數(shù)據(jù)倉庫對數(shù)據(jù)進(jìn)行多角度的挖掘和分析的系統(tǒng)，其中積累了商場從實施現(xiàn)

4、代化管理以后所有的數(shù)據(jù)，對數(shù)據(jù)按主題進(jìn)行劃分和存儲，并通過SSIS組件對數(shù)據(jù)報表進(jìn)行展示，數(shù)據(jù)倉庫屬于聯(lián)機分析處理（OLAP）系統(tǒng)，它是共享多維信息的、針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析的快速軟件技術(shù)。它通過對信息的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進(jìn)行深入觀察。決策數(shù)據(jù)是多維數(shù)據(jù)，多維數(shù)據(jù)就是決策的主要內(nèi)容。OLAP專門設(shè)計用于支持復(fù)雜的分析操作，側(cè)重對決策人員和高層管理人員的決策支持，可以根據(jù)分析人員的要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀而易懂的形式將查詢結(jié)果提供給決策人員，以便他們準(zhǔn)確掌握企業(yè)（公司）的經(jīng)營狀況，了解對象的需求，

5、制定正確的方案。它可用于證實人們提出的復(fù)雜的假設(shè)，其結(jié)果是以圖形或者表格的形式來表示的對信息的總結(jié)。它并不將異常信息標(biāo)記出來，是一種知識證實的方法。所以通過此系統(tǒng)，管理人員可以迅速的對合同情況，商鋪的租賃情況，商鋪的面積情況，租金情況，保證金情況進(jìn)行概要和詳細(xì)的了解，后期還計劃實現(xiàn)數(shù)據(jù)的分析處理，這樣就可以給決策人員提供支持（3）國內(nèi)外研究現(xiàn)狀分析數(shù)據(jù)倉庫的概念自出現(xiàn)后，首先被應(yīng)用于金融、電信、保險等傳統(tǒng)數(shù)據(jù)處理密集的行業(yè)。國外許多大型的數(shù)據(jù)倉庫在1996-1997年建立。隨著工業(yè)競爭的加劇，數(shù)據(jù)倉庫已成為管理和營銷的必備武器一種通過更多地了解客戶需求而保住客戶的途徑。在信息技術(shù)上國外尤其是美

6、國一直處在領(lǐng)先的位置，而我國目前很多商業(yè)銀行都嘗試構(gòu)建了應(yīng)用于某一方面的數(shù)據(jù)倉庫系統(tǒng)，數(shù)據(jù)倉庫的構(gòu)建幾乎都足基于ROLAP來實現(xiàn)的，絕大多數(shù)是用Microsoft SQL Server完成的。對于匯總數(shù)據(jù)和歷史數(shù)據(jù)的訪問及訪問速度的要求，還是有些欠缺。2、基本內(nèi)容和技術(shù)方案（1）基本內(nèi)容 通過SSIS流程包對存儲過程進(jìn)行控制和執(zhí)行，通過存儲過程對源數(shù)據(jù)進(jìn)行加工，計劃通過staging層（存儲增量數(shù)據(jù)），ods層（存儲一定量的歷史數(shù)據(jù)），dimension層（維度層，將數(shù)據(jù)劃分為各個主題存儲），datamart層（數(shù)據(jù)集市層，處理后的各個維度數(shù)據(jù)已經(jīng)之前沉淀的所有歷史數(shù)據(jù)），到最后的report

7、層（報表層，用于生成報表）。而最后通過SSRS從report層提取數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行必要的處理，得到各種粒度以及各種維度的報表。（2）技術(shù)方案目前關(guān)于ETL和數(shù)據(jù)倉庫的工具有非常多種，如Informatica，微軟的SSIS，SSAS，Teradata等等，報表工具也有諸如BO，Cognos以微軟的SSRS。但是我們這次以SQLserver為平臺，建立數(shù)據(jù)倉庫，因為數(shù)據(jù)倉庫不在于技術(shù)有多么先進(jìn)多么華麗，而在于它實實在在的解決了問題，我們準(zhǔn)備通過SSIS流程包執(zhí)行存儲在數(shù)據(jù)庫中的存儲過程，通過加載ETL邏輯，對數(shù)據(jù)進(jìn)行多方位的處理，其中會包含有數(shù)據(jù)流的控制，數(shù)據(jù)的處理，數(shù)據(jù)質(zhì)量的控制等等，而最后

8、在報表層生成報表，并可以對報表進(jìn)行上鉆下鉆取得需要數(shù)據(jù)的操作。（3）設(shè)計需要重點解決的問題1）存儲過程 需要撰寫存儲過程加載數(shù)據(jù)處理邏輯，而其中對于商鋪和合同的處理控制較為復(fù)雜。在確保數(shù)據(jù)的質(zhì)量和完整性的同時，需要盡可能的節(jié)省時間 2）報表展示用SSRS展示報表，通過對報表進(jìn)行多維度，多粒度的處理，展示出想要的數(shù)據(jù)。3、進(jìn)度安排第4周：查閱相關(guān)文獻(xiàn)資料，明確研究內(nèi)容，了解研究所需圖書管理系統(tǒng)和相關(guān)需求、結(jié)構(gòu)和功能。確定方案，完成開題報告，并擬定論文提綱。第56周：系統(tǒng)分析和擬出方案。第710周：系統(tǒng)設(shè)計和實現(xiàn)，撰寫系統(tǒng)設(shè)計說明書。第1011周：系統(tǒng)評價和維護(hù)。第1213周：完成并修改畢業(yè)論文。

9、第1415周：準(zhǔn)備論文答辯，準(zhǔn)備參加論文答辯。4、指導(dǎo)教師意見指導(dǎo)教師簽名：年 月 日注：1開題報告應(yīng)根據(jù)教師下發(fā)的畢業(yè)設(shè)計（論文）任務(wù)書，在教師的指導(dǎo)下由學(xué)生獨立撰寫，在畢業(yè)設(shè)計開始后三周內(nèi)完成。2“設(shè)計的目的及意義”至少800字，“基本內(nèi)容和技術(shù)方案”至少400字。進(jìn)度安排應(yīng)盡可能詳細(xì)。3指導(dǎo)教師意見：學(xué)生的調(diào)研是否充分？基本內(nèi)容和技術(shù)方案是否已明確？是否已經(jīng)具備開始設(shè)計（論文）的條件？能否達(dá)到預(yù)期的目標(biāo)？是否同意進(jìn)入設(shè)計（論文）階段。目 錄 TOC o 1-3 h z u HYPERLINK l _Toc295299736 1緒論 PAGEREF _Toc295299736 h 1 HY

10、PERLINK l _Toc295299737 1.1 系統(tǒng)背景 PAGEREF _Toc295299737 h 1 HYPERLINK l _Toc295299738 1.2 現(xiàn)狀及前景分析 PAGEREF _Toc295299738 h 1 HYPERLINK l _Toc295299739 1.3 系統(tǒng)開發(fā)目標(biāo)和現(xiàn)實意義 PAGEREF _Toc295299739 h 2 HYPERLINK l _Toc295299742 1.4 系統(tǒng)開發(fā)環(huán)境 PAGEREF _Toc295299742 h 3 HYPERLINK l _Toc295299743 2系統(tǒng)分析 PAGEREF _Toc29

11、5299743 h 5 HYPERLINK l _Toc295299744 2.1 系統(tǒng)分析概述 PAGEREF _Toc295299744 h 5 HYPERLINK l _Toc295299745 2.2 需求分析 PAGEREF _Toc295299745 h 5 HYPERLINK l _Toc295299746 2.3 可行性分析 PAGEREF _Toc295299746 h 6 HYPERLINK l _Toc295299752 2.4 ETL分析與設(shè)計 PAGEREF _Toc295299752 h 8 HYPERLINK l _Toc295299756 2.5 表間層次關(guān)系圖

12、 PAGEREF _Toc295299756 h 10 HYPERLINK l _Toc295299757 2.6 ER圖 PAGEREF _Toc295299757 h 11 HYPERLINK l _Toc295299758 2.7 報表發(fā)布流程 PAGEREF _Toc295299758 h 13 HYPERLINK l _Toc295299759 2.8 數(shù)據(jù)字典 PAGEREF _Toc295299759 h 13 HYPERLINK l _Toc295299760 3系統(tǒng)設(shè)計 PAGEREF _Toc295299760 h 15 HYPERLINK l _Toc295299761

13、3.1 維度表的設(shè)計 PAGEREF _Toc295299761 h 15 HYPERLINK l _Toc295299762 3.2 事實表的設(shè)計 PAGEREF _Toc295299762 h 15 HYPERLINK l _Toc295299763 3.3 數(shù)據(jù)加載邏輯 PAGEREF _Toc295299763 h 16 HYPERLINK l _Toc295299767 3.4 SSIS數(shù)據(jù)流設(shè)計 PAGEREF _Toc295299767 h 25 HYPERLINK l _Toc295299768 3.5 報表發(fā)布設(shè)計 PAGEREF _Toc295299768 h 28 HYP

14、ERLINK l _Toc295299769 3.6 關(guān)鍵代碼 PAGEREF _Toc295299769 h 30 HYPERLINK l _Toc295299770 4系統(tǒng)調(diào)試 PAGEREF _Toc295299770 h 34 HYPERLINK l _Toc295299771 5總結(jié)與展望 PAGEREF _Toc295299771 h 35 HYPERLINK l _Toc295299772 參考文獻(xiàn) PAGEREF _Toc295299772 h 36摘 要隨著信息化時代的到來，信息資源的經(jīng)濟價值和社會價值越來越受到人們的關(guān)注。準(zhǔn)確及時的信息已成為各行各業(yè)乃至整個社會的迫切需求之

15、一，對信息技術(shù)的研究也隨之越來越熱。數(shù)據(jù)倉庫的發(fā)展給企業(yè)對信息的需求提供了很大的幫助。 現(xiàn)在普遍接受的數(shù)據(jù)倉庫定義由Bill Inmon于1980年代提出：“面向主題的、集成的、非易失的，隨時間變化的，用來支持戰(zhàn)略決策的數(shù)據(jù)集合”。數(shù)據(jù)倉庫是數(shù)據(jù)集成的中心點，是數(shù)據(jù)轉(zhuǎn)化為信息的第一步，關(guān)注于企業(yè)，為以下目標(biāo)服務(wù)：首先，數(shù)據(jù)倉庫給整個企業(yè)提供統(tǒng)一的視圖，而不管怎么使用它，這為對數(shù)據(jù)倉庫中數(shù)據(jù)的解釋（分析）提供了靈活性。數(shù)據(jù)倉庫提供使用者一個穩(wěn)定的數(shù)據(jù)源，包括前后一致的歷史數(shù)據(jù)、各部門一致的可靠數(shù)據(jù)。其次，企業(yè)作為一個整體，對歷史信息有巨大的需求，數(shù)據(jù)倉庫會增長到非常龐大（20100TB），在一開

16、始設(shè)計時，就必須考慮以有效的方式使用企業(yè)業(yè)務(wù)規(guī)則，使適應(yīng)信息的增長。最后，數(shù)據(jù)倉庫用于支持企業(yè)內(nèi)各種形式的分析技術(shù)，也就是說，在數(shù)據(jù)倉庫上可以建立很多數(shù)據(jù)集市，而不是每個數(shù)據(jù)集市各自提取及使用各自的數(shù)據(jù)。關(guān)鍵字：數(shù)據(jù)倉庫；數(shù)據(jù)集市，ETLAbstract:Along with the information time arrival, information resources economic value and the social value receive more and more peoples attention. The accurate prompt information

17、has become urgent demands of one of the various trades and occupations and even entire society, it is also getting more and more hot in information technologys research. Data warehouses development has provided the very big help to the enterprise in the information demand. The universally accepted d

18、efinition of a data warehouse developed by Bill Inmon in the 1980s is “a subject-oriented, integrated, time variant and nonvolatile collection of data used in strategic decision making”1. The data warehouse acts as the central point of data integrationthe first step toward turning data into informat

19、ion. Due to this enterprise focus, it serves the following purposes:First, it delivers a common view of enterprise data, regardless of how it may later be used by the consumers. Since it is the common view of data for the business consumers, it supports the flexibility in how the data is later inter

20、preted (analyzed). The data warehouse produces a stable source of historical information that is constant, consistent, and reliable for any consumer.Second, because the enterprise as a whole has an enormous need for historical information, the data warehouse can grow to huge proportions (20 to 100 t

21、erabytes or more!). The design is set up from the beginning to accommodate the growth of this information in the most efficient manner using the enterprises business rules for use throughout the enterprise.Finally, the data warehouse is set up to supply data for any form of analytical technology wit

22、hin the business community. That is, many data marts can be created from the data contained in the data warehouse rather than each data mart serving as its own producer and consumer of data.Key words: Data Warehouse; Date Mart; ETL緒論目前，定制化的企業(yè)級數(shù)據(jù)庫服務(wù)越來越有市場，因為隨著企業(yè)數(shù)據(jù)的成幾何指數(shù)增加，數(shù)據(jù)存儲、管理和在線分析能力要求越來越高。尤其是面對激烈

23、的市場上，企業(yè)只有更好的使用數(shù)據(jù)才能面對更好的競爭。構(gòu)建新一代的數(shù)據(jù)倉庫平臺和云平臺就成了企業(yè)的最佳選擇，也是數(shù)據(jù)庫廠商的新機會。1.1 系統(tǒng)背景隨著信息化時代的到來，信息資源的經(jīng)濟價值和社會價值越來越受到人們的關(guān)注。在激烈的市場競爭中，無論哪個行業(yè)，只有“知己知彼”才能“百戰(zhàn)不殆”，即信息是決策者做出正確決策的關(guān)鍵因素，準(zhǔn)確及時的信息已成為各行各業(yè)乃至整個社會的迫切需求之一，對信息技術(shù)的研究也隨之越來越熱。一般而言，數(shù)據(jù)是指用來表示數(shù)量、行動和目標(biāo)的非隨機的可鑒別的物理符號，信息是經(jīng)過加工后的數(shù)據(jù)，能反映客觀事物的物理狀態(tài)，能對接受者的行為和決策產(chǎn)生影響。數(shù)據(jù)和信息是密切相關(guān)的，數(shù)據(jù)是載荷信

24、息的物理符號，信息是用數(shù)據(jù)來表示的。在特定的應(yīng)用環(huán)境中，二者之間又可相互轉(zhuǎn)化，這時就要用到處理數(shù)據(jù)和信息的技術(shù)。作為管理數(shù)據(jù)的傳統(tǒng)技術(shù)數(shù)據(jù)庫技術(shù)主要實現(xiàn)了對數(shù)據(jù)的存貯、修改和對其進(jìn)行簡單的分析匯總即進(jìn)行一般的操作性處理，而對于提供科學(xué)決策所必須的事物發(fā)展趨勢信息、各種事物潛在關(guān)系分析卻顯示出了嚴(yán)重的局限性，因而時代的發(fā)展對信息技術(shù)提出了新的需求。另一方面，由于最近幾年計算機技術(shù)，尤其是網(wǎng)絡(luò)技術(shù)的發(fā)展，為快捷地獲取大量各方面數(shù)據(jù)提供了方便，為更高層次的數(shù)據(jù)分析、信息提取奠定了基礎(chǔ)。因此，數(shù)據(jù)庫系統(tǒng)本身的局限性帶來的推動力和各行業(yè)對信息的需求及計算機技術(shù)的發(fā)展帶來的拉動力，共同促成了新型數(shù)據(jù)處理系

25、統(tǒng)數(shù)據(jù)倉庫(Data Warehouse)的誕生。數(shù)據(jù)倉庫概念的提出是對數(shù)據(jù)處理和信息收集概念新的升華，是從數(shù)據(jù)庫處理數(shù)據(jù)的不同角度對歷史數(shù)據(jù)和實時數(shù)據(jù)進(jìn)行了多角度的解釋，實現(xiàn)了信息系統(tǒng)中由數(shù)據(jù)積累到信息應(yīng)用的飛躍。本次的設(shè)計任務(wù)也是在這個基礎(chǔ)上，對數(shù)據(jù)倉庫的設(shè)計做出一些嘗試。本文作者認(rèn)為，數(shù)據(jù)倉庫經(jīng)歷了這些年的初步發(fā)展，已經(jīng)慢慢變得成熟起來，而在未來云計算的大環(huán)境下，對海量數(shù)據(jù)的分析和存儲顯得尤為重要，所以數(shù)據(jù)倉庫將做為一個朝陽性行業(yè)得到不斷發(fā)展。1.2 現(xiàn)狀及前景分析當(dāng)前，國內(nèi)外學(xué)術(shù)界對數(shù)據(jù)倉庫的基本理論、構(gòu)建方法進(jìn)行了較多的研究，對其投資回報率、實施可能性也進(jìn)行了廣泛探討。并于1999年

26、4月在上海和北京兩地舉辦了數(shù)據(jù)倉庫技術(shù)大型國際研討會，各方面專家紛紛發(fā)表意見，討論數(shù)據(jù)倉庫系統(tǒng)進(jìn)一步發(fā)展的方向。在信息行業(yè)，數(shù)據(jù)庫技術(shù)已經(jīng)達(dá)到了成熟時期，數(shù)據(jù)庫市場基本處于幾家大的數(shù)據(jù)庫廠商的控制之下，而數(shù)據(jù)倉庫及其相關(guān)技術(shù)的市場是正在興起和各廠商大力競爭的領(lǐng)域，各著名軟件廠商如Oracle, Informix, Microsoft等公司都推出了自己的數(shù)據(jù)倉庫產(chǎn)品，這些產(chǎn)品雖種類繁多，但標(biāo)準(zhǔn)不同，功能各異。隨著數(shù)據(jù)倉庫產(chǎn)品的推出，它的特點和功能吸引了許多行業(yè)的管理者和信息技術(shù)工作人員的注意，各部門尤其是企業(yè)、金融業(yè)正大力引進(jìn)這一技術(shù)，在歐美國家，已有部分行業(yè)應(yīng)用了數(shù)據(jù)倉庫技術(shù)，并取得了立竿見影

27、的效益。在我國，1990年中國人民銀行廣東分行開發(fā)的“金融信息服務(wù)系統(tǒng)(FISS )”部分地引入了數(shù)據(jù)倉庫技術(shù)，是我國對數(shù)據(jù)倉庫應(yīng)用的較早嘗試。未來的發(fā)展將使數(shù)據(jù)庫廠商明確推出數(shù)據(jù)倉庫引擎，作為服務(wù)器產(chǎn)品與數(shù)據(jù)庫服務(wù)器并駕齊驅(qū)。在這一方面，帶有決策支持?jǐn)U展的并行關(guān)系數(shù)據(jù)庫將最具發(fā)展?jié)摿ΑＴ跀?shù)據(jù)表現(xiàn)方面，數(shù)理統(tǒng)計的算法和功能將普遍集成到聯(lián)機分析產(chǎn)品中，同時與Internet/Web技術(shù)緊密結(jié)合，推出適用于Intranet、終端免維護(hù)的數(shù)據(jù)倉庫訪問前端。在這個方面，按行業(yè)應(yīng)用特征細(xì)化的數(shù)據(jù)倉庫用戶前端軟件將成為產(chǎn)品作為數(shù)據(jù)倉庫解決方案的一部分。數(shù)據(jù)倉庫實現(xiàn)過程的方法論將更加普及，將成為數(shù)據(jù)庫設(shè)計的

28、一個明確分支，成為管理信息系統(tǒng)設(shè)計的必備。1.3 系統(tǒng)開發(fā)目標(biāo)和現(xiàn)實意義目標(biāo)隨著90年代后期Internet 的興起與飛速發(fā)展，我們進(jìn)入了一個新的時代，大量的信息和數(shù)據(jù)，迎面而來，用科學(xué)的方法去整理數(shù)據(jù)，從而從不同視角對企業(yè)經(jīng)營各方面信息的精確分析、準(zhǔn)確判斷，比以往更為迫切,實施商業(yè)行為的有效性也比以往更受關(guān)注。使用這些技術(shù)建設(shè)的信息系統(tǒng)我們稱為數(shù)據(jù)倉庫系統(tǒng)。隨著數(shù)據(jù)倉庫技術(shù)應(yīng)用的不斷深入，近幾年數(shù)據(jù)倉庫技術(shù)得到長足的發(fā)展。典型的數(shù)據(jù)倉庫系統(tǒng)，比如：經(jīng)營分析系統(tǒng)，決策支持系統(tǒng)等等。也隨著數(shù)據(jù)倉庫系統(tǒng)帶來的良好效果，各行各業(yè)的單位，已經(jīng)能很好的接受“整合數(shù)據(jù)，從數(shù)據(jù)中找知識，運用數(shù)據(jù)知識、用數(shù)據(jù)

29、說話”等新的關(guān)系到改良生產(chǎn)活動各環(huán)節(jié)、提高生產(chǎn)效率、發(fā)展生產(chǎn)力的理念。數(shù)據(jù)倉庫技術(shù)就是基于數(shù)學(xué)及統(tǒng)計學(xué)嚴(yán)謹(jǐn)邏輯思維的并達(dá)成“科學(xué)的判斷、有效的行為”的一個工具。數(shù)據(jù)倉庫技術(shù)也是一種達(dá)成“數(shù)據(jù)整合、知識管理”的有效手段。它是面向主題的、集成的、與時間相關(guān)的、不可修改的數(shù)據(jù)集合。企業(yè)把大量的數(shù)據(jù)，年復(fù)一年的存入數(shù)據(jù)庫中，浩如煙海的歷史數(shù)據(jù)在之后的檢索和利用的時候變得無比困難，而數(shù)據(jù)倉庫便是把這些數(shù)據(jù)分門別類得存儲起來，讓提取歷史數(shù)據(jù)變得清晰而簡單，而決策層也可以根據(jù)歷史數(shù)據(jù)來做出恰當(dāng)?shù)臎Q策。隨著社會越來越進(jìn)步，我們將要面臨的數(shù)據(jù)只會越來越多，越來越復(fù)雜，而對數(shù)據(jù)有效管理的需求，也將會越來越迫切。同

30、時在查詢方面，各種時段各種維度的查詢要求以及數(shù)據(jù)處理的粒度需求也會越來越多樣化，而數(shù)據(jù)倉庫正是實現(xiàn)這一目標(biāo)的手段。所以我想利用此次畢業(yè)設(shè)計的機會，學(xué)習(xí)并制作一個基于數(shù)據(jù)倉庫的商場租賃報表系統(tǒng)，通過對幾乎毫無知識價值的源數(shù)據(jù)提取到數(shù)據(jù)倉庫中，并通過一些固定的邏輯，進(jìn)行抽取，清洗，轉(zhuǎn)移，裝載以后。生成不同粒度的報表，此報表對歷史的數(shù)據(jù)進(jìn)行了綜合和提煉，決策層便可以通過報表掌握商場的即時信息，并依據(jù)次信息做出準(zhǔn)確的決策。1.3.2 意義商場租賃報表系統(tǒng)計劃基于數(shù)據(jù)倉庫對數(shù)據(jù)進(jìn)行多角度的挖掘和分析，系統(tǒng)內(nèi)積累了商場從實施現(xiàn)代化管理以后所有的數(shù)據(jù)，將數(shù)據(jù)按主題進(jìn)行劃分和存儲，并通過SSIS控制數(shù)據(jù)流，對

31、每月的增量數(shù)據(jù)進(jìn)行ETL之后存入數(shù)據(jù)倉庫，方便決策層進(jìn)行數(shù)據(jù)的查詢和分析，前臺通過SSRS組件對數(shù)據(jù)報表進(jìn)行展示。決策數(shù)據(jù)是多維數(shù)據(jù)，多維數(shù)據(jù)就是決策的主要內(nèi)容。OLAP專門設(shè)計用于支持復(fù)雜的分析操作，側(cè)重對決策人員和高層管理人員的決策支持，可以根據(jù)分析人員的要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀而易懂的形式將查詢結(jié)果提供給決策人員，以便他們準(zhǔn)確掌握企業(yè)（公司）的經(jīng)營狀況，了解對象的需求，制定正確的方案。聯(lián)機分析處理系統(tǒng)面對的受眾比較小，大部分是企業(yè)決策層，它具有靈活的分析功能、直觀的數(shù)據(jù)操作和分析結(jié)果可視化表示等突出優(yōu)點，從而使用戶對基于大量復(fù)雜數(shù)據(jù)的分析變得輕松而高效，

32、以利于迅速做出正確判斷。它可用于證實人們提出的復(fù)雜的假設(shè)，其結(jié)果是以圖形或者表格的形式來表示的對信息的總結(jié)。它并不將異常信息標(biāo)記出來，是一種知識證實的方法。所以通過此系統(tǒng)，管理人員可以迅速的對合同情況，商鋪的租賃情況，商鋪的面積情況，租金情況，保證金情況進(jìn)行概要和詳細(xì)的了解，后期還計劃實現(xiàn)數(shù)據(jù)的分析處理，這樣就可以給決策人員提供支持 系統(tǒng)開發(fā)環(huán)境本系統(tǒng)面向Windows操作系統(tǒng)，以Microsoft SQL server 2008作為后臺數(shù)據(jù)倉庫的基礎(chǔ)設(shè)施，計劃通過中的SQL Server Integration Services流實現(xiàn)存儲過程的控制和執(zhí)行，并通過SQL Server Repo

33、rting Services來控制和展示報表，同時考慮了兼容性和數(shù)據(jù)量的問題。1) Microsoft SQL server 2008（1）Microsoft SQL server 2008簡介SQL Server 2008是Microsoft公司推出的大型數(shù)據(jù)庫管理系統(tǒng)，它建立在成熟而強大的關(guān)系模型基礎(chǔ)上，可以很好地支持客戶機/服務(wù)器網(wǎng)絡(luò)模式，能夠滿足各種類型的企事業(yè)單位對構(gòu)建網(wǎng)絡(luò)數(shù)據(jù)庫的需求，并且在易用性、可擴展性、可靠性以及數(shù)據(jù)倉庫等方面確立了世界領(lǐng)先的地位。（2）SQL server 2008具有以下特點： eq oac(,1)圖形化用戶界面，使系統(tǒng)管理和數(shù)據(jù)庫管理更加直觀、簡單。 e

34、q oac(,2)真正的客戶機/服務(wù)器體系結(jié)構(gòu)。 eq oac(,3)對Web技術(shù)的支持，使用戶能夠很容易地將數(shù)據(jù)庫中的數(shù)據(jù)發(fā)布到Web頁面上。 eq oac(,4)具有很好的伸縮性，可跨越從運行Windows 95/98的膝上型電腦到運行Windows 2000的大型多處理器等多種平臺使用。 eq oac(,5)豐富的編程接口工具，為用戶進(jìn)行程序設(shè)計提供了更大的選擇余地。 eq oac(,6)SQL Server提供數(shù)據(jù)倉庫功能，這個功能只在Oracle和其他更昂貴的DBMS中才有。 eq oac(,7)SQL server 2008在以前版本的基礎(chǔ)上又增加了一些新特性如下：支持XML(Ex

35、tensive Markup Language，擴展標(biāo)記語言)，強大的基于Web的分析，支持OLE DB和多種查詢，支持分布式的分區(qū)視圖。 eq oac(,8)SQL Server與Windows NT完全集成，利用了NT的許多功能，如發(fā)送和接受消息，管理登錄安全性等。SQL Server也可以很好地與Microsoft BackOffice產(chǎn)品集成。 eq oac(,9)SQL Server 2008包括了新增加的執(zhí)行計數(shù)器，它使得可以更細(xì)粒度的對數(shù)據(jù)庫管理系統(tǒng)(Database Management Syste，DBMS)日志記錄的不同階段所耗費的時間進(jìn)行計時。 eq oac(,10)SQ

36、L Server 2008包括動態(tài)管理視圖(Dynamic Management View)和對現(xiàn)有的視圖的擴展，以此來顯示鏡像會話的更多信息。2)SQL Server Integration ServicesSSIS是Microsoft SQL Server 2005 Integration Services的簡稱，是生成高性能數(shù)據(jù)集成解決方案（包括數(shù)據(jù)倉庫的提取、轉(zhuǎn)換和加載 (ETL) 包）的平臺。包括用于生成和調(diào)試包的圖形工具和向?qū)?；用于?zhí)行工作流函數(shù)（如 FTP 操作）、執(zhí)行 SQL 語句或發(fā)送電子郵件的任務(wù)；用于提取和加載數(shù)據(jù)的數(shù)據(jù)源和目標(biāo)；用于清理、聚合、合并和復(fù)制數(shù)據(jù)的轉(zhuǎn)換；用于

37、管理 Integration Services 的管理服務(wù) Integration Services 服務(wù)；以及用于對 Integration Services 對象模型編程的應(yīng)用程序編程接口 (API)。3)SQL Server Reporting ServicesReporting Services 是基于服務(wù)器的報表平臺，為各種數(shù)據(jù)源提供了完善的報表功能。Reporting Services 包含一整套可用于創(chuàng)建、管理和傳送報表的工具以及允許開發(fā)人員在自定義應(yīng)用程序中集成或擴展數(shù)據(jù)和報表處理的 API。Reporting Services 工具在 MicrosoftVisual Stud

38、io 環(huán)境中工作，并與 SQL Server 工具和組件完全集成。使用 Reporting Services，可以從關(guān)系數(shù)據(jù)源、多維數(shù)據(jù)源和基于 XML 的數(shù)據(jù)源創(chuàng)建交互式、表格式、圖形式或自由格式的報表?？梢园葱璋l(fā)布報表、計劃報表處理或者評估報表。Reporting Services 還允許用戶選擇多種查看格式、將報表導(dǎo)出到其他應(yīng)用程序以及訂閱已發(fā)布的報表。您創(chuàng)建的報表可以通過基于 Web 的連接進(jìn)行查看，也可以作為 Microsoft Windows 應(yīng)用程序或 SharePoint 站點的一部分進(jìn)行查看。系統(tǒng)分析2.1 系統(tǒng)分析概述商場租賃報表系統(tǒng)分為兩個部分：后臺通過SSIS流程包執(zhí)行

39、存儲過程。后臺通過SSIS流程包對存儲過程進(jìn)行控制和執(zhí)行，通過存儲過程對源數(shù)據(jù)進(jìn)行加工，計劃通過staging層（存儲增量數(shù)據(jù)），ods層（存儲一定量的歷史數(shù)據(jù)），dimension層（維度層，將數(shù)據(jù)劃分為各個主題存儲），datamart層（數(shù)據(jù)集市層，處理后的各個維度數(shù)據(jù)已經(jīng)之前沉淀的所有歷史數(shù)據(jù)），到最后的report層（報表層，用于生成報表）。報表展示。通過SSRS從report層提取數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行上鉆下鉆的處理，得到各種粒度以及各種維度的報表并展示。2.2 需求分析目前，很多企業(yè)要面臨海量數(shù)據(jù)的存儲和計算，而數(shù)據(jù)量大，數(shù)據(jù)來源多樣化，將是很多企業(yè)在構(gòu)建信息管理系統(tǒng)時，不可避免的遇到

40、的問題，如何管理這些浩如煙海的數(shù)據(jù)以及如何從中提取有用的信息呢？以前，很多企業(yè)會將歷史數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫中轉(zhuǎn)移到備份系統(tǒng)中，導(dǎo)致無法深入分析數(shù)據(jù)，難以做出有競爭性的決策。而數(shù)據(jù)倉庫的最大優(yōu)點在于它能把企業(yè)網(wǎng)絡(luò)中不同信息島上的商業(yè)數(shù)據(jù)集中到一起，存儲在一個單一的集成的數(shù)據(jù)庫中，并提供各種手段對數(shù)據(jù)進(jìn)行統(tǒng)計、分析，并且允許企業(yè)的各個部門共享數(shù)據(jù)，為企業(yè)更快、更好地做出商業(yè)決策提供更加準(zhǔn)確、完整的信息。利用數(shù)據(jù)倉庫技術(shù)，可以使原本分散、孤立的信息相互之間建立良好的聯(lián)系。而我們擬解決的便是這樣一個數(shù)據(jù)處理的問題：假設(shè)有一個名為陽光的房地產(chǎn)公司，此房地產(chǎn)公司通過修建商場并出租商鋪獲取主要的商業(yè)利潤，因此，

41、在陽光房地產(chǎn)公司擁有的地產(chǎn)中，很大一部分是大型的商場，分布在全國各地。眾所周知，大型商場中有數(shù)以千計的商鋪，關(guān)于商鋪的面積，位置用途，租金必須有所記錄。這里就需要用到數(shù)據(jù)庫。并且，有商鋪意味著會有租戶，而租戶的公司名，租戶的品牌，銷售額，同樣需要記錄。試想，全國幾十個商場，每個商場數(shù)以千記的商鋪，每個商鋪每天的銷售額、租金是多么龐大的一組數(shù)據(jù)，況且，商鋪的主人也在不停的在變動中，如果這些變動不加以記錄，如何對公司的產(chǎn)品進(jìn)行管理，如何通過市場的需求做出合理的決策？ 所以，僅僅擁有數(shù)據(jù)庫是不夠的，數(shù)據(jù)庫面對如此龐大的錄入會顯得力不從心，況且決策人員面對浩如煙海的數(shù)據(jù)根本無法做出決策。所以，數(shù)據(jù)倉庫

42、將是一個最明智的選擇。按以上內(nèi)容為背景，我們擬設(shè)置出下列需求：分析匯總商場的相關(guān)租賃信息。商場的主要行為就是租賃行為，租賃行為將對商鋪進(jìn)行影響，比如重新測量商鋪面積，商鋪的狀態(tài)轉(zhuǎn)換，商鋪的承租人，商鋪的業(yè)態(tài)，商鋪屬于哪個商場等等。而管理層的需求就是通過報表匯總統(tǒng)計出個個商場中商鋪的狀態(tài)信息和出租情況分析匯總出商場的相關(guān)合同信息。每一個商鋪的出租都會涉及到一個合同，對于合同而言有諸多的屬性，包括合同起止日，交房日，承租人，承租期限，保證金，擔(dān)保模式，合同涉及的商鋪數(shù)等等，而管理層的需求便是通過一張報表展示各種相關(guān)的合同信息。分析匯總出商場有關(guān)收費的信息。對于商鋪的收費類型是十分復(fù)雜的，包括基本租

43、金，物管費，提成租金，pos機收費等等，關(guān)于收費信息的需求便是計算出哪些商鋪需要那些收費并將其展示出來。存儲保證金已經(jīng)業(yè)態(tài)信息保證金是商鋪通過繳納一定的費用來為其預(yù)留商鋪。保證金根據(jù)租戶的不同，商鋪的位置，大小，面積的不同有不同的計算方式，所以需要對保證金信息進(jìn)行統(tǒng)計并一并展示。而業(yè)態(tài)是統(tǒng)計商場經(jīng)營范圍的指標(biāo)，我們將業(yè)態(tài)分為24個標(biāo)準(zhǔn)業(yè)態(tài)（時裝/服飾，餐飲，書籍及文具，超市百貨商場，玩具及個人嗜好，禮品及紀(jì)念品，教育，家用及家具，運動器材及運動裝，電器，休閑及娛樂，辦公室，各類服務(wù)，貨倉，資訊，兒童，珠寶及鐘表及鋼筆，鞋子及包包，工藝品，音樂及影視，美容/保健，生活特性店，特賣店/折扣店）要對

44、每個商鋪的業(yè)態(tài)進(jìn)行分類存入標(biāo)準(zhǔn)業(yè)態(tài)，方便統(tǒng)計地域內(nèi)消費者得消費傾向。2.3 可行性分析可行性分析是系統(tǒng)規(guī)劃的關(guān)鍵一步,以評定項目在技術(shù)上、經(jīng)濟上、操作上和進(jìn)度上的可行性。可行性分析的任務(wù)是明確應(yīng)用項目開發(fā)的必要性和可行性。必要性來自實現(xiàn)開發(fā)任務(wù)的迫切性，而可行性則取決于實現(xiàn)應(yīng)用系統(tǒng)的資源和條件。這項工作需建立在初步調(diào)查的基礎(chǔ)上。2.3.1 管理可行性管理層面也許不是一項很重要的因素，對預(yù)選方案的評估結(jié)果也許不致有決定性的影響力，但畢竟也是一項不容忽視的因素，須予以注意。本系統(tǒng)的以公司的需求為導(dǎo)向，抽象相關(guān)人員，工作原理，系統(tǒng)亦涉及到權(quán)限的管理，開發(fā)途中突出對范圍管理，時間管理，質(zhì)量管理，風(fēng)險管

45、理。其后為了實現(xiàn)項目的目標(biāo)，需要對項目的工作具體內(nèi)容進(jìn)行控制，包括范圍的界定，范圍的規(guī)劃，范圍的調(diào)整等。綜上所述，本系統(tǒng)管理成本較低，具有較強的可操作性2.3.2 經(jīng)濟可行性本系統(tǒng)的開發(fā)，需要以計算機作為軟件運行的平臺，對于計算機的配置要求中等即可，而計算機上只需安裝相應(yīng)的開發(fā)和運行軟件，如SQLserver2008，Visio studio2008，SSIS，Report B。項目中需要數(shù)據(jù)導(dǎo)入和導(dǎo)出時，需要從商場提取數(shù)據(jù)源。本系統(tǒng)開發(fā)完成后可以節(jié)省人力，節(jié)約時間，從而大大降低成本。其次，系統(tǒng)對于輸入輸出進(jìn)行規(guī)范化要求，也提高了數(shù)據(jù)可用性，增強了數(shù)據(jù)安全系數(shù)，能夠更方便、簡單、快速地進(jìn)行查詢

46、、修改數(shù)據(jù)。多維報表展示，系統(tǒng)決策支持。另外，但是在系統(tǒng)的維護(hù)和管理上可能需要一定的精力，需要定時地檢查和運行ETL并進(jìn)行數(shù)據(jù)質(zhì)量的控制，從而保證系統(tǒng)正常和高效的運行?？傮w上講，本系統(tǒng)的開發(fā)成本較低，經(jīng)濟可行性較強。2.3.3技術(shù)可行性數(shù)據(jù)倉庫以及決策支持技術(shù)的發(fā)展，使得原本對歷史數(shù)據(jù)的低效率抽取和轉(zhuǎn)換變得高效起來，也使對于知識的管理在此基礎(chǔ)上得以發(fā)展。以數(shù)據(jù)倉庫為基礎(chǔ)，建立開發(fā)一套完善的數(shù)據(jù)處理系統(tǒng)，對于大型的，多數(shù)據(jù)處理公司而言無疑是一個天大的喜訊，況且，大量的事實證明了此舉的高效性和必要性，因此本系統(tǒng)的設(shè)計和開發(fā)具有很強的可行性。另外，隨著信息處理的加速和開發(fā)語言的不斷更新，基于SQL的

47、T-SQL語言，其豐富的功能和函數(shù)無疑為我們的開發(fā)又添加了一個利器。本系統(tǒng)以Windows作為操作系統(tǒng)，以SQLserver2008作為后臺數(shù)據(jù)庫支持，通過Visio studio2008作為控制執(zhí)行SSIS工作包的工具臺，加載ETL邏輯，最終通過SSRS生成報表，并通過Report Builder2.0發(fā)布，整個鏈路一氣呵成，并且全套微軟的BI工具具有很強的兼容性，避免了不同數(shù)據(jù)庫和軟件之間數(shù)據(jù)轉(zhuǎn)換的麻煩。作為一名開發(fā)者，作者通過一段時間對數(shù)據(jù)倉庫的學(xué)習(xí)和理解，通過大量的資料，已經(jīng)初步具備了設(shè)計數(shù)據(jù)倉庫的基本理論知識和實施數(shù)據(jù)倉庫的基本方法，并且通過學(xué)習(xí)對SSIS控制流也有一定了解，對于SS

48、RS報表服務(wù)以及Report Builder2.0，因為之前從未接觸，所以迅速掌握有一定的困難，但是相信通過學(xué)習(xí)，掌握基本的報表發(fā)布方法和途徑不成問題。所以綜上所述，建立一個基于數(shù)據(jù)倉庫的數(shù)據(jù)處理系統(tǒng)所遇到的問題都是可以解決的，這使得我們可以相信它在技術(shù)上具有較強的可操作行。2.3.4 操作可行性本系統(tǒng)采用基于數(shù)據(jù)倉庫技術(shù)對于商場數(shù)據(jù)處理和報表展示，其中會涉及到數(shù)據(jù)倉庫技術(shù)，并且會涉及到一些數(shù)據(jù)庫相關(guān)，以及報表相關(guān)的專業(yè)性工具，比如SQLserver2008，Visio studio2008，SSIS，SSRS，Report Builder2.0等等，這些工具都需要經(jīng)過一段時間的學(xué)習(xí)才能達(dá)到熟

49、練應(yīng)用的地步，所以本系統(tǒng)對于非專業(yè)人士，可操作性較差。2.3.5 進(jìn)度可行性該系統(tǒng)共有兩個星期左右的時間進(jìn)行設(shè)計和實施：第4周：查閱相關(guān)文獻(xiàn)資料，明確設(shè)計內(nèi)容，了解研究包括數(shù)據(jù)倉庫設(shè)計和實施相關(guān)、SSIS相關(guān)，報表設(shè)計和展示相關(guān)內(nèi)容。確定方案后，完成開題報告，并擬定論文的基本提綱；第56周：對系統(tǒng)進(jìn)行初步的分析并擬出基本實施方案；第710周：對系統(tǒng)的設(shè)計和實現(xiàn)，并配置報表發(fā)布文件；第1011周：系統(tǒng)的debug并同時對于系統(tǒng)進(jìn)行評價和維護(hù)；第1213周：撰寫完成畢業(yè)論文，并修改直至合格；第1415周：繼續(xù)完善系統(tǒng)和論文，并準(zhǔn)備參加論文答辯?？傊?，通過大約12周的時間來完成一個簡單的數(shù)據(jù)處理和報

50、表展示系統(tǒng)是合理、有序、科學(xué)并且可行的。2.4 ETL分析與設(shè)計2.4.1 ETL數(shù)據(jù)流向圖 此圖標(biāo)識整個了ETL的執(zhí)行過程中，數(shù)據(jù)經(jīng)過的幾個層次和其中的處理邏輯。數(shù)據(jù)經(jīng)過這幾個層次以后，轉(zhuǎn)換為有價值的，包含維度的知識型數(shù)據(jù)，從報表出口導(dǎo)出形成報表，整個流程通過SSIS流進(jìn)行控制。圖2-1 ETL流程圖2.4.2 ETL數(shù)據(jù)層1) STG（Staging）層主要是為了保證數(shù)據(jù)移動的順序進(jìn)行而開設(shè)的增量性的數(shù)據(jù)存儲空間，它是源系統(tǒng)業(yè)務(wù)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫的緩存區(qū)。從業(yè)務(wù)系統(tǒng)到Staging的數(shù)據(jù)傳輸，應(yīng)該避免復(fù)雜的數(shù)據(jù)處理，以保證數(shù)據(jù)的快速導(dǎo)入而盡量減少對業(yè)務(wù)系統(tǒng)的壓力。需要進(jìn)入數(shù)據(jù)倉庫主題系統(tǒng)的數(shù)

51、據(jù)首先快速傳輸?shù)絊taging Area，通過Staging Area再轉(zhuǎn)移到目標(biāo)數(shù)據(jù)倉庫中。如業(yè)務(wù)系統(tǒng)（如ERP，PSP,NOTES）到Staging Area的數(shù)據(jù)傳輸，應(yīng)該避免復(fù)雜的數(shù)據(jù)處理，以保證數(shù)據(jù)的快速導(dǎo)入而盡量避免對業(yè)務(wù)系統(tǒng)的壓力。一般，可以創(chuàng)建與OLTP交易系統(tǒng)結(jié)構(gòu)相同的屬性，同時在Staging區(qū)域需要增加兩個屬性。Source Code 用來表示源系統(tǒng)。Last Modification Date 用來獲得數(shù)據(jù)處理的時間。如果原來的數(shù)據(jù)中已有上述兩個屬性，則需要在新屬性中增加DW后綴進(jìn)行標(biāo)識。數(shù)據(jù)成功導(dǎo)入數(shù)據(jù)倉庫之后，應(yīng)清空Staging Area中的數(shù)據(jù)。Staging區(qū)

52、域只是為了簡化或者使ETL過程，結(jié)構(gòu)更合理，更利于管理等設(shè)置的中間存儲層，Staging層里的數(shù)據(jù)理論上是可以對用戶不可見的，或者說更像一個技術(shù)策略，所以Staging層只是數(shù)據(jù)倉庫中的一個很小的技術(shù)模塊。在本系統(tǒng)中，STG表加載數(shù)據(jù)庫中更新的源數(shù)據(jù)，包括插入，更新，邏輯刪除的數(shù)據(jù)。STG表結(jié)構(gòu)除了具有源表表結(jié)構(gòu)所有字段外，還添加三個字段，用于標(biāo)識數(shù)據(jù)庫來源，STG加載日期，記錄是否被刪除。ODS（Operational Data Store）層ODS的數(shù)據(jù)作為數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)存儲。ODS區(qū)域可以從系統(tǒng)上分為兩個部分：（1）存放OLTP系統(tǒng)的歷史數(shù)據(jù)這部分?jǐn)?shù)據(jù)需要考慮是否需要對OLTP中的數(shù)據(jù)

53、進(jìn)行LIFE CYCLE的記錄（包括交易數(shù)據(jù) fact data和基礎(chǔ)數(shù)據(jù) dimension data，即緩慢變化的處理 SCD）（2）存放數(shù)據(jù)倉庫部分加工信息即通過ODS歷史數(shù)據(jù)經(jīng)過整合后的信息，這些信息更加全面的反映出主題中某件事務(wù)的全貌。ODS一般可以講是大型數(shù)據(jù)倉庫中一個獨立的系統(tǒng)或環(huán)境，是否需要ODS取決于業(yè)務(wù)需求，通常情況下，如果建立了ODS，那個ODS就要承擔(dān)較大的數(shù)據(jù)整合的任務(wù)，一邊數(shù)據(jù)倉庫主要集中于解決數(shù)據(jù)應(yīng)用層面的需求，另外一般如果有ODS的話，ODS也會向外提供一定的應(yīng)用，所以O(shè)DS是對用戶可見的，而不死附屬于數(shù)據(jù)倉庫的。數(shù)據(jù)模型的建立要看系統(tǒng)更側(cè)重于解決什么樣的業(yè)務(wù)問

54、題，ODS理論上是一個兼具生產(chǎn)系統(tǒng)和分析系統(tǒng)特性的系統(tǒng)，所以要看建設(shè)ODS到底是為了解決分析系統(tǒng)多一些，還是為了解決生產(chǎn)系統(tǒng)問題多一些如果兩者兼顧，那么對數(shù)據(jù)模型要求多層設(shè)計，分別滿足不同需求。本系統(tǒng)的ODS層表，加載報表所需的源數(shù)據(jù)。其報表當(dāng)月的源數(shù)據(jù)在ODS表里保存3個月。ODS表的數(shù)據(jù)源由STG表提供，并且兩者數(shù)據(jù)表的表結(jié)構(gòu)完全相同。3）DWH（data warehouse）層它是真正具有星型結(jié)構(gòu)的多維數(shù)據(jù)存儲區(qū)，這個部分包括兩種實體（FACT ENTITY和DIMENSION ENTITY）。DWH部分需要支持最細(xì)粒度級別，保證可以在最細(xì)粒度級別實現(xiàn)多維的分析。即能夠支持匯總數(shù)據(jù)以及明

55、細(xì)數(shù)據(jù)的多維查詢。FACT ENTITY:它是對某個事物（可能是某一筆交易，某一個項目，如一筆到貨明細(xì)，某一個任務(wù)令）的各方面信息的描述，描述行的屬性包括：該事物各方面的度量信息，相關(guān)度量信息的維度信息。DIMENSION ENTITY:此處的維度信息是與FACT ENTITY相關(guān)的維信息，包括很多FACT ENTITY共有的維度信息，比如時間維度等。以及某個FACT ENTITY需要的專有的維信息。DWH部分需要能否支持最細(xì)粒度級別，可以保證最細(xì)粒度級別實現(xiàn)多維的分析。本系統(tǒng)的DWH層利用維表和事實表存儲用于生成報表的數(shù)據(jù)源。這是報表分析數(shù)據(jù)的核心，采用的是星型模型架構(gòu)方式，利用事實表保存歷

56、史數(shù)據(jù)。4）DM（Data Mart）層它是某個主題領(lǐng)域的專業(yè)的多維數(shù)據(jù)區(qū)。實現(xiàn)某一特定主題領(lǐng)域的多維查詢需求。這個部分也包括兩個實體（FACT ENTITY和DIMENSION ENTITY）兩部分，但是與DWH不同的是這部分的FACT ENTITY和DIMENSION ENTITY都是為某一主題服務(wù)的。本系統(tǒng)的DM層存放從DWH層進(jìn)行聚集和計算之后的結(jié)果，主要用于為報表快速提供數(shù)據(jù)，并方便跨主題分析。5）RPT層RPT層是完全按照報表需要展現(xiàn)的格式進(jìn)行數(shù)據(jù)存儲的。這里保留了發(fā)布后報表的歷史數(shù)據(jù)，方便日后查詢。2.4.3 歷史數(shù)據(jù)保留策略根據(jù)系統(tǒng)各層的取數(shù)規(guī)則和職能，現(xiàn)設(shè)計各層的歷史數(shù)據(jù)保留

57、策略如下圖所示：表2-1 歷史數(shù)據(jù)保留策略表數(shù)據(jù)層保留數(shù)據(jù)STG只存放最近一次加載的增量數(shù)據(jù)ODS只存放從STG來的累積增量數(shù)據(jù)，保存周期為3個月DQ存放和業(yè)務(wù)系統(tǒng)一致的數(shù)據(jù)，不保留歷史DWH事實表，保留所有的歷史；維表，根據(jù)業(yè)務(wù)應(yīng)用的要求不保留歷史DM不保留歷史，僅保存根據(jù)最新的事實表數(shù)據(jù)進(jìn)行聚集后的結(jié)果RPT保留歷史，保存每次發(fā)布后的報表結(jié)果，按月保存2.5 表間層次關(guān)系圖根據(jù)設(shè)計，商場租賃報表系統(tǒng)需要加載關(guān)于商場的租賃信息，收費信息以及合同信息。此圖反映了各個相關(guān)表通過上述數(shù)據(jù)倉庫的各個層次時，相關(guān)物理表之間的邏輯關(guān)系圖。圖2-2 標(biāo)間層次關(guān)系圖2.6 ER圖基于數(shù)據(jù)庫中所涉及的表，設(shè)計

58、出如下局部以及整體E-R圖圖2-3 實體屬性圖圖2-4 實體屬性圖圖2-5 整體ER圖2.8 數(shù)據(jù)字典根據(jù)數(shù)據(jù)倉庫的設(shè)計，我們利用數(shù)據(jù)字典來規(guī)范化本系統(tǒng)數(shù)據(jù)具體內(nèi)容，作為數(shù)據(jù)匯總、分析的一個總結(jié)，其中包括staging層有關(guān)數(shù)據(jù)對象的數(shù)據(jù)流字典、數(shù)據(jù)存儲字典和數(shù)據(jù)處理字典，并詳細(xì)說明如下。1）數(shù)據(jù)流名稱：商鋪信息表簡述：有關(guān)商鋪信息錄入 數(shù)據(jù)流來源：商場助理錄入數(shù)據(jù)流去向：添加信息數(shù)據(jù)流組成：商鋪號商鋪租賃狀態(tài)商場維度代理鍵ID商鋪類型標(biāo)記租戶名稱公司名稱商鋪可租面積商鋪生效時間商鋪失效時間商鋪狀態(tài)業(yè)態(tài)2）數(shù)據(jù)流名稱：合同信息表簡述：關(guān)于合同的信息數(shù)據(jù)流來源：商場租賃助理數(shù)據(jù)流去向：添加信息數(shù)

59、據(jù)流組成：合同維度代理鍵ID合同業(yè)務(wù)ID合同涉及商鋪個數(shù)合同開始時間合同結(jié)束時間交房日裝修時間合同期保證金金額意向書簽署日期合同簽署日期3）數(shù)據(jù)流名稱：收費信息表簡述：收費類型描述數(shù)據(jù)流來源：系統(tǒng)管理員數(shù)據(jù)流去向：添加信息數(shù)據(jù)流組成：基本租金物管費POS租金免租GTO租金租賃保證金 POS機保證金4）數(shù)據(jù)流名稱：業(yè)態(tài)信息表簡述：業(yè)態(tài)信息描述數(shù)據(jù)流來源：商場租賃助理數(shù)據(jù)流去向：添加信息數(shù)據(jù)流組成：數(shù)據(jù)源業(yè)態(tài)ID目標(biāo)庫業(yè)態(tài)ID源業(yè)態(tài)名目標(biāo)業(yè)態(tài)名5）數(shù)據(jù)流名稱：收費類型表簡述：收費類型描述數(shù)據(jù)流來源：商場租賃助理數(shù)據(jù)流去向：添加信息數(shù)據(jù)流組成：收費類型ID收費類型描述更新人更新日期6）數(shù)據(jù)流名稱：保

60、證金類型表簡述：保證金類型描述數(shù)據(jù)流來源：商場租賃助理數(shù)據(jù)流去向：添加信息數(shù)據(jù)流組成：保證金類型ID保證金類型描述更新人更新日期系統(tǒng)設(shè)計3.1 維度表的設(shè)計維度表行數(shù)往往比事實表少得多，但卻包含對多維空間中維的詳盡描述，而且這種描述往往是分層的。如對銷售分析的地區(qū)維來說，可能有國家、省、市等層次。設(shè)計維度表，應(yīng)采取以下原則：1）維度表傾向于更多的列和更少的行。在一個設(shè)計合理的維度模型中,維度表有許多列或?qū)傩?，這些屬性給出對維度表的行所進(jìn)行的描述，因此應(yīng)盡可能多地包含一些有意義的文字性描述。對于維度表來說，包含50到100個屬性的情形并不少見。2）設(shè)計一個占空間盡可能小的主鍵，以參照到事實表。通