CHINACN數(shù)據(jù)倉庫開發(fā)應用過程實用

會計學1CHINACN數(shù)據(jù)倉庫開發(fā)應用過程實用25.2數(shù)據(jù)倉庫的規(guī)劃5.2.1選擇數(shù)據(jù)倉庫實現(xiàn)策略開發(fā)策略主要有：自頂向下：實際應用比較困難。自底向上：用于一個數(shù)據(jù)集市或一個部門的數(shù)據(jù)倉庫開發(fā)，容易獲得成功。兩種策略的聯(lián)合使用：能夠快速地完成數(shù)據(jù)倉庫的開發(fā)與應用，而且還可以建立具有長遠價值的數(shù)據(jù)倉庫方案。在實際使用中難以操作。5.2.2確定數(shù)據(jù)倉庫的開發(fā)目標和實現(xiàn)范圍

首要目標是確定所需要信息的范圍，確定數(shù)據(jù)倉庫在為用戶提供決策幫助時，在主題和指標領域需要哪些數(shù)據(jù)源。

另一個重要目標是確定利用哪些方法和工具訪問和導航數(shù)據(jù)？其它目標是確定數(shù)據(jù)倉庫內(nèi)部數(shù)據(jù)的規(guī)模。從用戶的角度分析從技術的角度分析第1頁/共29頁35.2.3數(shù)據(jù)倉庫的結構1.數(shù)據(jù)倉庫的應用結構基于業(yè)務處理系統(tǒng)的數(shù)據(jù)倉庫

單純數(shù)據(jù)倉庫

單純數(shù)據(jù)集市

數(shù)據(jù)倉庫和數(shù)據(jù)集市

2.數(shù)據(jù)倉庫的技術平臺結構單層結構

客戶/服務器兩層結構

(C/S)三層客戶/服務器

(B/W/S)多層式結構

第2頁/共29頁45.2.4數(shù)據(jù)倉庫使用方案和項目規(guī)劃預算1.實際使用方案還可以將最終用戶的決策支持要求與數(shù)據(jù)倉庫的技術要求聯(lián)系起來2.開發(fā)方案的預算進行估計3.編制數(shù)據(jù)倉庫開發(fā)說明書：說明系統(tǒng)與企業(yè)戰(zhàn)略目標的關系，系統(tǒng)與企業(yè)急需處理的、范圍相對有限的開發(fā)機會。業(yè)務機會的說明以及任務概況說明、重點支持的職能部門和今后工作的建議。計劃中需要闡明期望取得的有形和無形利益業(yè)務價值計劃最好由目標業(yè)務主管來完成規(guī)劃書中要確定數(shù)據(jù)倉庫的開發(fā)目標實現(xiàn)范圍、體系結構和使用方案及開發(fā)預算。第3頁/共29頁55.3數(shù)據(jù)倉庫的概念模型設計

概念模型的設計可以分為以下幾個階段：用戶需求調(diào)查、模型定義、模型分析和模型設計。

5.3.1概念模型的需求調(diào)查數(shù)據(jù)倉庫開發(fā)的任務書首先要明確用戶的信息需求了解管理人員在信息需求方面的內(nèi)容了解關于信息的來源組織所使用的系統(tǒng)環(huán)境第4頁/共29頁65.3.2概念模型的定義1.數(shù)據(jù)倉庫用戶的決策分析2.支持決策的數(shù)據(jù)需求分析3.數(shù)據(jù)需求分析工具決策分析問題客戶購買商品趨勢分析需求信息類日期地點商品客戶年齡組客戶經(jīng)濟狀況客戶信用需求信息1層需求信息2層需求信息3層需求信息4層需求信息5層……年(4)季(16)月(48)……國家(15)省(60)市(200)街道(2100)商店(20000)……商品種類(7)商品小類(40)商品(220)……年齡組（8）……經(jīng)濟類（10）……信用（10）……第5頁/共29頁74.CRUD矩陣

實體功能客戶銷售單商品銷售代表供貨商銷售單輸入CRUDCRUDRRURU銷售單處理CRUDCRUD商品管理RRRUR預算系統(tǒng)RRRRUR財務計算RURRURR庫存控制RRUCRUDR后勤RRURRUC：Create產(chǎn)生、R：Read引用、U：Update更新D：Delete刪除。第6頁/共29頁85.企業(yè)業(yè)務處理系統(tǒng)數(shù)據(jù)存儲表OracleSysbaseSQLServerVFP其它模式銷售單輸入√√銷售單處理√√商品管理√預算系統(tǒng)√(Excel)財務計算√庫存控制√后勤√外部數(shù)據(jù)源商品供應商√市場調(diào)查公司√第7頁/共29頁95.3.3概念模型的分析

客戶變動信息商品變動信息客戶號商品固有信息

客戶固有信息

客戶號供應商號開戶日期

日期銷售數(shù)量

日期

商品號

商品

客戶

銷售第8頁/共29頁105.3.4概念模型的設計經(jīng)濟(年收入)100萬以上10萬以上1萬以上1萬以下地點國家省市銷售銷售數(shù)量銷售價格銷售金額時間ID地點ID商品ID年齡60歲以上40歲以上30歲以上20歲以上20歲以下日期年月日商品種類ID小類ID商品ID信用10萬元以上1萬元以上1千元以上1千元以下

0元第9頁/共29頁11經(jīng)濟(年收入)100萬以上10萬以上1萬以上地點國家省市銷售銷售ID銷售數(shù)量銷售價格銷售金額時間ID地點ID商品ID年齡60歲以上40歲以上30歲以上20歲以上20歲以下日期年月日商品ID種類小類商品信用10萬元以上1萬元以上1千元以上1千元以下

0元商品ID生產(chǎn)廠家進貨價格進貨日期客戶客戶ID姓名地址電話郵政編碼詳細類別表第10頁/共29頁125.3.5概念模型文檔與評審1.概念模型設計文檔數(shù)據(jù)倉庫開發(fā)需求分析報告概念模型分析報告概念模型概念模型的評審報告。

2.概念模型的評審3.概念模型的評審人員4.概念模型的評審內(nèi)容數(shù)據(jù)倉庫開發(fā)任務書；用戶決策分析信息需求調(diào)查表；數(shù)據(jù)倉庫主題；E-R圖、星型模型和雪花模型。

第11頁/共29頁135.4數(shù)據(jù)倉庫的邏輯模型設計1.數(shù)據(jù)倉庫的邏輯模型設計任務：分析主題域，確定要裝載到數(shù)據(jù)倉庫的主題；確定粒度層次劃分；確定數(shù)據(jù)分割策略；關系模式的定義和記錄系統(tǒng)定義、確定數(shù)據(jù)抽取模型等。2.邏輯模型最終設計成果：每個主題的邏輯定義，并將相關內(nèi)容記錄在數(shù)據(jù)倉庫的元數(shù)據(jù)中粒度劃分數(shù)據(jù)分割策略表劃分和數(shù)據(jù)來源等。

第12頁/共29頁145.4.1分析主題域主題名公共碼鍵屬性組商品商品號商品固有信息：商品號，商品名，類型，顏色等商品采購信息：商品號，供應商號，供應價，供應日期，供應量等商品庫存信息：商品號，庫房號，庫存量，日期等銷售銷售單號銷售單固有信息：銷售單號，銷售地址等銷售信息：客戶號，商品號，銷售價，銷售量、銷售時間等客戶客戶號客戶固有信息：客戶號，客戶名，性別，年齡，文化程度，住址，電話等客戶經(jīng)濟息：客戶號，年收入，家庭總收入等第13頁/共29頁155.4.2粒度層次和聚集的確定5.4.3確定數(shù)據(jù)分割策略數(shù)據(jù)分割標準1.數(shù)據(jù)量2.數(shù)據(jù)分析處理的對象3.粒度分割的策略

5.4.4關系模型定義第14頁/共29頁165.4.5數(shù)據(jù)倉庫的實體定義實體的邏輯分析實體所有列的具體特征

列名列的鍵屬性值來源/值域完整性約束類型與大小Customer_Number主鍵列、外部鍵列來自客戶實體的合法客戶鍵列沒有客戶鍵列，數(shù)據(jù)就不存在Char(10)Order_Number主鍵列、外部鍵列來自銷售單實體的合法鍵列沒有銷售單鍵列，數(shù)據(jù)就不存在Char(10)Product_Number主鍵列、外部鍵列來自商品實體的合法鍵列沒有商品鍵列，數(shù)據(jù)就不存在Char(10)Product_Price正的金額數(shù)Money(float)…………………………第15頁/共29頁175.4.5數(shù)據(jù)倉庫的實體定義實體容量更新頻率Customer中等容量，有100個重點客戶，2000個跟蹤客戶每月對客戶情況進行一次分析，更新頻率也為每月一次Product小容量，500種商品大約有500種商品，商品的更新是每月一次，數(shù)據(jù)更新也照此。Order_Detail大容量，其上限是354，000，000，000，考慮到各種客戶類型與各種商品的組合情況，一般很少達到。數(shù)據(jù)每月匯總一次，但是業(yè)務處理系統(tǒng)的數(shù)據(jù)每日需要更新一次，因此更新頻率為每日一次?！?6頁/共29頁185.4.6數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型F1數(shù)據(jù)抽取規(guī)則 P2 清理數(shù)據(jù)記錄 F8數(shù)據(jù)清理規(guī)則 F2 KHCG F5CQLS_KHCGF6CQLS_KHCG F7SJCK_KHCG P4 加載到數(shù)據(jù)倉庫 F3 SPQK F4 ZGYJ P3 數(shù)據(jù)排序聚集 P1 抽取數(shù)據(jù)源記錄 第17頁/共29頁195.4.6數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型2.數(shù)據(jù)倉庫的數(shù)據(jù)抽取、轉換與加載計劃（1）影響數(shù)據(jù)抽取、轉換與加載的因素數(shù)據(jù)格式壞數(shù)據(jù)系統(tǒng)的兼容性數(shù)據(jù)源的變化數(shù)據(jù)抽取的時間

（2）數(shù)據(jù)抽取、轉換與加載對策

全庫比較利用程序日志利用數(shù)據(jù)庫日志利用時間戳或利用位圖索引第18頁/共29頁205.4.6數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型3.數(shù)據(jù)倉庫的數(shù)據(jù)清理轉換方法(1)類型轉換(2)串操作(3)數(shù)學函數(shù)(4)參照完整性(5)關鍵字翻譯(6)聚集運算4.數(shù)據(jù)倉庫的數(shù)據(jù)抽取、清理與轉換模型第19頁/共29頁215.4.6數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型數(shù)據(jù)平臺數(shù)據(jù)庫表名備注Windows/SQLServerXSSJKHCG客戶采購商品表Windows/SQLServerXSSJSPQK商品情況表Windows/AccessRSGLZGYJ職工業(yè)績表……………………數(shù)據(jù)源抽取對象表

第20頁/共29頁225.4.6數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型數(shù)據(jù)源抽取規(guī)則表表.列名過濾與連接條件比較值復合條件備注KHCG.CGSL<50000AND采購商品數(shù)量小于50000KHCG.CGSL>500AND采購商品數(shù)量大于500SPQK.SPID≠‘AB’OR商品前兩位非’AB’…………………………第21頁/共29頁235.4.6數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型數(shù)據(jù)抽取的目標列與源列對應關系表目標表.列源表.列轉換公式備注SJCK_KHCG.KHZYKHCG.KHZY直接轉換客戶職業(yè)SJCK_KHCG.CGRQKHCG.CGRQ將月/年/日的日期格式轉換成年/月/日格式客戶采購日期……………………第22頁/共29頁245.4.6數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型數(shù)據(jù)抽取過程的排序、概括和導出情況表表.列名排序概括/導出備注CQLS_KHCG.CGSL降序分組按照采購數(shù)量從大到小排序、按照日期進行分組SJCK_KHCG.CGHZ概括對每一客戶采購量按照星期分別進行概括處理，計算客戶的采購總量SJCK_KHCG.PJL導出對每一客戶采購情況按照星期分別進行平均采購量計算……………………第23頁/共29頁255.4.6數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型數(shù)據(jù)概括表與事實表對應關系概括表表.列名是否導出事實表.列名備注SPGKB.SP_ID否SPGYB.SP_ID商品編號SPGKB.GYS_ID否SPGYB.GYS_ID供應商編號SPGKB.SPGYZSL是SPGYB.SPGYL商品供應總量，按照供應商編號對供應數(shù)量求和SPGKB.SPGYZJE是SPGYB.SPGYJE商品供應總金額，按照供應商編號對供應商品的金額進行匯總……………………第24頁/共29頁265.4.7數(shù)據(jù)倉庫的元數(shù)據(jù)模型建立與應用數(shù)據(jù)源⑼⑶物理模型查詢統(tǒng)計邏輯模型業(yè)務分組來源定義加載統(tǒng)計來源-目標映射建模工具元數(shù)據(jù)目錄數(shù)據(jù)加載工具數(shù)據(jù)倉庫前端展示工具⑴⑵⑷⑸a⑹⑺⑻⑽⑿⑸b第25頁/共29頁275.4.8邏輯模型的評審邏輯模型的文檔內(nèi)容：主題域分析報告，數(shù)據(jù)粒度劃分模型，數(shù)據(jù)分割策略，指標實體、維實體與詳細類別實體的關系模式和數(shù)據(jù)抽取模型。對邏輯模型的評審主要集中在主題域是否可以正確地反映用戶的決策分析需求。從用戶對概括數(shù)據(jù)使用的要求，評審數(shù)據(jù)粒度的劃分和數(shù)據(jù)分割策略是否可以滿足用戶決策分析的需要。為提高數(shù)據(jù)倉庫的運行效率是否需要對關系模式進行反規(guī)范化處理。數(shù)據(jù)的抽取模型是否正確地建立了數(shù)據(jù)源與數(shù)據(jù)倉庫的對應關系。數(shù)據(jù)的約束條件和業(yè)務規(guī)則是否在這些模型中得到了正確的反映。第26頁/共29頁