CHINACN數(shù)據(jù)倉庫開發(fā)應(yīng)用過程實(shí)用實(shí)用教案

1、15.2 數(shù)據(jù)倉庫的規(guī)劃(guhu)5.2.1 選擇(xunz)數(shù)據(jù)倉庫實(shí)現(xiàn)策略開發(fā)策略主要有：自頂向下：實(shí)際應(yīng)用比較困難 。自底向上：用于一個(gè)數(shù)據(jù)集市或一個(gè)部門的數(shù)據(jù)倉庫開發(fā) ，容易獲得成功 。兩種策略的聯(lián)合使用 ：能夠快速地完成數(shù)據(jù)倉庫的開發(fā)與應(yīng)用，而且還可以建立具有長遠(yuǎn)價(jià)值(jizh)的數(shù)據(jù)倉庫方案。在實(shí)際使用中難以操作 。 首要目標(biāo)是確定所需要信息的范圍，確定數(shù)據(jù)倉庫在為用戶提供決策幫助時(shí)，在主題和指標(biāo)領(lǐng)域需要哪些數(shù)據(jù)源。第1頁/共29頁第一頁，共30頁。2第2頁/共29頁第二頁，共30頁。3第3頁/共29頁第三頁，共30頁。45.3 數(shù)據(jù)倉庫的概念模型設(shè)計(jì)(shj)第4頁/共29頁第

2、四頁，共30頁。55.3.2 概念模型的定義(dngy)決策分析問題客戶購買商品趨勢分析需求信息類日期地點(diǎn)商品客戶年齡組客戶經(jīng)濟(jì)狀況客戶信用需求信息1層需求信息2層需求信息3層需求信息4層需求信息5層年(4)季(16)月(48)國家(15)省(60)市(200)街道(2100)商店(20000)商品種類(7)商品小類(40)商品(220)年齡組（8）經(jīng)濟(jì)類（10）信用（10）第5頁/共29頁第五頁，共30頁。6 實(shí)體功能客戶銷售單商品銷售代表供貨商銷售單輸入CRUDCRUDRRURU銷售單處理CRUDCRUD商品管理RRRUR預(yù)算系統(tǒng)RRRRUR財(cái)務(wù)計(jì)算RURRURR庫存控制RRUCRUDR后

3、勤RRURRUC：Create產(chǎn)生、R：Read引用(ynyng)、U：Update更新D：Delete刪除。第6頁/共29頁第六頁，共30頁。7OracleSysbaseSQL ServerVFP其它模式銷售單輸入銷售單處理商品管理預(yù)算系統(tǒng)(Excel)財(cái)務(wù)計(jì)算庫存控制后勤外部數(shù)據(jù)源商品供應(yīng)商市場調(diào)查公司第7頁/共29頁第七頁，共30頁。85.3.3 概念模型的分析(fnx) 客戶變動信息商品變動信息客戶號商品固有信息 客戶固有 信息 客戶號供應(yīng)商號開 戶 日期 日期銷售數(shù)量 日期 商品號 商品 客戶 銷售第8頁/共29頁第八頁，共30頁。95.3.4 概念模型的設(shè)計(jì)(shj)經(jīng)濟(jì)(年收入)

4、100萬以上10萬以上1萬以上1萬以下地點(diǎn)國家省市銷售銷售數(shù)量銷售價(jià)格銷售金額時(shí)間ID地點(diǎn)ID商品ID年齡60歲以上40歲以上30歲以上20歲以上20歲以下日期年月日商品種類ID小類ID商品ID信用10萬元以上1萬元以上1千元以上1千元以下 0元第9頁/共29頁第九頁，共30頁。10經(jīng)濟(jì)(年收入)100萬以上10萬以上1萬以上地點(diǎn)國家省市銷售銷售ID銷售數(shù)量銷售價(jià)格銷售金額時(shí)間ID地點(diǎn)ID商品ID年齡60歲以上40歲以上30歲以上20歲以上20歲以下日期年月日商品ID種類小類商品信用10萬元以上1萬元以上1千元以上1千元以下 0元商品ID生產(chǎn)廠家進(jìn)貨價(jià)格進(jìn)貨日期客戶客戶ID姓名地址電話郵政編碼

5、詳細(xì)(xingx)類別表第10頁/共29頁第十頁，共30頁。115.3.5 概念模型文檔與評審(pn shn)1.概念模型設(shè)計(jì)文檔數(shù)據(jù)倉庫開發(fā)需求分析報(bào)告概念模型分析報(bào)告概念模型概念模型的評審報(bào)告。 2.概念模型的評審3.概念模型的評審人員4.概念模型的評審內(nèi)容數(shù)據(jù)倉庫開發(fā)任務(wù)書；用戶(yngh)決策分析信息需求調(diào)查表；數(shù)據(jù)倉庫主題；E-R圖、星型模型和雪花模型。 第11頁/共29頁第十一頁，共30頁。125.4 數(shù)據(jù)倉庫的邏輯模型(mxng)設(shè)計(jì)1.數(shù)據(jù)倉庫的邏輯模型設(shè)計(jì)任務(wù)：分析主題域，確定要裝載到數(shù)據(jù)倉庫的主題；確定粒度層次劃分；確定數(shù)據(jù)分割策略；關(guān)系模式的定義(dngy)和記錄系統(tǒng)定義

6、(dngy)、確定數(shù)據(jù)抽取模型等。2.邏輯模型最終設(shè)計(jì)成果：每個(gè)主題的邏輯定義(dngy)，并將相關(guān)內(nèi)容記錄在數(shù)據(jù)倉庫的元數(shù)據(jù)中粒度劃分?jǐn)?shù)據(jù)分割策略表劃分和數(shù)據(jù)來源等。 第12頁/共29頁第十二頁，共30頁。13主題名公共碼鍵屬性組商品商品號商品固有信息：商品號，商品名，類型，顏色等商品采購信息：商品號，供應(yīng)商號，供應(yīng)價(jià)，供應(yīng)日期，供應(yīng)量等商品庫存信息：商品號，庫房號，庫存量，日期等銷售銷售單號銷售單固有信息：銷售單號，銷售地址等銷售信息：客戶號，商品號，銷售價(jià)，銷售量、銷售時(shí)間等客戶客戶號客戶固有信息：客戶號，客戶名，性別，年齡，文化程度，住址，電話等客戶經(jīng)濟(jì)息：客戶號，年收入，家庭總收入等

7、第13頁/共29頁第十三頁，共30頁。145.4.2 粒度層次和聚集(jj)的確定數(shù)據(jù)分割標(biāo)準(zhǔn)1.數(shù)據(jù)量2.數(shù)據(jù)分析處理的對象(duxing)3.粒度分割的策略 第14頁/共29頁第十四頁，共30頁。155.4.5 數(shù)據(jù)倉庫的實(shí)體(sht)定義實(shí)體的邏輯(lu j)分析實(shí)體所有列的具體特征 列名列的鍵屬性值來源/值域完整性約束類型與大小Customer_Number主鍵列、外部鍵列來自客戶實(shí)體的合法客戶鍵列沒有客戶鍵列，數(shù)據(jù)就不存在Char(10)Order_Number主鍵列、外部鍵列來自銷售單實(shí)體的合法鍵列沒有銷售單鍵列，數(shù)據(jù)就不存在Char(10)Product_Number主鍵列、外部

8、鍵列來自商品實(shí)體的合法鍵列沒有商品鍵列，數(shù)據(jù)就不存在Char(10)Product_Price正的金額數(shù)Money(float)第15頁/共29頁第十五頁，共30頁。165.4.5 數(shù)據(jù)倉庫的實(shí)體(sht)定義實(shí)體容量更新頻率Customer中等容量，有100個(gè)重點(diǎn)客戶，2000個(gè)跟蹤客戶每月對客戶情況進(jìn)行一次分析，更新頻率也為每月一次Product小容量，500種商品大約有500種商品，商品的更新是每月一次，數(shù)據(jù)更新也照此。Order_Detail大容量，其上限是354，000，000，000，考慮到各種客戶類型與各種商品的組合情況，一般很少達(dá)到。數(shù)據(jù)每月匯總一次，但是業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)每日

9、需要更新一次，因此更新頻率為每日一次。第16頁/共29頁第十六頁，共30頁。175.4.6 數(shù)據(jù)(shj)倉庫的數(shù)據(jù)(shj)抽取模型F1 數(shù)據(jù)(shj)抽取規(guī)則P2清理數(shù)據(jù)(shj)記錄F8 數(shù)據(jù)清理規(guī)則F2KHCGF5 CQLS_KHCGF6 CQLS_KHCGF7 SJCK_KHCGP4加載到數(shù)據(jù)倉庫F3SPQKF4ZGYJP3數(shù)據(jù)排序聚集P1抽取數(shù)據(jù)源記錄第17頁/共29頁第十七頁，共30頁。185.4.6 數(shù)據(jù)(shj)倉庫的數(shù)據(jù)(shj)抽取模型2.數(shù)據(jù)倉庫的數(shù)據(jù)抽取、轉(zhuǎn)換與加載計(jì)劃（1）影響數(shù)據(jù)抽取、轉(zhuǎn)換與加載的因素?cái)?shù)據(jù)格式壞數(shù)據(jù)系統(tǒng)的兼容性數(shù)據(jù)源的變化數(shù)據(jù)抽取的時(shí)間 （2）數(shù)據(jù)

10、抽取、轉(zhuǎn)換與加載對策 全庫比較利用程序日志(rzh)利用數(shù)據(jù)庫日志(rzh)利用時(shí)間戳或利用位圖索引第18頁/共29頁第十八頁，共30頁。195.4.6 數(shù)據(jù)(shj)倉庫的數(shù)據(jù)(shj)抽取模型3.數(shù)據(jù)倉庫的數(shù)據(jù)清理轉(zhuǎn)換方法(1)類型轉(zhuǎn)換(2)串操作(3)數(shù)學(xué)函數(shù)(4)參照完整性(5)關(guān)鍵字翻譯(fny)(6)聚集運(yùn)算4.數(shù)據(jù)倉庫的數(shù)據(jù)抽取、清理與轉(zhuǎn)換模型第19頁/共29頁第十九頁，共30頁。205.4.6 數(shù)據(jù)(shj)倉庫的數(shù)據(jù)(shj)抽取模型數(shù)據(jù)平臺數(shù)據(jù)庫表名備注Windows/SQL ServerXSSJKHCG客戶采購商品表Windows/SQL ServerXSSJSPQK商品

11、情況表Windows/AccessRSGLZGYJ職工業(yè)績表數(shù)據(jù)源抽取(chu q)對象表 第20頁/共29頁第二十頁，共30頁。215.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取(chu q)模型表.列名過濾與連接條件比較值復(fù)合條件備注KHCG.CGSL500AND采購商品數(shù)量大于500SPQK.SPIDABOR商品前兩位非AB第21頁/共29頁第二十一頁，共30頁。225.4.6 數(shù)據(jù)(shj)倉庫的數(shù)據(jù)(shj)抽取模型目標(biāo)表.列源表.列轉(zhuǎn)換公式備注SJCK_KHCG.KHZYKHCG.KHZY直接轉(zhuǎn)換客戶職業(yè)SJCK_KHCG.CGRQKHCG.CGRQ將月/年/日的日期格式轉(zhuǎn)換成年/月/日格式客戶采

12、購日期第22頁/共29頁第二十二頁，共30頁。235.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取(chu q)模型表.列名排序概括/導(dǎo)出備注CQLS_KHCG.CGSL降序分組按照采購數(shù)量從大到小排序、按照日期進(jìn)行分組SJCK_KHCG.CGHZ概括對每一客戶采購量按照星期分別進(jìn)行概括處理，計(jì)算客戶的采購總量SJCK_KHCG.PJL導(dǎo)出對每一客戶采購情況按照星期分別進(jìn)行平均采購量計(jì)算第23頁/共29頁第二十三頁，共30頁。245.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取(chu q)模型概括表表.列名是否導(dǎo)出事實(shí)表.列名備注SPGKB.SP_ID 否SPGYB.SP_ID商品編號SPGKB.GYS_ID否SPGYB.GY

13、S_ID供應(yīng)商編號SPGKB.SPGYZSL是SPGYB.SPGYL商品供應(yīng)總量，按照供應(yīng)商編號對供應(yīng)數(shù)量求和SPGKB.SPGYZJE是SPGYB.SPGYJE商品供應(yīng)總金額，按照供應(yīng)商編號對供應(yīng)商品的金額進(jìn)行匯總第24頁/共29頁第二十四頁，共30頁。255.4.7 數(shù)據(jù)倉庫的元數(shù)據(jù)模型建立(jinl)與應(yīng)用數(shù)據(jù)源物理模型 查詢統(tǒng)計(jì)邏輯模型 業(yè)務(wù)分組來源定義 加載統(tǒng)計(jì)來源-目標(biāo)映射元數(shù)據(jù)目錄數(shù)據(jù)倉庫前端展示工具ab第25頁/共29頁第二十五頁，共30頁。265.4.8 邏輯(lu j)模型的評審邏輯模型的文檔內(nèi)容：主題域分析報(bào)告，數(shù)據(jù)粒度劃分模型，數(shù)據(jù)分割策略，指標(biāo)實(shí)體、維實(shí)體與詳細(xì)類別實(shí)

14、體的關(guān)系模式和數(shù)據(jù)抽取模型。對邏輯模型的評審主要集中在主題域是否可以正確地反映用戶的決策分析需求。從用戶對概括數(shù)據(jù)使用的要求，評審數(shù)據(jù)粒度的劃分和數(shù)據(jù)分割策略是否可以滿足用戶決策分析的需要。為提高數(shù)據(jù)倉庫的運(yùn)行效率是否需要對關(guān)系模式進(jìn)行反規(guī)范化處理。數(shù)據(jù)的抽取模型是否正確地建立了數(shù)據(jù)源與數(shù)據(jù)倉庫的對應(yīng)關(guān)系。數(shù)據(jù)的約束條件和業(yè)務(wù)規(guī)則是否在這些(zhxi)模型中得到了正確的反映。第26頁/共29頁第二十六頁，共30頁。27課堂練習(xí)課堂練習(xí) 1請為一個(gè)學(xué)生成績分析應(yīng)用設(shè)計(jì)(shj)數(shù)據(jù)庫星型模型。分析問題學(xué)生成績分析需求信息類學(xué)期學(xué)生課程需求信息1層需求信息2層需求信息3層年(3)學(xué)期(6)班級(1)學(xué)生(173)課程名稱(6)任課老師(12)第27頁/共29頁第二十七頁，共30頁。28練練 習(xí)習(xí) 2.數(shù)據(jù)倉庫的生命周期應(yīng)該包含(bohn)哪幾個(gè)階段？需要完成哪些工作？ 3.在數(shù)據(jù)倉庫的需求分析中需要對哪些人員進(jìn)行需求調(diào)查，應(yīng)該調(diào)查哪些內(nèi)容？ 4.數(shù)據(jù)倉庫的設(shè)計(jì)包含(bohn)那些內(nèi)容？ 5.怎樣通過數(shù)據(jù)倉庫的應(yīng)用來增強(qiáng)數(shù)據(jù)倉庫的功能與作用？第28頁/共29頁第二十八頁，共30頁。29感謝您的欣賞(xnshng)！第29頁/共29頁第二十九頁，共30頁。NoIma