建設(shè)數(shù)據(jù)倉庫的一些經(jīng)驗教訓(xùn)課件

1、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘分析型數(shù)據(jù)倉庫(DATA WAREHOUSE)交易型數(shù)據(jù)庫(DATA BASE)設(shè)計的目的查詢、分析、統(tǒng)計、報告，以主題為導(dǎo)向，以一組記錄為處理單位快速輸入、更新、刪除，以事務(wù)處理為導(dǎo)向，以單個記錄為處理單位實體關(guān)系特征反規(guī)范化，較少連接(joins)，多為簡單的星型關(guān)系鏈規(guī)范化，很多連接(joins)， 關(guān)系復(fù)雜 (網(wǎng)狀)信息冗余多處冗余很少表數(shù)量較少多記錄歷史長短用戶數(shù)量少很多表體積（字段數(shù)）大小分析型數(shù)據(jù)倉庫和交易型數(shù)據(jù)庫的區(qū)別數(shù)據(jù)倉庫的星型結(jié)構(gòu)事實表(FACT TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(

2、DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)注：此星型結(jié)構(gòu)不適合于動態(tài)查詢多、系統(tǒng)可擴展能力要求高或者數(shù)據(jù)量很大的場合 數(shù)據(jù)集市(DATA MART)數(shù)據(jù)集市是一個針對某個主題的經(jīng)過預(yù)統(tǒng)計處理的部門級分析數(shù)據(jù)庫。目前，一般理解為企業(yè)級數(shù)據(jù)倉庫里的主題數(shù)據(jù)庫。將數(shù)據(jù)集市理解為一個部門級的數(shù)據(jù)倉庫也未嘗不可。當(dāng)一個企業(yè)里存在著多個相互獨立、數(shù)據(jù)定義不統(tǒng)一的數(shù)據(jù)集市時，就會導(dǎo)致信息的整合問題。因此，將原有的數(shù)據(jù)集市進行整合并歸入數(shù)據(jù)倉庫統(tǒng)一管理是一個必然的趨勢。一個數(shù)據(jù)集市可以

3、由特定業(yè)務(wù)領(lǐng)域內(nèi)多個相關(guān)的“星”組成。比如，營銷集市可以由“訂單星”、“活動星”、“銷售機會星”、“售后服務(wù)星”、“報價星”和“客戶反饋星”等共同組成為一個營銷分析數(shù)據(jù)集市，為營銷人員提供查詢分析的數(shù)據(jù)源。數(shù)據(jù)獲取、精簡和轉(zhuǎn)換工具(ETL)由于數(shù)據(jù)倉庫有自己的獨立數(shù)據(jù)庫系統(tǒng)，字段長度、字段類型、索引定義等與交易數(shù)據(jù)庫有很大的不同，數(shù)據(jù)在導(dǎo)入之前，各種篩選、轉(zhuǎn)換工作是必然的。因此，必須具備有效的導(dǎo)入工具。數(shù)據(jù)倉庫或數(shù)據(jù)庫提供商都有專門設(shè)計的數(shù)據(jù)導(dǎo)入工具，這些工具提供階段性的數(shù)據(jù)預(yù)處理工作，支持各種流行的數(shù)據(jù)源。這些工具的工作效率、易用程度及糾錯能力是衡量數(shù)據(jù)倉庫系統(tǒng)的重要性能指標(biāo)之一。數(shù)據(jù)倉庫的

4、數(shù)據(jù)挖掘工具在線分析處理是對歷史數(shù)據(jù)的統(tǒng)計，它只提供“事實數(shù)據(jù)”，對今后的預(yù)測則完全交由用戶靠自己的“人腦”判斷。在線分析處理的結(jié)果充其量只是“人腦處理系統(tǒng)”的一個輸入。數(shù)據(jù)挖掘是從數(shù)據(jù)倉庫中挖掘出有價值的帶有規(guī)律性的行為模式，并對未來趨勢作出預(yù)測的一個數(shù)據(jù)分析過程，因此，它更接近于人工智能范疇。它的目的是為了建立一個符合“歷史經(jīng)驗”的預(yù)測模型，既要幫助用戶回答諸如“明年那種預(yù)算可以獲得最佳回報”，“哪一種類型的客戶將是企業(yè)的主要收入來源”等決策。數(shù)據(jù)挖掘更注重于發(fā)現(xiàn)數(shù)據(jù)倉庫中所蘊藏的，目前不為人知的某種“規(guī)律”或模式，因而，是“挖掘”，是“發(fā)現(xiàn)”，是“探索”，而不是“瀏覽”或“觀望”眼前的事

5、實結(jié)果。DM,ETL工具IBM產(chǎn)品ORECLE產(chǎn)品MICROSOFT產(chǎn)品數(shù)據(jù)倉庫數(shù)據(jù)挖掘工具OLAP工具數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)倉庫體系結(jié)構(gòu)報表工具建設(shè)數(shù)據(jù)倉庫的一些經(jīng)驗教訓(xùn)數(shù)據(jù)倉庫不是那種買來就可以使用的軟件產(chǎn)品，事實上，數(shù)據(jù)倉庫更像一個過程，一個用戶逐步認(rèn)識自己、提高自己的過程。數(shù)據(jù)倉庫不僅要反映出企業(yè)的現(xiàn)狀，而且還要依靠人做出最終的決策。 確定分析和預(yù)測目標(biāo)了解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)相關(guān)性前期探索模型構(gòu)造模型評估與檢驗部署和應(yīng)用檢驗達(dá)到預(yù)定成功率？預(yù)測變量相關(guān)性不正確？基礎(chǔ)數(shù)據(jù)不足或噪音太大？是是是否實施數(shù)據(jù)挖掘的基本步驟1234567實施數(shù)據(jù)挖掘的基本步驟確定分析和預(yù)測目標(biāo)明確業(yè)務(wù)目標(biāo)通過數(shù)據(jù)

6、挖掘解決什么樣的問題？達(dá)到什么目的？成功準(zhǔn)則把要解決的問題轉(zhuǎn)化為可以測量的目標(biāo)。確定項目期明確的計劃。了解數(shù)據(jù)數(shù)據(jù)源。分析數(shù)據(jù)的可用性與適用性。隨機地抽取一些數(shù)據(jù)檢驗其質(zhì)量，確認(rèn)數(shù)據(jù)的可信度。實施數(shù)據(jù)挖掘的基本步驟數(shù)據(jù)相關(guān)性前期探索有些數(shù)據(jù)挖掘工具在定性和數(shù)據(jù)分類方面使用方便，可以用作為更高一級預(yù)測分析的“探索”工具。比如，先用決策樹或聚類方法幫助找出數(shù)據(jù)的總體趨勢以及預(yù)測變量相關(guān)性之后，再用神經(jīng)網(wǎng)絡(luò)或規(guī)則導(dǎo)引方法有針對性的建模，一來可以細(xì)化數(shù)據(jù)，提高性能，二來在某種程度上也可以幫助消除噪音；另一方面也可以作為不同方法比較之用。實施數(shù)據(jù)挖掘的基本步驟模型構(gòu)造 模型構(gòu)造階段是數(shù)據(jù)挖掘技術(shù)應(yīng)用的關(guān)

7、鍵階段，有以下幾個步驟：選擇使用的挖掘技術(shù)，因為每一種挖掘技術(shù)有其適用性。建立培訓(xùn)數(shù)據(jù)（建立模型用）和測試數(shù)據(jù)（檢驗?zāi)Ｐ陀茫?對基礎(chǔ)數(shù)據(jù)必須分為兩部分，一個是供模型建立的數(shù)據(jù)，另一個供模型建立后檢驗其準(zhǔn)確率的數(shù)據(jù)。兩者的使用目的是不一樣的。利用培訓(xùn)數(shù)據(jù)采用相應(yīng)算法建立模型。模型解釋-對模型進行分析和解釋，業(yè)務(wù)專家和數(shù)據(jù)庫專家同時參與，以找出模型中的實際意義。實施數(shù)據(jù)挖掘的基本步驟部署和應(yīng)用 如果經(jīng)過測試和檢驗，所建立的模型可信、并在預(yù)定誤差率范圍內(nèi)，那么，便可以按照這種模型計算輸出值，并按照輸出值確定決策的基本依據(jù)，這樣就可以在企業(yè)范圍內(nèi)全面部署這個預(yù)測模型。在應(yīng)用過程中，必須不斷用新數(shù)據(jù)進行

8、檢驗，不斷測試其成功概率。經(jīng)過反復(fù)檢驗成功的模型就成為企業(yè)的一個重要的“知識”，為企業(yè)成功決策打下良好的基礎(chǔ)。確定分析和預(yù)測目標(biāo)了解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)相關(guān)性前期探索模型構(gòu)造模型評估與檢驗部署和應(yīng)用檢驗達(dá)到預(yù)定成功率？預(yù)測變量相關(guān)性不正確？基礎(chǔ)數(shù)據(jù)不足或噪音太大？是是是否1234567實施數(shù)據(jù)挖掘的基本步驟行銷控制財務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門： 日期： 功能分類信息展示種類1234512趨勢預(yù)測 環(huán)境預(yù)測外部信息利潤分析策略規(guī)劃 目標(biāo)管理市場分析決策模式風(fēng)險管理 財務(wù)控管投資控管信用風(fēng)險市場風(fēng)險績效評估 利潤分析成本分析預(yù)算分析現(xiàn)金流量功能分類信息展示1層2層3層4

9、層5層方式1方式2趨勢預(yù)測 環(huán)境預(yù)測外部信息利潤分析策略規(guī)劃 目標(biāo)管理市場分析決策模式風(fēng)險管理 財務(wù)控管投資控管信用風(fēng)險市場風(fēng)險績效評估 利潤分析成本分析預(yù)算分析現(xiàn)金流量管理控制 生產(chǎn)控制行銷控制財務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理需 求 規(guī) 劃實現(xiàn)功能所需的數(shù)據(jù)源行銷控制財務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門： 日期： 功能分類信息展示種類1234512趨勢預(yù)測 環(huán)境預(yù)測外部信息利潤分析策略規(guī)劃 目標(biāo)管理市場分析決策模式風(fēng)險管理 財務(wù)控管投資控管信用風(fēng)險市場風(fēng)險績效評估 利潤分析成本分析預(yù)算分析現(xiàn)金流量行銷控制財務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門：

10、日期： 功能分類信息展示種類1234512趨勢預(yù)測 環(huán)境預(yù)測外部信息利潤分析策略規(guī)劃 目標(biāo)管理市場分析決策模式風(fēng)險管理 財務(wù)控管投資控管信用風(fēng)險市場風(fēng)險績效評估 利潤分析成本分析預(yù)算分析現(xiàn)金流量銷售訂單完成情況主題數(shù)據(jù)庫銷售訂單板坯鋼卷發(fā)票發(fā)貨裝車清單結(jié)算清單品質(zhì)證明書行銷控制財務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門： 日期： 功能分類信息展示種類1234512趨勢預(yù)測 環(huán)境預(yù)測外部信息利潤分析策略規(guī)劃 目標(biāo)管理市場分析決策模式風(fēng)險管理 財務(wù)控管投資控管信用風(fēng)險市場風(fēng)險績效評估 利潤分析成本分析預(yù)算分析現(xiàn)金流量行銷控制財務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門： 日期： 功能分類信息展示種類1234512趨勢預(yù)測 環(huán)境預(yù)測外部信息利潤分析策略規(guī)劃 目標(biāo)管理市場分析決策模式風(fēng)險管理 財務(wù)控管投資控管信用風(fēng)險市場風(fēng)險績效評估 利潤分析成本分析預(yù)算分析現(xiàn)金流量物流主題數(shù)據(jù)庫試驗性能板坯數(shù)據(jù)鋼卷數(shù)據(jù)成品數(shù)據(jù)熔煉數(shù)據(jù)試樣號煉鋼成分爐號成品成分爐料數(shù)據(jù)鐵水?dāng)?shù)據(jù)倉庫數(shù)據(jù)集