建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的一些經(jīng)驗(yàn)教訓(xùn)課件

1、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘分析型數(shù)據(jù)倉(cāng)庫(kù)(DATA WAREHOUSE)交易型數(shù)據(jù)庫(kù)(DATA BASE)設(shè)計(jì)的目的查詢、分析、統(tǒng)計(jì)、報(bào)告，以主題為導(dǎo)向，以一組記錄為處理單位快速輸入、更新、刪除，以事務(wù)處理為導(dǎo)向，以單個(gè)記錄為處理單位實(shí)體關(guān)系特征反規(guī)范化，較少連接(joins)，多為簡(jiǎn)單的星型關(guān)系鏈規(guī)范化，很多連接(joins)， 關(guān)系復(fù)雜 (網(wǎng)狀)信息冗余多處冗余很少表數(shù)量較少多記錄歷史長(zhǎng)短用戶數(shù)量少很多表體積（字段數(shù)）大小分析型數(shù)據(jù)倉(cāng)庫(kù)和交易型數(shù)據(jù)庫(kù)的區(qū)別數(shù)據(jù)倉(cāng)庫(kù)的星型結(jié)構(gòu)事實(shí)表(FACT TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(

2、DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)注：此星型結(jié)構(gòu)不適合于動(dòng)態(tài)查詢多、系統(tǒng)可擴(kuò)展能力要求高或者數(shù)據(jù)量很大的場(chǎng)合 數(shù)據(jù)集市(DATA MART)數(shù)據(jù)集市是一個(gè)針對(duì)某個(gè)主題的經(jīng)過(guò)預(yù)統(tǒng)計(jì)處理的部門級(jí)分析數(shù)據(jù)庫(kù)。目前，一般理解為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)里的主題數(shù)據(jù)庫(kù)。將數(shù)據(jù)集市理解為一個(gè)部門級(jí)的數(shù)據(jù)倉(cāng)庫(kù)也未嘗不可。當(dāng)一個(gè)企業(yè)里存在著多個(gè)相互獨(dú)立、數(shù)據(jù)定義不統(tǒng)一的數(shù)據(jù)集市時(shí)，就會(huì)導(dǎo)致信息的整合問(wèn)題。因此，將原有的數(shù)據(jù)集市進(jìn)行整合并歸入數(shù)據(jù)倉(cāng)庫(kù)統(tǒng)一管理是一個(gè)必然的趨勢(shì)。一個(gè)數(shù)據(jù)集市可以

3、由特定業(yè)務(wù)領(lǐng)域內(nèi)多個(gè)相關(guān)的“星”組成。比如，營(yíng)銷集市可以由“訂單星”、“活動(dòng)星”、“銷售機(jī)會(huì)星”、“售后服務(wù)星”、“報(bào)價(jià)星”和“客戶反饋星”等共同組成為一個(gè)營(yíng)銷分析數(shù)據(jù)集市，為營(yíng)銷人員提供查詢分析的數(shù)據(jù)源。數(shù)據(jù)獲取、精簡(jiǎn)和轉(zhuǎn)換工具(ETL)由于數(shù)據(jù)倉(cāng)庫(kù)有自己的獨(dú)立數(shù)據(jù)庫(kù)系統(tǒng)，字段長(zhǎng)度、字段類型、索引定義等與交易數(shù)據(jù)庫(kù)有很大的不同，數(shù)據(jù)在導(dǎo)入之前，各種篩選、轉(zhuǎn)換工作是必然的。因此，必須具備有效的導(dǎo)入工具。數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)庫(kù)提供商都有專門設(shè)計(jì)的數(shù)據(jù)導(dǎo)入工具，這些工具提供階段性的數(shù)據(jù)預(yù)處理工作，支持各種流行的數(shù)據(jù)源。這些工具的工作效率、易用程度及糾錯(cuò)能力是衡量數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的重要性能指標(biāo)之一。數(shù)據(jù)倉(cāng)庫(kù)的

4、數(shù)據(jù)挖掘工具在線分析處理是對(duì)歷史數(shù)據(jù)的統(tǒng)計(jì)，它只提供“事實(shí)數(shù)據(jù)”，對(duì)今后的預(yù)測(cè)則完全交由用戶靠自己的“人腦”判斷。在線分析處理的結(jié)果充其量只是“人腦處理系統(tǒng)”的一個(gè)輸入。數(shù)據(jù)挖掘是從數(shù)據(jù)倉(cāng)庫(kù)中挖掘出有價(jià)值的帶有規(guī)律性的行為模式，并對(duì)未來(lái)趨勢(shì)作出預(yù)測(cè)的一個(gè)數(shù)據(jù)分析過(guò)程，因此，它更接近于人工智能范疇。它的目的是為了建立一個(gè)符合“歷史經(jīng)驗(yàn)”的預(yù)測(cè)模型，既要幫助用戶回答諸如“明年那種預(yù)算可以獲得最佳回報(bào)”，“哪一種類型的客戶將是企業(yè)的主要收入來(lái)源”等決策。數(shù)據(jù)挖掘更注重于發(fā)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)中所蘊(yùn)藏的，目前不為人知的某種“規(guī)律”或模式，因而，是“挖掘”，是“發(fā)現(xiàn)”，是“探索”，而不是“瀏覽”或“觀望”眼前的事

5、實(shí)結(jié)果。DM,ETL工具IBM產(chǎn)品ORECLE產(chǎn)品MICROSOFT產(chǎn)品數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘工具OLAP工具數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)報(bào)表工具建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的一些經(jīng)驗(yàn)教訓(xùn)數(shù)據(jù)倉(cāng)庫(kù)不是那種買來(lái)就可以使用的軟件產(chǎn)品，事實(shí)上，數(shù)據(jù)倉(cāng)庫(kù)更像一個(gè)過(guò)程，一個(gè)用戶逐步認(rèn)識(shí)自己、提高自己的過(guò)程。數(shù)據(jù)倉(cāng)庫(kù)不僅要反映出企業(yè)的現(xiàn)狀，而且還要依靠人做出最終的決策。 確定分析和預(yù)測(cè)目標(biāo)了解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)相關(guān)性前期探索模型構(gòu)造模型評(píng)估與檢驗(yàn)部署和應(yīng)用檢驗(yàn)達(dá)到預(yù)定成功率？預(yù)測(cè)變量相關(guān)性不正確？基礎(chǔ)數(shù)據(jù)不足或噪音太大？是是是否實(shí)施數(shù)據(jù)挖掘的基本步驟1234567實(shí)施數(shù)據(jù)挖掘的基本步驟確定分析和預(yù)測(cè)目標(biāo)明確業(yè)務(wù)目標(biāo)通過(guò)數(shù)據(jù)

6、挖掘解決什么樣的問(wèn)題？達(dá)到什么目的？成功準(zhǔn)則把要解決的問(wèn)題轉(zhuǎn)化為可以測(cè)量的目標(biāo)。確定項(xiàng)目期明確的計(jì)劃。了解數(shù)據(jù)數(shù)據(jù)源。分析數(shù)據(jù)的可用性與適用性。隨機(jī)地抽取一些數(shù)據(jù)檢驗(yàn)其質(zhì)量，確認(rèn)數(shù)據(jù)的可信度。實(shí)施數(shù)據(jù)挖掘的基本步驟數(shù)據(jù)相關(guān)性前期探索有些數(shù)據(jù)挖掘工具在定性和數(shù)據(jù)分類方面使用方便，可以用作為更高一級(jí)預(yù)測(cè)分析的“探索”工具。比如，先用決策樹或聚類方法幫助找出數(shù)據(jù)的總體趨勢(shì)以及預(yù)測(cè)變量相關(guān)性之后，再用神經(jīng)網(wǎng)絡(luò)或規(guī)則導(dǎo)引方法有針對(duì)性的建模，一來(lái)可以細(xì)化數(shù)據(jù)，提高性能，二來(lái)在某種程度上也可以幫助消除噪音；另一方面也可以作為不同方法比較之用。實(shí)施數(shù)據(jù)挖掘的基本步驟模型構(gòu)造 模型構(gòu)造階段是數(shù)據(jù)挖掘技術(shù)應(yīng)用的關(guān)

7、鍵階段，有以下幾個(gè)步驟：選擇使用的挖掘技術(shù)，因?yàn)槊恳环N挖掘技術(shù)有其適用性。建立培訓(xùn)數(shù)據(jù)（建立模型用）和測(cè)試數(shù)據(jù)（檢驗(yàn)?zāi)Ｐ陀茫?對(duì)基礎(chǔ)數(shù)據(jù)必須分為兩部分，一個(gè)是供模型建立的數(shù)據(jù)，另一個(gè)供模型建立后檢驗(yàn)其準(zhǔn)確率的數(shù)據(jù)。兩者的使用目的是不一樣的。利用培訓(xùn)數(shù)據(jù)采用相應(yīng)算法建立模型。模型解釋-對(duì)模型進(jìn)行分析和解釋，業(yè)務(wù)專家和數(shù)據(jù)庫(kù)專家同時(shí)參與，以找出模型中的實(shí)際意義。實(shí)施數(shù)據(jù)挖掘的基本步驟部署和應(yīng)用 如果經(jīng)過(guò)測(cè)試和檢驗(yàn)，所建立的模型可信、并在預(yù)定誤差率范圍內(nèi)，那么，便可以按照這種模型計(jì)算輸出值，并按照輸出值確定決策的基本依據(jù)，這樣就可以在企業(yè)范圍內(nèi)全面部署這個(gè)預(yù)測(cè)模型。在應(yīng)用過(guò)程中，必須不斷用新數(shù)據(jù)進(jìn)行

8、檢驗(yàn)，不斷測(cè)試其成功概率。經(jīng)過(guò)反復(fù)檢驗(yàn)成功的模型就成為企業(yè)的一個(gè)重要的“知識(shí)”，為企業(yè)成功決策打下良好的基礎(chǔ)。確定分析和預(yù)測(cè)目標(biāo)了解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)相關(guān)性前期探索模型構(gòu)造模型評(píng)估與檢驗(yàn)部署和應(yīng)用檢驗(yàn)達(dá)到預(yù)定成功率？預(yù)測(cè)變量相關(guān)性不正確？基礎(chǔ)數(shù)據(jù)不足或噪音太大？是是是否1234567實(shí)施數(shù)據(jù)挖掘的基本步驟行銷控制財(cái)務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門： 日期： 功能分類信息展示種類1234512趨勢(shì)預(yù)測(cè) 環(huán)境預(yù)測(cè)外部信息利潤(rùn)分析策略規(guī)劃 目標(biāo)管理市場(chǎng)分析決策模式風(fēng)險(xiǎn)管理 財(cái)務(wù)控管投資控管信用風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)績(jī)效評(píng)估 利潤(rùn)分析成本分析預(yù)算分析現(xiàn)金流量功能分類信息展示1層2層3層4

9、層5層方式1方式2趨勢(shì)預(yù)測(cè) 環(huán)境預(yù)測(cè)外部信息利潤(rùn)分析策略規(guī)劃 目標(biāo)管理市場(chǎng)分析決策模式風(fēng)險(xiǎn)管理 財(cái)務(wù)控管投資控管信用風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)績(jī)效評(píng)估 利潤(rùn)分析成本分析預(yù)算分析現(xiàn)金流量管理控制 生產(chǎn)控制行銷控制財(cái)務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理需 求 規(guī) 劃實(shí)現(xiàn)功能所需的數(shù)據(jù)源行銷控制財(cái)務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門： 日期： 功能分類信息展示種類1234512趨勢(shì)預(yù)測(cè) 環(huán)境預(yù)測(cè)外部信息利潤(rùn)分析策略規(guī)劃 目標(biāo)管理市場(chǎng)分析決策模式風(fēng)險(xiǎn)管理 財(cái)務(wù)控管投資控管信用風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)績(jī)效評(píng)估 利潤(rùn)分析成本分析預(yù)算分析現(xiàn)金流量行銷控制財(cái)務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門：

10、日期： 功能分類信息展示種類1234512趨勢(shì)預(yù)測(cè) 環(huán)境預(yù)測(cè)外部信息利潤(rùn)分析策略規(guī)劃 目標(biāo)管理市場(chǎng)分析決策模式風(fēng)險(xiǎn)管理 財(cái)務(wù)控管投資控管信用風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)績(jī)效評(píng)估 利潤(rùn)分析成本分析預(yù)算分析現(xiàn)金流量銷售訂單完成情況主題數(shù)據(jù)庫(kù)銷售訂單板坯鋼卷發(fā)票發(fā)貨裝車清單結(jié)算清單品質(zhì)證明書行銷控制財(cái)務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門： 日期： 功能分類信息展示種類1234512趨勢(shì)預(yù)測(cè) 環(huán)境預(yù)測(cè)外部信息利潤(rùn)分析策略規(guī)劃 目標(biāo)管理市場(chǎng)分析決策模式風(fēng)險(xiǎn)管理 財(cái)務(wù)控管投資控管信用風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)績(jī)效評(píng)估 利潤(rùn)分析成本分析預(yù)算分析現(xiàn)金流量行銷控制財(cái)務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理決策支持系統(tǒng)需求規(guī)劃書 部門： 日期： 功能分類信息展示種類1234512趨勢(shì)預(yù)測(cè) 環(huán)境預(yù)測(cè)外部信息利潤(rùn)分析策略規(guī)劃 目標(biāo)管理市場(chǎng)分析決策模式風(fēng)險(xiǎn)管理 財(cái)務(wù)控管投資控管信用風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)績(jī)效評(píng)估 利潤(rùn)分析成本分析預(yù)算分析現(xiàn)金流量物流主題數(shù)據(jù)庫(kù)試驗(yàn)性能板坯數(shù)據(jù)鋼卷數(shù)據(jù)成品數(shù)據(jù)熔煉數(shù)據(jù)試樣號(hào)煉鋼成分爐號(hào)成品成分爐料數(shù)據(jù)鐵水?dāng)?shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集