建設(shè)數(shù)據(jù)倉庫的一些經(jīng)驗(yàn)教訓(xùn)

1、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘分析型數(shù)據(jù)倉庫(DATA WAREHOUSE)交易型數(shù)據(jù)庫(DATA BASE)設(shè)計(jì)的目的查詢、分析、統(tǒng)計(jì)、報(bào)告，以主題為導(dǎo)向，以一組記錄為處理單位快速輸入、更新、刪除，以事務(wù)處理為導(dǎo)向，以單個記錄為處理單位實(shí)體關(guān)系特征反規(guī)范化，較少連接(joins)，多為簡單的星型關(guān)系鏈規(guī)范化，很多連接(joins)， 關(guān)系復(fù)雜 (網(wǎng)狀)信息冗余多處冗余很少表數(shù)量較少多記錄歷史長短用戶數(shù)量少很多表體積（字段數(shù)）大小分析型數(shù)據(jù)倉庫和交易型數(shù)據(jù)庫的區(qū)別數(shù)據(jù)倉庫的星型結(jié)構(gòu)事實(shí)表(FACT TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(

2、DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)維度表(DIMENSIONAL TABLE)注：此星型結(jié)構(gòu)不適合于動態(tài)查詢多、系統(tǒng)可擴(kuò)展能力要求高或者數(shù)據(jù)量很大的場合 數(shù)據(jù)集市(DATA MART) 數(shù)據(jù)集市是一個針對某個主題的經(jīng)過預(yù)統(tǒng)計(jì)處理的部門級分析數(shù)據(jù)庫。目前，一般理解為企業(yè)級數(shù)據(jù)倉庫里的主題數(shù)據(jù)庫。將數(shù)據(jù)集市理解為一個部門級的數(shù)據(jù)倉庫也未嘗不可。 當(dāng)一個企業(yè)里存在著多個相互獨(dú)立、數(shù)據(jù)定義不統(tǒng)一的數(shù)據(jù)集市時，就會導(dǎo)致信息的整合問題。因此，將原有的數(shù)據(jù)集市進(jìn)行整合并歸入數(shù)據(jù)倉庫統(tǒng)一管理是一個必然的趨勢。 一個數(shù)據(jù)集

3、市可以由特定業(yè)務(wù)領(lǐng)域內(nèi)多個相關(guān)的“星”組成。比如，營銷集市可以由“訂單星”、“活動星”、“銷售機(jī)會星”、“售后服務(wù)星”、“報(bào)價(jià)星”和“客戶反饋星”等共同組成為一個營銷分析數(shù)據(jù)集市，為營銷人員提供查詢分析的數(shù)據(jù)源。數(shù)據(jù)獲取、精簡和轉(zhuǎn)換工具(ETL) 由于數(shù)據(jù)倉庫有自己的獨(dú)立數(shù)據(jù)庫系統(tǒng)，字段長度、字段類型、索引定義等與交易數(shù)據(jù)庫有很大的不同，數(shù)據(jù)在導(dǎo)入之前，各種篩選、轉(zhuǎn)換工作是必然的。因此，必須具備有效的導(dǎo)入工具。 數(shù)據(jù)倉庫或數(shù)據(jù)庫提供商都有專門設(shè)計(jì)的數(shù)據(jù)導(dǎo)入工具，這些工具提供階段性的數(shù)據(jù)預(yù)處理工作，支持各種流行的數(shù)據(jù)源。 這些工具的工作效率、易用程度及糾錯能力是衡量數(shù)據(jù)倉庫系統(tǒng)的重要性能指標(biāo)之一

4、。數(shù)據(jù)倉庫的管理平臺 由于數(shù)據(jù)倉庫存有大量的歷史數(shù)據(jù)，它的數(shù)據(jù)容量比交易數(shù)據(jù)庫要大得多，并且為了獲得及時的分析數(shù)據(jù)，數(shù)據(jù)倉庫必須定期從交易數(shù)據(jù)庫中導(dǎo)入最新數(shù)據(jù)（如每天）。數(shù)據(jù)倉庫的管理平臺是系統(tǒng)管理員的日常維護(hù)和管理環(huán)境，其主要管理任務(wù)包括批處理作業(yè)管理，數(shù)據(jù)安全管理，數(shù)據(jù)沖突解決，數(shù)據(jù)質(zhì)量核查，管理數(shù)據(jù)倉庫元數(shù)據(jù)的更新，數(shù)據(jù)刪除與復(fù)制，備份與恢復(fù)等，從而為保證數(shù)據(jù)倉庫正常運(yùn)轉(zhuǎn)提供了基本的管理環(huán)境。數(shù)據(jù)倉庫的數(shù)據(jù)挖掘工具 在線分析處理是對歷史數(shù)據(jù)的統(tǒng)計(jì)，它只提供“事實(shí)數(shù)據(jù)”，對今后的預(yù)測則完全交由用戶靠自己的“人腦”判斷。在線分析處理的結(jié)果充其量只是“人腦處理系統(tǒng)”的一個輸入。 數(shù)據(jù)挖掘是從數(shù)

5、據(jù)倉庫中挖掘出有價(jià)值的帶有規(guī)律性的行為模式，并對未來趨勢作出預(yù)測的一個數(shù)據(jù)分析過程，因此，它更接近于人工智能范疇。它的目的是為了建立一個符合“歷史經(jīng)驗(yàn)”的預(yù)測模型，既要幫助用戶回答諸如“明年那種預(yù)算可以獲得最佳回報(bào)”，“哪一種類型的客戶將是企業(yè)的主要收入來源”等決策。數(shù)據(jù)挖掘更注重于發(fā)現(xiàn)數(shù)據(jù)倉庫中所蘊(yùn)藏的，目前不為人知的某種“規(guī)律”或模式，因而，是“挖掘”，是“發(fā)現(xiàn)”，是“探索”，而不是“瀏覽”或“觀望”眼前的事實(shí)結(jié)果。DM,ETL工具IBM產(chǎn)品ORECLE產(chǎn)品MICROSOFT產(chǎn)品數(shù)據(jù)倉庫數(shù)據(jù)挖掘工具OLAP工具數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)倉庫體系結(jié)構(gòu)報(bào)表工具建設(shè)數(shù)據(jù)倉庫的一些經(jīng)驗(yàn)教訓(xùn)建設(shè)數(shù)據(jù)倉庫

6、的目的要利用數(shù)據(jù)倉庫解決什么問題?數(shù)據(jù)倉庫要達(dá)到什么目的?誰來用，如何評價(jià)其成功與否？ 建立數(shù)據(jù)倉庫應(yīng)用時，應(yīng)該以問題為導(dǎo)向而不能以方法為導(dǎo)向，要根據(jù)問題尋找產(chǎn)品和工具。建設(shè)數(shù)據(jù)倉庫的一些經(jīng)驗(yàn)教訓(xùn)數(shù)據(jù)倉庫不是那種買來就可以使用的軟件產(chǎn)品，事實(shí)上，數(shù)據(jù)倉庫更像一個過程，一個用戶逐步認(rèn)識自己、提高自己的過程。數(shù)據(jù)倉庫不僅要反映出企業(yè)的現(xiàn)狀，而且還要依靠人做出最終的決策。 確定分析和預(yù)測目標(biāo)了解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)相關(guān)性前期探索模型構(gòu)造模型評估與檢驗(yàn)部署和應(yīng)用檢驗(yàn)達(dá)到預(yù)定成功率？預(yù)測變量相關(guān)性不正確？基礎(chǔ)數(shù)據(jù)不足或噪音太大？是是是否實(shí)施數(shù)據(jù)挖掘的基本步驟實(shí)施數(shù)據(jù)挖掘的基本步驟1234567實(shí)施數(shù)據(jù)挖掘的

7、基本步驟確定分析和預(yù)測目標(biāo)明確業(yè)務(wù)目標(biāo)通過數(shù)據(jù)挖掘解決什么樣的問題？達(dá)到什么目的？成功準(zhǔn)則把要解決的問題轉(zhuǎn)化為可以測量的目標(biāo)。確定項(xiàng)目期明確的計(jì)劃。了解數(shù)據(jù)數(shù)據(jù)源。分析數(shù)據(jù)的可用性與適用性。隨機(jī)地抽取一些數(shù)據(jù)檢驗(yàn)其質(zhì)量，確認(rèn)數(shù)據(jù)的可信度。實(shí)施數(shù)據(jù)挖掘的基本步驟數(shù)據(jù)準(zhǔn)備對已確定的基本數(shù)據(jù)進(jìn)行必要的轉(zhuǎn)換、清理、填補(bǔ)以及合并工作。數(shù)據(jù)準(zhǔn)備工作比較繁瑣，但非常重要，因?yàn)?，如果?shù)據(jù)里噪音太多，就會影響建立模型的準(zhǔn)確度，數(shù)據(jù)越完整，越準(zhǔn)確，在此基礎(chǔ)上發(fā)掘的數(shù)據(jù)規(guī)律(pattern)就具有更高的可信度，從而更好地實(shí)現(xiàn)數(shù)據(jù)挖掘的目標(biāo)，否則，從“垃圾”數(shù)據(jù)里再怎么挖掘也只能是垃圾，這是毫無疑問的。實(shí)施數(shù)據(jù)挖掘的

8、基本步驟數(shù)據(jù)相關(guān)性前期探索有些數(shù)據(jù)挖掘工具在定性和數(shù)據(jù)分類方面使用方便，可以用作為更高一級預(yù)測分析的“探索”工具。比如，先用決策樹或聚類方法幫助找出數(shù)據(jù)的總體趨勢以及預(yù)測變量相關(guān)性之后，再用神經(jīng)網(wǎng)絡(luò)或規(guī)則導(dǎo)引方法有針對性的建模，一來可以細(xì)化數(shù)據(jù)，提高性能，二來在某種程度上也可以幫助消除噪音；另一方面也可以作為不同方法比較之用。實(shí)施數(shù)據(jù)挖掘的基本步驟模型構(gòu)造 模型構(gòu)造階段是數(shù)據(jù)挖掘技術(shù)應(yīng)用的關(guān)鍵階段，有以下幾個步驟：選擇使用的挖掘技術(shù)，因?yàn)槊恳环N挖掘技術(shù)有其適用性。建立培訓(xùn)數(shù)據(jù)（建立模型用）和測試數(shù)據(jù)（檢驗(yàn)?zāi)Ｐ陀茫?對基礎(chǔ)數(shù)據(jù)必須分為兩部分，一個是供模型建立的數(shù)據(jù)，另一個供模型建立后檢驗(yàn)其準(zhǔn)確率

9、的數(shù)據(jù)。兩者的使用目的是不一樣的。利用培訓(xùn)數(shù)據(jù)采用相應(yīng)算法建立模型。模型解釋-對模型進(jìn)行分析和解釋，業(yè)務(wù)專家和數(shù)據(jù)庫專家同時參與，以找出模型中的實(shí)際意義。實(shí)施數(shù)據(jù)挖掘的基本步驟模型評估和檢驗(yàn) 建立的模型用測試數(shù)據(jù)進(jìn)行測試，計(jì)算誤差率，以確定模型的可信度，如果不令人滿意，未達(dá)到預(yù)期的誤差率目標(biāo)，那么，就必須重新回到數(shù)據(jù)了解階段，重復(fù)相關(guān)過程，一直找到令人滿意的模型為止，當(dāng)然，也有可能最終放棄導(dǎo)致項(xiàng)目失敗，在這種情況下，就有必要重新審視最初的挖掘目標(biāo)是否合理。實(shí)施數(shù)據(jù)挖掘的基本步驟部署和應(yīng)用 如果經(jīng)過測試和檢驗(yàn)，所建立的模型可信、并在預(yù)定誤差率范圍內(nèi)，那么，便可以按照這種模型計(jì)算輸出值，并按照輸出

10、值確定決策的基本依據(jù)，這樣就可以在企業(yè)范圍內(nèi)全面部署這個預(yù)測模型。在應(yīng)用過程中，必須不斷用新數(shù)據(jù)進(jìn)行檢驗(yàn)，不斷測試其成功概率。經(jīng)過反復(fù)檢驗(yàn)成功的模型就成為企業(yè)的一個重要的“知識”，為企業(yè)成功決策打下良好的基礎(chǔ)。確定分析和預(yù)測目標(biāo)了解數(shù)據(jù)數(shù)據(jù)準(zhǔn)備數(shù)據(jù)相關(guān)性前期探索模型構(gòu)造模型評估與檢驗(yàn)部署和應(yīng)用檢驗(yàn)達(dá)到預(yù)定成功率？預(yù)測變量相關(guān)性不正確？基礎(chǔ)數(shù)據(jù)不足或噪音太大？是是是否1234567實(shí)施數(shù)據(jù)挖掘的基本步驟實(shí)施數(shù)據(jù)挖掘的基本步驟功能分類功能分類信息展示信息展示1 1層層2 2層層3 3層層4 4層層5 5層層方式方式1 1方式方式2 2趨勢預(yù)測 環(huán)境預(yù)測外部信息利潤分析策略規(guī)劃 目標(biāo)管理市場分析決策模式風(fēng)險(xiǎn)管理 財(cái)務(wù)控管投資控管信用風(fēng)險(xiǎn)市場風(fēng)險(xiǎn)績效評估 利潤分析成本分析預(yù)算分析現(xiàn)金流量管理控制 生產(chǎn)控制行銷控制財(cái)務(wù)控制產(chǎn)品控制人力資源資產(chǎn)管理需需 求求 規(guī)規(guī) 劃劃實(shí)現(xiàn)功能所需的數(shù)據(jù)源實(shí)現(xiàn)功能所需的數(shù)據(jù)源銷售訂單完成情況主題數(shù)據(jù)庫銷售訂單板坯鋼卷發(fā)票發(fā)貨裝車清單結(jié)算清單品質(zhì)證明書物流主題數(shù)據(jù)庫試驗(yàn)性能板坯數(shù)據(jù)鋼卷數(shù)據(jù)成品數(shù)據(jù)熔煉數(shù)據(jù)試樣號煉鋼成分爐號成品成分爐料數(shù)據(jù)鐵水生產(chǎn)訂單主題數(shù)據(jù)庫生產(chǎn)訂單交貨規(guī)范交貨試驗(yàn)規(guī)范板坯設(shè)計(jì)機(jī)組工藝放行試驗(yàn)規(guī)范熱軋卷設(shè)計(jì)數(shù)據(jù)倉