建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的八個(gè)步驟

1、建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的八個(gè)步驟作者: 日期:? ?大數(shù)據(jù)技術(shù)部建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的八個(gè)步驟2017年04月25日編制建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的八個(gè)步驟摘要：建立數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)解決企業(yè)問(wèn)題的過(guò)程，業(yè)務(wù)人員往往不懂如何建立和使用數(shù)據(jù)倉(cāng)庫(kù),發(fā)揮其決策支持的作用；信息部門(mén)的人員往往又不懂業(yè)務(wù)，不知道應(yīng)該建立哪些決策主題。？關(guān)鍵詞：數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)建立數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)解決企業(yè)問(wèn)題的過(guò)程，業(yè)務(wù)人員往往不懂如何建立和使用 其決策支持的作用；信息部門(mén)的人員往往又不懂業(yè)務(wù)，不知道應(yīng)該建立哪些決策主題 抽取哪些數(shù)據(jù)。因此數(shù)據(jù)倉(cāng)庫(kù)的項(xiàng)目小組應(yīng)該由業(yè)務(wù)人員和信息部門(mén)的人員共同組成, 相互溝通，協(xié)作開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)，發(fā)揮，從數(shù)據(jù)源

2、中雙方需要? 開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程包括以下幾個(gè)步驟。1.系統(tǒng)分析，確定主題? 建立數(shù)據(jù)倉(cāng)庫(kù) 的第一個(gè)步驟就是通過(guò)與業(yè)務(wù)部門(mén)的充分交流 問(wèn)題的真正含義，確定各個(gè)主題下的查詢分析要求。，了解建立 數(shù)據(jù)倉(cāng)庫(kù) 所要解決的? 業(yè)務(wù)人員往往會(huì)羅列岀很多想解決的問(wèn)題，信息部門(mén)的人員應(yīng)該對(duì)這些問(wèn)題進(jìn)行分類匯總，確定數(shù)據(jù)倉(cāng)庫(kù)所實(shí)現(xiàn)的業(yè)務(wù)功能。一旦確定問(wèn)題以后，信息部門(mén)的人員還需要確定一下幾個(gè)因素：操作岀現(xiàn)的頻率，即業(yè)務(wù)部門(mén)每隔多長(zhǎng)時(shí)間做一次查詢分析。在系統(tǒng)中需要保存多久的數(shù)據(jù)，是一年、兩年還是五年、十年。用戶查詢數(shù)據(jù)的主要方式 ，如在時(shí)間維度上是按照自然年，還是財(cái)政年。用戶所能接受的響應(yīng)時(shí)間是多長(zhǎng)、是幾秒鐘，還是

3、幾小時(shí)。由于雙方在理解上的差異，確定問(wèn)題和了解問(wèn)題可能是一個(gè)需要多次往復(fù)的過(guò)程，信息部門(mén)的人員可能需要做一些原型演示給業(yè)務(wù)部門(mén)的人員看，以最終確定系統(tǒng)將要實(shí)現(xiàn)的功能確實(shí)是業(yè)務(wù)部門(mén)所需要的。?2.選擇滿足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái)? 在數(shù)據(jù)倉(cāng)庫(kù)所要解決的問(wèn)題確定后，第二個(gè)步驟就是選擇合適的軟件平臺(tái)，包括數(shù)據(jù)庫(kù)、建模工具、分析工具等。這里有許多因素要考慮，如系統(tǒng)對(duì)數(shù)據(jù)量、響應(yīng)時(shí)間、分析功能的要求等 以下是一些公認(rèn)的選擇標(biāo)準(zhǔn)：廠商的背景和支持能力，能否提供全方位的技術(shù)支持和咨詢服務(wù)。數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)量(TB級(jí))的支持能力。數(shù)據(jù)庫(kù)是否支持并行操作。能否提供數(shù)據(jù)倉(cāng)庫(kù)的建模工具，是否支持對(duì)元數(shù)據(jù)的管理。能否

4、提供支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具(E TT)。能否提供完整的決策支持工具集，滿足數(shù)據(jù)倉(cāng)庫(kù)中各類用戶的需要。3.建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型具體步驟如下：(1 )確定建立 數(shù)據(jù)倉(cāng)庫(kù) 邏輯模型的基本方法。(2) 基于主題視圖，把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中。(3) 識(shí)別主題之間的關(guān)系。(4) 分解多對(duì)多的關(guān)系。(5 )用范式理論檢驗(yàn)邏輯數(shù)據(jù)模型。(6)由用戶審核邏輯數(shù)據(jù)模型。4 .邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型? 具體步驟如下：，某些用于(1)刪除非戰(zhàn)略性數(shù)據(jù):數(shù)據(jù)倉(cāng)庫(kù)模型中不需要包含邏輯數(shù)據(jù)模型中的全部數(shù)據(jù)項(xiàng) 操作處理的數(shù)據(jù)項(xiàng)要?jiǎng)h除。(2 )增加時(shí)間主鍵：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一定是

5、時(shí)間的快照，因此必須增加時(shí)間主鍵。(3)增加派生數(shù)據(jù):對(duì)于用戶經(jīng)常需要分析的數(shù)據(jù)，或者為了提高性能，可以增加派生數(shù)據(jù)。(4)加入不同級(jí)別粒度的匯總數(shù)據(jù)：數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度，粒度越大，數(shù)據(jù)的匯總程 度越高。粒度是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的一個(gè)重要因素，它直接影響到駐留在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和可以執(zhí)行的查詢類型。顯然 ，粒度級(jí)別越低，則支持的查詢?cè)蕉?；反?能支持的查詢就有限。? 對(duì)數(shù)據(jù)操作的效率與能得到數(shù)據(jù)的詳細(xì)程度是一對(duì)矛盾，通常，人們希望建成的系統(tǒng)既有較高的效率，又能得到所需的詳細(xì)資料。實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要原則就是不要試圖包括所有詳細(xì)數(shù)據(jù)，因?yàn)?0%的分析需求是在匯總數(shù)據(jù)上進(jìn)行的。試圖將粒度細(xì)化到

6、最低層，只會(huì)增加系統(tǒng)的開(kāi) 銷，降低系統(tǒng)的性能。5 .數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型優(yōu)化? 數(shù)據(jù)倉(cāng)庫(kù) 設(shè)計(jì)時(shí)，性能是一項(xiàng)主要考慮因素。 控，并隨著需求和數(shù)據(jù)量的變更進(jìn)行調(diào)整。在數(shù)據(jù)倉(cāng)庫(kù)建成后，也需要經(jīng)常對(duì)其性能進(jìn)行監(jiān)優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的主要方法是：合并不同的數(shù)據(jù)表。通過(guò)增加匯總表避免數(shù)據(jù)的動(dòng)態(tài)匯總。通過(guò)冗余字段減少表連接的數(shù)量，不要超過(guò)35個(gè)。用ID代碼而不是描述信息作為鍵值。對(duì)數(shù)據(jù)表做分區(qū)。6 .數(shù)據(jù)清洗轉(zhuǎn)換和傳輸由于業(yè)務(wù)系統(tǒng)所使用的軟硬件平臺(tái)不同，編碼方法不同，業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在加載到 數(shù)據(jù)倉(cāng)庫(kù)之前，必須進(jìn)行數(shù)據(jù)的清洗和轉(zhuǎn)換，保證數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的一致性。? 在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載方案時(shí)，必須考慮以下幾項(xiàng)要

7、求:加載方案必須能夠支持訪問(wèn)不同的數(shù)據(jù)庫(kù)和文件系統(tǒng)。數(shù)據(jù)的清洗、轉(zhuǎn)換和傳輸必須滿足時(shí)間要求，能夠在規(guī)定的時(shí)間范圍內(nèi)完成。支持各種轉(zhuǎn)換方法，各種轉(zhuǎn)換方法可以構(gòu)成一個(gè)工作流。支持增量加載，只把自上一次加載以來(lái)變化的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)。7.開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的分析應(yīng)用?建立數(shù)據(jù)倉(cāng)庫(kù) 的最終目的是為業(yè)務(wù)部門(mén)提供決策支持能力，必須為業(yè)務(wù)部門(mén)選擇合適的工具實(shí)現(xiàn)其對(duì) 數(shù)據(jù)倉(cāng)庫(kù) 中的數(shù)據(jù)進(jìn)行分析的要求。? 信息部門(mén)所選擇的開(kāi)發(fā)工具必須能夠? 滿足用戶的全部分析功能要求。數(shù)據(jù)倉(cāng)庫(kù) 中的用戶包括了企業(yè)中各個(gè)業(yè)務(wù)部門(mén)，他們的業(yè)務(wù)不同,要求的分析功能也不同。如有的用戶只是簡(jiǎn)單的分析報(bào)表，有些用戶則要求做預(yù)測(cè)和趨勢(shì) 分析。?

8、 提供靈活的表現(xiàn)方式。分析的結(jié)果必須能夠以直觀、靈活的方式表現(xiàn) 用方式上，可以是客戶機(jī) /服務(wù)器方式，也可以是瀏覽器方式。,支持復(fù)雜的圖表。使? 事實(shí)上，沒(méi)有一種工具能夠滿足 數(shù)據(jù)倉(cāng)庫(kù)的全部分析功能需求，一個(gè)完整的 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的 功能可能是由多種工具來(lái)實(shí)現(xiàn)，因此必須考慮多個(gè)工具之間的接口和集成性問(wèn)題，對(duì)于用戶來(lái)說(shuō)希望看到的是一致的界面。8 .數(shù)據(jù)倉(cāng)庫(kù)的管理? 只重視數(shù)據(jù)倉(cāng)庫(kù)的建立，而忽視數(shù)據(jù)倉(cāng)庫(kù)的管理必然導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的失敗。數(shù)據(jù)倉(cāng)庫(kù)管理 主要包括數(shù)據(jù)庫(kù)管理和元數(shù)據(jù)管理。? 數(shù)據(jù)庫(kù)管理需要考以下幾個(gè)方面:安全性管理。數(shù)據(jù)倉(cāng)庫(kù) 中的用戶只能訪問(wèn)到他的授權(quán)范圍內(nèi)的數(shù)據(jù)，數(shù)據(jù)在傳輸過(guò)程中的 加密

9、策略。數(shù)據(jù)倉(cāng)庫(kù)的備份和恢復(fù)。數(shù)據(jù)倉(cāng)庫(kù)的大小和備份的頻率直接影響到備份策略。如何保證 數(shù)據(jù)倉(cāng)庫(kù) 系統(tǒng)的可用性，硬件還是軟件方法。? 數(shù)據(jù)老化。設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存放時(shí)間周期和對(duì)過(guò)期數(shù)據(jù)的老化方法 存匯總數(shù)據(jù)，當(dāng)年數(shù)據(jù)保存詳細(xì)記錄。,如歷史數(shù)據(jù)只保元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)采集階然而，元數(shù)據(jù)管理貫穿于整個(gè)系統(tǒng)的建設(shè)過(guò)程中, 段,元數(shù)據(jù)主要包括下列信息：源數(shù)據(jù)的描述定義：類型、位置、結(jié)構(gòu)。數(shù)據(jù)轉(zhuǎn)換規(guī)則：編碼規(guī)則、行業(yè)標(biāo)準(zhǔn)。目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的模型描述：星型/雪花模型定義，維/事實(shí)結(jié)構(gòu)定義。源數(shù)據(jù)到目標(biāo) 數(shù)據(jù)倉(cāng)庫(kù) 的映射關(guān)系：函數(shù)/表達(dá)式定義。代碼:生成轉(zhuǎn)換程序、自動(dòng)加載程序等。在數(shù)據(jù)管理階段，元數(shù)據(jù)

10、主要包括下列信息：匯總數(shù)據(jù)的描述：匯總/聚合層次、物化視圖結(jié)構(gòu)定義。歷史數(shù)據(jù)存儲(chǔ)規(guī)則：位置、存儲(chǔ)粒度。多維數(shù)據(jù)結(jié)構(gòu)描述：立方體定義、維結(jié)構(gòu)、度量值、鉆取層次定義等。? 在數(shù)據(jù)展現(xiàn)階段，元數(shù)據(jù)主要包括以下信息：報(bào)表的描述：報(bào)表結(jié)構(gòu)的定義。統(tǒng)計(jì)函數(shù)的描述：各類統(tǒng)計(jì)分析函數(shù)的定義。結(jié)果輸岀的描述：圖、表輸岀的定義。元數(shù)據(jù)不但是獨(dú)立存放，而且對(duì)用戶是透明的，標(biāo)準(zhǔn)元數(shù)據(jù)之間可以互相轉(zhuǎn)換。1、培訓(xùn)目的1. 1改善部門(mén)各級(jí)各類員工的知識(shí)結(jié)構(gòu)、提升員工的綜合素質(zhì), 提高員工的工作技能、工作態(tài)度和行為模式，滿足部門(mén)的快速發(fā)展需 要，更好的完成部門(mén)的各項(xiàng)工作計(jì)劃與工作目標(biāo)。1.2、加強(qiáng)部門(mén)各級(jí)各類員工職業(yè)素養(yǎng)與敬

11、業(yè)精神，增強(qiáng)員工服務(wù) 意識(shí)與服務(wù)水平，打造高績(jī)效團(tuán)隊(duì)，減少工作失誤，提高客戶滿意度，提 高工作效率。1.3 提升部門(mén)凝聚力、吸引力、向心力和戰(zhàn)斗力，為部門(mén)進(jìn) 步發(fā)展儲(chǔ)備相關(guān)人才。1.4鍛煉員工的學(xué)習(xí)表達(dá)能力。1.5完善部門(mén)各項(xiàng)培訓(xùn)制度、培訓(xùn)流程以及建立系統(tǒng)的培訓(xùn)體 系，實(shí)現(xiàn)各項(xiàng)培訓(xùn)工作順利、有效實(shí)施。2、培訓(xùn)原貝y2. 1以部門(mén)戰(zhàn)略與員工需求為主線。2.2以素質(zhì)提升與能力培養(yǎng)為核心。2.3以針對(duì)性、實(shí)用性、價(jià)值型為重點(diǎn)。2.4以項(xiàng)目式培訓(xùn)和持續(xù)性培訓(xùn)相互穿插進(jìn)行。2.5堅(jiān)持理論與實(shí)踐相結(jié)合、學(xué)習(xí)與總結(jié)相結(jié)合。2 .6堅(jiān)持部門(mén)內(nèi)部培訓(xùn)為重點(diǎn)、內(nèi)訓(xùn)與外訓(xùn)相結(jié)合。2.7堅(jiān)持學(xué)歷性教育培訓(xùn)和崗位培訓(xùn)相

12、結(jié)合。2.8 實(shí)現(xiàn)由點(diǎn)、線式培訓(xùn)到全面系統(tǒng)性培訓(xùn)轉(zhuǎn)變。3、培訓(xùn)的實(shí)施3.1培訓(xùn)內(nèi)容的決定部門(mén)所有成員對(duì)自己要培訓(xùn)的需求提出建議， 相關(guān)負(fù)責(zé)人收集并 統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果，按需求量較大或需求的緊迫性來(lái)決定培訓(xùn)的內(nèi) 容。3 .2培訓(xùn)方式分為正式培訓(xùn)和技術(shù)交流。正式培訓(xùn)需要講師準(zhǔn)備P PT、有關(guān)課件，利用投影等設(shè)備進(jìn)行講 授,并進(jìn)行培訓(xùn)效果考核和學(xué)員成績(jī)考查。技術(shù)交流可不準(zhǔn)備課件，直接采用即興口頭演講的方式進(jìn)行。3. 3培訓(xùn)時(shí)間根據(jù)學(xué)習(xí)要求，不定期進(jìn)行有關(guān)主題內(nèi)容的培訓(xùn)。3. 4講師安排講師實(shí)行報(bào)名制。根據(jù)部門(mén)發(fā)布的員工培訓(xùn)需求統(tǒng)計(jì)結(jié)果，選擇 自己熟悉或感興趣的培訓(xùn)科目報(bào)名。部門(mén)經(jīng)理根據(jù)報(bào)名情況決定講

13、師 人選。3.4培訓(xùn)效果評(píng)估3. 4.1 培訓(xùn)后，參與人員對(duì)培訓(xùn)的講師、培訓(xùn)的內(nèi)容、總體 效果等做出評(píng)價(jià)。3.4.2 講師準(zhǔn)備10個(gè)以內(nèi)的培訓(xùn)內(nèi)容相關(guān)的試題，受訓(xùn)者 根據(jù)培訓(xùn)內(nèi)容來(lái)做答，經(jīng)講師批閱后整理到員工培訓(xùn)考核成績(jī)表， 并 把成績(jī)表交由部門(mén)經(jīng)理審閱，最后相關(guān)負(fù)責(zé)人存入個(gè)人培訓(xùn)檔案。3 .5獎(jiǎng)懲方式對(duì)于正式培訓(xùn)，培訓(xùn)完后，參與培訓(xùn)人員給講師打分，根據(jù)打分情況給予講師0、1、2、3分積分。對(duì)于技術(shù)交流，根據(jù)培訓(xùn)內(nèi)容和效果，給予所有主要參與者0,1,2分不等的積分。參加培訓(xùn)者考核合格后給予0.5、1分不等積分。年終累計(jì)積分，根據(jù)積分情況給予獎(jiǎng)勵(lì)。對(duì)于年終參加培訓(xùn)積分不足年度部門(mén)總培訓(xùn)積分的80

14、%者，給予一定的懲罰。4、培訓(xùn)材料4. 1員工培訓(xùn)簽到表哲.2講師應(yīng)提前準(zhǔn)備好培訓(xùn)的 PPT ,如果培訓(xùn)項(xiàng)目開(kāi)發(fā)知識(shí)應(yīng)準(zhǔn)備 好實(shí)例。洱.3培訓(xùn)內(nèi)容相關(guān)的試題4. 4內(nèi)部培訓(xùn)效果評(píng)估表?4.5員工培訓(xùn)考核成績(jī)表5、相關(guān)附件附件一員工培訓(xùn)簽到表培訓(xùn)內(nèi)容培訓(xùn)時(shí)間培訓(xùn)講師培訓(xùn)地點(diǎn)式考核方式應(yīng)到人數(shù)實(shí)到人數(shù)缺席人數(shù)出勤率序 號(hào)姓名出席時(shí)間(HH:M M)離席時(shí)間備注序 號(hào)姓名出席時(shí)間離席時(shí)間備注1. 12.3.?4.5.6.7.418.9.510.11. 6i12.13. 114.15. 216.17. 18.19.420.21. 522.23.324.25.L26.27. 2128.29.30.31.

15、432.33. 534.35. 6136.37.L38.39.?J40.41.i42.43.444.45. 546.方47. 6148.49.50.評(píng)估項(xiàng)目好一般差培訓(xùn)總評(píng)課堂紀(jì)律學(xué)習(xí)態(tài)度講師表達(dá)課堂氛圍評(píng)估人/日期附件二員工培訓(xùn)考核成績(jī)表培訓(xùn)內(nèi)容培訓(xùn)時(shí)間培訓(xùn)講師培訓(xùn)地點(diǎn)培訓(xùn)方式考核方式序號(hào)姓 名理論得分應(yīng)用得分序號(hào)姓名理論得分應(yīng)用得分1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47

16、.148.49.50.51.52.說(shuō)明：?jiǎn)T工入職培訓(xùn)考核分為書(shū)面考核（70%）與應(yīng)用考核（30%）兩部分；考核標(biāo)準(zhǔn)為: 下為不合格,60 - 7 00分為合格，70-80分為一般，80-90分為良,90分以上為優(yōu)。6 0分以附件三內(nèi)部培訓(xùn)效果評(píng)估表培訓(xùn)內(nèi)容:培訓(xùn)時(shí)間:請(qǐng)就下面每一項(xiàng)進(jìn)行評(píng)價(jià)，并請(qǐng)?jiān)谙鄬?duì)應(yīng)的分?jǐn)?shù)上打“2”課程內(nèi)容很差差一般好很好優(yōu)秀1.課程目標(biāo)是否符合我的工作和個(gè)人發(fā)展需要567891 02.課程知識(shí)是否深度適中、易于理解567891 03.課程內(nèi)容是否切合實(shí)際、便于應(yīng)用5678910培訓(xùn)師4.培訓(xùn)師表達(dá)是否清楚、態(tài)度友善567891 05.培訓(xùn)師對(duì)培訓(xùn)內(nèi)容是否有獨(dú)特精辟見(jiàn)解56789106.培訓(xùn)師是否鼓勵(lì)學(xué)員參與，現(xiàn)場(chǎng)氣氛很好567891 07 .培訓(xùn)師對(duì)學(xué)員提問(wèn)是否所作出的回答與指導(dǎo)5678910培訓(xùn)收獲8.獲得了適用的新知識(shí)和新理念56789109