數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)課件

數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)12.3.數(shù)據(jù)倉庫設(shè)計(jì)—數(shù)據(jù)建模最佳實(shí)踐—構(gòu)建高性能的數(shù)據(jù)倉庫數(shù)據(jù)倉庫設(shè)計(jì)—ETL設(shè)計(jì)數(shù)據(jù)倉庫設(shè)計(jì)—建模過程日程安排數(shù)據(jù)倉庫設(shè)計(jì)—界面設(shè)計(jì)數(shù)據(jù)倉庫的開發(fā)應(yīng)用過程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2.3.數(shù)據(jù)倉庫設(shè)計(jì)—數(shù)據(jù)建模最佳實(shí)踐—構(gòu)建高性能的數(shù)據(jù)倉庫23.靈活性能夠很好的分離出底層技術(shù)的實(shí)現(xiàn)和上層業(yè)務(wù)的展現(xiàn)當(dāng)上層業(yè)務(wù)發(fā)生變化時(shí)，通過數(shù)據(jù)模型，底層技術(shù)實(shí)現(xiàn)可以較為輕松的完成業(yè)務(wù)的變動(dòng)，從而達(dá)到整個(gè)數(shù)據(jù)倉庫系統(tǒng)的靈活性1.業(yè)務(wù)核理改善業(yè)務(wù)流程能夠全面了解業(yè)務(wù)系統(tǒng)的業(yè)務(wù)架構(gòu)圖和整個(gè)業(yè)務(wù)運(yùn)行情況2)能夠?qū)I(yè)務(wù)按照特定的規(guī)律進(jìn)行分門別類和程序化2.解決信息孤島及數(shù)據(jù)差異1)建立全方法的數(shù)據(jù)視角；2)

保證整個(gè)企業(yè)的數(shù)據(jù)的一致性；3)

消除各個(gè)部門之間的信息孤島；4.加快數(shù)據(jù)倉庫系統(tǒng)的建設(shè)開發(fā)人員和業(yè)務(wù)人員能夠很容易達(dá)成系統(tǒng)建設(shè)范圍的邊界的界定能夠使整個(gè)項(xiàng)目組明確當(dāng)前的任務(wù)，加快整個(gè)系統(tǒng)建設(shè)的速度為什么需要數(shù)據(jù)模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)3.靈活性1.業(yè)務(wù)核理改善業(yè)務(wù)流程2.解決信息孤島及數(shù)據(jù)差異3數(shù)據(jù)倉庫建模人員所需的技能和能力分析能力見樹又見林模擬論證學(xué)習(xí)能力抽象綜合交流能力組交互演示調(diào)查訪談原型設(shè)計(jì)能力企業(yè)體系架構(gòu)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模人員所需的技能和能力分析能力2022/12/174數(shù)據(jù)倉庫設(shè)計(jì)建模的要點(diǎn)和原則建模原則選擇創(chuàng)建什么模型對(duì)如何動(dòng)手解決問題和如何解決方案有深遠(yuǎn)影響每一種模型可以在不同的精度級(jí)別上表示最好的模型是與現(xiàn)實(shí)相聯(lián)系單個(gè)模型不充分，需要一組模型去處理建模的要點(diǎn)正確認(rèn)識(shí)建模方法論2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫設(shè)計(jì)建模的要點(diǎn)和原則建模原則2022/12/17數(shù)據(jù)5利用圖形來建立數(shù)據(jù)模型圖形具有直觀性、簡(jiǎn)單性以及可理解性等優(yōu)點(diǎn)圖形能自然地表達(dá)客觀世界理解圖中路徑探索2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)利用圖形來建立數(shù)據(jù)模型圖形具有直觀性、簡(jiǎn)單性以及可理解性等優(yōu)6什么是數(shù)據(jù)模型業(yè)務(wù)建模，生成業(yè)務(wù)模型，主要解決業(yè)務(wù)層面的分解和程序化。領(lǐng)域建模，生成概念模型，主要是對(duì)業(yè)務(wù)模型進(jìn)行抽象處理，生成領(lǐng)域概念模型。邏輯建模，生成邏輯模型，主要是將領(lǐng)域模型的概念實(shí)體以及實(shí)體之間的關(guān)系進(jìn)行數(shù)據(jù)庫層次的邏輯化。物理建模，生成物理模型，主要解決，邏輯模型針對(duì)不同關(guān)系型數(shù)據(jù)庫的物理化以及性能等一些具體的技術(shù)問題。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)什么是數(shù)據(jù)模型業(yè)務(wù)建模，生成業(yè)務(wù)模型，主要解決業(yè)務(wù)層面的分解7思考需求建模與業(yè)務(wù)建模需求建模與業(yè)務(wù)建模誰先誰后？軟件開發(fā)過程是否應(yīng)該是：業(yè)務(wù)調(diào)研，業(yè)務(wù)建模(業(yè)務(wù)分析)，(業(yè)務(wù)模型分析)需求調(diào)研（這時(shí)，已經(jīng)有一部分需求可從業(yè)務(wù)模型中獲得）,需求建模，需求分析……2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)思考需求建模與業(yè)務(wù)建模2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)8業(yè)務(wù)建模—組織結(jié)構(gòu)分析2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)建?！M織結(jié)構(gòu)分析2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)9組織結(jié)構(gòu),用戶及權(quán)限的分析客戶組織結(jié)構(gòu)的分析公司組織機(jī)構(gòu)區(qū)域位置集團(tuán)/省/地市用戶的分析用戶組角色權(quán)限的分析功能權(quán)限分析數(shù)據(jù)權(quán)限分析2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)組織結(jié)構(gòu),用戶及權(quán)限的分析客戶組織結(jié)構(gòu)的分析2022/12/10例：三大運(yùn)營(yíng)商的組織架構(gòu)調(diào)整2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)例：三大運(yùn)營(yíng)商的組織架構(gòu)調(diào)整2022/12/17數(shù)據(jù)倉庫系統(tǒng)11業(yè)務(wù)建模—業(yè)務(wù)流程分析2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)建?！獦I(yè)務(wù)流程分析2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)12什么是業(yè)務(wù)流程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)什么是業(yè)務(wù)流程2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)13業(yè)務(wù)流程分析的內(nèi)容（1）原有流程的分析。（2）業(yè)務(wù)流程的優(yōu)化。（3）確定新的業(yè)務(wù)流程（4）新系統(tǒng)的人機(jī)界面。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)流程分析的內(nèi)容（1）原有流程的分析。2022/12/1714業(yè)務(wù)流程分析的步驟1.系統(tǒng)環(huán)境調(diào)查2.組織機(jī)構(gòu)和職責(zé)的調(diào)查3.功能體系的調(diào)查與分析4.管理業(yè)務(wù)流程的調(diào)查與分析

2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)流程分析的步驟1.系統(tǒng)環(huán)境調(diào)查2022/12/17數(shù)據(jù)倉15案例學(xué)習(xí)：

新業(yè)務(wù)客戶服務(wù)業(yè)務(wù)流程—新業(yè)務(wù)查詢流程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)案例學(xué)習(xí)：

新業(yè)務(wù)客戶服務(wù)業(yè)務(wù)流程—新業(yè)務(wù)查詢流程2022/16業(yè)務(wù)流程可以代替業(yè)務(wù)建模嗎在業(yè)務(wù)流程的背后，有一個(gè)更加根本的因素——商業(yè)需求。商業(yè)需求才是真正的業(yè)務(wù)模型，業(yè)務(wù)流程只是一種實(shí)現(xiàn)手段而已。例：新用戶入網(wǎng)業(yè)務(wù)流程：1：首先把SIM卡和號(hào)碼在交換網(wǎng)絡(luò)上做對(duì)應(yīng)關(guān)系的注冊(cè)；2：市場(chǎng)部把SIM卡存入一定的金額，發(fā)給銷售商，收取銷售商的貨款；3：銷售商把卡賣給用戶，用戶填寫入網(wǎng)合同，SIM裝入手機(jī)可以立即通話；4：銷售商把入網(wǎng)合同交給市場(chǎng)部，市場(chǎng)部資料錄入人員將用戶的資料錄入系統(tǒng)；5：計(jì)費(fèi)系統(tǒng)按照用戶選擇的資費(fèi)對(duì)話單進(jìn)行計(jì)費(fèi)；6、市場(chǎng)部按照用戶的消費(fèi)情況給銷售商計(jì)算傭金和返利。思考：真正的業(yè)務(wù)模型(需求)是什么？2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)流程可以代替業(yè)務(wù)建模嗎在業(yè)務(wù)流程的背后，有一個(gè)更加根本的17從業(yè)務(wù)流程中提取概念和邏輯模型心得體會(huì)：看到背后的商業(yè)需求，你會(huì)發(fā)現(xiàn)模型原來非常穩(wěn)定不需要急于知道所有的細(xì)節(jié)性的需求，只要了解比較重要的20％的需求2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)從業(yè)務(wù)流程中提取概念和邏輯模型心得體會(huì)：2022/12/1718數(shù)據(jù)倉庫數(shù)據(jù)模型-星型模型與雪花模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫數(shù)據(jù)模型-2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開19數(shù)據(jù)倉庫建模的原則兼顧效率與數(shù)據(jù)粒度的需要1支持需求的變化2避免對(duì)業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)造成影響3滿足不同用戶的需要4考慮末來的可擴(kuò)展性52022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模的原則兼顧效率與數(shù)據(jù)粒度的需要1支持需求的變化220數(shù)據(jù)倉庫建模的三個(gè)階段概念模型設(shè)計(jì)(ConceptDataModeling)：這一階段之前的首要工作是通過需求分析，明確需求所涵蓋的業(yè)務(wù)范圍。然后再對(duì)需求范圍內(nèi)的業(yè)務(wù)及其間關(guān)系進(jìn)行高度概括性的描述，把密切相關(guān)業(yè)務(wù)對(duì)象進(jìn)行歸類，即劃分主題域。概念模型的設(shè)計(jì)是為邏輯模型的設(shè)計(jì)做準(zhǔn)備，它沒有統(tǒng)一的標(biāo)準(zhǔn)，主要根據(jù)設(shè)計(jì)者的經(jīng)驗(yàn)。邏輯模型設(shè)計(jì)(LogicalDataModeling)：分別對(duì)概念模型的各個(gè)主題域進(jìn)行細(xì)化，根據(jù)業(yè)務(wù)定義、分類和規(guī)則，定義其中的實(shí)體并描述實(shí)體之間的關(guān)系，并產(chǎn)生實(shí)體關(guān)系圖（ERD），然后遵照規(guī)范化思想在實(shí)體關(guān)系的基礎(chǔ)上明確各個(gè)實(shí)體的屬性。實(shí)體產(chǎn)生于中國(guó)移動(dòng)開展的業(yè)務(wù)、服務(wù)及其涉及的對(duì)象（如客戶、帳戶、員工、機(jī)構(gòu)、資源），實(shí)體間的對(duì)應(yīng)、約束關(guān)系則來自于各業(yè)務(wù)過程中的規(guī)則?？梢哉f，這一階段面對(duì)的是業(yè)務(wù)。

物理模型設(shè)計(jì)(PhysicalDataModeling)：物理模型設(shè)計(jì)主要依據(jù)邏輯模型針對(duì)具體的分析需求和物理平臺(tái)采取相應(yīng)的優(yōu)化策略。此時(shí)會(huì)在一定程度上增加數(shù)據(jù)冗余或者隱藏實(shí)體之間的關(guān)系或者進(jìn)行實(shí)體的合并和拆分，目的是提高數(shù)據(jù)分析的速度，適應(yīng)具體數(shù)據(jù)庫的容量、性能等限制。可以說，這一階段面對(duì)的是具體軟硬件平臺(tái)和性能要求。一旦邏輯模型到位，物理模型就有了可參照的依據(jù)，開發(fā)工作內(nèi)容也同時(shí)得到明確。物理模型設(shè)計(jì)一般在架構(gòu)設(shè)計(jì)階段2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模的三個(gè)階段概念模型設(shè)計(jì)(ConceptData21數(shù)據(jù)倉庫系統(tǒng)所采用的建模流程概念模型為邏輯模型的設(shè)計(jì)作準(zhǔn)備，沒有統(tǒng)一標(biāo)準(zhǔn)，主要根據(jù)設(shè)計(jì)者經(jīng)驗(yàn)邏輯模型對(duì)概念模型的各個(gè)主題域進(jìn)行細(xì)化，根據(jù)業(yè)務(wù)定義、分類和規(guī)則，定義其中的實(shí)體并描述實(shí)體之間的關(guān)系，并產(chǎn)生實(shí)體關(guān)系圖（ERD）一旦邏輯模型到位，物理模型就有了可參照的依據(jù)，開發(fā)工作內(nèi)容也同時(shí)得到明確2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫系統(tǒng)所采用的建模流程概念模型為邏輯模型的設(shè)計(jì)作準(zhǔn)備，22數(shù)據(jù)倉庫概念模型

主題域的設(shè)計(jì)DW主題的劃分必須是基于需求的主題劃分，而不僅僅是基于已有查詢和報(bào)表數(shù)據(jù)的主題劃分DW主題是通過對(duì)業(yè)務(wù)人員的訪談，充分了解業(yè)務(wù)流程和信息使用需求為主要根源的DW主題的設(shè)計(jì)必須能夠滿足業(yè)務(wù)人員的內(nèi)在的分析需求DW主題設(shè)計(jì)的過程中，業(yè)務(wù)環(huán)節(jié)點(diǎn)分析是關(guān)鍵DW細(xì)化分析主題，解決指標(biāo)的歧義問題，為模型設(shè)計(jì)、數(shù)據(jù)提取、數(shù)據(jù)展現(xiàn)等多個(gè)方面奠定基礎(chǔ)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫概念模型

主題域的設(shè)計(jì)DW主題的劃分必須是基于需求的23數(shù)據(jù)倉庫的數(shù)據(jù)模型系統(tǒng)記錄域（SystemofRecord）：這部分是主要的數(shù)據(jù)倉庫業(yè)務(wù)數(shù)據(jù)存儲(chǔ)區(qū)，數(shù)據(jù)模型在這里保證了數(shù)據(jù)的一致性。內(nèi)部管理域（Housekeeping）：這部分主要存儲(chǔ)數(shù)據(jù)倉庫用于內(nèi)部管理的元數(shù)據(jù)，數(shù)據(jù)模型在這里能夠幫助進(jìn)行統(tǒng)一的元數(shù)據(jù)的管理。匯總域（SummaryofArea）：這部分?jǐn)?shù)據(jù)來自于系統(tǒng)記錄域的匯總，數(shù)據(jù)模型在這里保證了分析域的主題分析的性能，滿足了部分的報(bào)表查詢。分析域（AnalysisArea）：這部分?jǐn)?shù)據(jù)模型主要用于各個(gè)業(yè)務(wù)部分的具體的主題業(yè)務(wù)分析。這部分?jǐn)?shù)據(jù)模型可以單獨(dú)存儲(chǔ)在相應(yīng)的數(shù)據(jù)集市中。反饋域（FeedbackArea）：可選項(xiàng)，這部分?jǐn)?shù)據(jù)模型主要用于相應(yīng)前端的反饋數(shù)據(jù)，數(shù)據(jù)倉庫可以視業(yè)務(wù)的需要設(shè)置這一區(qū)域。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的數(shù)據(jù)模型系統(tǒng)記錄域（SystemofRecor24數(shù)據(jù)模型的技術(shù)功能結(jié)構(gòu)劃分

分段存儲(chǔ)區(qū)（StagingArea）是為了保證數(shù)據(jù)移動(dòng)的順利進(jìn)行而開設(shè)的階段性數(shù)據(jù)存儲(chǔ)空間，它是業(yè)務(wù)系統(tǒng)原始數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫前的緩存區(qū)?；A(chǔ)數(shù)據(jù)倉庫根據(jù)業(yè)務(wù)需求的不同，基礎(chǔ)數(shù)據(jù)倉庫的組織形式以三范式模型為主，在有的系統(tǒng)中也可能采用星型或雪花模型。數(shù)據(jù)集市（DataMart）數(shù)據(jù)集市中的數(shù)據(jù)通常由基礎(chǔ)數(shù)據(jù)倉庫的詳細(xì)數(shù)據(jù)聚合而來，根據(jù)數(shù)據(jù)聚合程度的不同包含輕度聚合、中度聚合和高度聚合三種不同的層次。匯總的方式將依據(jù)數(shù)據(jù)量的大小和使用頻度綜合考慮2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)模型的技術(shù)功能結(jié)構(gòu)劃分分段存儲(chǔ)區(qū)（StagingAr25數(shù)據(jù)倉庫的模型—關(guān)系模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的模型—關(guān)系模型2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)26數(shù)據(jù)倉庫的模型—星型模型通過數(shù)據(jù)預(yù)連接和建立有選擇的數(shù)據(jù)冗余，設(shè)計(jì)者為訪問和分析過程大大簡(jiǎn)化了數(shù)據(jù)。星型連接應(yīng)用于設(shè)計(jì)數(shù)據(jù)倉庫中很大的實(shí)體，而數(shù)據(jù)模型則應(yīng)用于數(shù)據(jù)倉庫中較小的實(shí)體。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的模型—星型模型通過數(shù)據(jù)預(yù)連接和建立有選擇的數(shù)據(jù)冗余27數(shù)據(jù)倉庫的模型—雪花模型許多維度存在著比較復(fù)雜的結(jié)構(gòu)，它們有的還具有多層的層次結(jié)構(gòu)。因此，很難將這樣的維表只采用一個(gè)關(guān)系表的形式表達(dá)出來，必須將這些維表規(guī)范成有多個(gè)外鍵關(guān)聯(lián)的關(guān)系表2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的模型—雪花模型許多維度存在著比較復(fù)雜的結(jié)構(gòu)，它們有28星型模型VS雪花模型比較項(xiàng)目?jī)?yōu)點(diǎn)缺點(diǎn)星型模式1.查詢效率高，事實(shí)表作連接時(shí)其速度較快;2.便于用戶理解。比較直觀，通過分析星形模式，很容易組合出各種查詢?cè)黾恿舜鎯?chǔ)空間雪花模式1.在一定程度上減少了存儲(chǔ)空間2.規(guī)范化的結(jié)構(gòu)更容易更新和維護(hù)1.比較復(fù)雜，用戶不容易理解;2.瀏覽內(nèi)容相對(duì)困難3.額外的連接將使查詢性能下降2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)星型模型VS雪花模型比較項(xiàng)目?jī)?yōu)點(diǎn)缺點(diǎn)星型模式1.查詢效率29寬表橫表與縱表處理方便性與業(yè)務(wù)支撐靈活性的差異寬表在橫表的基礎(chǔ)上拓展，強(qiáng)化處理方便性開放給業(yè)務(wù)人員使用，直接解決業(yè)務(wù)問題單條記錄包括用戶基本信息、產(chǎn)品選擇和使用量、費(fèi)用信息2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)寬表橫表與縱表2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)30數(shù)據(jù)倉庫建模方法—范式建模法優(yōu)點(diǎn):從關(guān)系型數(shù)據(jù)庫的角度出發(fā)，結(jié)合了業(yè)務(wù)系統(tǒng)的數(shù)據(jù)模型，能夠比較方便的實(shí)現(xiàn)數(shù)據(jù)倉庫的建模缺點(diǎn):在某些時(shí)候反而限制了整個(gè)數(shù)據(jù)倉庫模型的靈活性，性能等2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模方法—范式建模法優(yōu)點(diǎn):從關(guān)系型數(shù)據(jù)庫的角度出發(fā)31數(shù)據(jù)倉庫建模方法—維度建模法優(yōu)點(diǎn):維度建模非常直觀，緊緊圍繞著業(yè)務(wù)模型，可以直觀的反映出業(yè)務(wù)模型中的業(yè)務(wù)問題缺點(diǎn):如果只是依靠單純的維度建模，不能保證數(shù)據(jù)來源的一致性和準(zhǔn)確性2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模方法—維度建模法優(yōu)點(diǎn):維度建模非常直觀，緊緊圍繞32數(shù)據(jù)倉庫建模方法—實(shí)體建模法優(yōu)點(diǎn):能夠很輕松的實(shí)現(xiàn)業(yè)務(wù)模型的劃分，因此，在業(yè)務(wù)建模階段和領(lǐng)域概念建模階段，實(shí)體建模法有著廣泛的應(yīng)用缺點(diǎn):不太適用于物理建模2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模方法—實(shí)體建模法優(yōu)點(diǎn):能夠很輕松的實(shí)現(xiàn)業(yè)務(wù)模型的33數(shù)據(jù)倉庫建模的十大戒律1)

必須回答緊迫的問題；2)

必須有正確的事實(shí)表；3)

將有正確的維表，描述必須按最終用戶的業(yè)務(wù)術(shù)語表達(dá)；4)

必須理解數(shù)據(jù)倉庫所影響的公司過程或影響數(shù)據(jù)倉庫的公司過程；5)

對(duì)于事實(shí)表，應(yīng)該有正確的“粒度”；6)

根據(jù)需要存儲(chǔ)正確長(zhǎng)度的公司歷史數(shù)據(jù)；7)

以一種對(duì)于公司有意義的方式來集成所有必要的數(shù)據(jù)；8)

創(chuàng)建必要的總結(jié)表；9)

創(chuàng)建必要的索引；10)

能夠加載數(shù)據(jù)倉庫數(shù)據(jù)庫并使它以一種適宜的方式可用。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模的十大戒律1)

必須回答緊迫的問題；2022/134數(shù)據(jù)倉庫緩慢變化維的一個(gè)案例一個(gè)案例在一個(gè)零售業(yè)數(shù)據(jù)倉庫中，事實(shí)表保存著各銷售人員的銷售記錄，某天一個(gè)銷售人員從北京分公司調(diào)到上海分公司了，那么如何來保存這個(gè)變化呢？也就是說銷售人員維度要怎么恰當(dāng)?shù)奶幚磉@一變化。如果我們要統(tǒng)計(jì)北京地區(qū)或上海地區(qū)的總銷售情況的時(shí)候，這個(gè)銷售人員的銷售記錄應(yīng)該算在北京還是算在上海？當(dāng)然是調(diào)離前的算在北京，調(diào)離后的算在上海,但是如標(biāo)記這個(gè)銷售人員所屬區(qū)域？這里就需要處理一下這個(gè)維度的數(shù)據(jù)，即我們緩慢變化維需要做的事情。

2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫緩慢變化維的一個(gè)案例一個(gè)案例2022/12/17數(shù)35數(shù)據(jù)倉庫緩慢變化維的解決方案新數(shù)據(jù)覆蓋舊數(shù)據(jù)保存多條記錄，并添加字段加以區(qū)分．添加記錄的生效日期和失效日期來標(biāo)識(shí)新舊數(shù)據(jù)

不同字段保存不同值

，這種方法用不同的字段保存變化痕跡.但是這種方法不能象第二種方法一樣保存所有變化記錄,它只能保存兩次變化記錄.適用于變化不超過兩次的維度。另外建表保存歷史記錄，而維度只保存當(dāng)前數(shù)據(jù)

混合模式2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫緩慢變化維的解決方案新數(shù)據(jù)覆蓋舊數(shù)據(jù)2022/12/36數(shù)據(jù)倉庫建模_案例2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模_案例2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開37案例：怎樣構(gòu)建數(shù)據(jù)倉庫模型確定主題域確定主題域及各主題域之間的關(guān)系確定主題域的業(yè)務(wù)數(shù)據(jù)確定業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體確定業(yè)務(wù)實(shí)體之間的關(guān)系確定物理模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)案例：怎樣構(gòu)建數(shù)據(jù)倉庫模型確定主題域2022/12/17數(shù)據(jù)38確定主題域及各主題域之間的關(guān)系服務(wù)通過網(wǎng)絡(luò)實(shí)現(xiàn)/網(wǎng)絡(luò)支持服務(wù)網(wǎng)絡(luò)產(chǎn)生事件/事件包括網(wǎng)絡(luò)類產(chǎn)品被銷售給客戶/參與人使用和管理產(chǎn)品跟蹤應(yīng)付&應(yīng)收/提供成本&收入歷史事件包含財(cái)務(wù)類參與人產(chǎn)生和經(jīng)歷事件/事件包括參與人的產(chǎn)品/服務(wù)產(chǎn)生事件事件包括產(chǎn)品類營(yíng)銷產(chǎn)生事件事件實(shí)現(xiàn)營(yíng)銷營(yíng)銷被鎖定位置/位置定位營(yíng)銷針對(duì)特定產(chǎn)品/產(chǎn)品通過營(yíng)銷推向市場(chǎng)為參與人建立帳戶、帳單/記錄帳戶、成本和付款服務(wù)使用的帳務(wù)信息/帳務(wù)記錄產(chǎn)品的成本和付款定位網(wǎng)絡(luò)/網(wǎng)絡(luò)支持的位置營(yíng)銷的目標(biāo)針對(duì)參與人/參與人是營(yíng)銷的受眾包括消費(fèi)者和運(yùn)營(yíng)商在內(nèi)/位置定位FinanceManagement（財(cái)務(wù)管理）BILLING（帳務(wù)）NETWORK（網(wǎng)絡(luò)資源）PRODUCT（產(chǎn)品）MARKETING（市場(chǎng)營(yíng)銷）LOCATION（地域）PARTY（參與人）EVENT(事件)跟蹤總帳/負(fù)責(zé)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定主題域及各主題域之間的關(guān)系服務(wù)通過網(wǎng)絡(luò)實(shí)現(xiàn)/網(wǎng)絡(luò)支持服39基本結(jié)構(gòu)特征獎(jiǎng)勵(lì)隱私參與人主題描述了和電信運(yùn)營(yíng)商有著業(yè)務(wù)聯(lián)系的任何個(gè)人、企業(yè)、組織、團(tuán)體等。

確定主題域的業(yè)務(wù)數(shù)據(jù)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)基本結(jié)構(gòu)特征獎(jiǎng)勵(lì)隱私40參與人間關(guān)聯(lián)

參與人角色組織層次結(jié)構(gòu)層次結(jié)構(gòu)級(jí)別層次結(jié)構(gòu)類型商業(yè)組織內(nèi)部組織標(biāo)準(zhǔn)分類代碼確定基本結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)實(shí)體及關(guān)系參與人：和電信運(yùn)營(yíng)商有著業(yè)務(wù)聯(lián)系的任何個(gè)人、組織機(jī)構(gòu)、家庭和虛擬客戶。例：財(cái)務(wù)市場(chǎng)營(yíng)銷網(wǎng)管例：客戶潛在客戶電信運(yùn)營(yíng)商代理商供應(yīng)商管理者雇主職工個(gè)人家庭組織參與人2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)參與人間參與人角色組織層次結(jié)構(gòu)層次結(jié)構(gòu)商業(yè)組織內(nèi)部組織標(biāo)準(zhǔn)分41特征符合程度特征類別值客戶特征帳戶特征特征類別例：個(gè)人喜好信用類信息家庭類信息教育類信息職業(yè)類信息機(jī)構(gòu)類信息

例：信用等級(jí)職業(yè)狀態(tài)收入子女?dāng)?shù)教育程度特征分組完全符合部分符合不符合確定特征業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體及關(guān)系2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)特征符合程度特征類別值客戶特征帳戶特征特征類42獎(jiǎng)勵(lì)計(jì)劃管理參與人角色獎(jiǎng)勵(lì)目標(biāo)客戶群目標(biāo)群獎(jiǎng)勵(lì)等級(jí)獎(jiǎng)勵(lì)類型參與人獎(jiǎng)勵(lì)歷史記錄獎(jiǎng)勵(lì)計(jì)劃獎(jiǎng)勵(lì)計(jì)劃：記錄電信運(yùn)營(yíng)商向客戶提供獎(jiǎng)勵(lì)和回報(bào)的歷史。確定獎(jiǎng)勵(lì)業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體及關(guān)系2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)獎(jiǎng)勵(lì)計(jì)劃管理參與人角色獎(jiǎng)勵(lì)目標(biāo)客戶群目標(biāo)群獎(jiǎng)勵(lì)等級(jí)43隱私信息類別同意周期組織隱私策略信息參與人帳戶隱私信息帳戶同意等級(jí)信息參與人同意等級(jí)信息參與人隱私信息隱私信息類別確定隱私業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體及關(guān)系2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)隱私信息同意周期組織隱私參與人帳戶帳戶同意參與人同意參與人隱44業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉庫模型的映射2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉庫模型的映射2022/12/17數(shù)據(jù)倉庫系統(tǒng)45數(shù)據(jù)倉庫建模_案例實(shí)踐2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模_案例實(shí)踐2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)46國(guó)內(nèi)社保行業(yè)背景目前我們國(guó)家的社保主要分為養(yǎng)老，失業(yè)，工傷，生育，醫(yī)療保險(xiǎn)和勞動(dòng)力市場(chǎng)這6大塊主要業(yè)務(wù)領(lǐng)域。在這6大業(yè)務(wù)領(lǐng)域中，目前的狀況養(yǎng)老和事業(yè)的系統(tǒng)已經(jīng)基本完善，已經(jīng)有一部分?jǐn)?shù)據(jù)開始聯(lián)網(wǎng)檢測(cè)。對(duì)于工傷，生育，醫(yī)療和勞動(dòng)力市場(chǎng)這一塊業(yè)務(wù)，有些地方發(fā)展的比較成熟，而有些地方還不夠成熟。請(qǐng)大家思考并簡(jiǎn)單描述社保行業(yè)的數(shù)據(jù)倉庫模型：大致的業(yè)務(wù)模型大致的概念模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)國(guó)內(nèi)社保行業(yè)背景目前我們國(guó)家的社保主要分為養(yǎng)老，失業(yè)，工傷，47社保行業(yè)數(shù)據(jù)倉庫業(yè)務(wù)模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)社保行業(yè)數(shù)據(jù)倉庫業(yè)務(wù)模型2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)48社保行業(yè)數(shù)據(jù)倉庫領(lǐng)域概念模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)社保行業(yè)數(shù)據(jù)倉庫領(lǐng)域概念模型2022/12/17數(shù)據(jù)倉庫系統(tǒng)49社保行業(yè)數(shù)據(jù)倉庫邏輯模型通過領(lǐng)域概念模型細(xì)化邏輯模型每一個(gè)抽象的實(shí)體，例如：“人”的屬性包括年齡，性別，受教育程度等等。各個(gè)抽象實(shí)體間的聯(lián)系。例如：對(duì)于養(yǎng)老金征繳這個(gè)“事件”的屬性得考慮，對(duì)于失業(yè)勞動(dòng)者培訓(xùn)這個(gè)“事件”的屬性得考慮等等。找出抽象事件的關(guān)系，并對(duì)其進(jìn)行說明。例如：對(duì)于“事件”中的地域，事件等因素的考量等等。建議:可以參考3NF的建模方法，表達(dá)出實(shí)體的屬性，以及實(shí)體與實(shí)體之間的聯(lián)系。例如：在這個(gè)階段，我們可以通過采用ERWIN等建模工具等作出符合3NF的關(guān)系型數(shù)據(jù)模型來。

2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)社保行業(yè)數(shù)據(jù)倉庫邏輯模型通過領(lǐng)域概念模型細(xì)化邏輯模型202250社保行業(yè)數(shù)據(jù)倉庫物理模型完成物理模型生成創(chuàng)建表的腳本。不同的數(shù)據(jù)倉庫平臺(tái)可能生成不同的腳本。針對(duì)數(shù)據(jù)集市的需要，按照維度建模的方法，生成一些事實(shí)表，維表等工作。針對(duì)數(shù)據(jù)倉庫的

ETL

車和元數(shù)據(jù)管理的需要，生成一些數(shù)據(jù)倉庫維護(hù)的表，例如：日志表等。注:根據(jù)業(yè)務(wù)實(shí)際的需要和自己對(duì)抽象能力的把握來創(chuàng)建適合自己的數(shù)據(jù)模型

2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)社保行業(yè)數(shù)據(jù)倉庫物理模型完成物理模型2022/12/17數(shù)據(jù)51總結(jié):

數(shù)據(jù)倉庫建模需注意的幾個(gè)問題數(shù)據(jù)粒度和數(shù)據(jù)組織維和度量的唯一性和公用性數(shù)據(jù)粒度一旦變粗，就要考慮多個(gè)主題的融合匯總不論如何歸并，需要保持?jǐn)?shù)據(jù)之間的聯(lián)系對(duì)ODS中的各個(gè)主題的事實(shí)數(shù)據(jù)進(jìn)行時(shí)間上的匯總把包含細(xì)節(jié)過多的交易記錄進(jìn)行拆分匯總、再匯總2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)總結(jié):

數(shù)據(jù)倉庫建模需注意的幾個(gè)問題數(shù)據(jù)粒度和數(shù)據(jù)組織20522.3.數(shù)據(jù)倉庫數(shù)據(jù)模型—星形與雪花最佳實(shí)踐—構(gòu)建高性能的數(shù)據(jù)倉庫數(shù)據(jù)倉庫設(shè)計(jì)—ETL設(shè)計(jì)數(shù)據(jù)倉庫設(shè)計(jì)—建模過程日程安排數(shù)據(jù)倉庫設(shè)計(jì)—界面設(shè)計(jì)數(shù)據(jù)倉庫的開發(fā)應(yīng)用過程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2.3.數(shù)據(jù)倉庫數(shù)據(jù)模型—星形與雪花最佳實(shí)踐—構(gòu)建高性能的數(shù)53ETL數(shù)據(jù)轉(zhuǎn)換過程的功能模塊設(shè)計(jì)ETL數(shù)據(jù)轉(zhuǎn)換操作大致可以分為6個(gè)組或模塊：數(shù)據(jù)的提取、驗(yàn)證、清理、集成、聚集和裝入。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)ETL數(shù)據(jù)轉(zhuǎn)換過程的功能模塊設(shè)計(jì)ETL數(shù)據(jù)轉(zhuǎn)換操作大致54ETL的設(shè)計(jì)要點(diǎn)(1)ETL的設(shè)計(jì)一定是針對(duì)具體的應(yīng)用相關(guān)的，針對(duì)不同的業(yè)務(wù)和分析模型有不同的抽取要求在設(shè)計(jì)過程中需要考慮是否需要預(yù)留字段，增加屬性等等數(shù)據(jù)的粒度，在同一CUBE中必須統(tǒng)一數(shù)據(jù)周期的確定，在設(shè)計(jì)ETL時(shí)需要事先確定抽取的時(shí)間抽取的方式盡量采用增量的抽取以減小每次抽取的數(shù)量數(shù)據(jù)流和工作流的考慮2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)ETL的設(shè)計(jì)要點(diǎn)(1)ETL的設(shè)計(jì)一定是針對(duì)具體的應(yīng)用相關(guān)的55ETL的設(shè)計(jì)要點(diǎn)(2)流程的異常處理ETL的調(diào)整，運(yùn)行管理以及監(jiān)控針對(duì)業(yè)務(wù)的需求進(jìn)行ETL的配置和設(shè)置界面ETL對(duì)CUBE的管理ETL裝載數(shù)據(jù)初始化的過程程序具有自修復(fù)功能2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)ETL的設(shè)計(jì)要點(diǎn)(2)流程的異常處理2022/12/17數(shù)據(jù)56確定ETL的抽取及加載策略抽取策略每日增量每日全量每月增量每月全量抽取策略全表覆蓋歷史加載直接追加主表加載初始加載其它加載2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定ETL的抽取及加載策略抽取策略每日增量抽取策略全表覆57ETLMapping實(shí)體映射表2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)ETLMapping實(shí)體映射表2022/12/17數(shù)據(jù)倉58確定ETL接口需求系統(tǒng)和任何其他外部系統(tǒng)或組件進(jìn)行交互相關(guān)需求接口一般由系統(tǒng)間的傳輸方式、傳輸協(xié)議、傳輸過程、接口處理模式、抽取周期、編碼原則、命名規(guī)則、驗(yàn)證方式和數(shù)據(jù)單元等組成2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定ETL接口需求系統(tǒng)和任何其他外部系統(tǒng)或組件進(jìn)行交互相關(guān)需59確定ETL接口的實(shí)現(xiàn)方式2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定ETL接口的實(shí)現(xiàn)方式2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)60確定ETL接口的數(shù)據(jù)要求及保障2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定ETL接口的數(shù)據(jù)要求及保障2022/12/17數(shù)據(jù)倉庫系61確定ETL接口文件的格式2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定ETL接口文件的格式2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)62確定ETL接口文件的內(nèi)容2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定ETL接口文件的內(nèi)容2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)63確定ETL接口單元2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定ETL接口單元2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開64ETL接口數(shù)據(jù)處理流程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)ETL接口數(shù)據(jù)處理流程2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)65ETL接口出錯(cuò)處理接口處理重傳機(jī)制1、經(jīng)營(yíng)分析系統(tǒng)方校驗(yàn)數(shù)據(jù)源內(nèi)容后把出錯(cuò)記錄放入“出錯(cuò)記錄文件存放目錄”2、數(shù)據(jù)源廠商定時(shí)查閱此目錄，分析錯(cuò)誤原因，并采取糾正措施例如：重新傳送此數(shù)據(jù)項(xiàng)文件。具體的實(shí)現(xiàn)方式需雙方協(xié)定。大數(shù)據(jù)文件分拆機(jī)制只要是增量抽取的，原則上不考慮分拆，對(duì)于GSM清單和普通短信清單，數(shù)據(jù)量很大，考慮分拆成12個(gè)數(shù)據(jù)文件，每2小時(shí)一個(gè)。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)ETL接口出錯(cuò)處理接口處理重傳機(jī)制2022/12/17數(shù)據(jù)倉66案例學(xué)習(xí)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)案例學(xué)習(xí)2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)672.3.數(shù)據(jù)倉庫數(shù)據(jù)模型—星形與雪花BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)踐數(shù)據(jù)倉庫設(shè)計(jì)—ETL設(shè)計(jì)數(shù)據(jù)倉庫設(shè)計(jì)—建模過程日程安排數(shù)據(jù)倉庫設(shè)計(jì)—界面設(shè)計(jì)數(shù)據(jù)倉庫的開發(fā)應(yīng)用過程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2.3.數(shù)據(jù)倉庫數(shù)據(jù)模型—星形與雪花BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)68確定界面元素界面主顏色字體顏色及大小界面布局界面交互方式界面功能分布界面輸入輸出模式2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)確定界面元素界面主顏色2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)69某運(yùn)營(yíng)商KPI系統(tǒng)目標(biāo)以最方便的形式讓各級(jí)領(lǐng)導(dǎo)對(duì)考核指標(biāo)完成情況進(jìn)行瀏覽分析采用良好方式實(shí)現(xiàn)常用指標(biāo)的關(guān)聯(lián)展示，更加符合業(yè)務(wù)人員的分析邏輯采用樹型菜單對(duì)個(gè)體分散指標(biāo)進(jìn)行分類展示組織，提高指標(biāo)分析的操作的便捷性詳細(xì)編寫各業(yè)務(wù)指標(biāo)的統(tǒng)計(jì)口徑，讓用戶可以方便查詢和檢索2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)某運(yùn)營(yíng)商KPI系統(tǒng)目標(biāo)以最方便的形式讓各級(jí)領(lǐng)導(dǎo)對(duì)考核指標(biāo)完成70KPI系統(tǒng)指標(biāo)體系2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)KPI系統(tǒng)指標(biāo)體系2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開71數(shù)據(jù)準(zhǔn)確性刷新/上載數(shù)據(jù)的頻率(定期)數(shù)據(jù)下鉆能力訪問控制KPI系統(tǒng)關(guān)鍵性:低高KPI分層KPI系統(tǒng)主要功能2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)準(zhǔn)確性刷新/上載數(shù)據(jù)的頻率(定期)數(shù)據(jù)下鉆能力訪問控制721。支持角色，有預(yù)定義好的權(quán)限視圖2。分層管理:每個(gè)KPI有對(duì)應(yīng)的“保障”KPI的層次定義3。動(dòng)態(tài)交互式環(huán)境用戶可以設(shè)置KPI分解的百分比支持分解維度（按部門、運(yùn)營(yíng)中心如地市等）可調(diào)整的KPI分解規(guī)則4。閥值預(yù)警5。內(nèi)部標(biāo)桿共享KPI系統(tǒng)框架和關(guān)鍵功能2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)KPI系統(tǒng)框架和關(guān)鍵功能2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)73整體KPI首頁界面分為三個(gè)目錄級(jí)★KPI考核指標(biāo)★KPI通報(bào)指標(biāo)★KPI個(gè)體指標(biāo)體現(xiàn)以表格的形式展現(xiàn)數(shù)據(jù)，輔助以圖型增加指標(biāo)之間的關(guān)聯(lián)性，從多角度體現(xiàn)指標(biāo)的內(nèi)容。增加指標(biāo)說明的模塊，對(duì)用戶使用該指標(biāo)時(shí)容易產(chǎn)生理解誤差的內(nèi)容提供相應(yīng)解釋。KPI系統(tǒng)首頁界面2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)整體KPI首頁界面分為三個(gè)目錄級(jí)KPI系統(tǒng)首頁界面2022/74樹狀的目錄力求簡(jiǎn)單，清晰，操作方便，減少用戶的點(diǎn)擊切換環(huán)節(jié)過程。KPI系統(tǒng)樹狀目錄結(jié)構(gòu)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)樹狀的目錄力求簡(jiǎn)單，清晰，操作方便，減少用戶的點(diǎn)擊切換環(huán)節(jié)過75簡(jiǎn)單明了的KPI指標(biāo)往往成為管理者和普通市場(chǎng)人員最關(guān)注的對(duì)象領(lǐng)導(dǎo)的聊望臺(tái)滾動(dòng)指標(biāo)告警指標(biāo)列表區(qū)首頁或結(jié)果展示區(qū)滾動(dòng)指標(biāo)告警區(qū)KPI系統(tǒng)首頁界面2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)簡(jiǎn)單明了的KPI指標(biāo)往往成為管理者和普通市場(chǎng)人員最關(guān)注的對(duì)象76增強(qiáng)指標(biāo)之間的關(guān)聯(lián)性，對(duì)若干指標(biāo)的內(nèi)在聯(lián)系，進(jìn)行歸類對(duì)比展示，以多種圖形方式進(jìn)行多角度地展現(xiàn)。KPI系統(tǒng)界面12022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)增強(qiáng)指標(biāo)之間的關(guān)聯(lián)性，對(duì)若干指標(biāo)的內(nèi)在聯(lián)系，進(jìn)行歸類對(duì)比展示77KPI指標(biāo)主要展現(xiàn)此項(xiàng)指標(biāo)在時(shí)間上的對(duì)比，例如，上月當(dāng)日，歷史同期，環(huán)比等。KPI指標(biāo)按業(yè)務(wù)分析邏輯有機(jī)排列，方便業(yè)務(wù)人員對(duì)比觀看。KPI在表格上增加趨勢(shì)的展現(xiàn)，分為三種，“平穩(wěn)”，“升高”，“降低”點(diǎn)擊以后將展示最近一周的趨勢(shì)KPI系統(tǒng)界面22022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)KPI指標(biāo)主要展現(xiàn)此項(xiàng)指標(biāo)在時(shí)間上的對(duì)比，例如，上月當(dāng)日，歷782.數(shù)據(jù)倉庫數(shù)據(jù)模型—星形與雪花BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)踐數(shù)據(jù)倉庫設(shè)計(jì)—ETL設(shè)計(jì)數(shù)據(jù)倉庫設(shè)計(jì)—建模過程日程安排數(shù)據(jù)倉庫的開發(fā)應(yīng)用過程數(shù)據(jù)倉庫設(shè)計(jì)—界面設(shè)計(jì)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2.數(shù)據(jù)倉庫數(shù)據(jù)模型—星形與雪花BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)踐數(shù)79自頂向下(Top-downApproach)建造企業(yè)數(shù)據(jù)倉庫建設(shè)中心數(shù)據(jù)模型一次性的完成數(shù)據(jù)的重構(gòu)工作最小化數(shù)據(jù)冗余度和不一致性存儲(chǔ)詳細(xì)的歷史數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫中建造數(shù)據(jù)集市得到大部分的集成數(shù)據(jù)直接依賴于數(shù)據(jù)倉庫的可用性對(duì)信心的極大考驗(yàn)：投資大，建設(shè)時(shí)間長(zhǎng)，階段成果顯現(xiàn)困難！ExternalDataODSCentralDataWarehouseDataMartDataMart2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)自頂向下(Top-downApproach)建造企業(yè)數(shù)據(jù)倉80自底而上(Bottom-upApproach)創(chuàng)建部門的數(shù)據(jù)集市范圍局限于一個(gè)主題區(qū)域快速的ROI--局部的商業(yè)需求得到滿足本部門自治--設(shè)計(jì)上具有靈活性對(duì)其他部門數(shù)據(jù)集市是一個(gè)好的指導(dǎo)容易復(fù)制到其他部門擴(kuò)大到企業(yè)數(shù)據(jù)倉庫創(chuàng)建EDW作為一個(gè)長(zhǎng)期的目標(biāo)重復(fù)投資：每個(gè)部門都重復(fù)進(jìn)行數(shù)據(jù)整理！企業(yè)數(shù)據(jù)倉庫建設(shè)困難：數(shù)據(jù)口徑、不一致性問題突出！DataMartDataMartCentralDataWarehouseExternalDataODSpartpartpartpartpartpart2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)自底而上(Bottom-upApproach)創(chuàng)建部門的81數(shù)據(jù)倉庫工程項(xiàng)目的特點(diǎn)數(shù)據(jù)倉庫工程既包括數(shù)據(jù)又包括程序，而且是以數(shù)據(jù)為基礎(chǔ)的系統(tǒng)數(shù)據(jù)倉庫工程中的數(shù)據(jù)倉庫的目標(biāo)是面向主題數(shù)據(jù)倉庫工程是以處理分析型目標(biāo)為主而不是事物型目標(biāo)，它對(duì)數(shù)據(jù)內(nèi)容正確性與形式規(guī)范性有嚴(yán)格要求數(shù)據(jù)倉庫工程中數(shù)據(jù)來源已有多種信息系統(tǒng)，因此對(duì)系統(tǒng)的數(shù)據(jù)要有一定的限制制約，也就是有了建立統(tǒng)一數(shù)據(jù)平臺(tái)的需求2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫工程項(xiàng)目的特點(diǎn)數(shù)據(jù)倉庫工程既包括數(shù)據(jù)又包括程序，而且82數(shù)據(jù)倉庫工程項(xiàng)目的開發(fā)應(yīng)用過程解決方案啟動(dòng)（Solutionstartup）業(yè)務(wù)發(fā)現(xiàn)（Businessdiscovery）解決方案建議（Solutionproposal）解決方案計(jì)劃（Solutionplanning）倉庫概念建模（Warehouseconceptualmodeling）倉庫階段設(shè)計(jì)（Warehousephasedesign）解決方案實(shí)現(xiàn)周期（Solutionimplementationcycle）解決方案部署（Solutiondeployment）

2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫工程項(xiàng)目的開發(fā)應(yīng)用過程解決方案啟動(dòng)（Solution83數(shù)據(jù)倉庫業(yè)務(wù)發(fā)現(xiàn)過程收集記錄業(yè)務(wù)需求理解客戶業(yè)務(wù)環(huán)境差異分析，理解客戶的業(yè)務(wù)難題及需求，彌補(bǔ)當(dāng)前業(yè)務(wù)狀態(tài)及其業(yè)務(wù)需求之間差異2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫業(yè)務(wù)發(fā)現(xiàn)過程收集記錄業(yè)務(wù)需求2022/12/17數(shù)據(jù)84收集記錄業(yè)務(wù)需求確定業(yè)務(wù)對(duì)象確定數(shù)據(jù)分析場(chǎng)景確定功能需求理解客戶的業(yè)務(wù)環(huán)境理解基礎(chǔ)架構(gòu)環(huán)境理解數(shù)據(jù)環(huán)境差異分析需求分析識(shí)別業(yè)務(wù)主題領(lǐng)域識(shí)別數(shù)據(jù)差異識(shí)別基礎(chǔ)設(shè)施差異識(shí)別資源的差異理解客戶環(huán)境三個(gè)任務(wù)可以重疊進(jìn)行

數(shù)據(jù)倉庫的業(yè)務(wù)發(fā)現(xiàn)內(nèi)容2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)收集記錄業(yè)務(wù)需求確定業(yè)務(wù)對(duì)象理解客戶的業(yè)務(wù)環(huán)境差異分析需求852022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)86數(shù)據(jù)倉庫工程項(xiàng)目的開發(fā)流程圖2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫工程項(xiàng)目的開發(fā)流程圖2022/12/17數(shù)據(jù)倉庫系統(tǒng)87數(shù)據(jù)倉庫的數(shù)據(jù)流程（1）：對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、清洗、整理后成為數(shù)據(jù)倉庫中的各種綜合度的數(shù)據(jù)表。（2）：經(jīng)過維度分析得到維表并定義相應(yīng)的格式表。（3）：從數(shù)據(jù)倉庫中抽取數(shù)據(jù)形成事實(shí)表及補(bǔ)充事實(shí)表。（4）：從數(shù)據(jù)倉庫中抽取信息，整理成數(shù)據(jù)挖掘?qū)挶?，用于?shù)據(jù)挖掘。（5）：寬表中的數(shù)據(jù)通過數(shù)據(jù)挖掘程序處理后生成的擴(kuò)展數(shù)據(jù)（挖掘結(jié)果）需要重新回寫進(jìn)事實(shí)表。（6）：利用數(shù)據(jù)展現(xiàn)工具展現(xiàn)OLAP和數(shù)據(jù)挖掘的結(jié)果。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的數(shù)據(jù)流程（1）：對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、清洗、88數(shù)據(jù)倉庫需求分析數(shù)據(jù)倉庫的特點(diǎn)是面向主題，按主題組織數(shù)據(jù)。1、主題分析

對(duì)于在層次結(jié)構(gòu)中的每個(gè)主題，需要進(jìn)行詳細(xì)的調(diào)研，確定要分析的指標(biāo)，確定用戶從哪些角度來分析數(shù)據(jù)即維度，還要確定用戶分析數(shù)據(jù)的細(xì)化或綜合程度即粒度。主題、指標(biāo)、維度、粒度是是建立數(shù)據(jù)倉庫的基本要素。

2、數(shù)據(jù)分析

(1)數(shù)據(jù)源分析(2)數(shù)據(jù)數(shù)量分析(3)數(shù)據(jù)質(zhì)量分析3、環(huán)境要求分析

需要對(duì)滿足需求的系統(tǒng)平臺(tái)與環(huán)境提出要求，包括設(shè)備、網(wǎng)絡(luò)、數(shù)據(jù)、接口、軟件等的要求。數(shù)據(jù)源分析主題分析數(shù)據(jù)質(zhì)量分析環(huán)境要求分析2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫需求分析數(shù)據(jù)倉庫的特點(diǎn)是面向主題，按主題組織數(shù)據(jù)。數(shù)89數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)體系結(jié)構(gòu)設(shè)計(jì)接口設(shè)計(jì)應(yīng)用程序模塊設(shè)計(jì)①數(shù)據(jù)源層②數(shù)據(jù)后端處理層③數(shù)據(jù)倉庫及其管理層④數(shù)據(jù)集市層⑤數(shù)據(jù)倉庫應(yīng)用層⑥數(shù)據(jù)展示層①數(shù)據(jù)源與分析模型的接口②分析模型與應(yīng)用的接口2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)體系結(jié)構(gòu)設(shè)計(jì)接口設(shè)計(jì)應(yīng)用程序模塊設(shè)計(jì)①數(shù)90分析設(shè)計(jì)實(shí)施需求分析風(fēng)險(xiǎn)分析方案設(shè)計(jì)POC實(shí)施UAT發(fā)布環(huán)境準(zhǔn)備Scope系統(tǒng)功能目標(biāo)分析系統(tǒng)性能環(huán)境所帶來的風(fēng)險(xiǎn)分析可以容忍的見險(xiǎn)關(guān)鍵流程的定義確定組織架構(gòu)方案設(shè)計(jì)（技術(shù)／框架/流程)數(shù)據(jù)備份方案時(shí)間窗環(huán)境(DB/TOOL/DATA)源代碼/POC數(shù)據(jù)POC報(bào)告CUT計(jì)劃測(cè)試/用戶測(cè)試數(shù)據(jù)備份系統(tǒng)觀察系統(tǒng)發(fā)布BugFixＢＩ項(xiàng)目建設(shè)方法論2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)分析設(shè)計(jì)實(shí)施需求分析風(fēng)險(xiǎn)分析POC實(shí)施UAT發(fā)布環(huán)境準(zhǔn)備Sc91

BI項(xiàng)目組織圖92*SteeringCommittee(項(xiàng)目經(jīng)理)(甲方項(xiàng)目經(jīng)理)ProjectManagerETL&DM(SeniorSE)Report(SeniorSE)TestQAKMSoultionArchitect2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)

BI項(xiàng)目組織圖92*SteeringCommitteeP92BI項(xiàng)目組織說明項(xiàng)目指導(dǎo)委員會(huì)（SteeringCommittee）:項(xiàng)目指導(dǎo)委員會(huì)主要由甲方與HP的資深主管們所組成，負(fù)責(zé)決定項(xiàng)目的策略方向與目的，并提供項(xiàng)目執(zhí)行所需要的支持與承諾。協(xié)助處理與仲裁項(xiàng)目執(zhí)行過程由項(xiàng)目經(jīng)理所提報(bào)（Escalate）所遇到之困難與爭(zhēng)議。協(xié)助處理項(xiàng)目執(zhí)行上所需要之人力資源支持與調(diào)動(dòng)，如項(xiàng)目團(tuán)隊(duì)之人員指派等。項(xiàng)目經(jīng)理（ProjectManager）:在項(xiàng)目經(jīng)理的協(xié)助下，承擔(dān)并完成下列工作：規(guī)劃詳細(xì)的項(xiàng)目計(jì)劃書管理項(xiàng)目中所有的日常事務(wù)與工作事項(xiàng)，以期達(dá)成項(xiàng)目每的階段性任務(wù)及目標(biāo)核審項(xiàng)目進(jìn)度與項(xiàng)目里程碑定期與甲方項(xiàng)目經(jīng)理共同執(zhí)行項(xiàng)目的審核并商討項(xiàng)目的計(jì)劃定期以書面方式向項(xiàng)目指導(dǎo)委員會(huì)報(bào)告項(xiàng)目進(jìn)行的狀況針對(duì)項(xiàng)目執(zhí)行上所遭遇的例外事件進(jìn)行處理，并適當(dāng)提報(bào)給項(xiàng)目指導(dǎo)委員會(huì)以尋求支持與協(xié)助與甲方項(xiàng)目經(jīng)理共同擔(dān)負(fù)起項(xiàng)目建置成功的責(zé)任93*2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)BI項(xiàng)目組織說明項(xiàng)目指導(dǎo)委員會(huì)（SteeringCommi93BI項(xiàng)目組織說明專案架構(gòu)師（SolutionArchitect）:負(fù)責(zé)項(xiàng)目相關(guān)之技術(shù)架構(gòu)與功能設(shè)計(jì)等，并領(lǐng)導(dǎo)項(xiàng)目執(zhí)行技術(shù)團(tuán)隊(duì)確認(rèn)項(xiàng)目技術(shù)架構(gòu)符合甲方之維運(yùn)要求與質(zhì)量標(biāo)準(zhǔn)。ETL組2人：負(fù)責(zé)ETL部分的開發(fā)與實(shí)施Report組2人：負(fù)責(zé)BOReport部分的開發(fā)與實(shí)施Test組2人：負(fù)責(zé)項(xiàng)目的系統(tǒng)測(cè)試與用戶最終測(cè)試其中測(cè)試組有1人兼任QA和KM角色。94*2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)BI項(xiàng)目組織說明專案架構(gòu)師（SolutionArchite94M0M1M2M3M4M5BI項(xiàng)目里程碑Milestone項(xiàng)目啟動(dòng)需求階段POC項(xiàng)目實(shí)施集成測(cè)試ReleaseUATM0.5M1.5M2.5M3.5M4.5RollOut注:在大約項(xiàng)目啟動(dòng)后2個(gè)月，POC階段將完成,也即最初的原型構(gòu)建,用戶可以得到一個(gè)階段性的Release,下一步的項(xiàng)目實(shí)施及集成測(cè)試將以迭代的方式實(shí)現(xiàn)。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)M0M1M2M3M4M5BI項(xiàng)目里程碑Milestone項(xiàng)目95BI項(xiàng)目實(shí)施階段階段輸入輸出項(xiàng)目啟動(dòng)-評(píng)估SOW/方案建議書/遷移評(píng)估問題清單評(píng)估計(jì)劃，遷移方案，原始系統(tǒng)檢查報(bào)告項(xiàng)目啟動(dòng)-項(xiàng)目計(jì)劃項(xiàng)目實(shí)施方案，當(dāng)前環(huán)境和業(yè)務(wù)需求，數(shù)據(jù)和屬性，適用的實(shí)施工具項(xiàng)目計(jì)劃，質(zhì)量計(jì)劃，風(fēng)險(xiǎn)管理計(jì)劃，配置管理計(jì)劃，單元測(cè)試案例（持續(xù)更新），集成測(cè)試案例（持續(xù)更新）POC源代碼，POC數(shù)據(jù)，原始系統(tǒng)檢查報(bào)告，實(shí)施方案實(shí)施模塊，POC測(cè)試結(jié)果，POC經(jīng)驗(yàn)總結(jié)，實(shí)施方案（更新），模塊實(shí)施步驟報(bào)告遷移源代碼，POC數(shù)據(jù)，原始系統(tǒng)檢查報(bào)告，遷移方案實(shí)施的ETL腳本，數(shù)據(jù)模型，數(shù)據(jù)代碼，遷移測(cè)試腳本，模塊實(shí)施步驟報(bào)告集成測(cè)試測(cè)試計(jì)劃，測(cè)試案例，基準(zhǔn)版本，質(zhì)量計(jì)劃已測(cè)試應(yīng)用，測(cè)試報(bào)告，測(cè)試案例（更新）發(fā)布已實(shí)施應(yīng)用ReleaseNote用戶驗(yàn)收測(cè)試(UAT)驗(yàn)收測(cè)試計(jì)劃驗(yàn)收測(cè)試報(bào)告RollOut已遷移應(yīng)用部署計(jì)劃，培訓(xùn)材料2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)BI項(xiàng)目實(shí)施階段階段輸入輸出項(xiàng)目啟動(dòng)-評(píng)估SOW/方案建96優(yōu)化及案例分析－業(yè)務(wù)環(huán)境數(shù)據(jù)庫服務(wù)器:Windows2000Server+Oracle8i+IIS+PowerPlay

EnterpriseServer

應(yīng)用服務(wù)器:Windows2000Server+Transformer

客戶端:IE5.0以上版本。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)優(yōu)化及案例分析－業(yè)務(wù)環(huán)境數(shù)據(jù)庫服務(wù)器:Windows2097優(yōu)化及案例分析－優(yōu)化內(nèi)容1.RAID

2.索引的建立3.SQL優(yōu)化4.直接裝載、分區(qū)選擇、網(wǎng)絡(luò)設(shè)置2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)優(yōu)化及案例分析－優(yōu)化內(nèi)容1.RAID

2022/12/17982.數(shù)據(jù)倉庫數(shù)據(jù)模型—星形與雪花BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)踐數(shù)據(jù)倉庫設(shè)計(jì)—ETL設(shè)計(jì)數(shù)據(jù)倉庫設(shè)計(jì)—建模過程日程安排數(shù)據(jù)倉庫的開發(fā)應(yīng)用過程數(shù)據(jù)倉庫設(shè)計(jì)—界面設(shè)計(jì)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2.數(shù)據(jù)倉庫數(shù)據(jù)模型—星形與雪花BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)踐數(shù)99影響倉庫性能的關(guān)鍵因素系統(tǒng)硬件磁盤（轉(zhuǎn)速、容量）IO速度（光纖卡、網(wǎng)卡、路由器）CPU（個(gè)數(shù)、主頻）主機(jī)個(gè)數(shù)數(shù)據(jù)模型邏輯模型物理模型應(yīng)用復(fù)雜度及業(yè)務(wù)發(fā)展EDWDataWarehousing2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)影響倉庫性能的關(guān)鍵因素系統(tǒng)硬件2022/12/17數(shù)據(jù)倉庫100物理模型對(duì)性能的影響數(shù)據(jù)倉庫的創(chuàng)建（Build）

初始化每天數(shù)據(jù)載入每月數(shù)據(jù)載入數(shù)據(jù)維護(hù)應(yīng)用查詢,統(tǒng)計(jì)的支持(Query）KPI固定報(bào)表OLAP數(shù)據(jù)挖掘?qū)ｎ}分析即席查詢經(jīng)營(yíng)分析報(bào)告/策劃查詢性能更應(yīng)該被優(yōu)先保證!空間換取時(shí)間的優(yōu)化思想依然適用!2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)物理模型對(duì)性能的影響數(shù)據(jù)倉庫的創(chuàng)建（Build）應(yīng)用查詢,101非規(guī)范化優(yōu)化技術(shù)增加冗余列（預(yù)連接）避免查詢時(shí)進(jìn)行表連接操作舉例：姓名、聯(lián)系方式、預(yù)存款、當(dāng)前積分增加派生列（預(yù)計(jì)算）避免查詢時(shí)連接和使用聚合函數(shù)累計(jì)積分、ARPU、MOU、前3月平均話費(fèi)、量收比重新組表（應(yīng)用導(dǎo)向）經(jīng)常使用的查詢內(nèi)容以表的形式存放（物化視圖）分割（水平＋垂直）用戶常用屬性與不常用屬性當(dāng)前資料與歷史資料非規(guī)范化技術(shù)建立在查詢統(tǒng)計(jì)分析的基礎(chǔ)上的適合對(duì)記錄數(shù)非常多的表進(jìn)行需要維護(hù)數(shù)據(jù)的完整性，加大了建設(shè)、維護(hù)的復(fù)雜度非規(guī)范化是一項(xiàng)高級(jí)設(shè)計(jì)技巧!OLTP系統(tǒng)也有，但OLAP需要更多，而且是核心!2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)非規(guī)范化優(yōu)化技術(shù)增加冗余列（預(yù)連接）非規(guī)范化是一項(xiàng)高級(jí)設(shè)計(jì)技102分表優(yōu)化技術(shù)利用數(shù)據(jù)倉庫的Partition功能數(shù)據(jù)倉庫引擎提供，發(fā)揮都處理器及多主機(jī)執(zhí)行的并行性很方便使用，而且必須使用表大到一定程度后，在Partition基礎(chǔ)上進(jìn)行下述的分表按業(yè)務(wù)分表如詳單按品牌拆分（分析頻率、特征均不同）按日期分表詳單按日分表帳單等按月分表匯總結(jié)果按月分表按地區(qū)分表分地區(qū)處理較多的表混合分表如每地區(qū)每日一張表分表技術(shù)與非規(guī)范化技術(shù)類似只應(yīng)用在物理模型中!2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)分表優(yōu)化技術(shù)利用數(shù)據(jù)倉庫的Partition功能分表技術(shù)與非103高擴(kuò)展性設(shè)計(jì)1、業(yè)務(wù)驅(qū)動(dòng)數(shù)據(jù)倉庫模型設(shè)計(jì)2、倉庫內(nèi)數(shù)據(jù)分層3、合理選用3NF、混合、星型、雪花及寬表模式DataWarehouse(Hybird)ODS(3NF)OLAPModelMiningModelReportModelAnalysis（StarSchema、寬表）DataWarehouseODSAnalysisparallelloaderQuery數(shù)據(jù)倉庫設(shè)計(jì)需要藝術(shù)地處理性能與靈活性之間的矛盾2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)高擴(kuò)展性設(shè)計(jì)1、業(yè)務(wù)驅(qū)動(dòng)數(shù)據(jù)倉庫模型設(shè)計(jì)104高可用性設(shè)計(jì)非規(guī)范化和分表技術(shù)應(yīng)用最大化查詢影響最快維護(hù)方便、代價(jià)最小編程復(fù)雜，但運(yùn)行極快完善處理變更歷史數(shù)據(jù)可長(zhǎng)期追蹤不影響當(dāng)前數(shù)據(jù)的處理效率科學(xué)的表命名機(jī)制所屬層次指示業(yè)務(wù)內(nèi)容指示匯總粒度指示更新特性指示分表特性指示匯總數(shù)據(jù)再處理相對(duì)于“遠(yuǎn)小近大”dw_call_city_ymddw_call_msSample：WeekItemStore1/7/90111/14/9013123344......1/7/901/7/901/7/901/7/901/7/901/7/901/7/901/14/901/14/901/14/901/14/901/14/901/14/901/14/901111334453413324245351201112.............................................2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)高可用性設(shè)計(jì)非規(guī)范化和分表技術(shù)應(yīng)用最大化dw_call_ci105數(shù)據(jù)質(zhì)量保證機(jī)制工作方法深入分析數(shù)據(jù)源系統(tǒng)整理出接口文檔注明業(yè)務(wù)口徑，適用范圍與各業(yè)務(wù)系統(tǒng)確認(rèn)一致性問題開發(fā)質(zhì)量保障模塊數(shù)據(jù)稽核修復(fù)自動(dòng)維表維護(hù)關(guān)鍵數(shù)據(jù)質(zhì)量稽核P01P14M15M28M01M14P15P28P29P42M29M422022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)質(zhì)量保證機(jī)制工作方法P01P14M15M28M01M14106數(shù)據(jù)稽核修復(fù)純凈目標(biāo)數(shù)據(jù)文件（含修復(fù)數(shù)據(jù)）錯(cuò)誤數(shù)據(jù)文件格式化文件輸出格式化但錯(cuò)誤眾多的數(shù)據(jù)源文件錯(cuò)誤核查修復(fù)指示文件映射文件數(shù)據(jù)稽核修復(fù)引擎稽核報(bào)告2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)稽核修復(fù)純凈目標(biāo)錯(cuò)誤數(shù)據(jù)文件格式化文件輸出格式化但錯(cuò)誤眾107自動(dòng)維表維護(hù)SourceDatabasesDataExtractionCentralDataWarehouseTransformation,loadDataCleansingToolRelationalAppl.PackageLegacyExternalCentralDataWarehouseCodeFilesDataFilesAutoDimensionEngineMapFilesWarehouseAdmin.ToolsParallelExtractDataModelingToolCentralMetadataDataQualityEngine2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)自動(dòng)維表維護(hù)SourceDataExtractionCen108關(guān)鍵數(shù)據(jù)質(zhì)量稽核2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)關(guān)鍵數(shù)據(jù)質(zhì)量稽核2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)109演講完畢，謝謝聽講!再見，seeyouagain3rew2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)演講完畢，謝謝聽講!再見，seeyouagain3rew110數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)1112.3.數(shù)據(jù)倉庫設(shè)計(jì)—數(shù)據(jù)建模最佳實(shí)踐—構(gòu)建高性能的數(shù)據(jù)倉庫數(shù)據(jù)倉庫設(shè)計(jì)—ETL設(shè)計(jì)數(shù)據(jù)倉庫設(shè)計(jì)—建模過程日程安排數(shù)據(jù)倉庫設(shè)計(jì)—界面設(shè)計(jì)數(shù)據(jù)倉庫的開發(fā)應(yīng)用過程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)2.3.數(shù)據(jù)倉庫設(shè)計(jì)—數(shù)據(jù)建模最佳實(shí)踐—構(gòu)建高性能的數(shù)據(jù)倉庫1123.靈活性能夠很好的分離出底層技術(shù)的實(shí)現(xiàn)和上層業(yè)務(wù)的展現(xiàn)當(dāng)上層業(yè)務(wù)發(fā)生變化時(shí)，通過數(shù)據(jù)模型，底層技術(shù)實(shí)現(xiàn)可以較為輕松的完成業(yè)務(wù)的變動(dòng)，從而達(dá)到整個(gè)數(shù)據(jù)倉庫系統(tǒng)的靈活性1.業(yè)務(wù)核理改善業(yè)務(wù)流程能夠全面了解業(yè)務(wù)系統(tǒng)的業(yè)務(wù)架構(gòu)圖和整個(gè)業(yè)務(wù)運(yùn)行情況2)能夠?qū)I(yè)務(wù)按照特定的規(guī)律進(jìn)行分門別類和程序化2.解決信息孤島及數(shù)據(jù)差異1)建立全方法的數(shù)據(jù)視角；2)

保證整個(gè)企業(yè)的數(shù)據(jù)的一致性；3)

消除各個(gè)部門之間的信息孤島；4.加快數(shù)據(jù)倉庫系統(tǒng)的建設(shè)開發(fā)人員和業(yè)務(wù)人員能夠很容易達(dá)成系統(tǒng)建設(shè)范圍的邊界的界定能夠使整個(gè)項(xiàng)目組明確當(dāng)前的任務(wù)，加快整個(gè)系統(tǒng)建設(shè)的速度為什么需要數(shù)據(jù)模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)3.靈活性1.業(yè)務(wù)核理改善業(yè)務(wù)流程2.解決信息孤島及數(shù)據(jù)差異113數(shù)據(jù)倉庫建模人員所需的技能和能力分析能力見樹又見林模擬論證學(xué)習(xí)能力抽象綜合交流能力組交互演示調(diào)查訪談原型設(shè)計(jì)能力企業(yè)體系架構(gòu)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模人員所需的技能和能力分析能力2022/12/17114數(shù)據(jù)倉庫設(shè)計(jì)建模的要點(diǎn)和原則建模原則選擇創(chuàng)建什么模型對(duì)如何動(dòng)手解決問題和如何解決方案有深遠(yuǎn)影響每一種模型可以在不同的精度級(jí)別上表示最好的模型是與現(xiàn)實(shí)相聯(lián)系單個(gè)模型不充分，需要一組模型去處理建模的要點(diǎn)正確認(rèn)識(shí)建模方法論2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫設(shè)計(jì)建模的要點(diǎn)和原則建模原則2022/12/17數(shù)據(jù)115利用圖形來建立數(shù)據(jù)模型圖形具有直觀性、簡(jiǎn)單性以及可理解性等優(yōu)點(diǎn)圖形能自然地表達(dá)客觀世界理解圖中路徑探索2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)利用圖形來建立數(shù)據(jù)模型圖形具有直觀性、簡(jiǎn)單性以及可理解性等優(yōu)116什么是數(shù)據(jù)模型業(yè)務(wù)建模，生成業(yè)務(wù)模型，主要解決業(yè)務(wù)層面的分解和程序化。領(lǐng)域建模，生成概念模型，主要是對(duì)業(yè)務(wù)模型進(jìn)行抽象處理，生成領(lǐng)域概念模型。邏輯建模，生成邏輯模型，主要是將領(lǐng)域模型的概念實(shí)體以及實(shí)體之間的關(guān)系進(jìn)行數(shù)據(jù)庫層次的邏輯化。物理建模，生成物理模型，主要解決，邏輯模型針對(duì)不同關(guān)系型數(shù)據(jù)庫的物理化以及性能等一些具體的技術(shù)問題。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)什么是數(shù)據(jù)模型業(yè)務(wù)建模，生成業(yè)務(wù)模型，主要解決業(yè)務(wù)層面的分解117思考需求建模與業(yè)務(wù)建模需求建模與業(yè)務(wù)建模誰先誰后？軟件開發(fā)過程是否應(yīng)該是：業(yè)務(wù)調(diào)研，業(yè)務(wù)建模(業(yè)務(wù)分析)，(業(yè)務(wù)模型分析)需求調(diào)研（這時(shí)，已經(jīng)有一部分需求可從業(yè)務(wù)模型中獲得）,需求建模，需求分析……2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)思考需求建模與業(yè)務(wù)建模2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)118業(yè)務(wù)建?！M織結(jié)構(gòu)分析2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)建?！M織結(jié)構(gòu)分析2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)119組織結(jié)構(gòu),用戶及權(quán)限的分析客戶組織結(jié)構(gòu)的分析公司組織機(jī)構(gòu)區(qū)域位置集團(tuán)/省/地市用戶的分析用戶組角色權(quán)限的分析功能權(quán)限分析數(shù)據(jù)權(quán)限分析2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)組織結(jié)構(gòu),用戶及權(quán)限的分析客戶組織結(jié)構(gòu)的分析2022/12/120例：三大運(yùn)營(yíng)商的組織架構(gòu)調(diào)整2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)例：三大運(yùn)營(yíng)商的組織架構(gòu)調(diào)整2022/12/17數(shù)據(jù)倉庫系統(tǒng)121業(yè)務(wù)建模—業(yè)務(wù)流程分析2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)建?！獦I(yè)務(wù)流程分析2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)122什么是業(yè)務(wù)流程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)什么是業(yè)務(wù)流程2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)123業(yè)務(wù)流程分析的內(nèi)容（1）原有流程的分析。（2）業(yè)務(wù)流程的優(yōu)化。（3）確定新的業(yè)務(wù)流程（4）新系統(tǒng)的人機(jī)界面。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)流程分析的內(nèi)容（1）原有流程的分析。2022/12/17124業(yè)務(wù)流程分析的步驟1.系統(tǒng)環(huán)境調(diào)查2.組織機(jī)構(gòu)和職責(zé)的調(diào)查3.功能體系的調(diào)查與分析4.管理業(yè)務(wù)流程的調(diào)查與分析

2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)流程分析的步驟1.系統(tǒng)環(huán)境調(diào)查2022/12/17數(shù)據(jù)倉125案例學(xué)習(xí)：

新業(yè)務(wù)客戶服務(wù)業(yè)務(wù)流程—新業(yè)務(wù)查詢流程2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)案例學(xué)習(xí)：

新業(yè)務(wù)客戶服務(wù)業(yè)務(wù)流程—新業(yè)務(wù)查詢流程2022/126業(yè)務(wù)流程可以代替業(yè)務(wù)建模嗎在業(yè)務(wù)流程的背后，有一個(gè)更加根本的因素——商業(yè)需求。商業(yè)需求才是真正的業(yè)務(wù)模型，業(yè)務(wù)流程只是一種實(shí)現(xiàn)手段而已。例：新用戶入網(wǎng)業(yè)務(wù)流程：1：首先把SIM卡和號(hào)碼在交換網(wǎng)絡(luò)上做對(duì)應(yīng)關(guān)系的注冊(cè)；2：市場(chǎng)部把SIM卡存入一定的金額，發(fā)給銷售商，收取銷售商的貨款；3：銷售商把卡賣給用戶，用戶填寫入網(wǎng)合同，SIM裝入手機(jī)可以立即通話；4：銷售商把入網(wǎng)合同交給市場(chǎng)部，市場(chǎng)部資料錄入人員將用戶的資料錄入系統(tǒng)；5：計(jì)費(fèi)系統(tǒng)按照用戶選擇的資費(fèi)對(duì)話單進(jìn)行計(jì)費(fèi)；6、市場(chǎng)部按照用戶的消費(fèi)情況給銷售商計(jì)算傭金和返利。思考：真正的業(yè)務(wù)模型(需求)是什么？2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)業(yè)務(wù)流程可以代替業(yè)務(wù)建模嗎在業(yè)務(wù)流程的背后，有一個(gè)更加根本的127從業(yè)務(wù)流程中提取概念和邏輯模型心得體會(huì)：看到背后的商業(yè)需求，你會(huì)發(fā)現(xiàn)模型原來非常穩(wěn)定不需要急于知道所有的細(xì)節(jié)性的需求，只要了解比較重要的20％的需求2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)從業(yè)務(wù)流程中提取概念和邏輯模型心得體會(huì)：2022/12/17128數(shù)據(jù)倉庫數(shù)據(jù)模型-星型模型與雪花模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫數(shù)據(jù)模型-2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開129數(shù)據(jù)倉庫建模的原則兼顧效率與數(shù)據(jù)粒度的需要1支持需求的變化2避免對(duì)業(yè)務(wù)運(yùn)營(yíng)系統(tǒng)造成影響3滿足不同用戶的需要4考慮末來的可擴(kuò)展性52022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模的原則兼顧效率與數(shù)據(jù)粒度的需要1支持需求的變化2130數(shù)據(jù)倉庫建模的三個(gè)階段概念模型設(shè)計(jì)(ConceptDataModeling)：這一階段之前的首要工作是通過需求分析，明確需求所涵蓋的業(yè)務(wù)范圍。然后再對(duì)需求范圍內(nèi)的業(yè)務(wù)及其間關(guān)系進(jìn)行高度概括性的描述，把密切相關(guān)業(yè)務(wù)對(duì)象進(jìn)行歸類，即劃分主題域。概念模型的設(shè)計(jì)是為邏輯模型的設(shè)計(jì)做準(zhǔn)備，它沒有統(tǒng)一的標(biāo)準(zhǔn)，主要根據(jù)設(shè)計(jì)者的經(jīng)驗(yàn)。邏輯模型設(shè)計(jì)(LogicalDataModeling)：分別對(duì)概念模型的各個(gè)主題域進(jìn)行細(xì)化，根據(jù)業(yè)務(wù)定義、分類和規(guī)則，定義其中的實(shí)體并描述實(shí)體之間的關(guān)系，并產(chǎn)生實(shí)體關(guān)系圖（ERD），然后遵照規(guī)范化思想在實(shí)體關(guān)系的基礎(chǔ)上明確各個(gè)實(shí)體的屬性。實(shí)體產(chǎn)生于中國(guó)移動(dòng)開展的業(yè)務(wù)、服務(wù)及其涉及的對(duì)象（如客戶、帳戶、員工、機(jī)構(gòu)、資源），實(shí)體間的對(duì)應(yīng)、約束關(guān)系則來自于各業(yè)務(wù)過程中的規(guī)則。可以說，這一階段面對(duì)的是業(yè)務(wù)。

物理模型設(shè)計(jì)(PhysicalDataModeling)：物理模型設(shè)計(jì)主要依據(jù)邏輯模型針對(duì)具體的分析需求和物理平臺(tái)采取相應(yīng)的優(yōu)化策略。此時(shí)會(huì)在一定程度上增加數(shù)據(jù)冗余或者隱藏實(shí)體之間的關(guān)系或者進(jìn)行實(shí)體的合并和拆分，目的是提高數(shù)據(jù)分析的速度，適應(yīng)具體數(shù)據(jù)庫的容量、性能等限制?？梢哉f，這一階段面對(duì)的是具體軟硬件平臺(tái)和性能要求。一旦邏輯模型到位，物理模型就有了可參照的依據(jù)，開發(fā)工作內(nèi)容也同時(shí)得到明確。物理模型設(shè)計(jì)一般在架構(gòu)設(shè)計(jì)階段2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模的三個(gè)階段概念模型設(shè)計(jì)(ConceptData131數(shù)據(jù)倉庫系統(tǒng)所采用的建模流程概念模型為邏輯模型的設(shè)計(jì)作準(zhǔn)備，沒有統(tǒng)一標(biāo)準(zhǔn)，主要根據(jù)設(shè)計(jì)者經(jīng)驗(yàn)邏輯模型對(duì)概念模型的各個(gè)主題域進(jìn)行細(xì)化，根據(jù)業(yè)務(wù)定義、分類和規(guī)則，定義其中的實(shí)體并描述實(shí)體之間的關(guān)系，并產(chǎn)生實(shí)體關(guān)系圖（ERD）一旦邏輯模型到位，物理模型就有了可參照的依據(jù)，開發(fā)工作內(nèi)容也同時(shí)得到明確2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫系統(tǒng)所采用的建模流程概念模型為邏輯模型的設(shè)計(jì)作準(zhǔn)備，132數(shù)據(jù)倉庫概念模型

主題域的設(shè)計(jì)DW主題的劃分必須是基于需求的主題劃分，而不僅僅是基于已有查詢和報(bào)表數(shù)據(jù)的主題劃分DW主題是通過對(duì)業(yè)務(wù)人員的訪談，充分了解業(yè)務(wù)流程和信息使用需求為主要根源的DW主題的設(shè)計(jì)必須能夠滿足業(yè)務(wù)人員的內(nèi)在的分析需求DW主題設(shè)計(jì)的過程中，業(yè)務(wù)環(huán)節(jié)點(diǎn)分析是關(guān)鍵DW細(xì)化分析主題，解決指標(biāo)的歧義問題，為模型設(shè)計(jì)、數(shù)據(jù)提取、數(shù)據(jù)展現(xiàn)等多個(gè)方面奠定基礎(chǔ)2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫概念模型

主題域的設(shè)計(jì)DW主題的劃分必須是基于需求的133數(shù)據(jù)倉庫的數(shù)據(jù)模型系統(tǒng)記錄域（SystemofRecord）：這部分是主要的數(shù)據(jù)倉庫業(yè)務(wù)數(shù)據(jù)存儲(chǔ)區(qū)，數(shù)據(jù)模型在這里保證了數(shù)據(jù)的一致性。內(nèi)部管理域（Housekeeping）：這部分主要存儲(chǔ)數(shù)據(jù)倉庫用于內(nèi)部管理的元數(shù)據(jù)，數(shù)據(jù)模型在這里能夠幫助進(jìn)行統(tǒng)一的元數(shù)據(jù)的管理。匯總域（SummaryofArea）：這部分?jǐn)?shù)據(jù)來自于系統(tǒng)記錄域的匯總，數(shù)據(jù)模型在這里保證了分析域的主題分析的性能，滿足了部分的報(bào)表查詢。分析域（AnalysisArea）：這部分?jǐn)?shù)據(jù)模型主要用于各個(gè)業(yè)務(wù)部分的具體的主題業(yè)務(wù)分析。這部分?jǐn)?shù)據(jù)模型可以單獨(dú)存儲(chǔ)在相應(yīng)的數(shù)據(jù)集市中。反饋域（FeedbackArea）：可選項(xiàng)，這部分?jǐn)?shù)據(jù)模型主要用于相應(yīng)前端的反饋數(shù)據(jù)，數(shù)據(jù)倉庫可以視業(yè)務(wù)的需要設(shè)置這一區(qū)域。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的數(shù)據(jù)模型系統(tǒng)記錄域（SystemofRecor134數(shù)據(jù)模型的技術(shù)功能結(jié)構(gòu)劃分

分段存儲(chǔ)區(qū)（StagingArea）是為了保證數(shù)據(jù)移動(dòng)的順利進(jìn)行而開設(shè)的階段性數(shù)據(jù)存儲(chǔ)空間，它是業(yè)務(wù)系統(tǒng)原始數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫前的緩存區(qū)?；A(chǔ)數(shù)據(jù)倉庫根據(jù)業(yè)務(wù)需求的不同，基礎(chǔ)數(shù)據(jù)倉庫的組織形式以三范式模型為主，在有的系統(tǒng)中也可能采用星型或雪花模型。數(shù)據(jù)集市（DataMart）數(shù)據(jù)集市中的數(shù)據(jù)通常由基礎(chǔ)數(shù)據(jù)倉庫的詳細(xì)數(shù)據(jù)聚合而來，根據(jù)數(shù)據(jù)聚合程度的不同包含輕度聚合、中度聚合和高度聚合三種不同的層次。匯總的方式將依據(jù)數(shù)據(jù)量的大小和使用頻度綜合考慮2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)模型的技術(shù)功能結(jié)構(gòu)劃分分段存儲(chǔ)區(qū)（StagingAr135數(shù)據(jù)倉庫的模型—關(guān)系模型2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的模型—關(guān)系模型2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)136數(shù)據(jù)倉庫的模型—星型模型通過數(shù)據(jù)預(yù)連接和建立有選擇的數(shù)據(jù)冗余，設(shè)計(jì)者為訪問和分析過程大大簡(jiǎn)化了數(shù)據(jù)。星型連接應(yīng)用于設(shè)計(jì)數(shù)據(jù)倉庫中很大的實(shí)體，而數(shù)據(jù)模型則應(yīng)用于數(shù)據(jù)倉庫中較小的實(shí)體。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的模型—星型模型通過數(shù)據(jù)預(yù)連接和建立有選擇的數(shù)據(jù)冗余137數(shù)據(jù)倉庫的模型—雪花模型許多維度存在著比較復(fù)雜的結(jié)構(gòu)，它們有的還具有多層的層次結(jié)構(gòu)。因此，很難將這樣的維表只采用一個(gè)關(guān)系表的形式表達(dá)出來，必須將這些維表規(guī)范成有多個(gè)外鍵關(guān)聯(lián)的關(guān)系表2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫的模型—雪花模型許多維度存在著比較復(fù)雜的結(jié)構(gòu)，它們有138星型模型VS雪花模型比較項(xiàng)目?jī)?yōu)點(diǎn)缺點(diǎn)星型模式1.查詢效率高，事實(shí)表作連接時(shí)其速度較快;2.便于用戶理解。比較直觀，通過分析星形模式，很容易組合出各種查詢?cè)黾恿舜鎯?chǔ)空間雪花模式1.在一定程度上減少了存儲(chǔ)空間2.規(guī)范化的結(jié)構(gòu)更容易更新和維護(hù)1.比較復(fù)雜，用戶不容易理解;2.瀏覽內(nèi)容相對(duì)困難3.額外的連接將使查詢性能下降2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)星型模型VS雪花模型比較項(xiàng)目?jī)?yōu)點(diǎn)缺點(diǎn)星型模式1.查詢效率139寬表橫表與縱表處理方便性與業(yè)務(wù)支撐靈活性的差異寬表在橫表的基礎(chǔ)上拓展，強(qiáng)化處理方便性開放給業(yè)務(wù)人員使用，直接解決業(yè)務(wù)問題單條記錄包括用戶基本信息、產(chǎn)品選擇和使用量、費(fèi)用信息2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)寬表橫表與縱表2022/12/17數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)140數(shù)據(jù)倉庫建模方法—范式建模法優(yōu)點(diǎn):從關(guān)系型數(shù)據(jù)庫的角度出發(fā)，結(jié)合了業(yè)務(wù)系統(tǒng)的數(shù)據(jù)模型，能夠比較方便的實(shí)現(xiàn)數(shù)據(jù)倉庫的建模缺點(diǎn):在某些時(shí)候反而限制了整個(gè)數(shù)據(jù)倉庫模型的靈活性，性能等2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模方法—范式建模法優(yōu)點(diǎn):從關(guān)系型數(shù)據(jù)庫的角度出發(fā)141數(shù)據(jù)倉庫建模方法—維度建模法優(yōu)點(diǎn):維度建模非常直觀，緊緊圍繞著業(yè)務(wù)模型，可以直觀的反映出業(yè)務(wù)模型中的業(yè)務(wù)問題缺點(diǎn):如果只是依靠單純的維度建模，不能保證數(shù)據(jù)來源的一致性和準(zhǔn)確性2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模方法—維度建模法優(yōu)點(diǎn):維度建模非常直觀，緊緊圍繞142數(shù)據(jù)倉庫建模方法—實(shí)體建模法優(yōu)點(diǎn):能夠很輕松的實(shí)現(xiàn)業(yè)務(wù)模型的劃分，因此，在業(yè)務(wù)建模階段和領(lǐng)域概念建模階段，實(shí)體建模法有著廣泛的應(yīng)用缺點(diǎn):不太適用于物理建模2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模方法—實(shí)體建模法優(yōu)點(diǎn):能夠很輕松的實(shí)現(xiàn)業(yè)務(wù)模型的143數(shù)據(jù)倉庫建模的十大戒律1)

必須回答緊迫的問題；2)

必須有正確的事實(shí)表；3)

將有正確的維表，描述必須按最終用戶的業(yè)務(wù)術(shù)語表達(dá)；4)

必須理解數(shù)據(jù)倉庫所影響的公司過程或影響數(shù)據(jù)倉庫的公司過程；5)

對(duì)于事實(shí)表，應(yīng)該有正確的“粒度”；6)

根據(jù)需要存儲(chǔ)正確長(zhǎng)度的公司歷史數(shù)據(jù)；7)

以一種對(duì)于公司有意義的方式來集成所有必要的數(shù)據(jù)；8)

創(chuàng)建必要的總結(jié)表；9)

創(chuàng)建必要的索引；10)

能夠加載數(shù)據(jù)倉庫數(shù)據(jù)庫并使它以一種適宜的方式可用。2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫建模的十大戒律1)

必須回答緊迫的問題；2022/1144數(shù)據(jù)倉庫緩慢變化維的一個(gè)案例一個(gè)案例在一個(gè)零售業(yè)數(shù)據(jù)倉庫中，事實(shí)表保存著各銷售人員的銷售記錄，某天一個(gè)銷售人員從北京分公司調(diào)到上海分公司了，那么如何來保存這個(gè)變化呢？也就是說銷售人員維度要怎么恰當(dāng)?shù)奶幚磉@一變化。如果我們要統(tǒng)計(jì)北京地區(qū)或上海地區(qū)的總銷售情況的時(shí)候，這個(gè)銷售人員的銷售記錄應(yīng)該算在北京還是算在上海？當(dāng)然是調(diào)離前的算在北京，調(diào)離后的算在上海,但是如標(biāo)記這個(gè)銷售人員所屬區(qū)域？這里就需要處理一下這個(gè)維度的數(shù)據(jù)，即我們緩慢變化維需要做的事情。

2022/12/23數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)及開發(fā)數(shù)據(jù)倉庫緩慢變化維的一個(gè)案例一個(gè)案例2022/12/17數(shù)145數(shù)據(jù)倉庫緩慢變化維的解決方案新數(shù)據(jù)覆蓋舊數(shù)據(jù)保存多條記錄，并添加字段加以區(qū)分．添加記錄的生效日期和失效日期來標(biāo)識(shí)新舊數(shù)據(jù)

不同字段保存不同值

，這種方法用不同的字段保存變化痕跡.但是這種方法不能象第二種方法一樣保存所有變化記錄,它只能保存兩次變化記錄.適用于變化不超過兩次的維度。另外建表保存歷史記錄，而維度只保存當(dāng)前數(shù)據(jù)