數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的設(shè)計(jì)及開發(fā)

1、版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日1 2. 3. 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)數(shù)據(jù)建模 最佳實(shí)踐構(gòu)建高性能的數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)ETL設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)建模過(guò)程 日程安排日程安排 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)界面設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)應(yīng)用過(guò)程 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日2 1)能夠很好的分離出底層技術(shù)的實(shí)現(xiàn)和上層業(yè) 務(wù)的展現(xiàn) 2)當(dāng)上層業(yè)務(wù)發(fā)生變化時(shí)，通過(guò)數(shù)據(jù)模型， 底層技術(shù)實(shí)現(xiàn)可以較為輕松的完成業(yè)務(wù)的變 動(dòng)，從而達(dá)到整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的靈活性 1)能夠全面了解業(yè)務(wù)系統(tǒng)的業(yè)務(wù)架構(gòu)圖和整 個(gè)業(yè)務(wù)運(yùn)行情況 2) 能夠?qū)I(yè)務(wù)按照特定的規(guī)律進(jìn)行分門別 類和程序化 1) 建立全

2、方法的數(shù)據(jù)視角； 2)保證整個(gè)企業(yè)的數(shù)據(jù)的一致性； 3)消除各個(gè)部門之間的信息孤島； 為什么需要數(shù)據(jù)模型為什么需要數(shù)據(jù)模型 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日3 數(shù)據(jù)倉(cāng)庫(kù)建模人員所需的技能和能力數(shù)據(jù)倉(cāng)庫(kù)建模人員所需的技能和能力 分析能力 見樹又見林 模擬 論證 學(xué)習(xí)能力 抽象 綜合 交流能力 組交互 演示 調(diào)查訪談 原型設(shè)計(jì)能力 企業(yè)體系架構(gòu) 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日4 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)建模的要點(diǎn)和原則數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)建模的要點(diǎn)和原則 建模原則 選擇創(chuàng)建什么模型對(duì)如何動(dòng)手解決問(wèn)題和如何解決 方案有深遠(yuǎn)影響 每一種模型可以在不同的精度級(jí)別上表

3、示 最好的模型是與現(xiàn)實(shí)相聯(lián)系 單個(gè)模型不充分，需要一組模型去處理 建模的要點(diǎn) 正確認(rèn)識(shí)建模方法論 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日5 利用圖形來(lái)建立數(shù)據(jù)模型利用圖形來(lái)建立數(shù)據(jù)模型 圖形具有直觀性、簡(jiǎn)單性以及可理解性等優(yōu)點(diǎn) 圖形能自然地表達(dá)客觀世界 理解圖中路徑探索 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日6 什么是數(shù)據(jù)模型什么是數(shù)據(jù)模型 業(yè)務(wù)建模，生成業(yè)務(wù)模型，主要解決業(yè)務(wù)層面的分解和程 序化。 領(lǐng)域建模，生成概念模型，主要是對(duì)業(yè)務(wù)模型進(jìn)行抽象處 理，生成領(lǐng)域概念模型。 邏輯建模，生成邏輯模型，主要是將領(lǐng)域模型的概念實(shí)體 以及實(shí)體之間的關(guān)系進(jìn)行數(shù)

4、據(jù)庫(kù)層次的邏輯化。 物理建模，生成物理模型，主要解決，邏輯模型針對(duì)不同 關(guān)系型數(shù)據(jù)庫(kù)的物理化以及性能等一些具體的技術(shù)問(wèn)題。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日7 思考思考 需求建模與業(yè)務(wù)建模 需求建模與業(yè)務(wù)建模誰(shuí)先誰(shuí)后？ 軟件開發(fā)過(guò)程是否應(yīng)該是：業(yè)務(wù)調(diào)研，業(yè)務(wù)建模 (業(yè)務(wù)分析)，(業(yè)務(wù)模型分析)需求調(diào)研（這時(shí)，已 經(jīng)有一部分需求可從業(yè)務(wù)模型中獲得）, 需求建模， 需求分析 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日8 業(yè)務(wù)建模業(yè)務(wù)建模組織結(jié)構(gòu)分析組織結(jié)構(gòu)分析 版權(quán)所有：天津市易普際科技發(fā)展有限公司 組織結(jié)構(gòu)組織結(jié)構(gòu),用戶及權(quán)限的分析用戶及權(quán)限的分析

5、客戶組織結(jié)構(gòu)的分析 n公司組織機(jī)構(gòu) n區(qū)域位置 n集團(tuán)/省/地市 用戶的分析 n用戶 n組 n角色 權(quán)限的分析 n功能權(quán)限分析 n數(shù)據(jù)權(quán)限分析 2021年6月15日9 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日星期二10 例：三大運(yùn)營(yíng)商的組織架構(gòu)調(diào)整 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日11 業(yè)務(wù)建模業(yè)務(wù)建模業(yè)務(wù)流程分析業(yè)務(wù)流程分析 版權(quán)所有：天津市易普際科技發(fā)展有限公司 什么是業(yè)務(wù)流程什么是業(yè)務(wù)流程 2021年6月15日12 版權(quán)所有：天津市易普際科技發(fā)展有限公司 業(yè)務(wù)流程分析的內(nèi)容業(yè)務(wù)流程分析的內(nèi)容 （1）原有流程的分析。 （2）業(yè)務(wù)流程的優(yōu)化。

6、（3）確定新的業(yè)務(wù)流程 （4）新系統(tǒng)的人機(jī)界面。 2021年6月15日13 版權(quán)所有：天津市易普際科技發(fā)展有限公司 業(yè)務(wù)流程分析的步驟業(yè)務(wù)流程分析的步驟 1.系統(tǒng)環(huán)境調(diào)查 2. 組織機(jī)構(gòu)和職責(zé)的調(diào)查 3.功能體系的調(diào)查與分析 4.管理業(yè)務(wù)流程的調(diào)查與分析 2021年6月15日14 版權(quán)所有：天津市易普際科技發(fā)展有限公司 案例學(xué)習(xí)：案例學(xué)習(xí)： 新業(yè)務(wù)客戶服務(wù)業(yè)務(wù)流程新業(yè)務(wù)客戶服務(wù)業(yè)務(wù)流程新業(yè)務(wù)查詢流程新業(yè)務(wù)查詢流程 2021年6月15日15 版權(quán)所有：天津市易普際科技發(fā)展有限公司 業(yè)務(wù)流程可以代替業(yè)務(wù)建模嗎業(yè)務(wù)流程可以代替業(yè)務(wù)建模嗎 在業(yè)務(wù)流程的背后，有一個(gè)更加根本的因素商業(yè)需求。商業(yè)需求 才是

7、真正的業(yè)務(wù)模型，業(yè)務(wù)流程只是一種實(shí)現(xiàn)手段而已。 例：新用戶入網(wǎng)業(yè)務(wù)流程： 1：首先把SIM卡和號(hào)碼在交換網(wǎng)絡(luò)上做對(duì)應(yīng)關(guān)系的注冊(cè)； 2：市場(chǎng)部把SIM卡存入一定的金額，發(fā)給銷售商，收取銷售商的貨款； 3：銷售商把卡賣給用戶，用戶填寫入網(wǎng)合同，SIM裝入手機(jī)可以立即 通話； 4：銷售商把入網(wǎng)合同交給市場(chǎng)部，市場(chǎng)部資料錄入人員將用戶的資料 錄入系統(tǒng)； 5：計(jì)費(fèi)系統(tǒng)按照用戶選擇的資費(fèi)對(duì)話單進(jìn)行計(jì)費(fèi)； 6、市場(chǎng)部按照用戶的消費(fèi)情況給銷售商計(jì)算傭金和返利。 思考：真正的業(yè)務(wù)模型(需求)是什么？ 2021年6月15日16 版權(quán)所有：天津市易普際科技發(fā)展有限公司 從業(yè)務(wù)流程中提取概念和邏輯模型從業(yè)務(wù)流程中提取

8、概念和邏輯模型 心得體會(huì)： 看到背后的商業(yè)需求，你會(huì)發(fā)現(xiàn)模型原來(lái)非常穩(wěn)定 不需要急于知道所有的細(xì)節(jié)性的需求，只要了解比較重要的20的需求 2021年6月15日17 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日18 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型- 星型模型與雪花模型星型模型與雪花模型 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日19 數(shù)據(jù)倉(cāng)庫(kù)建模的原則數(shù)據(jù)倉(cāng)庫(kù)建模的原則 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日20 數(shù)據(jù)倉(cāng)庫(kù)建模的三個(gè)階段數(shù)據(jù)倉(cāng)庫(kù)建模的三個(gè)階段 概念模型設(shè)計(jì)概念模型設(shè)計(jì)(Concept Data Modeling)： 這一階

9、段之前的首要工作是通過(guò)需求分析，明確需求所涵蓋的業(yè)務(wù)范圍。然后再 對(duì)需求范圍內(nèi)的業(yè)務(wù)及其間關(guān)系進(jìn)行高度概括性的描述，把密切相關(guān)業(yè)務(wù)對(duì)象進(jìn) 行歸類，即劃分主題域。 概念模型的設(shè)計(jì)是為邏輯模型的設(shè)計(jì)做準(zhǔn)備，它沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)，主要根據(jù)設(shè)計(jì) 者的經(jīng)驗(yàn)。 邏輯模型設(shè)計(jì)邏輯模型設(shè)計(jì)(Logical Data Modeling)： 分別對(duì)概念模型的各個(gè)主題域進(jìn)行細(xì)化，根據(jù)業(yè)務(wù)定義、分類和規(guī)則，定義其中的實(shí)體并描 述實(shí)體之間的關(guān)系，并產(chǎn)生實(shí)體關(guān)系圖（ERD），然后遵照規(guī)范化思想在實(shí)體關(guān)系的基礎(chǔ)上 明確各個(gè)實(shí)體的屬性。實(shí)體產(chǎn)生于中國(guó)移動(dòng)開展的業(yè)務(wù)、服務(wù)及其涉及的對(duì)象（如客戶、帳 戶、員工、機(jī)構(gòu)、資源），實(shí)體間的

10、對(duì)應(yīng)、約束關(guān)系則來(lái)自于各業(yè)務(wù)過(guò)程中的規(guī)則?？梢哉f(shuō)， 這一階段面對(duì)的是業(yè)務(wù)。 物理模型設(shè)計(jì)物理模型設(shè)計(jì)(Physical Data Modeling)： n物理模型設(shè)計(jì)主要依據(jù)邏輯模型針對(duì)具體的分析需求和物理平臺(tái)采取相應(yīng)的優(yōu)化策略。此時(shí) 會(huì)在一定程度上增加數(shù)據(jù)冗余或者隱藏實(shí)體之間的關(guān)系或者進(jìn)行實(shí)體的合并和拆分，目的是 提高數(shù)據(jù)分析的速度，適應(yīng)具體數(shù)據(jù)庫(kù)的容量、性能等限制。可以說(shuō)，這一階段面對(duì)的是具 體軟硬件平臺(tái)和性能要求。 n一旦邏輯模型到位，物理模型就有了可參照的依據(jù)，開發(fā)工作內(nèi)容也同時(shí)得到明確。 n物理模型設(shè)計(jì)一般在架構(gòu)設(shè)計(jì)階段 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日2

11、1 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)所采用的建模流程數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)所采用的建模流程 概念模型為邏輯模 型的設(shè)計(jì)作準(zhǔn)備， 沒(méi)有統(tǒng)一標(biāo)準(zhǔn)，主 要根據(jù)設(shè)計(jì)者經(jīng)驗(yàn) 邏輯模型對(duì)概念模 型的各個(gè)主題域進(jìn) 行細(xì)化，根據(jù)業(yè)務(wù) 定義、分類和規(guī)則， 定義其中的實(shí)體并 描述實(shí)體之間的關(guān) 系，并產(chǎn)生實(shí)體關(guān) 系圖（ERD） 一旦邏輯模型到位， 物理模型就有了可 參照的依據(jù)，開發(fā) 工作內(nèi)容也同時(shí)得 到明確 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日22 數(shù)據(jù)倉(cāng)庫(kù)概念模型數(shù)據(jù)倉(cāng)庫(kù)概念模型 主題域的設(shè)計(jì)主題域的設(shè)計(jì) DW主題的劃分必須是基于需求的主題劃分，而不 僅僅是基于已有查詢和報(bào)表數(shù)據(jù)的主題劃分 DW主題是通過(guò)對(duì)業(yè)務(wù)人員的訪

12、談，充分了解業(yè)務(wù) 流程和信息使用需求為主要根源的 DW主題的設(shè)計(jì)必須能夠滿足業(yè)務(wù)人員的內(nèi)在的分 析需求 DW主題設(shè)計(jì)的過(guò)程中，業(yè)務(wù)環(huán)節(jié)點(diǎn)分析是關(guān)鍵 DW細(xì)化分析主題，解決指標(biāo)的歧義問(wèn)題，為模型 設(shè)計(jì)、數(shù)據(jù)提取、數(shù)據(jù)展現(xiàn)等多個(gè)方面奠定基礎(chǔ) 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日23 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型 系統(tǒng)記錄域（System of Record）：這部分是主要的數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)數(shù)據(jù)存儲(chǔ) 區(qū)，數(shù)據(jù)模型在這里保證了數(shù)據(jù)的一致性。 內(nèi)部管理域（Housekeeping）：這部分主要存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)用于內(nèi)部管理的元 數(shù)據(jù)，數(shù)據(jù)模型在這里能夠幫助進(jìn)行統(tǒng)一的元數(shù)據(jù)的管理。

13、匯總域（Summary of Area）：這部分?jǐn)?shù)據(jù)來(lái)自于系統(tǒng)記錄域的匯總，數(shù)據(jù) 模型在這里保證了分析域的主題分析的性能，滿足了部分的報(bào)表查詢。 分析域（Analysis Area）：這部分?jǐn)?shù)據(jù)模型主要用于各個(gè)業(yè)務(wù)部分的具體的 主題業(yè)務(wù)分析。這部分?jǐn)?shù)據(jù)模型可以單獨(dú)存儲(chǔ)在相應(yīng)的數(shù)據(jù)集市中。 反饋域（Feedback Area）：可選項(xiàng)，這部分?jǐn)?shù)據(jù)模型主要用于相應(yīng)前端的反 饋數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)可以視業(yè)務(wù)的需要設(shè)置這一區(qū)域。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日24 數(shù)據(jù)模型的技術(shù)功能結(jié)構(gòu)劃分 分段存儲(chǔ)區(qū)（Staging Area） 是為了保證數(shù)據(jù)移動(dòng)的順利進(jìn)行而開 設(shè)的階段性數(shù)

14、據(jù)存儲(chǔ)空間，它是業(yè)務(wù) 系統(tǒng)原始數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)前的緩存 區(qū)。 基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù) 根據(jù)業(yè)務(wù)需求的不同，基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的 組織形式以三范式模型為主，在有的系 統(tǒng)中也可能采用星型或雪花模型。 數(shù)據(jù)集市（Data Mart） 數(shù)據(jù)集市中的數(shù)據(jù)通常由基礎(chǔ)數(shù)據(jù)倉(cāng) 庫(kù)的詳細(xì)數(shù)據(jù)聚合而來(lái)，根據(jù)數(shù)據(jù)聚 合程度的不同包含輕度聚合、中度聚 合和高度聚合三種不同的層次。匯總 的方式將依據(jù)數(shù)據(jù)量的大小和使用頻 度綜合考慮 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日25 數(shù)據(jù)倉(cāng)庫(kù)的模型數(shù)據(jù)倉(cāng)庫(kù)的模型關(guān)系模型關(guān)系模型 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日26 數(shù)據(jù)倉(cāng)庫(kù)的模型數(shù)據(jù)倉(cāng)庫(kù)的模型

15、星型模型星型模型 通過(guò)數(shù)據(jù)預(yù)連接和建立有選擇的數(shù)據(jù)冗余，設(shè)計(jì)者為訪問(wèn)和分析過(guò)程大大簡(jiǎn)化了數(shù)據(jù)。 星型連接應(yīng)用于設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中很大的實(shí)體，而數(shù)據(jù)模型則應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)中較小的實(shí) 體。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日27 數(shù)據(jù)倉(cāng)庫(kù)的模型數(shù)據(jù)倉(cāng)庫(kù)的模型雪花模型雪花模型 許多維度存在著比較復(fù)雜的結(jié)構(gòu)，它們有的還具有多層的層次結(jié)構(gòu)。 因此，很難將這樣的維表只采用一個(gè)關(guān)系表的形式表達(dá)出來(lái)，必須將 這些維表規(guī)范成有多個(gè)外鍵關(guān)聯(lián)的關(guān)系表 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日28 星型模型星型模型 VS 雪花模型雪花模型 比較項(xiàng)目比較項(xiàng)目?jī)?yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn) 星型

16、模式1.查詢效率高，事實(shí)表作連接時(shí)其 速度較快; 2.便于用戶理解。比較直觀，通過(guò) 分析星形模式，很容易組合出各 種查詢 增加了存儲(chǔ)空間 雪花模式1.在一定程度上減少了存儲(chǔ)空間2. 規(guī)范化的結(jié)構(gòu)更容易更新和維護(hù) 1.比較復(fù)雜，用戶不容 易理解; 2.瀏覽內(nèi)容相對(duì)困難3. 額外的連接將使查詢 性能下降 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日29 寬表寬表 橫表與縱表 處理方便性與業(yè)務(wù)支撐靈活性的差異 寬表 在橫表的基礎(chǔ)上拓展，強(qiáng)化處理方便性 開放給業(yè)務(wù)人員使用，直接解決業(yè)務(wù)問(wèn)題 單條記錄包括用戶基本信息、產(chǎn)品選擇和使用量 、費(fèi)用信息 明細(xì)帳單表1 PK account_da

17、te PK user_id PK account_id PK item_id item_fee item_favour 明細(xì)帳單表2 PK account_date PK user_id PK account_id base_fee toll_fee message_fee other_fee . 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日30 數(shù)據(jù)倉(cāng)庫(kù)建模方法數(shù)據(jù)倉(cāng)庫(kù)建模方法范式建模法范式建模法 優(yōu)點(diǎn): 從關(guān)系型數(shù)據(jù)庫(kù)的角度出發(fā)，結(jié)合了業(yè)務(wù)系統(tǒng)的數(shù)據(jù)模型，能夠 比較方便的實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的建模 缺點(diǎn): 在某些時(shí)候反而限制了整個(gè)數(shù)據(jù)倉(cāng)庫(kù)模型的靈活性，性能等 版權(quán)所有：天津市易普際

18、科技發(fā)展有限公司 2021年6月15日31 數(shù)據(jù)倉(cāng)庫(kù)建模方法數(shù)據(jù)倉(cāng)庫(kù)建模方法維度建模法維度建模法 優(yōu)點(diǎn):維度建模非常直觀，緊緊圍繞著業(yè)務(wù)模型，可以直觀的反映出業(yè) 務(wù)模型中的業(yè)務(wù)問(wèn)題 缺點(diǎn):如果只是依靠單純的維度建模，不能保證數(shù)據(jù)來(lái)源的一致性和準(zhǔn) 確性 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日32 數(shù)據(jù)倉(cāng)庫(kù)建模方法數(shù)據(jù)倉(cāng)庫(kù)建模方法實(shí)體建模法實(shí)體建模法 優(yōu)點(diǎn):能夠很輕松的實(shí)現(xiàn)業(yè)務(wù)模型的劃分，因此，在業(yè)務(wù)建模階段和領(lǐng) 域概念建模階段，實(shí)體建模法有著廣泛的應(yīng)用 缺點(diǎn):不太適用于物理建模 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日33 數(shù)據(jù)倉(cāng)庫(kù)建模的十大戒律數(shù)據(jù)倉(cāng)庫(kù)

19、建模的十大戒律 1)必須回答緊迫的問(wèn)題； 2)必須有正確的事實(shí)表； 3)將有正確的維表，描述必須按最終用戶的業(yè)務(wù)術(shù)語(yǔ)表達(dá)； 4)必須理解數(shù)據(jù)倉(cāng)庫(kù)所影響的公司過(guò)程或影響數(shù)據(jù)倉(cāng)庫(kù)的公司過(guò)程； 5)對(duì)于事實(shí)表，應(yīng)該有正確的“粒度”； 6)根據(jù)需要存儲(chǔ)正確長(zhǎng)度的公司歷史數(shù)據(jù)； 7)以一種對(duì)于公司有意義的方式來(lái)集成所有必要的數(shù)據(jù)； 8)創(chuàng)建必要的總結(jié)表； 9)創(chuàng)建必要的索引； 10)能夠加載數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)并使它以一種適宜的方式可用。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日34 數(shù)據(jù)倉(cāng)庫(kù)緩慢變化維的一個(gè)案例數(shù)據(jù)倉(cāng)庫(kù)緩慢變化維的一個(gè)案例 一個(gè)案例 在一個(gè)零售業(yè)數(shù)據(jù)倉(cāng)庫(kù)中，事實(shí)表保存著各

20、銷售人員的銷 售記錄，某天一個(gè)銷售人員從北京分公司調(diào)到上海分公司 了，那么如何來(lái)保存這個(gè)變化呢？也就是說(shuō)銷售人員維度 要怎么恰當(dāng)?shù)奶幚磉@一變化。 如果我們要統(tǒng)計(jì)北京地區(qū)或上海地區(qū)的總銷售情況的時(shí)候， 這個(gè)銷售人員的銷售記錄應(yīng)該算在北京還是算在上海？ 當(dāng)然是調(diào)離前的算在北京，調(diào)離后的算在上海,但是如標(biāo)記 這個(gè)銷售人員所屬區(qū)域？這里就需要處理一下這個(gè)維度的 數(shù)據(jù)，即我們緩慢變化維需要做的事情。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日35 數(shù)據(jù)倉(cāng)庫(kù)緩慢變化維的解決方案數(shù)據(jù)倉(cāng)庫(kù)緩慢變化維的解決方案 新數(shù)據(jù)覆蓋舊數(shù)據(jù) 保存多條記錄，并添加字段加以區(qū)分添加記錄的 生效日期和失效日期來(lái)

21、標(biāo)識(shí)新舊數(shù)據(jù) 不同字段保存不同值，這種方法用不同的字段保 存變化痕跡.但是這種方法不能象第二種方法一樣 保存所有變化記錄,它只能保存兩次變化記錄.適用 于變化不超過(guò)兩次的維度。 另外建表保存歷史記錄，而維度只保存當(dāng)前數(shù)據(jù) 混合模式 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日36 數(shù)據(jù)倉(cāng)庫(kù)建模數(shù)據(jù)倉(cāng)庫(kù)建模_案例案例 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日37 案例：怎樣構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)模型案例：怎樣構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)模型 確定主題域 確定主題域及各主題域之間的關(guān)系 確定主題域的業(yè)務(wù)數(shù)據(jù) 確定業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體 確定業(yè)務(wù)實(shí)體之間的關(guān)系 確定物理模型 版權(quán)所有：天津市

22、易普際科技發(fā)展有限公司 2021年6月15日38 確定確定主題域及各主題域之間的關(guān)系主題域及各主題域之間的關(guān)系 服務(wù)通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn) / 網(wǎng)絡(luò)支持服務(wù) 網(wǎng)絡(luò)產(chǎn)生事件 / 事件包括網(wǎng)絡(luò)類 產(chǎn)品被銷售給客戶 / 參與人使用和管理產(chǎn)品 跟蹤應(yīng)付&應(yīng)收/提供成本&收入歷史 事件包含財(cái)務(wù)類 參與人產(chǎn)生和經(jīng)歷事件 / 事件包括參與人的 產(chǎn)品/服務(wù)產(chǎn)生事件 事件包括產(chǎn)品類 營(yíng)銷產(chǎn)生事件 事件實(shí)現(xiàn)營(yíng)銷 營(yíng)銷被鎖定位置 / 位置定位 營(yíng)銷針對(duì)特定產(chǎn)品 / 產(chǎn)品通過(guò)營(yíng)銷推向市場(chǎng) 為參與人建立帳戶、帳單 / 記錄帳戶、成本和付款 服務(wù)使用的帳務(wù)信息 / 帳務(wù)記錄產(chǎn)品的成本和付款 定位網(wǎng)絡(luò)/ 網(wǎng)絡(luò)支持的位置 營(yíng)銷的目標(biāo)針

23、對(duì)參與人 / 參與人是營(yíng)銷的受眾 包括消費(fèi)者和運(yùn)營(yíng)商在內(nèi)/ 位置定位 Finance Management （財(cái)務(wù)管理）（財(cái)務(wù)管理） BILLING （帳務(wù)）（帳務(wù)） NETWORK （網(wǎng)絡(luò)資源）（網(wǎng)絡(luò)資源） PRODUCT （產(chǎn)品）（產(chǎn)品） MARKETING （市場(chǎng)營(yíng)銷）（市場(chǎng)營(yíng)銷） LOCATION （地域）（地域） PARTY （參與人）（參與人） EVENT (事件事件) 跟蹤總帳/負(fù)責(zé) 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日39 基基 本本 結(jié)結(jié) 構(gòu)構(gòu)特特 征征獎(jiǎng)獎(jiǎng) 勵(lì)勵(lì)隱隱 私私 參與人主題描述了和電信運(yùn)營(yíng)商有著業(yè)務(wù)聯(lián)系的參與人主題描述了和電信運(yùn)營(yíng)商有著業(yè)務(wù)

24、聯(lián)系的 任何個(gè)人、企業(yè)、組織、團(tuán)體等。任何個(gè)人、企業(yè)、組織、團(tuán)體等。 確定主題域的業(yè)務(wù)數(shù)據(jù)確定主題域的業(yè)務(wù)數(shù)據(jù) 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日40 參與人間參與人間 關(guān)聯(lián)關(guān)聯(lián) 參與人角色參與人角色 組織組織 層次結(jié)構(gòu)層次結(jié)構(gòu) 層次結(jié)構(gòu)層次結(jié)構(gòu) 級(jí)別級(jí)別 層次結(jié)構(gòu)層次結(jié)構(gòu) 類型類型 商業(yè)組織商業(yè)組織內(nèi)部組織內(nèi)部組織 標(biāo)準(zhǔn)分類標(biāo)準(zhǔn)分類 代碼代碼 確定基本結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)實(shí)體及關(guān)系確定基本結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)實(shí)體及關(guān)系 參與人：和電信運(yùn)營(yíng)商有參與人：和電信運(yùn)營(yíng)商有 著業(yè)務(wù)聯(lián)系的任何個(gè)人、著業(yè)務(wù)聯(lián)系的任何個(gè)人、 組織機(jī)構(gòu)、家庭和虛擬客組織機(jī)構(gòu)、家庭和虛擬客 戶戶 。 例：

25、例： 財(cái)務(wù)財(cái)務(wù) 市場(chǎng)營(yíng)銷市場(chǎng)營(yíng)銷 網(wǎng)管網(wǎng)管 例：例： 客戶客戶 潛在客戶潛在客戶 電信運(yùn)營(yíng)商電信運(yùn)營(yíng)商 代理商代理商 供應(yīng)商供應(yīng)商 管理者管理者 雇主雇主 職工職工 個(gè)人個(gè)人家庭家庭組織組織 參參 與與 人人 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日41 特征特征符合程度符合程度特征特征類別值類別值 客客 戶戶 特特 征征帳帳 戶戶 特特 征征 特特 征征 類類 別別 例：例： 個(gè)人喜好個(gè)人喜好 信用類信息信用類信息 家庭類信息家庭類信息 教育類信息教育類信息 職業(yè)類信息職業(yè)類信息 機(jī)構(gòu)類信息機(jī)構(gòu)類信息 例：例： 信用等級(jí)信用等級(jí) 職業(yè)狀態(tài)職業(yè)狀態(tài) 收入收入 子女?dāng)?shù)子女?dāng)?shù)

26、教育程度教育程度 特特 征征 分分 組組 完全符合完全符合 部分符合部分符合 不符合不符合 確定特征業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體及關(guān)系確定特征業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體及關(guān)系 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日42 獎(jiǎng)勵(lì)計(jì)劃管理獎(jiǎng)勵(lì)計(jì)劃管理 參與人角色參與人角色 獎(jiǎng)勵(lì)目標(biāo)客戶群獎(jiǎng)勵(lì)目標(biāo)客戶群 目目 標(biāo)標(biāo) 群群獎(jiǎng)獎(jiǎng) 勵(lì)勵(lì) 等等 級(jí)級(jí)獎(jiǎng)獎(jiǎng) 勵(lì)勵(lì) 類類 型型 參與人參與人 獎(jiǎng)勵(lì)歷史記錄獎(jiǎng)勵(lì)歷史記錄 獎(jiǎng)獎(jiǎng) 勵(lì)勵(lì) 計(jì)計(jì) 劃劃 獎(jiǎng)勵(lì)計(jì)劃：記錄電信獎(jiǎng)勵(lì)計(jì)劃：記錄電信 運(yùn)營(yíng)商向客戶提供獎(jiǎng)運(yùn)營(yíng)商向客戶提供獎(jiǎng) 勵(lì)和回報(bào)的歷史。勵(lì)和回報(bào)的歷史。 確定獎(jiǎng)勵(lì)業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體及關(guān)系確定獎(jiǎng)勵(lì)業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)

27、實(shí)體及關(guān)系 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日43 隱私信息隱私信息 類別類別 同意周期同意周期 組織隱私組織隱私 策略信息策略信息 參與人帳戶參與人帳戶 隱私信息隱私信息 帳戶同意帳戶同意 等級(jí)信息等級(jí)信息 參與人同意參與人同意 等級(jí)信息等級(jí)信息 參與人參與人 隱私信息隱私信息 隱私信息類別隱私信息類別 確定隱私業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體及關(guān)系確定隱私業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)實(shí)體及關(guān)系 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日44 業(yè)務(wù)系統(tǒng)與業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)模型的數(shù)據(jù)倉(cāng)庫(kù)模型的映射映射 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日45 數(shù)據(jù)倉(cāng)

28、庫(kù)建模數(shù)據(jù)倉(cāng)庫(kù)建模_案例實(shí)踐案例實(shí)踐 版權(quán)所有：天津市易普際科技發(fā)展有限公司 國(guó)內(nèi)社保行業(yè)背景 2021年6月15日46 n目前我們國(guó)家的社保主要分為養(yǎng)老，失業(yè)，工傷， 生育，醫(yī)療保險(xiǎn)和勞動(dòng)力市場(chǎng)這 6 大塊主要業(yè)務(wù)領(lǐng) 域。 n在這 6 大業(yè)務(wù)領(lǐng)域中，目前的狀況養(yǎng)老和事業(yè)的系 統(tǒng)已經(jīng)基本完善，已經(jīng)有一部分?jǐn)?shù)據(jù)開始聯(lián)網(wǎng)檢測(cè)。 n對(duì)于工傷，生育，醫(yī)療和勞動(dòng)力市場(chǎng)這一塊業(yè)務(wù)， 有些地方發(fā)展的比較成熟，而有些地方還不夠成熟。 ？ 請(qǐng)大家思考并簡(jiǎn)單描述社保行業(yè)的數(shù)據(jù)倉(cāng)庫(kù)模型： 大致的業(yè)務(wù)模型 大致的概念模型 版權(quán)所有：天津市易普際科技發(fā)展有限公司 社保行業(yè)數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)模型社保行業(yè)數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)模型 202

29、1年6月15日47 版權(quán)所有：天津市易普際科技發(fā)展有限公司 社保行業(yè)數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域概念模型社保行業(yè)數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域概念模型 2021年6月15日48 版權(quán)所有：天津市易普際科技發(fā)展有限公司 社保行業(yè)數(shù)據(jù)倉(cāng)庫(kù)邏輯模型社保行業(yè)數(shù)據(jù)倉(cāng)庫(kù)邏輯模型 2021年6月15日49 通過(guò)領(lǐng)域概念模型細(xì)化邏輯模型 每一個(gè)抽象的實(shí)體，例如：“人”的屬性包括年齡，性別， 受教育程度等等。 各個(gè)抽象實(shí)體間的聯(lián)系。例如：對(duì)于養(yǎng)老金征繳這個(gè)“事 件”的屬性得考慮，對(duì)于失業(yè)勞動(dòng)者培訓(xùn)這個(gè)“事件”的屬性 得考慮等等。 找出抽象事件的關(guān)系，并對(duì)其進(jìn)行說(shuō)明。例如：對(duì)于“事 件”中的地域，事件等因素的考量等等。 建議:可以參考 3NF 的

30、建模方法，表達(dá)出實(shí)體的屬性，以 及實(shí)體與實(shí)體之間的聯(lián)系。例如：在這個(gè)階段，我們可以通 過(guò)采用 ERWIN 等建模工具等作出符合 3NF 的關(guān)系型數(shù) 據(jù)模型來(lái)。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 社保行業(yè)數(shù)據(jù)倉(cāng)庫(kù)物理模型社保行業(yè)數(shù)據(jù)倉(cāng)庫(kù)物理模型 2021年6月15日50 完成物理模型 生成創(chuàng)建表的腳本。不同的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)可能生成不同的 腳本。 針對(duì)數(shù)據(jù)集市的需要，按照維度建模的方法，生成一些事 實(shí)表，維表等工作。 針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的ETL車和元數(shù)據(jù)管理的需要，生成一些 數(shù)據(jù)倉(cāng)庫(kù)維護(hù)的表，例如：日志表等。 注:根據(jù)業(yè)務(wù)實(shí)際的需要和自己對(duì)抽象能力的把握來(lái)創(chuàng)建適合根據(jù)業(yè)務(wù)實(shí)際的需要和自己對(duì)抽象能力的

31、把握來(lái)創(chuàng)建適合 自己的數(shù)據(jù)模型自己的數(shù)據(jù)模型 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日51 總結(jié)總結(jié): 數(shù)據(jù)倉(cāng)庫(kù)建模需注意的幾個(gè)問(wèn)題數(shù)據(jù)倉(cāng)庫(kù)建模需注意的幾個(gè)問(wèn)題 數(shù)據(jù)粒度和數(shù)據(jù)組織 維和度量的唯一性和公用性 數(shù)據(jù)粒度一旦變粗，就要考慮多個(gè)主題的融合匯總 不論如何歸并，需要保持?jǐn)?shù)據(jù)之間的聯(lián)系 對(duì)ODS中的各個(gè)主題的事實(shí)數(shù)據(jù)進(jìn)行時(shí)間上的匯 總 把包含細(xì)節(jié)過(guò)多的交易記錄進(jìn)行拆分 匯總、再匯總 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日52 2. 3. 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型星形與雪花 最佳實(shí)踐構(gòu)建高性能的數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)ETL設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)建模過(guò)程 日程安排

32、日程安排 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)界面設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)應(yīng)用過(guò)程 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日53 ETL 數(shù)據(jù)轉(zhuǎn)換過(guò)程的功能模塊設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)換過(guò)程的功能模塊設(shè)計(jì) ETL 數(shù)據(jù)轉(zhuǎn)換操作大致可以分為 6 個(gè)組或模塊：數(shù)據(jù)的提取、驗(yàn)證、清理、 集成、聚集和裝入。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日54 ETL的設(shè)計(jì)要點(diǎn)的設(shè)計(jì)要點(diǎn)(1) ETL的設(shè)計(jì)一定是針對(duì)具體的應(yīng)用相關(guān)的，針對(duì)不 同的業(yè)務(wù)和分析模型有不同的抽取要求 在設(shè)計(jì)過(guò)程中需要考慮是否需要預(yù)留字段，增加屬 性等等 數(shù)據(jù)的粒度，在同一CUBE中必須統(tǒng)一 數(shù)據(jù)周期的確定，在設(shè)計(jì)ETL時(shí)需要事先確定抽

33、取 的時(shí)間 抽取的方式盡量采用增量的抽取以減小每次抽取的 數(shù)量 數(shù)據(jù)流和工作流的考慮 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日55 ETL的設(shè)計(jì)要點(diǎn)的設(shè)計(jì)要點(diǎn)(2) 流程的異常處理 ETL的調(diào)整，運(yùn)行管理以及監(jiān)控 針對(duì)業(yè)務(wù)的需求進(jìn)行ETL的配置和設(shè)置界面 ETL對(duì)CUBE的管理 ETL裝載數(shù)據(jù)初始化的過(guò)程 程序具有自修復(fù)功能 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日56 確定確定ETL的抽取及加載策略的抽取及加載策略 抽取策略 - 每日增量 - 每日全量 - 每月增量 - 每月全量 抽取策略 - 全表覆蓋 - 歷史加載 - 直接追加 - 主表加載 -初始

34、加載 -其它加載 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日57 ETL Mapping 實(shí)體映射表實(shí)體映射表 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日58 確定確定ETL接口需求接口需求 系統(tǒng)和任何其他外部系統(tǒng)或組件進(jìn)行交互相關(guān)需求 接口一般由系統(tǒng)間的傳輸方式、傳輸協(xié)議、傳輸過(guò) 程、接口處理模式、抽取周期、編碼原則、命名規(guī) 則、驗(yàn)證方式和數(shù)據(jù)單元等組成 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日59 確定確定ETL接口的實(shí)現(xiàn)方式接口的實(shí)現(xiàn)方式 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日60 確定確定ETL接口的數(shù)據(jù)要求

35、及保障接口的數(shù)據(jù)要求及保障 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日61 確定確定ETL接口文件的格式接口文件的格式 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日62 確定確定ETL接口文件的內(nèi)容接口文件的內(nèi)容 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日63 確定確定ETL接口單元接口單元 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日64 ETL接口數(shù)據(jù)處理流程接口數(shù)據(jù)處理流程 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日65 ETL接口出錯(cuò)處理接口出錯(cuò)處理 接口處理重傳機(jī)制 1、經(jīng)營(yíng)分析系統(tǒng)方校驗(yàn)數(shù)據(jù)源內(nèi)容

36、后把出錯(cuò)記錄放入“出 錯(cuò)記錄文件存放目錄” 2、數(shù)據(jù)源廠商定時(shí)查閱此目錄，分析錯(cuò)誤原因，并采取糾 正措施例如：重新傳送此數(shù)據(jù)項(xiàng)文件。具體的實(shí)現(xiàn)方式需 雙方協(xié)定。 大數(shù)據(jù)文件分拆機(jī)制 只要是增量抽取的，原則上不考慮分拆，對(duì)于GSM清單和 普通短信清單，數(shù)據(jù)量很大，考慮分拆成12個(gè)數(shù)據(jù)文件， 每2小時(shí)一個(gè)。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日66 案例學(xué)習(xí)案例學(xué)習(xí) 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日67 2. 3. 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型星形與雪花 BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)踐 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)ETL設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)建模過(guò)程 日程安排日程安排 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)

37、界面設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)應(yīng)用過(guò)程 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日68 確定界面元素確定界面元素 界面主顏色 字體顏色及大小 界面布局 界面交互方式 界面功能分布 界面輸入輸出模 式 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日69 某運(yùn)營(yíng)商某運(yùn)營(yíng)商KPI系統(tǒng)目標(biāo)系統(tǒng)目標(biāo) 以最方便的形式讓各級(jí)領(lǐng)導(dǎo)對(duì)考核指標(biāo)完成情況進(jìn)行瀏覽分析 采用良好方式實(shí)現(xiàn)常用指標(biāo)的關(guān)聯(lián)展示，更加符合業(yè)務(wù)人員的分 析邏輯 采用樹型菜單對(duì)個(gè)體分散指標(biāo)進(jìn)行分類展示組織，提高指標(biāo)分析 的操作的便捷性 詳細(xì)編寫各業(yè)務(wù)指標(biāo)的統(tǒng)計(jì)口徑，讓用戶可以方便查詢和檢索 版權(quán)所有：天津市易普際科技發(fā)展

38、有限公司 2021年6月15日70 KPI系統(tǒng)指標(biāo)體系系統(tǒng)指標(biāo)體系 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日71 數(shù)據(jù)準(zhǔn)確性數(shù)據(jù)準(zhǔn)確性 刷新刷新/上載數(shù)據(jù)的頻率上載數(shù)據(jù)的頻率 (定期定期) 數(shù)據(jù)下鉆能力數(shù)據(jù)下鉆能力 訪問(wèn)控制訪問(wèn)控制 KPI系統(tǒng)系統(tǒng) 關(guān)鍵性關(guān)鍵性: 低高 KPI分層分層 KPI系統(tǒng)主要功能系統(tǒng)主要功能 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日72 1。 支持角色，有預(yù)定義好的權(quán)限 視圖 2。 分層管理: 每個(gè)KPI有對(duì)應(yīng)的 “保障”KPI的層次定義 3。動(dòng)態(tài)交互式環(huán)境 用戶可以設(shè)置KPI分解的百分比 支持分解維度（按部門、運(yùn)營(yíng)中心如地市等

39、） 可調(diào)整的KPI分解規(guī)則 4。閥值預(yù)警 5。內(nèi)部標(biāo)桿共享 KPI系統(tǒng)框架和關(guān)鍵功能系統(tǒng)框架和關(guān)鍵功能 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日73 整體KPI首頁(yè)界面分為三個(gè)目錄級(jí) KPI考核指標(biāo) KPI通報(bào)指標(biāo) KPI個(gè)體指標(biāo) 體現(xiàn)以表格的形式展現(xiàn)數(shù)據(jù)，輔助以圖型 增加指標(biāo)之間的關(guān)聯(lián)性，從多角度體現(xiàn)指標(biāo)的內(nèi)容。 增加指標(biāo)說(shuō)明的模塊，對(duì)用戶使用該指標(biāo)時(shí)容易產(chǎn)生理解誤差的內(nèi)容提供相應(yīng)解釋。 KPI系統(tǒng)首頁(yè)界面系統(tǒng)首頁(yè)界面 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日74 樹狀的目錄力求簡(jiǎn)單，清晰，操作方便，減少用戶的點(diǎn)擊切換環(huán)節(jié)過(guò)程。 KPI系統(tǒng)樹狀目錄結(jié)構(gòu)

40、系統(tǒng)樹狀目錄結(jié)構(gòu) 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日75 1.簡(jiǎn)單明了的KPI指標(biāo)往往成為管理者和普通市場(chǎng)人員最關(guān)注的對(duì)象 2.領(lǐng)導(dǎo)的聊望臺(tái) 3.滾動(dòng)指標(biāo)告警 指標(biāo)列表 區(qū) 首頁(yè)或結(jié)果 展示區(qū) 滾動(dòng)指標(biāo)告 警區(qū) KPI系統(tǒng)首頁(yè)界面系統(tǒng)首頁(yè)界面 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日76 增強(qiáng)指標(biāo)之間的關(guān)聯(lián)性，對(duì)若干指標(biāo)的內(nèi)在聯(lián)系，進(jìn)行歸類對(duì)比展示，以多種圖形 方式進(jìn)行多角度地展現(xiàn)。 KPI系統(tǒng)界面系統(tǒng)界面1 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日77 lKPI指標(biāo)主要展現(xiàn)此項(xiàng)指標(biāo)在時(shí)間上的對(duì)比，例如，上月當(dāng)日，歷史同期，環(huán)比

41、等。 lKPI指標(biāo)按業(yè)務(wù)分析邏輯有機(jī)排列，方便業(yè)務(wù)人員對(duì)比觀看。 lKPI在表格上增加趨勢(shì)的展現(xiàn)，分為三種，“平穩(wěn)”，“升高”，“降低” 點(diǎn)擊以后將展示最近 一周的趨勢(shì) KPI系統(tǒng)界面系統(tǒng)界面2 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日78 2. 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型星形與雪花 BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)踐 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)ETL設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)建模過(guò)程 日程安排日程安排 數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)應(yīng)用過(guò)程 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)界面設(shè)計(jì) 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日79 自頂向下自頂向下(Top-down Approach) 建造企業(yè)數(shù)據(jù)倉(cāng)庫(kù) 建設(shè)中心數(shù)據(jù)模型 一次性的

42、完成數(shù)據(jù)的重構(gòu)工作 最小化數(shù)據(jù)冗余度和不一致性 存儲(chǔ)詳細(xì)的歷史數(shù)據(jù) 從企業(yè)數(shù)據(jù)倉(cāng)庫(kù)中建造數(shù)據(jù)集市 得到大部分的集成數(shù)據(jù) 直接依賴于數(shù)據(jù)倉(cāng)庫(kù)的可用性 對(duì)信心的極大考驗(yàn)： 投資大，建設(shè)時(shí)間長(zhǎng)，階段成果顯現(xiàn)困 難！ External Data ODS Central Data Warehouse Data Mart Data Mart 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日80 自底而上自底而上 (Bottom-up Approach) 創(chuàng)建部門的數(shù)據(jù)集市 范圍局限于一個(gè)主題區(qū)域 快速的ROI-局部的商業(yè)需求得到滿足 本部門自治-設(shè)計(jì)上具有靈活性 對(duì)其他部門數(shù)據(jù)集市是一個(gè)好的指

43、導(dǎo) 容易復(fù)制到其他部門 擴(kuò)大到企業(yè)數(shù)據(jù)倉(cāng)庫(kù) 創(chuàng)建EDW作為一個(gè)長(zhǎng)期的目標(biāo) 重復(fù)投資：每個(gè)部門都重復(fù)進(jìn)行數(shù)據(jù)整理！ 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)困難：數(shù)據(jù)口徑、不一致性問(wèn)題突 出！ Data Mart Data Mart Central Data Warehouse External Data ODS part part part part partpart 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日81 數(shù)據(jù)倉(cāng)庫(kù)工程項(xiàng)目的特點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)工程項(xiàng)目的特點(diǎn) 數(shù)據(jù)倉(cāng)庫(kù)工程既包括數(shù)據(jù)又 包括程序，而且是以數(shù)據(jù)為 基礎(chǔ)的系統(tǒng) 數(shù)據(jù)倉(cāng)庫(kù)工程中的數(shù)據(jù)倉(cāng)庫(kù) 的目標(biāo)是面向主題 數(shù)據(jù)倉(cāng)庫(kù)工程是以處理分析 型目標(biāo)

44、為主而不是事物型目 標(biāo)，它對(duì)數(shù)據(jù)內(nèi)容正確性與 形式規(guī)范性有嚴(yán)格要求 數(shù)據(jù)倉(cāng)庫(kù)工程中數(shù)據(jù)來(lái)源已 有多種信息系統(tǒng)，因此對(duì)系 統(tǒng)的數(shù)據(jù)要有一定的限制制 約，也就是有了建立統(tǒng)一數(shù) 據(jù)平臺(tái)的需求 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日82 數(shù)據(jù)倉(cāng)庫(kù)工程項(xiàng)目的開發(fā)應(yīng)用過(guò)程數(shù)據(jù)倉(cāng)庫(kù)工程項(xiàng)目的開發(fā)應(yīng)用過(guò)程 解決方案啟動(dòng)（解決方案啟動(dòng)（Solution start up） 業(yè)務(wù)發(fā)現(xiàn)（業(yè)務(wù)發(fā)現(xiàn)（Business discovery） 解決方案建議（解決方案建議（Solution proposal）解決方案計(jì)劃）解決方案計(jì)劃 （Solution planning） 倉(cāng)庫(kù)概念建模倉(cāng)庫(kù)概念建模 （

45、Warehouse conceptual modeling） 倉(cāng)庫(kù)階段設(shè)計(jì)倉(cāng)庫(kù)階段設(shè)計(jì) （Warehouse phase design） 解決方案實(shí)現(xiàn)周期解決方案實(shí)現(xiàn)周期 （Solution implementation cycle） 解決方案部署（解決方案部署（Solution deployment） 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日83 數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)發(fā)現(xiàn)過(guò)程數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)發(fā)現(xiàn)過(guò)程 收集記錄業(yè)務(wù)需 求 理解客戶業(yè)務(wù)環(huán) 境 差異分析，理解 客戶的業(yè)務(wù)難題 及需求，彌補(bǔ)當(dāng) 前業(yè)務(wù)狀態(tài)及其 業(yè)務(wù)需求之間差 異 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日8

46、4 收集記錄業(yè)務(wù)需求 確定業(yè)務(wù)對(duì)象 確定數(shù)據(jù)分析場(chǎng)景 確定功能需求 理解客戶的業(yè)務(wù)環(huán)境 理解基礎(chǔ)架構(gòu)環(huán)境 理解數(shù)據(jù)環(huán)境 差異分析 需求分析 識(shí)別業(yè)務(wù)主題領(lǐng)域 識(shí)別數(shù)據(jù)差異 識(shí)別基礎(chǔ)設(shè)施差異 識(shí)別資源的差異 理解客戶環(huán)境 三個(gè)任務(wù)可以重疊進(jìn)行 數(shù)據(jù)倉(cāng)庫(kù)的業(yè)務(wù)發(fā)現(xiàn)內(nèi)容數(shù)據(jù)倉(cāng)庫(kù)的業(yè)務(wù)發(fā)現(xiàn)內(nèi)容 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日85 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日86 數(shù)據(jù)倉(cāng)庫(kù)工程項(xiàng)目的開發(fā)流程圖數(shù)據(jù)倉(cāng)庫(kù)工程項(xiàng)目的開發(fā)流程圖 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日87 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)流程數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)流程 （ 1 ）：對(duì)原始

47、數(shù)據(jù)進(jìn)行數(shù) 據(jù)抽取、清洗、整理后成為數(shù) 據(jù)倉(cāng)庫(kù)中的各種綜合度的數(shù)據(jù) 表。 （ 2 ）：經(jīng)過(guò)維度分析得到 維表并定義相應(yīng)的格式表。 （ 3 ）：從數(shù)據(jù)倉(cāng)庫(kù)中抽取 數(shù)據(jù)形成事實(shí)表及補(bǔ)充事實(shí)表。 （ 4 ）：從數(shù)據(jù)倉(cāng)庫(kù)中抽取 信息，整理成數(shù)據(jù)挖掘?qū)挶恚?用于數(shù)據(jù)挖掘。 （ 5 ）：寬表中的數(shù)據(jù)通過(guò) 數(shù)據(jù)挖掘程序處理后生成的擴(kuò) 展數(shù)據(jù)（挖掘結(jié)果）需要重新 回寫進(jìn)事實(shí)表。 （ 6 ）：利用數(shù)據(jù)展現(xiàn)工具 展現(xiàn) OLAP 和數(shù)據(jù)挖掘的結(jié) 果。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日88 數(shù)據(jù)倉(cāng)庫(kù)需求分析數(shù)據(jù)倉(cāng)庫(kù)需求分析 數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)是面向主題，按主題組織 數(shù)據(jù)。 1、主題分析 對(duì)于在

48、層次結(jié)構(gòu)中的每個(gè)主題，需要 進(jìn)行詳細(xì)的調(diào)研，確定要分析的指標(biāo)，確 定用戶從哪些角度來(lái)分析數(shù)據(jù)即維度，還 要確定用戶分析數(shù)據(jù)的細(xì)化或綜合程度即 粒度。主題、指標(biāo)、維度、粒度是是建立 數(shù)據(jù)倉(cāng)庫(kù)的基本要素。 2、數(shù)據(jù)分析 (1)數(shù)據(jù)源分析 (2)數(shù)據(jù)數(shù)量分析 (3)數(shù)據(jù)質(zhì)量分析 3、環(huán)境要求分析 需要對(duì)滿足需求的系統(tǒng)平臺(tái)與環(huán)境提 出要求，包括設(shè)備、網(wǎng)絡(luò)、數(shù)據(jù)、接口、 軟件等的要求。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日89 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)總體設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)總體設(shè)計(jì) 體系結(jié)構(gòu)設(shè)計(jì)接口設(shè)計(jì)應(yīng)用程序模塊設(shè)計(jì) 數(shù)據(jù)源層 數(shù)據(jù)后端處理層 數(shù)據(jù)倉(cāng)庫(kù)及其管理層 數(shù)據(jù)集市層 數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用層

49、數(shù)據(jù)展示層 數(shù)據(jù)源與分析模型 的接口 分析模型與應(yīng)用的 接口 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日90 分析分析 設(shè)計(jì)設(shè)計(jì) 實(shí)施實(shí)施 需求分析需求分析 風(fēng)險(xiǎn)分析風(fēng)險(xiǎn)分析 方案設(shè)計(jì)方案設(shè)計(jì) POC 實(shí)施實(shí)施 UAT 發(fā)布發(fā)布 環(huán)境準(zhǔn)備環(huán)境準(zhǔn)備 Scope 系統(tǒng)功能系統(tǒng)功能 目標(biāo)分析目標(biāo)分析 系統(tǒng)性能系統(tǒng)性能環(huán)境環(huán)境 所帶來(lái)的風(fēng)險(xiǎn)所帶來(lái)的風(fēng)險(xiǎn) 分析分析 可以容忍可以容忍 的見險(xiǎn)的見險(xiǎn) 關(guān)鍵流程關(guān)鍵流程 的定義的定義 確定組織架構(gòu)確定組織架構(gòu) 方案設(shè)計(jì)方案設(shè)計(jì) （技術(shù)框架（技術(shù)框架/ 流程流程) 數(shù)據(jù)備份方案數(shù)據(jù)備份方案 時(shí)間窗時(shí)間窗 環(huán)境環(huán)境 (DB/TOOL/DATA)

50、源代碼源代碼/POC 數(shù)據(jù)數(shù)據(jù) POC報(bào)告報(bào)告 CUT 計(jì)劃測(cè)試計(jì)劃測(cè)試/用戶用戶 測(cè)試測(cè)試 數(shù)據(jù)備份數(shù)據(jù)備份 系統(tǒng)觀察系統(tǒng)觀察 系統(tǒng)發(fā)布系統(tǒng)發(fā)布 Bug Fix 項(xiàng)目建設(shè)方法論項(xiàng)目建設(shè)方法論 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日91 BI項(xiàng)目組織圖 9115 June 2021 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日92 BI項(xiàng)目組織說(shuō)明 項(xiàng)目指導(dǎo)委員會(huì)（Steering Committee）: 項(xiàng)目指導(dǎo)委員會(huì)主要由甲方與HP的資深主管們所組成，負(fù)責(zé)決定項(xiàng)目的策 略方向與目的，并提供項(xiàng)目執(zhí)行所需要的支持與承諾。 協(xié)助處理與仲裁項(xiàng)目執(zhí)行過(guò)程由項(xiàng)目經(jīng)

51、理所提報(bào)（Escalate）所遇到之困 難與爭(zhēng)議。 協(xié)助處理項(xiàng)目執(zhí)行上所需要之人力資源支持與調(diào)動(dòng)，如項(xiàng)目團(tuán)隊(duì)之人員指 派等。 項(xiàng)目經(jīng)理（Project Manager）: 在 項(xiàng)目經(jīng)理的協(xié)助下，承擔(dān)并完成下列工作： 規(guī)劃詳細(xì)的項(xiàng)目計(jì)劃書 管理項(xiàng)目中所有的日常事務(wù)與工作事項(xiàng)，以期達(dá)成項(xiàng)目每的階段性任務(wù)及目標(biāo) 核審項(xiàng)目進(jìn)度與項(xiàng)目里程碑 定期與甲方項(xiàng)目經(jīng)理共同執(zhí)行項(xiàng)目的審核并商討項(xiàng)目的計(jì)劃 定期以書面方式向項(xiàng)目指導(dǎo)委員會(huì)報(bào)告項(xiàng)目進(jìn)行的狀況 針對(duì)項(xiàng)目執(zhí)行上所遭遇的例外事件進(jìn)行處理，并適當(dāng)提報(bào)給項(xiàng)目指導(dǎo)委員會(huì)以尋求支持與協(xié) 助 與甲方項(xiàng)目經(jīng)理共同擔(dān)負(fù)起項(xiàng)目建置成功的責(zé)任 9215 June 2021 版

52、權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日93 BI項(xiàng)目組織說(shuō)明 專案架構(gòu)師（Solution Architect）: 負(fù)責(zé)項(xiàng)目相關(guān)之技術(shù)架構(gòu)與功能設(shè)計(jì)等，并領(lǐng)導(dǎo)項(xiàng)目執(zhí)行技術(shù)團(tuán)隊(duì) 確認(rèn)項(xiàng)目技術(shù)架構(gòu)符合甲方之維運(yùn)要求與質(zhì)量標(biāo)準(zhǔn)。 ETL組 2人： 負(fù)責(zé)ETL部分的開發(fā)與實(shí)施 Report組 2人： 負(fù)責(zé)BO Report部分的開發(fā)與實(shí)施 Test組 2人： 負(fù)責(zé)項(xiàng)目的系統(tǒng)測(cè)試與用戶最終測(cè)試 其中測(cè)試組有1人兼任QA和KM角色。 9315 June 2021 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日94 M0M1M2M3M4M5 BI項(xiàng)目里程碑項(xiàng)目里程碑Mile

53、stone M0.5M1.5M2.5M3.5M4.5 注注:在大約項(xiàng)目啟動(dòng)后在大約項(xiàng)目啟動(dòng)后2個(gè)月，個(gè)月，POC階段將完成階段將完成,也即最初也即最初 的原型構(gòu)建的原型構(gòu)建,用戶可以得到一個(gè)階段性的用戶可以得到一個(gè)階段性的Release,下一步下一步 的項(xiàng)目實(shí)施及集成測(cè)試將以迭代的方式實(shí)現(xiàn)。的項(xiàng)目實(shí)施及集成測(cè)試將以迭代的方式實(shí)現(xiàn)。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日95 BI項(xiàng)目實(shí)施階段項(xiàng)目實(shí)施階段 階段階段輸入輸入輸出輸出 項(xiàng)目啟動(dòng) - 評(píng)估SOW/方案建議書/遷移評(píng)估問(wèn)題清單評(píng)估計(jì)劃，遷移方案， 原始系統(tǒng)檢查報(bào)告 項(xiàng)目啟動(dòng) - 項(xiàng)目計(jì)劃項(xiàng)目實(shí)施方案，當(dāng)前環(huán)境和業(yè)務(wù)

54、需求， 數(shù)據(jù)和屬性，適用的實(shí)施工具 項(xiàng)目計(jì)劃，質(zhì)量計(jì)劃，風(fēng)險(xiǎn)管理計(jì)劃，配 置管理計(jì)劃，單元測(cè)試案例（持續(xù)更新）， 集成測(cè)試案例（持續(xù)更新） POC源代碼，POC數(shù)據(jù)，原始系統(tǒng)檢查報(bào)告， 實(shí)施方案 實(shí)施模塊，POC測(cè)試結(jié)果，POC經(jīng)驗(yàn)總結(jié)， 實(shí)施方案（更新），模塊實(shí)施步驟報(bào)告 遷移源代碼，POC數(shù)據(jù)，原始系統(tǒng)檢查報(bào)告， 遷移方案 實(shí)施的ETL腳本，數(shù)據(jù)模型，數(shù)據(jù)代碼，遷 移測(cè)試腳本，模塊實(shí)施步驟報(bào)告 集成測(cè)試測(cè)試計(jì)劃，測(cè)試案例，基準(zhǔn)版本，質(zhì) 量計(jì)劃 已測(cè)試應(yīng)用，測(cè)試報(bào)告，測(cè)試案例（更新） 發(fā)布已實(shí)施應(yīng)用Release Note 用戶驗(yàn)收測(cè)試(UAT)驗(yàn)收測(cè)試計(jì)劃驗(yàn)收測(cè)試報(bào)告 Roll Out已遷

55、移應(yīng)用部署計(jì)劃，培訓(xùn)材料 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日96 優(yōu)化及案例分析業(yè)務(wù)環(huán)境優(yōu)化及案例分析業(yè)務(wù)環(huán)境 數(shù)據(jù)庫(kù)服務(wù)器: Windows 2000 Server + Oracle8i + IIS + PowerPlay Enterprise Server 應(yīng)用服務(wù)器: Windows 2000 Server + Transformer 客戶端: IE5.0以上版本。 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日97 優(yōu)化及案例分析優(yōu)化內(nèi)容優(yōu)化及案例分析優(yōu)化內(nèi)容 1. RAID 2. 索引的建立 3. SQL優(yōu)化 4. 直接裝載、分區(qū)選擇、網(wǎng)絡(luò)設(shè)置

56、 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日98 2. 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型星形與雪花 BI項(xiàng)目設(shè)計(jì)開發(fā)的最佳實(shí)踐 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)ETL設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)建模過(guò)程 日程安排日程安排 數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)應(yīng)用過(guò)程 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)界面設(shè)計(jì) 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日99 影響倉(cāng)庫(kù)性能的關(guān)鍵因素影響倉(cāng)庫(kù)性能的關(guān)鍵因素 系統(tǒng)硬件 磁盤（轉(zhuǎn)速、容量） IO速度（光纖卡、網(wǎng)卡、路由器） CPU（個(gè)數(shù)、主頻） 主機(jī)個(gè)數(shù) 數(shù)據(jù)模型 邏輯模型 物理模型 應(yīng)用復(fù)雜度及業(yè)務(wù)發(fā)展 EDW Data Warehousing 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15

57、日100 物理模型對(duì)性能的影響物理模型對(duì)性能的影響 數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)建（Build） 初始化 每天數(shù)據(jù)載入 每月數(shù)據(jù)載入 數(shù)據(jù)維護(hù) 應(yīng)用查詢,統(tǒng)計(jì)的支持(Query） KPI 固定報(bào)表 OLAP 數(shù)據(jù)挖掘 專題分析 即席查詢 經(jīng)營(yíng)分析報(bào)告/策劃 查詢性能更應(yīng)該被優(yōu)先保證查詢性能更應(yīng)該被優(yōu)先保證! 空間換取時(shí)間的優(yōu)化思想依然適用空間換取時(shí)間的優(yōu)化思想依然適用! 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日101 非規(guī)范化優(yōu)化技術(shù)非規(guī)范化優(yōu)化技術(shù) 增加冗余列（預(yù)連接） 避免查詢時(shí)進(jìn)行表連接操作 舉例：姓名、聯(lián)系方式、預(yù)存款、當(dāng)前積分 增加派生列（預(yù)計(jì)算） 避免查詢時(shí)連接和使用聚合函數(shù)

58、累計(jì)積分、ARPU、MOU、前3月平均話費(fèi)、量收比 重新組表（應(yīng)用導(dǎo)向） 經(jīng)常使用的查詢內(nèi)容以表的形式存放（物化視圖） 分割（水平垂直） 用戶常用屬性與不常用屬性 當(dāng)前資料與歷史資料 非規(guī)范化技術(shù)建立在查詢統(tǒng)計(jì)分析的基礎(chǔ)上的 適合對(duì)記錄數(shù)非常多的表進(jìn)行 需要維護(hù)數(shù)據(jù)的完整性，加大了建設(shè)、維護(hù)的復(fù)雜度 非規(guī)范化是一項(xiàng)高級(jí)設(shè)計(jì)技巧非規(guī)范化是一項(xiàng)高級(jí)設(shè)計(jì)技巧! ! OLTPOLTP系統(tǒng)也有，但 系統(tǒng)也有，但OLAP OLAP需要更多，而且是核心 需要更多，而且是核心! ! 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日102 分表優(yōu)化技術(shù)分表優(yōu)化技術(shù) 利用數(shù)據(jù)倉(cāng)庫(kù)的Partition功

59、能 數(shù)據(jù)倉(cāng)庫(kù)引擎提供，發(fā)揮都處理器及多主機(jī)執(zhí)行的并行性 很方便使用，而且必須使用 表大到一定程度后，在Partition基礎(chǔ)上進(jìn)行下述的分表 按業(yè)務(wù)分表 如詳單按品牌拆分（分析頻率、特征均不同） 按日期分表 詳單按日分表 帳單等按月分表 匯總結(jié)果按月分表 按地區(qū)分表 分地區(qū)處理較多的表 混合分表 如每地區(qū)每日一張表 分表技術(shù)與非規(guī)范化技術(shù)類似分表技術(shù)與非規(guī)范化技術(shù)類似 只應(yīng)用在物理模型中只應(yīng)用在物理模型中! ! 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日103 高擴(kuò)展性設(shè)計(jì)高擴(kuò)展性設(shè)計(jì) 1、業(yè)務(wù)驅(qū)動(dòng)數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì) 2、倉(cāng)庫(kù)內(nèi)數(shù)據(jù)分層 3、合理選用3NF、混合、星型、雪花及寬

60、表模式 Data Warehouse (Hybird) ODS (3NF) OLAP ModelMining ModelReport Model Analysis（Star Schema、寬表） Data Warehouse ODS Analysis parallel loader Query 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)需要藝術(shù)地處理性能與靈活性之間的矛盾 版權(quán)所有：天津市易普際科技發(fā)展有限公司 2021年6月15日104 高可用性設(shè)計(jì)高可用性設(shè)計(jì) 非規(guī)范化和分表技術(shù)應(yīng)用最大化 查詢影響最快 維護(hù)方便、代價(jià)最小 編程復(fù)雜，但運(yùn)行極快 完善處理變更歷史數(shù)據(jù) 可長(zhǎng)期追蹤 不影響當(dāng)前數(shù)據(jù)的處理效率 科學(xué)的表命名機(jī)