數(shù)據(jù)倉庫實施步驟與關(guān)鍵成功因素

1、數(shù)據(jù)倉庫實施步驟與關(guān)鍵成功因素數(shù)據(jù)倉庫實施步驟與關(guān)鍵成功因素3/16/20022一、數(shù)據(jù)倉庫實施方法論?規(guī)劃規(guī)劃解決方案支持數(shù)據(jù)倉庫管理(處理流程與操作)物理數(shù)據(jù)庫設(shè)計數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)設(shè)計與實現(xiàn)設(shè)計與實現(xiàn)支持與增強支持與增強解決方案體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理數(shù)據(jù)倉庫評估應(yīng)用增強邏輯數(shù)據(jù)模型回顧物理數(shù)據(jù)庫回顧性能調(diào)整容量規(guī)劃解決方案集成定制解決方案規(guī)劃詳細數(shù)據(jù)分析解決方案準(zhǔn)備就緒解解決決方方案案實實施施建建議議現(xiàn)成解決方案規(guī)劃數(shù)數(shù)據(jù)據(jù)倉倉庫庫策策略略開開發(fā)發(fā)業(yè)務(wù)探索業(yè)務(wù)探索解決方案定義邏輯數(shù)據(jù)模型設(shè)計修改邏輯數(shù)據(jù)模型驗證解決方案數(shù)據(jù)倉庫的循環(huán)過程3/16/20023數(shù)據(jù)倉庫管理物理數(shù)據(jù)模

2、型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成項目具體實施步驟項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型二、項目具體實施步驟1. 項目前期準(zhǔn)備2. 業(yè)務(wù)探索（Business Discovery)3. 信息探索（Information Discovery)4. 邏輯數(shù)據(jù)模型設(shè)計5. 系統(tǒng)體系結(jié)構(gòu)設(shè)計6. 物理數(shù)據(jù)庫設(shè)計7. 數(shù)據(jù)轉(zhuǎn)換加載ETL8. 前端應(yīng)用開發(fā)9. 數(shù)據(jù)挖掘服務(wù)10.元數(shù)據(jù)管理11.數(shù)據(jù)倉庫管理（處理流程與操作）12.解決方案集成（測試驗收與試運行）3/16/200242.1 項目前期準(zhǔn)備主要任務(wù)：主要任務(wù)： 項目啟動會議(Kick-off Meeting)

3、 確認項目范圍和主要目標(biāo) 確認項目階段性驗收及總體驗收標(biāo)準(zhǔn) 確認項目實施計劃 成立項目組 確定各項目小組的成員及各自的工作職責(zé) 確定各項目小組的階段性工作目標(biāo) 確定教育訓(xùn)練計劃 確定服務(wù)流程及方式 交付項目：交付項目：項目組織機構(gòu)項目人員組成 項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型3/16/200252.2 業(yè)務(wù)探索（Business Discovery)主要任務(wù)：主要任務(wù)： 確定重點用戶與數(shù)據(jù)源 用戶需求調(diào)研與確認 數(shù)據(jù)源確認 用戶需求和數(shù)據(jù)源的篩選和分析 交付項目：交付項目：業(yè)務(wù)需求說明書BRL ( Business Requirement List )概念數(shù)據(jù)模型CDM （ Conce

4、ptual Data Model ) 項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型3/16/200262.3 信息探索（Information Discovery)主要任務(wù)：主要任務(wù)： 分析用戶需求 數(shù)據(jù)源分析 進行工具評估 系統(tǒng)安全性設(shè)計 系統(tǒng)命名規(guī)范設(shè)計交付項目：交付項目：功能需求列表FRL ( Function Requirement List )系統(tǒng)安全性設(shè)計說明書 系統(tǒng)命名規(guī)范說明書數(shù)據(jù)質(zhì)量分析項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型3/16/200272.4 邏輯數(shù)據(jù)模型設(shè)計主要任務(wù)：主要任務(wù)： 進行原始數(shù)據(jù)分析 建立實體模型 建立實體間依賴關(guān)系 完善并填入所有屬性 建立數(shù)據(jù)庫邏輯模型

5、 利用工具：利用工具： ERWin交付項目：交付項目： 數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型LDM邏輯數(shù)據(jù)模型說明書項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型3/16/200282.4 邏輯數(shù)據(jù)模型概念邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通業(yè)務(wù)的詳細邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通業(yè)務(wù)的詳細“藍圖藍圖”基于概念數(shù)據(jù)模型（CDM）由一系列表和實體詳細描述組成通用的業(yè)務(wù)語言便于業(yè)務(wù)與業(yè)務(wù)之間的功能理解集成當(dāng)前和未來數(shù)據(jù)的藍圖獨立于技術(shù)為物理數(shù)據(jù)庫設(shè)計作準(zhǔn)備是IT人員和業(yè)務(wù)人員溝通的工具發(fā)現(xiàn)發(fā)現(xiàn)屬性屬性發(fā)現(xiàn)發(fā)現(xiàn)關(guān)系關(guān)系發(fā)現(xiàn)發(fā)現(xiàn)實體實體1. 業(yè)務(wù)規(guī)則業(yè)務(wù)規(guī)則2. ER圖圖3. ERA建模建模3/16/200292.4 邏

6、輯數(shù)據(jù)模型(LDM)示例3/16/2002102.5 系統(tǒng)體系結(jié)構(gòu)設(shè)計主要任務(wù)：主要任務(wù)：對業(yè)務(wù)、技術(shù)環(huán)境及企業(yè)文化的充分了解，從技術(shù)、組織、教育和支持等方面對系統(tǒng)進行全面評估定義業(yè)務(wù)驅(qū)動力定義數(shù)據(jù)倉庫成功的關(guān)鍵因素定義數(shù)據(jù)倉庫的實施原則對系統(tǒng)體系結(jié)構(gòu)各個組件進行詳細設(shè)計交付項目：交付項目：1. 系統(tǒng)體系結(jié)構(gòu)設(shè)計說明書數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成3/16/2002112.5 體系結(jié)構(gòu)設(shè)計組件用戶類型拓撲結(jié)構(gòu)網(wǎng)絡(luò)存取與互連組織機構(gòu)安全性數(shù)據(jù)體系結(jié)構(gòu)-邏輯數(shù)據(jù)模型-元數(shù)據(jù)-數(shù)據(jù)質(zhì)量-命名規(guī)范數(shù)據(jù)采集與轉(zhuǎn)換用戶存取及工具備份系統(tǒng)操作管理3

7、/16/200212主要任務(wù)：主要任務(wù)：轉(zhuǎn)換邏輯數(shù)據(jù)模型（LDM）為物理數(shù)據(jù)模型定義主索引、次索引非正則化處理（denormalizations）數(shù)據(jù)庫建立設(shè)計優(yōu)化數(shù)據(jù)庫功能測試使用工具：使用工具：ERWwin交付項目：交付項目： 物理數(shù)據(jù)模型（LDM） 物理數(shù)據(jù)模型說明書 數(shù)據(jù)庫描述語言DDL2.6 物理數(shù)據(jù)庫設(shè)計建模方法：建模方法： 第三范式 3NF 星型結(jié)構(gòu) 雪花狀結(jié)構(gòu)數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成3/16/200213概念數(shù)據(jù)模型概念數(shù)據(jù)模型（ CDM Conceptual Data Model CDM Conceptual

8、Data Model ） 主要實體和它們的關(guān)系 （Major Entities and Their Relationships）邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型 （ LDM - Logical Data Model LDM - Logical Data Model ） 業(yè)務(wù)模型加（CDM Plus） : 所有的表及簡單的數(shù)據(jù)（All Tables with Sample Data） 輔助的表及簡單的數(shù)據(jù)（ Minor Tables with Sample Data ） 主鍵與外鍵的關(guān)系（ PK & FK Relationships ） 數(shù)據(jù)約束（ Constraints ） 屬性（ Attribute

9、s ）擴展邏輯數(shù)據(jù)模型擴展邏輯數(shù)據(jù)模型 （ELDM - Extended Logical Data Model ELDM - Extended Logical Data Model ） 邏輯數(shù)據(jù)模型加（LDM Plus） : 存取詳細描述（Access Demographics） 數(shù)據(jù)詳細描述（Data Demographics）物理數(shù)據(jù)模型物理數(shù)據(jù)模型 （ PDM - Physical Data Model PDM - Physical Data Model ） 擴張邏輯數(shù)據(jù)模型（ELDM Plus）: 索引 （Indices） 非正則化 （Denormalization）2.6 數(shù)據(jù)模型的

10、演變3/16/200214非正則化的兩種類型：v 物理非正則化 派生數(shù)據(jù) （Derived Data） 匯總表 （Summary Tables） 重復(fù)的Groups ( Repeating Groups) 多物理表 （Multiple Physical Tables） 預(yù)連接 （Pre-joins） 子實體 （Sub-entities）v 邏輯非正則化 視圖 （Views） 邏輯星型結(jié)構(gòu) （Logical Star Schemas）F 物理非正則化對模型的靈活性會有影響F 邏輯非正則化是一個優(yōu)選的方法（OLAP實現(xiàn)）2.6 非正則化處理 ( Denormalization )3/16/2002

11、152.6 物理數(shù)據(jù)模型（PDM）3/16/2002162.7 數(shù)據(jù)轉(zhuǎn)換與加載（ETL）主要任務(wù)：主要任務(wù)：數(shù)據(jù)源及其特性定義數(shù)據(jù)析取、轉(zhuǎn)換和加載策略設(shè)計構(gòu)建和測試初始加載的程序和處理流程構(gòu)建和測試日常加載的程序和處理流程40%的工作量在數(shù)據(jù)轉(zhuǎn)換與加載上使用工具：使用工具：Teradata Builder、C、Shell、Perl交付項目：交付項目： 數(shù)據(jù)轉(zhuǎn)換加載設(shè)計說明書 數(shù)據(jù)映射 （Data Mapping）說明書 數(shù)據(jù)轉(zhuǎn)換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Process Control)數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)

12、據(jù)管理解決方案集成3/16/2002172.7 數(shù)據(jù)清洗方法在源系統(tǒng)上進行清洗（數(shù)據(jù)析取前）在加載服務(wù)器上進行清洗（數(shù)據(jù)析取后、加載前）1) 在數(shù)據(jù)倉庫里進行清洗（數(shù)據(jù)加載后）源系統(tǒng)ETL服務(wù)器數(shù)據(jù)倉庫SQL, C, ShC, ShSQL3/16/2002182.7 數(shù)據(jù)轉(zhuǎn)換常用手段 析取 Extracting 條件 Conditioning 剔除 Scrubbing 合并 Merging 濃縮 Enrichment 確認 Validating 加載 Loading 評分 Scoring 家庭關(guān)系識別 Householding3/16/2002192.8 前端應(yīng)用開發(fā)主要任務(wù)：主要任務(wù)：前端應(yīng)

13、用體系結(jié)構(gòu)設(shè)計OLAP應(yīng)用設(shè)計(Summary/Fact表及Cub的產(chǎn)生）前端應(yīng)用開發(fā)（隨機查詢、預(yù)定義報表、 OLAP應(yīng)用）撰寫用戶使用手冊用戶測試驗收使用工具：使用工具：查詢報表工具OLAP工具（Brio,Cognos,MicroStrategy)基于Web的開發(fā)工具(InterDev,ColdFusion)其他開發(fā)工具,如: Portal交付項目：交付項目： 前端應(yīng)用體系結(jié)構(gòu)設(shè)計說明書 應(yīng)用模塊設(shè)計說明書 用戶使用手冊 數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成3/16/2002202.9 數(shù)據(jù)挖掘服務(wù)2. 知識應(yīng)用知識應(yīng)用(Knowled

14、ge Deployment): 將發(fā)現(xiàn)的知識應(yīng)用于某種目標(biāo)，例如進行預(yù)測1. 知識發(fā)現(xiàn)知識發(fā)現(xiàn) (Knowledge Discovery):發(fā)現(xiàn)將數(shù)據(jù)轉(zhuǎn)變成信息的潛在模式數(shù)據(jù)數(shù)據(jù)知識知識信息信息決策決策與行動與行動3/16/2002212.9 數(shù)據(jù)挖掘方法項目管理知識轉(zhuǎn)移業(yè)務(wù)理解業(yè)務(wù)理解體系結(jié)構(gòu)體系結(jié)構(gòu)和和技術(shù)準(zhǔn)備技術(shù)準(zhǔn)備數(shù)據(jù)理解數(shù)據(jù)理解和和數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備分析建模分析建模和和模型評估模型評估知識應(yīng)用知識應(yīng)用Teradata DatabaseData Mining & OLAP AssistsTeraMinerDebt$40KSQL3/16/2002222.9 數(shù)據(jù)挖掘常用算法及應(yīng)用Debt$

15、40KQ QQ QQ QQ QI II I1 12 23 34 45 56 6factor 1factor 2factor n神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) Neural NetworksNeural Networks聚類分析聚類分析 ClusteringClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysis決策樹決策樹 Decision TreesDecision Trees 傾向性分析 客戶保留 客戶生命周期管理 目標(biāo)市場 價格彈性分析 客戶細分 市場細分 傾向性分析 客

16、戶保留 目標(biāo)市場 欺詐檢測關(guān)聯(lián)分析關(guān)聯(lián)分析 AssociationAssociation 市場組合分析 套裝產(chǎn)品分析 目錄設(shè)計 交叉銷售3/16/2002232.10 元數(shù)據(jù)管理元數(shù)據(jù)元數(shù)據(jù)( (Metadata)Metadata) 是指關(guān)于數(shù)據(jù)的數(shù)據(jù)是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置，使得業(yè)務(wù)用戶可以正確地使用數(shù)據(jù)倉庫。來源、定義、存儲位置，使得業(yè)務(wù)用戶可以正確地使用數(shù)據(jù)倉庫。 主要任務(wù)：主要任務(wù)：定義元數(shù)據(jù)使用功能設(shè)計元數(shù)據(jù)環(huán)境邏輯結(jié)構(gòu)設(shè)計元數(shù)據(jù)環(huán)境物理結(jié)構(gòu)選擇合適的元數(shù)據(jù)管理工具建立元數(shù)據(jù)倉庫（Metadata Repository)建

17、立和測試元數(shù)據(jù)接口使用工具：使用工具：Teradata Metadata Service交付項目：交付項目： 元數(shù)據(jù)管理說明書數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成3/16/200224元數(shù)據(jù)內(nèi)容項目活動數(shù)據(jù)描述信息探索數(shù)據(jù)采集數(shù)據(jù)定義邏輯數(shù)據(jù)模型數(shù)據(jù)采集數(shù)據(jù)所有權(quán)數(shù)據(jù)源邏輯模型邏輯數(shù)據(jù)模型化業(yè)務(wù)規(guī)則邏輯數(shù)據(jù)模型.轉(zhuǎn)換物理模型物理數(shù)據(jù)模型化歷史時間維度物理數(shù)據(jù)模型化數(shù)據(jù)加載數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載2.10 元數(shù)據(jù)開發(fā)元數(shù)據(jù)的開發(fā)應(yīng)該包含在數(shù)據(jù)倉庫實施過程的每一步驟中，下圖是元數(shù)據(jù)各部分內(nèi)容與數(shù)據(jù)倉庫開發(fā)過程的對應(yīng)關(guān)系： 3/16/2002

18、252.11 數(shù)據(jù)倉庫管理主要任務(wù)：主要任務(wù)：設(shè)計和開發(fā)數(shù)據(jù)倉庫支持體系結(jié)構(gòu)開發(fā)和測試數(shù)據(jù)倉庫日常運作流程開發(fā)和測試性能監(jiān)視程序開發(fā)和測試數(shù)據(jù)備份與恢復(fù)程序開發(fā)和測試安全系統(tǒng)設(shè)計和開發(fā)操作人員/最終用戶培訓(xùn)計劃建立用戶支持和培訓(xùn)材料使用工具：使用工具：系統(tǒng)監(jiān)控工具和管理工具交付項目：交付項目： 數(shù)據(jù)倉庫管理過程說明書 數(shù)據(jù)備份過程設(shè)計說明書 安全管理模塊設(shè)計說明書 用戶培訓(xùn)計劃及用戶使用手冊數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成3/16/2002262.12 解決方案集成(系統(tǒng)驗收與試運行)主要任務(wù)：主要任務(wù)：建立并執(zhí)行集成測試計劃建立并執(zhí)行數(shù)據(jù)倉庫平臺測試計劃建立并執(zhí)行系統(tǒng)驗收測試計劃移植開發(fā)系統(tǒng)到生產(chǎn)系統(tǒng)執(zhí)行用戶培訓(xùn)計劃實施數(shù)據(jù)倉庫管理基礎(chǔ)設(shè)施項目實施完成回顧項目狀態(tài)交付項目：交付項目： 數(shù)據(jù)轉(zhuǎn)換管理系統(tǒng)測試報告 數(shù)據(jù)訪問和信息發(fā)布系統(tǒng)測試報告 數(shù)據(jù)倉庫平臺測試報告 數(shù)據(jù)倉庫管理過程測試報告 系統(tǒng)回顧報告數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服