商業(yè)智能實施方案培訓資料

1、A business of第一頁，共25頁。21、實施(shsh)方法?規(guī)劃規(guī)劃解決方案支持數(shù)據(jù)倉庫管理(處理流程與操作)物理數(shù)據(jù)庫設(shè)計數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務設(shè)計與實現(xiàn)設(shè)計與實現(xiàn)支持與增強支持與增強解決方案體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理數(shù)據(jù)倉庫評估應用增強邏輯數(shù)據(jù)模型回顧物理數(shù)據(jù)庫回顧性能調(diào)整容量規(guī)劃解決方案集成定制解決方案規(guī)劃詳細數(shù)據(jù)分析解決方案準備就緒解解決決方方案案實實施施建建議議現(xiàn)成解決方案規(guī)劃數(shù)數(shù)據(jù)據(jù)倉倉庫庫策策略略開開發(fā)發(fā)業(yè)務探索業(yè)務探索解決方案定義邏輯數(shù)據(jù)模型設(shè)計修改邏輯數(shù)據(jù)模型驗證解決方案數(shù)據(jù)倉庫的循環(huán)過程第二頁，共25頁。32、實施(shsh)步驟數(shù)據(jù)倉庫管理(gunl)物理(

2、wl)數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成項目具體實施步驟項目前期準備業(yè)務探索信息探索邏輯數(shù)據(jù)模型1. 項目前期準備2. 業(yè)務探索（Business Discovery)3. 信息探索（Information Discovery)4. 邏輯數(shù)據(jù)模型設(shè)計5. 系統(tǒng)體系結(jié)構(gòu)設(shè)計6. 物理數(shù)據(jù)庫設(shè)計7. 數(shù)據(jù)轉(zhuǎn)換加載ETL8. 前端應用開發(fā)9. 數(shù)據(jù)挖掘服務10.元數(shù)據(jù)管理11.數(shù)據(jù)倉庫管理（處理流程與操作）12.解決方案集成（測試驗收與試運行）第三頁，共25頁。42.1 項目前期準備(zhnbi)主要任務：主要任務： 項目啟動會議項目啟動會議(Kick-off

3、 Meeting)(Kick-off Meeting) 確認項目范圍和主要目標確認項目范圍和主要目標 確認項目階段性驗收及總體驗收標確認項目階段性驗收及總體驗收標準準 確認項目實施計劃確認項目實施計劃 成立項目組成立項目組 確定各項目小組的成員及各自的工確定各項目小組的成員及各自的工作職責作職責 確定各項目小組的階段性工作目標確定各項目小組的階段性工作目標 確定教育訓練計劃確定教育訓練計劃 確定服務流程及方式確定服務流程及方式(fngsh) (fngsh) 交付項目：交付項目：項目組織機構(gòu)項目組織機構(gòu)項目人員組成項目人員組成 項目前期準備(zhnbi)業(yè)務探索信息探索邏輯數(shù)據(jù)模型第四頁，共25

4、頁。52.2 業(yè)務(yw)探索（Business Discovery)主要任務：主要任務： 確定重點用戶與數(shù)據(jù)源確定重點用戶與數(shù)據(jù)源 用戶需求調(diào)研與確認用戶需求調(diào)研與確認 數(shù)據(jù)源確認數(shù)據(jù)源確認 用戶需求和數(shù)據(jù)源的篩選用戶需求和數(shù)據(jù)源的篩選(shixun)(shixun)和分析和分析 交付項目：交付項目：業(yè)務需求說明書業(yè)務需求說明書BRL ( Business Requirement BRL ( Business Requirement List )List )概念數(shù)據(jù)模型概念數(shù)據(jù)模型CDM CDM （ Conceptual Data Conceptual Data Model )Model )

5、 項目前期準備(zhnbi)業(yè)務探索信息探索邏輯數(shù)據(jù)模型第五頁，共25頁。62.3 信息(xnx)探索（Information Discovery)主要任務：主要任務： 分析用戶需求分析用戶需求 數(shù)據(jù)源分析數(shù)據(jù)源分析 進行工具評估進行工具評估 系統(tǒng)安全性設(shè)計系統(tǒng)安全性設(shè)計 系統(tǒng)命名規(guī)范設(shè)計系統(tǒng)命名規(guī)范設(shè)計交付項目：交付項目：功能功能(gngnng)(gngnng)需求列表需求列表FRL ( Function FRL ( Function Requirement List )Requirement List )系統(tǒng)安全性設(shè)計說明書系統(tǒng)安全性設(shè)計說明書 系統(tǒng)命名規(guī)范說明書系統(tǒng)命名規(guī)范說明書數(shù)據(jù)質(zhì)量

6、分析數(shù)據(jù)質(zhì)量分析項目前期準備(zhnbi)業(yè)務探索信息探索邏輯數(shù)據(jù)模型第六頁，共25頁。72.4 邏輯(lu j)數(shù)據(jù)模型設(shè)計主要任務：主要任務： 進行原始數(shù)據(jù)分析進行原始數(shù)據(jù)分析 建立實體模型建立實體模型 建立實體間依賴關(guān)系建立實體間依賴關(guān)系 完善完善(wnshn)(wnshn)并填入所有屬并填入所有屬性性 建立數(shù)據(jù)庫邏輯模型建立數(shù)據(jù)庫邏輯模型 利用工具：利用工具： Erwin/Power DesignerErwin/Power Designer交付項目：交付項目： 數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型LDMLDM邏輯數(shù)據(jù)模型說明書邏輯數(shù)據(jù)模型說明書項目前期準備(zhnbi)業(yè)務探索信息

7、探索邏輯數(shù)據(jù)模型第七頁，共25頁。82.4 邏輯(lu j)數(shù)據(jù)模型概念邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通(gutng)(gutng)業(yè)務的詳細業(yè)務的詳細“藍圖藍圖”基于概念數(shù)據(jù)模型（CDM）由一系列表和實體詳細描述組成通用的業(yè)務語言便于業(yè)務與業(yè)務之間的功能理解集成當前和未來數(shù)據(jù)的藍圖(lnt)獨立于技術(shù)為物理數(shù)據(jù)庫設(shè)計作準備是IT人員和業(yè)務人員溝通的工具發(fā)現(xiàn)發(fā)現(xiàn)屬性屬性發(fā)現(xiàn)發(fā)現(xiàn)關(guān)系關(guān)系發(fā)現(xiàn)發(fā)現(xiàn)實體實體1. 1. 業(yè)務規(guī)則業(yè)務規(guī)則2. ER2. ER圖圖3. ERA3. ERA建模建模第八頁，共25頁。92.4 邏輯(lu j)數(shù)據(jù)模型(LDM)示例第九頁，共

8、25頁。102.5 系統(tǒng)(xtng)體系結(jié)構(gòu)設(shè)計主要任務：主要任務：對業(yè)務、技術(shù)環(huán)境及企業(yè)文化對業(yè)務、技術(shù)環(huán)境及企業(yè)文化(wnhu)(wnhu)的的充分了解，從技術(shù)、組織、教育和支持充分了解，從技術(shù)、組織、教育和支持等方面對系統(tǒng)進行全面評估等方面對系統(tǒng)進行全面評估定義業(yè)務驅(qū)動力定義業(yè)務驅(qū)動力定義數(shù)據(jù)倉庫成功的關(guān)鍵因素定義數(shù)據(jù)倉庫成功的關(guān)鍵因素定義數(shù)據(jù)倉庫的實施原則定義數(shù)據(jù)倉庫的實施原則對系統(tǒng)體系結(jié)構(gòu)各個組件進行詳細設(shè)計對系統(tǒng)體系結(jié)構(gòu)各個組件進行詳細設(shè)計交付項目：交付項目：系統(tǒng)體系結(jié)構(gòu)設(shè)計說明書系統(tǒng)體系結(jié)構(gòu)設(shè)計說明書數(shù)據(jù)倉庫管理(gunl)物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結(jié)構(gòu)設(shè)計

9、元數(shù)據(jù)管理解決方案集成第十頁，共25頁。112.5 體系結(jié)構(gòu)設(shè)計(shj)組件用戶類型拓撲結(jié)構(gòu)網(wǎng)絡(luò)存取與互連組織機構(gòu)安全性數(shù)據(jù)體系結(jié)構(gòu)邏輯數(shù)據(jù)模型元數(shù)據(jù)數(shù)據(jù)質(zhì)量命名規(guī)范數(shù)據(jù)采集與轉(zhuǎn)換用戶存取及工具(gngj)備份系統(tǒng)操作管理第十一頁，共25頁。122.6 物理(wl)數(shù)據(jù)庫設(shè)計主要任務：主要任務：轉(zhuǎn)換邏輯數(shù)據(jù)模型（轉(zhuǎn)換邏輯數(shù)據(jù)模型（LDMLDM）為物理數(shù)據(jù)模型）為物理數(shù)據(jù)模型定義主索引、次索引定義主索引、次索引非正則化處理非正則化處理(chl)(chl)數(shù)據(jù)庫建立數(shù)據(jù)庫建立設(shè)計優(yōu)化設(shè)計優(yōu)化數(shù)據(jù)庫功能測試數(shù)據(jù)庫功能測試使用工具：使用工具：ERWwinERWwin交付項目：交付項目： 物理數(shù)據(jù)模型

10、（物理數(shù)據(jù)模型（LDMLDM）物理數(shù)據(jù)模型說明書物理數(shù)據(jù)模型說明書數(shù)據(jù)庫描述語言數(shù)據(jù)庫描述語言DDLDDL建模方法：建模方法： 第三范式第三范式 3NF3NF 星型結(jié)構(gòu)星型結(jié)構(gòu)(jigu) (jigu) 雪花狀結(jié)構(gòu)雪花狀結(jié)構(gòu)(jigu)(jigu)數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第十二頁，共25頁。132.6 數(shù)據(jù)模型的演變(ynbin)概念數(shù)據(jù)模型（概念數(shù)據(jù)模型（ CDM Conceptual Data Model CDM Conceptual Data Model ）主要實體和它們的關(guān)系主要實體和它們的關(guān)系 （Major Entit

11、ies and Their RelationshipsMajor Entities and Their Relationships）邏輯邏輯(lu j)(lu j)數(shù)據(jù)模型數(shù)據(jù)模型 （ LDM - Logical Data Model LDM - Logical Data Model ）業(yè)務模型加（業(yè)務模型加（CDM PlusCDM Plus） : :所有的表及簡單的數(shù)據(jù)（所有的表及簡單的數(shù)據(jù)（All Tables with Sample DataAll Tables with Sample Data）輔助的表及簡單的數(shù)據(jù)（輔助的表及簡單的數(shù)據(jù)（ Minor Tables with Sampl

12、e Data Minor Tables with Sample Data ）主鍵與外鍵的關(guān)系（主鍵與外鍵的關(guān)系（ PK & FK Relationships PK & FK Relationships ）數(shù)據(jù)約束（數(shù)據(jù)約束（ Constraints Constraints ）屬性（屬性（ Attributes Attributes ）擴展邏輯擴展邏輯(lu j)(lu j)數(shù)據(jù)模型數(shù)據(jù)模型 （ELDM - Extended Logical Data ELDM - Extended Logical Data Model Model ）邏輯邏輯(lu j)(lu j)數(shù)據(jù)模型加（數(shù)

13、據(jù)模型加（LDM PlusLDM Plus） : :存取詳細描述（存取詳細描述（Access DemographicsAccess Demographics）數(shù)據(jù)詳細描述（數(shù)據(jù)詳細描述（Data DemographicsData Demographics）物理數(shù)據(jù)模型物理數(shù)據(jù)模型 （ PDM - Physical Data Model PDM - Physical Data Model ）擴張邏輯擴張邏輯(lu j)(lu j)數(shù)據(jù)模型（數(shù)據(jù)模型（ELDM PlusELDM Plus）: :索引索引 （IndicesIndices）非正則化非正則化 （DenormalizationDenorm

14、alization）第十三頁，共25頁。142.6 非正則(zhn z)化處理 ( Denormalization )非正則化的兩種類型：物理非正則化派生數(shù)據(jù) （Derived Data）匯總表 （Summary Tables）重復的Groups ( Repeating Groups) 多物理表 （Multiple Physical Tables）預連接 （Pre-joins）子實體 （Sub-entities）邏輯非正則化視圖 （Views）邏輯星型結(jié)構(gòu) （Logical Star Schemas）物理非正則化對模型的靈活性會有影響邏輯非正則化是一個(y )優(yōu)選的方法（OLAP實現(xiàn)）第十四頁

15、，共25頁。152.6 物理(wl)數(shù)據(jù)模型（PDM）第十五頁，共25頁。162.7 數(shù)據(jù)(shj)轉(zhuǎn)換與加載（ETL）主要任務：主要任務：數(shù)據(jù)源及其特性定義數(shù)據(jù)源及其特性定義數(shù)據(jù)析取、轉(zhuǎn)換和加載策略設(shè)計數(shù)據(jù)析取、轉(zhuǎn)換和加載策略設(shè)計構(gòu)建和測試構(gòu)建和測試(csh)(csh)初始加載的程序和處理初始加載的程序和處理流程流程構(gòu)建和測試構(gòu)建和測試(csh)(csh)日常加載的程序和處理日常加載的程序和處理流程流程40%40%的工作量在數(shù)據(jù)轉(zhuǎn)換與加載上的工作量在數(shù)據(jù)轉(zhuǎn)換與加載上使用工具：使用工具：SagentSagent或或DatastageDatastage、InformaticInformatic交

16、付項目：交付項目： 數(shù)據(jù)轉(zhuǎn)換加載設(shè)計說明書數(shù)據(jù)轉(zhuǎn)換加載設(shè)計說明書數(shù)據(jù)映射數(shù)據(jù)映射 （Data MappingData Mapping）說明書）說明書 數(shù)據(jù)轉(zhuǎn)換加載腳本數(shù)據(jù)轉(zhuǎn)換加載腳本 （ ETL Scripts)ETL Scripts) 加載流程控制（加載流程控制（ ETL Process Control)ETL Process Control)數(shù)據(jù)倉庫管理(gunl)物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第十六頁，共25頁。172.7 數(shù)據(jù)(shj)清洗方法在源系統(tǒng)上進行(jnxng)清洗（數(shù)據(jù)析取前）在加載服務器上進行(jnxng)清洗（數(shù)據(jù)析取后、

17、加載前）在數(shù)據(jù)倉庫里進行(jnxng)清洗（數(shù)據(jù)加載后）源系統(tǒng)(xtng)ETL服務器數(shù)據(jù)倉庫第十七頁，共25頁。182.7 數(shù)據(jù)轉(zhuǎn)換(zhunhun)常用手段 析取 Extracting 條件 Conditioning 剔除 Scrubbing 合并(hbng) Merging 濃縮 Enrichment 確認 Validating 加載 Loading 評分 Scoring 關(guān)系識別 House holding第十八頁，共25頁。192.8 前端應用(yngyng)開發(fā)主要任務：主要任務：前端應用體系結(jié)構(gòu)設(shè)計前端應用體系結(jié)構(gòu)設(shè)計OLAPOLAP應用設(shè)計應用設(shè)計(Summary/Fact(S

18、ummary/Fact表及表及CubCub的產(chǎn)生）的產(chǎn)生）前端應用開發(fā)（隨機查詢、預定義報表、前端應用開發(fā)（隨機查詢、預定義報表、 OLAPOLAP應用）應用）撰寫用戶使用手冊撰寫用戶使用手冊用戶測試用戶測試(csh)(csh)驗收驗收使用工具：使用工具：查詢報表工具查詢報表工具(Hyperion performance suit)(Hyperion performance suit)OLAPOLAP工具（工具（Essbase)Essbase)基于基于WebWeb的開發(fā)工具的開發(fā)工具(J2EE)(J2EE)其他開發(fā)工具其他開發(fā)工具, ,如如: Portal: Portal交付項目：交付項目：前

19、端應用體系結(jié)構(gòu)設(shè)計說明書前端應用體系結(jié)構(gòu)設(shè)計說明書應用模塊設(shè)計說明書應用模塊設(shè)計說明書 用戶使用手冊用戶使用手冊 數(shù)據(jù)倉庫管理(gunl)物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第十九頁，共25頁。202.10 元數(shù)據(jù)管理元數(shù)據(jù)元數(shù)據(jù)(shj)(Metadata) (shj)(Metadata) 是指關(guān)于數(shù)據(jù)是指關(guān)于數(shù)據(jù)(shj)(shj)的數(shù)據(jù)的數(shù)據(jù)(shj)(shj)，即用來，即用來描述數(shù)據(jù)描述數(shù)據(jù)(shj)(shj)的類型、來源、定義、存儲位置，使得業(yè)務用戶可以正的類型、來源、定義、存儲位置，使得業(yè)務用戶可以正確地使用數(shù)據(jù)確地使用數(shù)據(jù)(shj)(sh

20、j)倉庫。倉庫。 主要任務：主要任務：定義元數(shù)據(jù)使用功能定義元數(shù)據(jù)使用功能設(shè)計元數(shù)據(jù)環(huán)境邏輯結(jié)構(gòu)設(shè)計元數(shù)據(jù)環(huán)境邏輯結(jié)構(gòu)設(shè)計元數(shù)據(jù)環(huán)境物理設(shè)計元數(shù)據(jù)環(huán)境物理(wl)(wl)結(jié)構(gòu)結(jié)構(gòu)選擇合適的元數(shù)據(jù)管理工具選擇合適的元數(shù)據(jù)管理工具建立元數(shù)據(jù)倉庫（建立元數(shù)據(jù)倉庫（Metadata Repository)Metadata Repository)建立和測試元數(shù)據(jù)接口建立和測試元數(shù)據(jù)接口使用工具：使用工具：ETL TOOLSETL TOOLS交付項目：交付項目： 元數(shù)據(jù)管理說明書元數(shù)據(jù)管理說明書數(shù)據(jù)倉庫管理(gunl)物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第二十頁，

21、共25頁。212.10 元數(shù)據(jù)(shj)開發(fā)元數(shù)據(jù)的開發(fā)應該包含在數(shù)據(jù)倉庫實施過程(guchng)的每一步驟中，下圖是元數(shù)據(jù)各部分內(nèi)容與數(shù)據(jù)倉庫開發(fā)過程(guchng)的對應關(guān)系： 第二十一頁，共25頁。222.11 數(shù)據(jù)倉庫管理(gunl)主要任務：主要任務：設(shè)計和開發(fā)數(shù)據(jù)倉庫支持體系結(jié)構(gòu)設(shè)計和開發(fā)數(shù)據(jù)倉庫支持體系結(jié)構(gòu)開發(fā)和測試數(shù)據(jù)倉庫日常運作流程開發(fā)和測試數(shù)據(jù)倉庫日常運作流程開發(fā)和測試性能監(jiān)視程序開發(fā)和測試性能監(jiān)視程序(chngx)(chngx)開發(fā)和測試數(shù)據(jù)備份與恢復程序開發(fā)和測試數(shù)據(jù)備份與恢復程序(chngx)(chngx)開發(fā)和測試安全系統(tǒng)開發(fā)和測試安全系統(tǒng)設(shè)計和開發(fā)操作人員設(shè)計和開

22、發(fā)操作人員/ /最終用戶培訓計劃最終用戶培訓計劃建立用戶支持和培訓材料建立用戶支持和培訓材料使用工具：使用工具：系統(tǒng)監(jiān)控工具和管理工具系統(tǒng)監(jiān)控工具和管理工具交付項目：交付項目：數(shù)據(jù)倉庫管理過程說明書數(shù)據(jù)倉庫管理過程說明書數(shù)據(jù)備份過程設(shè)計說明書數(shù)據(jù)備份過程設(shè)計說明書安全管理模塊設(shè)計說明書安全管理模塊設(shè)計說明書用戶培訓計劃用戶培訓計劃及及用戶使用手冊用戶使用手冊數(shù)據(jù)倉庫管理(gunl)物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第二十二頁，共25頁。232.12 解決方案集成(j chn)主要任務：主要任務：建立并執(zhí)行集成測試計劃建立并執(zhí)行集成測試計劃建立并執(zhí)行數(shù)

23、據(jù)倉庫平臺建立并執(zhí)行數(shù)據(jù)倉庫平臺(pngti)(pngti)測試計劃測試計劃建立并執(zhí)行系統(tǒng)驗收測試計劃建立并執(zhí)行系統(tǒng)驗收測試計劃移植開發(fā)系統(tǒng)到生產(chǎn)系統(tǒng)移植開發(fā)系統(tǒng)到生產(chǎn)系統(tǒng)執(zhí)行用戶培訓計劃執(zhí)行用戶培訓計劃實施數(shù)據(jù)倉庫管理基礎(chǔ)設(shè)施實施數(shù)據(jù)倉庫管理基礎(chǔ)設(shè)施項目實施完成項目實施完成回顧項目狀態(tài)回顧項目狀態(tài)交付項目：交付項目：數(shù)據(jù)轉(zhuǎn)換管理系統(tǒng)測試報告數(shù)據(jù)轉(zhuǎn)換管理系統(tǒng)測試報告數(shù)據(jù)訪問和信息發(fā)布系統(tǒng)測試報數(shù)據(jù)訪問和信息發(fā)布系統(tǒng)測試報告告數(shù)據(jù)倉庫平臺數(shù)據(jù)倉庫平臺(pngti)(pngti)測試報告測試報告數(shù)據(jù)倉庫管理過程測試報告數(shù)據(jù)倉庫管理過程測試報告系統(tǒng)回顧報告系統(tǒng)回顧報告數(shù)據(jù)倉庫管理(gunl)物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第二十三頁，共25頁。24總結(jié)：主要(zhyo)步驟及文檔間關(guān)系 Business Discovery ( Business Discovery (業(yè)務探索業(yè)務探索) ) 業(yè)務需求業(yè)務需求(xqi)(xqi)說明書說明書(BRL)(BRL) 概念數(shù)據(jù)模型概念數(shù)據(jù)模型(CDM)(CDM)物理數(shù)據(jù)物理數(shù)據(jù)(shj)(shj)庫設(shè)計