商業(yè)智能實施方案.ppt

商業(yè)智能實施方案,2020年5月18日,1、實施方法,2、實施步驟,數(shù)據(jù)倉庫管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換,應用開發(fā),數(shù)據(jù)挖掘服務,系統(tǒng)體系結(jié)構(gòu)設計,元數(shù)據(jù)管理,解決方案集成,項目具體實施步驟,項目前期準備,業(yè)務探索,信息探索,邏輯數(shù)據(jù)模型,1.項目前期準備2.業(yè)務探索（BusinessDiscovery)3.信息探索（InformationDiscovery)4.邏輯數(shù)據(jù)模型設計5.系統(tǒng)體系結(jié)構(gòu)設計6.物理數(shù)據(jù)庫設計7.數(shù)據(jù)轉(zhuǎn)換加載ETL8.前端應用開發(fā)9.數(shù)據(jù)挖掘服務10.元數(shù)據(jù)管理11.數(shù)據(jù)倉庫管理（處理流程與操作）12.解決方案集成（測試驗收與試運行）,2.1項目前期準備,主要任務：項目啟動會議(Kick-offMeeting)確認項目范圍和主要目標確認項目階段性驗收及總體驗收標準確認項目實施計劃成立項目組確定各項目小組的成員及各自的工作職責確定各項目小組的階段性工作目標確定教育訓練計劃確定服務流程及方式交付項目：項目組織機構(gòu)項目人員組成,項目前期準備,業(yè)務探索,信息探索,邏輯數(shù)據(jù)模型,2.2業(yè)務探索（BusinessDiscovery),主要任務：確定重點用戶與數(shù)據(jù)源用戶需求調(diào)研與確認數(shù)據(jù)源確認用戶需求和數(shù)據(jù)源的篩選和分析交付項目：業(yè)務需求說明書BRL(BusinessRequirementList)概念數(shù)據(jù)模型CDM（ConceptualDataModel),項目前期準備,業(yè)務探索,信息探索,邏輯數(shù)據(jù)模型,2.3信息探索（InformationDiscovery),主要任務：分析用戶需求數(shù)據(jù)源分析進行工具評估系統(tǒng)安全性設計系統(tǒng)命名規(guī)范設計交付項目：功能需求列表FRL(FunctionRequirementList)系統(tǒng)安全性設計說明書系統(tǒng)命名規(guī)范說明書數(shù)據(jù)質(zhì)量分析,項目前期準備,業(yè)務探索,信息探索,邏輯數(shù)據(jù)模型,2.4邏輯數(shù)據(jù)模型設計,主要任務：進行原始數(shù)據(jù)分析建立實體模型建立實體間依賴關系完善并填入所有屬性建立數(shù)據(jù)庫邏輯模型利用工具：Erwin/PowerDesigner交付項目：數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型LDM邏輯數(shù)據(jù)模型說明書,項目前期準備,業(yè)務探索,信息探索,邏輯數(shù)據(jù)模型,2.4邏輯數(shù)據(jù)模型概念,邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通業(yè)務的詳細“藍圖”,基于概念數(shù)據(jù)模型（CDM）由一系列表和實體詳細描述組成通用的業(yè)務語言便于業(yè)務與業(yè)務之間的功能理解集成當前和未來數(shù)據(jù)的藍圖獨立于技術為物理數(shù)據(jù)庫設計作準備是IT人員和業(yè)務人員溝通的工具,2.4邏輯數(shù)據(jù)模型(LDM)示例,2.5系統(tǒng)體系結(jié)構(gòu)設計,主要任務：對業(yè)務、技術環(huán)境及企業(yè)文化的充分了解，從技術、組織、教育和支持等方面對系統(tǒng)進行全面評估定義業(yè)務驅(qū)動力定義數(shù)據(jù)倉庫成功的關鍵因素定義數(shù)據(jù)倉庫的實施原則對系統(tǒng)體系結(jié)構(gòu)各個組件進行詳細設計交付項目：系統(tǒng)體系結(jié)構(gòu)設計說明書,數(shù)據(jù)倉庫管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換,應用開發(fā),數(shù)據(jù)挖掘服務,系統(tǒng)體系結(jié)構(gòu)設計,元數(shù)據(jù)管理,解決方案集成,2.5體系結(jié)構(gòu)設計組件,用戶類型拓撲結(jié)構(gòu)網(wǎng)絡存取與互連組織機構(gòu)安全性數(shù)據(jù)體系結(jié)構(gòu)邏輯數(shù)據(jù)模型元數(shù)據(jù)數(shù)據(jù)質(zhì)量命名規(guī)范數(shù)據(jù)采集與轉(zhuǎn)換用戶存取及工具備份系統(tǒng)操作管理,2.6物理數(shù)據(jù)庫設計,主要任務：轉(zhuǎn)換邏輯數(shù)據(jù)模型（LDM）為物理數(shù)據(jù)模型定義主索引、次索引非正則化處理數(shù)據(jù)庫建立設計優(yōu)化數(shù)據(jù)庫功能測試使用工具：ERWwin交付項目：物理數(shù)據(jù)模型（LDM）物理數(shù)據(jù)模型說明書數(shù)據(jù)庫描述語言DDL,建模方法：第三范式3NF星型結(jié)構(gòu)雪花狀結(jié)構(gòu),數(shù)據(jù)倉庫管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換,應用開發(fā),數(shù)據(jù)挖掘服務,系統(tǒng)體系結(jié)構(gòu)設計,元數(shù)據(jù)管理,解決方案集成,2.6數(shù)據(jù)模型的演變,概念數(shù)據(jù)模型（CDMConceptualDataModel）主要實體和它們的關系（MajorEntitiesandTheirRelationships）邏輯數(shù)據(jù)模型（LDM-LogicalDataModel）業(yè)務模型加（CDMPlus）:所有的表及簡單的數(shù)據(jù)（AllTableswithSampleData）輔助的表及簡單的數(shù)據(jù)（MinorTableswithSampleData）主鍵與外鍵的關系（PK&FKRelationships）數(shù)據(jù)約束（Constraints）屬性（Attributes）擴展邏輯數(shù)據(jù)模型（ELDM-ExtendedLogicalDataModel）邏輯數(shù)據(jù)模型加（LDMPlus）:存取詳細描述（AccessDemographics）數(shù)據(jù)詳細描述（DataDemographics）物理數(shù)據(jù)模型（PDM-PhysicalDataModel）擴張邏輯數(shù)據(jù)模型（ELDMPlus）:索引（Indices）非正則化（Denormalization）,2.6非正則化處理(Denormalization),非正則化的兩種類型：物理非正則化派生數(shù)據(jù)（DerivedData）匯總表（SummaryTables）重復的Groups(RepeatingGroups)多物理表（MultiplePhysicalTables）預連接（Pre-joins）子實體（Sub-entities）邏輯非正則化視圖（Views）邏輯星型結(jié)構(gòu)（LogicalStarSchemas）物理非正則化對模型的靈活性會有影響邏輯非正則化是一個優(yōu)選的方法（OLAP實現(xiàn)）,2.6物理數(shù)據(jù)模型（PDM）,2.7數(shù)據(jù)轉(zhuǎn)換與加載（ETL）,主要任務：數(shù)據(jù)源及其特性定義數(shù)據(jù)析取、轉(zhuǎn)換和加載策略設計構(gòu)建和測試初始加載的程序和處理流程構(gòu)建和測試日常加載的程序和處理流程40%的工作量在數(shù)據(jù)轉(zhuǎn)換與加載上使用工具：Sagent或Datastage、Informatic交付項目：數(shù)據(jù)轉(zhuǎn)換加載設計說明書數(shù)據(jù)映射（DataMapping）說明書數(shù)據(jù)轉(zhuǎn)換加載腳本（ETLScripts)加載流程控制（ETLProcessControl),數(shù)據(jù)倉庫管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換,應用開發(fā),數(shù)據(jù)挖掘服務,系統(tǒng)體系結(jié)構(gòu)設計,元數(shù)據(jù)管理,解決方案集成,2.7數(shù)據(jù)清洗方法,在源系統(tǒng)上進行清洗（數(shù)據(jù)析取前）在加載服務器上進行清洗（數(shù)據(jù)析取后、加載前）在數(shù)據(jù)倉庫里進行清洗（數(shù)據(jù)加載后）,源系統(tǒng),ETL服務器,數(shù)據(jù)倉庫,2.7數(shù)據(jù)轉(zhuǎn)換常用手段,析取Extracting條件Conditioning剔除Scrubbing合并Merging濃縮Enrichment確認Validating加載Loading評分Scoring關系識別Householding,2.8前端應用開發(fā),主要任務：前端應用體系結(jié)構(gòu)設計OLAP應用設計(Summary/Fact表及Cub的產(chǎn)生）前端應用開發(fā)（隨機查詢、預定義報表、OLAP應用）撰寫用戶使用手冊用戶測試驗收使用工具：查詢報表工具(Hyperionperformancesuit)OLAP工具（Essbase)基于Web的開發(fā)工具(J2EE)其他開發(fā)工具,如:Portal交付項目：前端應用體系結(jié)構(gòu)設計說明書應用模塊設計說明書用戶使用手冊,數(shù)據(jù)倉庫管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換,應用開發(fā),數(shù)據(jù)挖掘服務,系統(tǒng)體系結(jié)構(gòu)設計,元數(shù)據(jù)管理,解決方案集成,2.10元數(shù)據(jù)管理,元數(shù)據(jù)(Metadata)是指關于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置，使得業(yè)務用戶可以正確地使用數(shù)據(jù)倉庫。,主要任務：定義元數(shù)據(jù)使用功能設計元數(shù)據(jù)環(huán)境邏輯結(jié)構(gòu)設計元數(shù)據(jù)環(huán)境物理結(jié)構(gòu)選擇合適的元數(shù)據(jù)管理工具建立元數(shù)據(jù)倉庫（MetadataRepository)建立和測試元數(shù)據(jù)接口使用工具：ETLTOOLS交付項目：元數(shù)據(jù)管理說明書,數(shù)據(jù)倉庫管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換,應用開發(fā),數(shù)據(jù)挖掘服務,系統(tǒng)體系結(jié)構(gòu)設計,元數(shù)據(jù)管理,解決方案集成,2.10元數(shù)據(jù)開發(fā),元數(shù)據(jù)的開發(fā)應該包含在數(shù)據(jù)倉庫實施過程的每一步驟中，下圖是元數(shù)據(jù)各部分內(nèi)容與數(shù)據(jù)倉庫開發(fā)過程的對應關系：,2.11數(shù)據(jù)倉庫管理,主要任務：設計和開發(fā)數(shù)據(jù)倉庫支持體系結(jié)構(gòu)開發(fā)和測試數(shù)據(jù)倉庫日常運作流程開發(fā)和測試性能監(jiān)視程序開發(fā)和測試數(shù)據(jù)備份與恢復程序開發(fā)和測試安全系統(tǒng)設計和開發(fā)操作人員/最終用戶培訓計劃建立用戶支持和培訓材料使用工具：系統(tǒng)監(jiān)控工具和管理工具交付項目：數(shù)據(jù)倉庫管理過程說明書數(shù)據(jù)備份過程設計說明書安全管理模塊設計說明書用戶培訓計劃及用戶使用手冊,數(shù)據(jù)倉庫管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換,應用開發(fā),數(shù)據(jù)挖掘服務,系統(tǒng)體系結(jié)構(gòu)設計,元數(shù)據(jù)管理,解決方案集成,2.12解決方案集成,主要任務：建立并執(zhí)行集成測試計劃建立并執(zhí)行數(shù)據(jù)倉庫平臺測試計劃建立并執(zhí)行系統(tǒng)驗收測試計劃移植開發(fā)系統(tǒng)到生產(chǎn)系統(tǒng)執(zhí)行用戶培訓計劃實施數(shù)據(jù)倉庫管理基礎設施項目實施完成回顧項目狀態(tài)交付項目：數(shù)據(jù)轉(zhuǎn)換管理系統(tǒng)測試報告數(shù)據(jù)訪問和信息發(fā)布系統(tǒng)測試報告數(shù)據(jù)倉庫平臺測試報告數(shù)據(jù)倉庫管理過程測試報告系統(tǒng)回顧報告,數(shù)據(jù)倉庫管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換,應用開發(fā),數(shù)據(jù)挖掘服務,系統(tǒng)體系結(jié)構(gòu)設計,元數(shù)據(jù)管理,解決方案集成,總結(jié)：主要步驟及文檔間關系,BusinessDiscovery(業(yè)務探索)業(yè)務需求說明書(BRL)概念數(shù)據(jù)模型(CDM),物理數(shù)據(jù)庫設計物理數(shù)據(jù)模型(PDM)數(shù)據(jù)庫描述語言(DDL)數(shù)據(jù)轉(zhuǎn)換加載(ETL)數(shù)據(jù)加載設計說明書數(shù)據(jù)映射（DataMapping)轉(zhuǎn)換加載腳本（ETLScripts)加載流程控制（ETLControl)前端應用設計前端應用體系結(jié)構(gòu)前端應用設計說明書Summa