數(shù)據(jù)倉庫的建設(shè)實(shí)施課件_第1頁
數(shù)據(jù)倉庫的建設(shè)實(shí)施課件_第2頁
數(shù)據(jù)倉庫的建設(shè)實(shí)施課件_第3頁
數(shù)據(jù)倉庫的建設(shè)實(shí)施課件_第4頁
數(shù)據(jù)倉庫的建設(shè)實(shí)施課件_第5頁
已閱讀5頁,還剩115頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

數(shù)據(jù)中心(數(shù)據(jù)倉庫)的

建設(shè)實(shí)施深圳海聯(lián)訊科技股份公司張千福數(shù)據(jù)中心(數(shù)據(jù)倉庫)的

建設(shè)實(shí)施深圳海聯(lián)訊科技股份公司1一體化平臺(tái)總體拓?fù)鋱D身份管理認(rèn)證代理人員目錄認(rèn)證目錄人力資源安全生產(chǎn)物資管理協(xié)同辦公營銷管理財(cái)務(wù)管理項(xiàng)目管理綜合管理操作型數(shù)據(jù)存儲(chǔ)(ODS)數(shù)據(jù)倉庫商務(wù)智能全局?jǐn)?shù)據(jù)字典

公共信息模型業(yè)務(wù)流程集成業(yè)務(wù)數(shù)據(jù)集成身份認(rèn)證登錄數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換網(wǎng)省公司網(wǎng)省公司安全管理企業(yè)資源管理平臺(tái)ETL1運(yùn)維管理企業(yè)門戶單點(diǎn)登錄基礎(chǔ)支撐功能個(gè)性化定制多渠道接入Portlet框架虛擬門戶門戶管理與維護(hù)基本應(yīng)用擴(kuò)展應(yīng)用展現(xiàn)層的應(yīng)用集成Web內(nèi)容管理搜索協(xié)同工作待辦事宜BI展現(xiàn)對8大系統(tǒng)中協(xié)同辦公的規(guī)范要求對應(yīng)用集成項(xiàng)目的規(guī)范要求對BI接入的規(guī)范要求ETL2一體化平臺(tái)總體拓?fù)鋱D身份管理認(rèn)證代理人員目錄認(rèn)證目錄人力資源2基本概念廣義數(shù)據(jù)中心:數(shù)據(jù)中心是提供所有應(yīng)用系統(tǒng)的運(yùn)營場所。數(shù)據(jù)中心也是容納用以支持應(yīng)用系統(tǒng)運(yùn)行的基礎(chǔ)設(shè)施(包括服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)設(shè)備)的物理地點(diǎn)。數(shù)據(jù)中心本身的ODS、數(shù)據(jù)倉庫及建立在其上的決策分析應(yīng)用。數(shù)據(jù)中心需要有一套成熟的運(yùn)行、維護(hù)體系支持其日常運(yùn)行,保證應(yīng)用系統(tǒng)高效地不間斷運(yùn)行,數(shù)據(jù)被正確的訪問狹義數(shù)據(jù)中心:狹義的數(shù)據(jù)中心是指數(shù)據(jù)倉庫和建立在數(shù)據(jù)倉庫之上的決策分析應(yīng)用,具體包括:數(shù)據(jù)源,數(shù)據(jù)的ETL,ODS數(shù)據(jù)庫,數(shù)據(jù)倉庫,數(shù)據(jù)集市,商務(wù)智能應(yīng)用和元數(shù)據(jù)管理等。

在此作業(yè)指導(dǎo)書中,除非特別說明數(shù)據(jù)中心都是指俠義的數(shù)據(jù)中心,即數(shù)據(jù)倉庫及建立在數(shù)據(jù)倉庫之上的商務(wù)智能和決策分析應(yīng)用。

基本概念廣義數(shù)據(jù)中心:3作業(yè)指導(dǎo)書概述數(shù)據(jù)倉庫概念:數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策。 數(shù)據(jù)倉庫可以幫助用戶更好地理解信息,從新的角度看待這些信息,以便獲得更好的洞察力,看到模式和趨勢,并更好地進(jìn)行商業(yè)決策。數(shù)據(jù)倉庫為整個(gè)企業(yè)的需要服務(wù)。數(shù)據(jù)倉庫需要訪問不同的數(shù)據(jù)源,需要存儲(chǔ)海量的數(shù)據(jù),需要對企業(yè)數(shù)據(jù)進(jìn)行分析,并用適當(dāng)?shù)姆绞秸宫F(xiàn)給出來。數(shù)據(jù)倉庫的建設(shè)不僅涉及到許多先進(jìn)的技術(shù),更涉及到企業(yè)所有的業(yè)務(wù)知識(shí),所以說數(shù)據(jù)倉庫不是一個(gè)產(chǎn)品,而是一個(gè)具體的解決方案。數(shù)據(jù)中心概念數(shù)據(jù)倉庫概念背景與目的建設(shè)步驟建議迭代關(guān)系實(shí)例說明作業(yè)指導(dǎo)書概述數(shù)據(jù)倉庫概念:數(shù)據(jù)中心概念數(shù)據(jù)倉庫概念背景與目4整體架構(gòu)圖O_x:數(shù)據(jù)橫向移動(dòng)V_x:數(shù)據(jù)縱向移動(dòng)整體架構(gòu)圖O_x:數(shù)據(jù)橫向移動(dòng)5數(shù)據(jù)中心建設(shè)過程需求分析邏輯分析ODS建模數(shù)據(jù)倉庫建模源數(shù)據(jù)分析數(shù)據(jù)的獲取與整合應(yīng)用設(shè)計(jì)性能調(diào)優(yōu)數(shù)據(jù)展現(xiàn)元數(shù)據(jù)管理系統(tǒng)建設(shè)過程數(shù)據(jù)中心建設(shè)過程需求分析邏輯分析ODS建模數(shù)據(jù)倉庫建模源數(shù)據(jù)6迭代式開發(fā)迭代式開發(fā)7國網(wǎng)典設(shè)建議的甲方項(xiàng)目組織國網(wǎng)典設(shè)建議的甲方項(xiàng)目組織8海聯(lián)訊的項(xiàng)目組織海聯(lián)訊的項(xiàng)目組織9實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD10需求分析調(diào)研內(nèi)容調(diào)研對象調(diào)研時(shí)間調(diào)研地點(diǎn)內(nèi)容1內(nèi)容2內(nèi)容3內(nèi)容4…調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書需求分析調(diào)研內(nèi)容調(diào)研對象調(diào)研時(shí)間調(diào)研地點(diǎn)內(nèi)容1內(nèi)容2內(nèi)容3內(nèi)11需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研方式:當(dāng)面訪談;問卷調(diào)查;訪談及問卷提綱模板請參見附錄2需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研方式:12需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書實(shí)例調(diào)研內(nèi)容:針對不同層面的人員,調(diào)研內(nèi)容不同對企業(yè)領(lǐng)導(dǎo)層領(lǐng)導(dǎo)層目前的工作重點(diǎn)有哪些和此主題相關(guān),和哪幾個(gè)指標(biāo)相關(guān)?領(lǐng)導(dǎo)層最關(guān)心哪幾個(gè)指標(biāo)?針對這些指標(biāo),領(lǐng)導(dǎo)層目前采用何種獲取方式?針對這些指標(biāo),領(lǐng)導(dǎo)層目前都進(jìn)行哪些分析,采用何種分析手段,采用何種分析方法?目前狀況下,針對這些指標(biāo)都有哪些展現(xiàn)方式?領(lǐng)導(dǎo)層對數(shù)據(jù)倉庫的期望是什么?領(lǐng)導(dǎo)層希望決策分析系統(tǒng)能提供哪些分析功能?領(lǐng)導(dǎo)層希望以何種方式來看這些指標(biāo)?領(lǐng)導(dǎo)層希望對這些指標(biāo)進(jìn)行哪些方面的比較?需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書實(shí)例調(diào)研內(nèi)容:針對不同13需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面的人員,調(diào)研內(nèi)容不同對中間管理層中間管理層通常需要上報(bào)哪些指標(biāo)?和此分析主題相關(guān)的有哪些指標(biāo)?平時(shí)領(lǐng)導(dǎo)層通常詢問哪些指標(biāo)?在這些指標(biāo)中哪幾個(gè)和此分析主題有關(guān)?中間管理層目前的工作重點(diǎn)有哪些和此主題相關(guān),和哪幾個(gè)指標(biāo)相關(guān)?中間管理層本身最關(guān)心哪幾個(gè)指標(biāo)?中間管理層對下屬的工作人員都考核哪些指標(biāo)?哪幾個(gè)指標(biāo)與此分析主題有關(guān)?針對這些指標(biāo),中間管理層目前采用何種獲取方式?針對這些指標(biāo),中間管理層目前都進(jìn)行哪些分析,采用何種分析手段,采用何種分析方法?目前狀況下,針對這些指標(biāo)都有哪些展現(xiàn)方式?中間管理層對數(shù)據(jù)倉庫的期望是什么?中間管理層希望決策分析系統(tǒng)能提供哪些分析功能?中間管理層希望以何種方式來看這些指標(biāo)?中間管理層希望對這些指標(biāo)進(jìn)行哪些方面的比較?需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面14需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面的人員,調(diào)研內(nèi)容不同對業(yè)務(wù)人員平時(shí)工作中最關(guān)心的是哪些指標(biāo)?有哪幾個(gè)指標(biāo)與此分析主題有關(guān)?平時(shí)直屬領(lǐng)導(dǎo)通常詢問哪些指標(biāo)?在這些指標(biāo)中哪幾個(gè)和此分析主題有關(guān)?業(yè)務(wù)人員目前的工作重點(diǎn)有哪些和此主題相關(guān),和哪幾個(gè)指標(biāo)相關(guān)?業(yè)務(wù)人員對數(shù)據(jù)倉庫的期望是什么?業(yè)務(wù)人員希望系統(tǒng)能提供哪些分析功能?業(yè)務(wù)人員希望以何種方式來看這些指標(biāo)?業(yè)務(wù)人員希望對這些指標(biāo)進(jìn)行哪些方面的比較?需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面15需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面的人員,調(diào)研內(nèi)容不同對IT人員此主題所需要的數(shù)據(jù)源都取自哪些業(yè)務(wù)系統(tǒng)?與本主題有關(guān)的現(xiàn)有的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)怎樣?與本主題有關(guān)的現(xiàn)有的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)更新頻率如何?IT人員對數(shù)據(jù)倉庫的期望是什么?IT人員在平時(shí)的工作中最關(guān)心的哪些指標(biāo)?需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面16需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書需求規(guī)格說明書需求規(guī)格說明書模板詳見附錄4需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書需求規(guī)格說明書17實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD18邏輯分析單一主題處理邏輯分析從業(yè)務(wù)邏輯入手,分析各指標(biāo)的組成關(guān)系;多主題處理邏輯分析綜合考慮各分析主題間的邏輯關(guān)系;處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元數(shù)據(jù)建立邏輯分析單一主題處理邏輯分析處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元數(shù)19邏輯分析單一主題支撐數(shù)據(jù)分析單個(gè)主題分析所需要的原始支撐數(shù)據(jù)分析多主題支撐數(shù)據(jù)分析所有主題統(tǒng)一考慮做需要的支撐數(shù)據(jù)分析處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元數(shù)據(jù)建立邏輯分析單一主題支撐數(shù)據(jù)分析處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元20邏輯分析業(yè)務(wù)元數(shù)據(jù)包括以下信息:使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象名和屬性名;訪問數(shù)據(jù)的原則和數(shù)據(jù)來源;系統(tǒng)所提供的分析方法及公式、報(bào)表信息。處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元數(shù)據(jù)建立邏輯分析業(yè)務(wù)元數(shù)據(jù)包括以下信息:處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)21實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD22ODS建模ODS邏輯模型邏輯結(jié)構(gòu):完成實(shí)體的定義,各實(shí)體間的關(guān)系等存儲(chǔ)周期(立即刪除、過一段時(shí)間刪除或者是備份到其它介質(zhì)上)存儲(chǔ)粒度(與源系統(tǒng)基本保持一致)ODS物理模型數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)索引策略數(shù)據(jù)存放位置(硬盤或磁帶等)存儲(chǔ)分配分區(qū)設(shè)計(jì)邏輯模型物理模型驗(yàn)證實(shí)例ODS建模ODS邏輯模型邏輯模型物理模型驗(yàn)證實(shí)例23ODS建模邏輯模型物理模型驗(yàn)證實(shí)例ODS建模邏輯模型物理模型驗(yàn)證實(shí)例24實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD25需求分析邏輯分析ODS建模數(shù)據(jù)倉庫建模源數(shù)據(jù)分析數(shù)據(jù)的獲取與整合應(yīng)用設(shè)計(jì)性能調(diào)優(yōu)數(shù)據(jù)展現(xiàn)元數(shù)據(jù)管理系統(tǒng)建設(shè)過程需求分析邏輯分析ODS建模數(shù)據(jù)倉庫建模源數(shù)據(jù)分析數(shù)據(jù)的獲取與26數(shù)據(jù)倉庫建模數(shù)據(jù)倉庫邏輯模型劃分粒度層次確定數(shù)據(jù)分割策略確定存儲(chǔ)周期定義關(guān)系模式數(shù)據(jù)倉庫物理模型數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)索引策略數(shù)據(jù)存放位置(硬盤或磁帶等)存儲(chǔ)分配分區(qū)設(shè)計(jì)邏輯模型物理模型驗(yàn)證實(shí)例數(shù)據(jù)倉庫建模數(shù)據(jù)倉庫邏輯模型邏輯模型物理模型驗(yàn)證實(shí)例27數(shù)據(jù)倉庫建模邏輯模型物理模型驗(yàn)證實(shí)例數(shù)據(jù)倉庫建模邏輯模型物理模型驗(yàn)證實(shí)例28實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD29數(shù)據(jù)源分析數(shù)據(jù)源范圍包括數(shù)據(jù)源邏輯范圍和物理范圍數(shù)據(jù)源格式理解各數(shù)據(jù)源的格式,確定統(tǒng)一的格式,制定相應(yīng)的轉(zhuǎn)換規(guī)則數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析數(shù)據(jù)源范圍數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)30數(shù)據(jù)源分析ORACLE數(shù)據(jù)源名稱代碼用電分類AC_ELEC_CLASS電價(jià)表AC_TARIFF行業(yè)AC_TRADE_TYPE欠費(fèi)信息表CHG_RECEIVABLES客戶信息EP_CUST_INFO電量與電費(fèi)表EP_RESULT地區(qū)(單位)SU_AREA部門SU_DEPT電壓AC_VOLT_GRADE數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析ORACLE數(shù)據(jù)源名稱代碼用電分類AC_ELEC_31數(shù)據(jù)源分析SYBASE數(shù)據(jù)源名稱代碼用戶基本信息User_inf按戶電費(fèi)數(shù)據(jù)User_cost電費(fèi)數(shù)據(jù)bill_data用電性質(zhì)代碼表Code_e_kind用電類別Code_usage_date電價(jià)表Price計(jì)費(fèi)日期對應(yīng)電價(jià)日期cal_price_date單位代碼Dept行業(yè)代碼表Code_trade_new電壓代碼表Codvolt時(shí)段Code_period用戶類別Code_user_type用戶使用電表User_ammeter用電分類代碼表rep_salse_kind用電分類與用電性質(zhì)關(guān)系表rep_salse_relation其它電費(fèi)數(shù)據(jù)Bill_data_oth數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析SYBASE數(shù)據(jù)源名稱代碼用戶基本信息User_i32數(shù)據(jù)源分析名稱代碼更新用電類AC_ELEC_CLASS維表(緩慢變化)電價(jià)表AC_TARIFF維表(緩慢變化)行業(yè)AC_TRADE_TYPE維表(緩慢變化)欠費(fèi)信息表CHG_RECEIVABLES月客戶信息EP_CUST_INFO維表電量與電費(fèi)表EP_RESULT月地區(qū)(單位)SU_AREA維表(緩慢變化)部門SU_DEPT維表(緩慢變化)電壓AC_VOLT_GRADE維表(緩慢變化)數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析名稱代碼更新用電類AC_ELEC_CLASS維表33數(shù)據(jù)源分析名稱代碼數(shù)據(jù)量用電分類AC_ELEC_CLASS92電價(jià)表AC_TARIFF355行業(yè)AC_TRADE_TYPE595欠費(fèi)信息表CHG_RECEIVABLES1309341客戶信息EP_CUST_INFO147692電量與電費(fèi)表EP_RESULT2775326地區(qū)(單位)SU_AREA15部門SU_DEPT102電壓AC_VOLT_GRADE6數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析名稱代碼數(shù)據(jù)量用電分類AC_ELEC_CLASS34數(shù)據(jù)源分析數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率35實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD36數(shù)據(jù)的獲取與整合直接抽取ETL服務(wù)器直接連接到應(yīng)用系統(tǒng)后臺(tái)數(shù)據(jù)庫中,直接抽取所需數(shù)據(jù)。采用這種抽取方式時(shí),必須注意安全控制和抽取時(shí)間窗口兩個(gè)問題。

WEB服務(wù)通過WEB服務(wù)獲取系統(tǒng)需要的數(shù)據(jù)的抽取方式。文件交換文件交換是指應(yīng)用系統(tǒng)將需要抽取的業(yè)務(wù)數(shù)據(jù)保存為有格式的文本文件,然后ETL服務(wù)器通過讀此文件內(nèi)容來獲取業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)抽取方式。數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方式數(shù)據(jù)的獲取與整合直接抽取數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方37數(shù)據(jù)的獲取與整合字段映射代碼轉(zhuǎn)換字段拆分字段合并字段運(yùn)算字段補(bǔ)充行列轉(zhuǎn)換數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方式數(shù)據(jù)的獲取與整合字段映射數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方38數(shù)據(jù)的獲取與整合全部覆蓋記錄追加記錄更新數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方式數(shù)據(jù)的獲取與整合全部覆蓋數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方39實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用設(shè)計(jì)8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD40應(yīng)用設(shè)計(jì)OLAP分析方法ROLAPMOLAPHOLAPOLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)OLAP分析方法OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)41應(yīng)用設(shè)計(jì)OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘42應(yīng)用設(shè)計(jì)預(yù)定義報(bào)表對單報(bào)表可以直接從數(shù)據(jù)庫中取出數(shù)據(jù)進(jìn)行分析展現(xiàn)。同一主題的多個(gè)報(bào)表間有較強(qiáng)的關(guān)聯(lián),有些數(shù)據(jù)會(huì)在多個(gè)報(bào)表中以不同方式出現(xiàn)。因此,可以對多個(gè)報(bào)表進(jìn)行整合。OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)預(yù)定義報(bào)表OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘43應(yīng)用設(shè)計(jì)即席查詢基于單個(gè)事實(shí)表的即席查詢基于多個(gè)事實(shí)表關(guān)聯(lián)的即席查詢OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)即席查詢OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘44應(yīng)用設(shè)計(jì)數(shù)據(jù)挖掘定義問題:清晰地定義出業(yè)務(wù)問題,確定數(shù)據(jù)挖掘的目的。數(shù)據(jù)準(zhǔn)備:包括:選擇數(shù)據(jù):在大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目標(biāo)中提取數(shù)據(jù)挖掘的目標(biāo)數(shù)據(jù)集;數(shù)據(jù)預(yù)處理:進(jìn)行數(shù)據(jù)再加工,包括檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性、去噪聲,填補(bǔ)丟失的域,刪除無效數(shù)據(jù)等。數(shù)據(jù)挖掘:根據(jù)數(shù)據(jù)功能的類型和和數(shù)據(jù)的特點(diǎn)選擇相應(yīng)的算法,在凈化和轉(zhuǎn)換過的數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘。結(jié)果分析:對數(shù)據(jù)挖掘的結(jié)果進(jìn)行解釋和評價(jià),轉(zhuǎn)換成為能夠最終被用戶理解的知識(shí)。知識(shí)運(yùn)用:將分析所得到的知識(shí)集成到業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中去。OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)數(shù)據(jù)挖掘OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘45實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用展現(xiàn)8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD46性能調(diào)優(yōu)優(yōu)化指標(biāo)對系統(tǒng)性能進(jìn)行評估,得出相關(guān)性能指標(biāo)綜合各種相關(guān)因素,得出各項(xiàng)指標(biāo)的期望值優(yōu)化步驟根據(jù)經(jīng)驗(yàn)調(diào)整,無固定的步驟性能調(diào)優(yōu)優(yōu)化指標(biāo)47匯報(bào)內(nèi)容數(shù)據(jù)倉庫建模51概述2需求分析3邏輯分析數(shù)據(jù)源分析64ODS建模元數(shù)據(jù)管理117數(shù)據(jù)獲取與整合8應(yīng)用分析9性能調(diào)優(yōu)10數(shù)據(jù)展現(xiàn)匯報(bào)內(nèi)容數(shù)據(jù)倉庫建模51概述2需求分析3邏輯分析數(shù)據(jù)源分析648數(shù)據(jù)展示展現(xiàn)內(nèi)容展現(xiàn)數(shù)據(jù)以及展現(xiàn)格式展現(xiàn)方式報(bào)表圖形圖標(biāo)展現(xiàn)方法打印報(bào)表電子報(bào)表WEB發(fā)布數(shù)據(jù)展示展現(xiàn)內(nèi)容49展現(xiàn)界面設(shè)計(jì)展現(xiàn)界面設(shè)計(jì)50前端展現(xiàn)前端展現(xiàn)51實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用設(shè)計(jì)8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD52元數(shù)據(jù)管理流程元數(shù)據(jù)管理流程53元數(shù)據(jù)管理元數(shù)據(jù)模型采用公共倉庫元模型(CommonWarehouseMetamodel,簡稱CWM)。CWM的主要目的是在異構(gòu)環(huán)境下,幫助不同的數(shù)據(jù)中心工具、平臺(tái)和元數(shù)據(jù)知識(shí)庫進(jìn)行元數(shù)據(jù)交換。CWM為數(shù)據(jù)倉庫和商業(yè)智能(BI)工具之間共享元數(shù)據(jù),制定了一整套關(guān)于語法和語義的規(guī)范。元數(shù)據(jù)管理涉及到數(shù)據(jù)倉庫構(gòu)造、運(yùn)行、維護(hù)的整個(gè)生命周期,是數(shù)據(jù)倉庫構(gòu)建過程中十分重要的一環(huán)。元數(shù)據(jù)以數(shù)據(jù)庫存儲(chǔ),集中管理控制。元數(shù)據(jù)模型元數(shù)據(jù)管理元數(shù)據(jù)報(bào)告元數(shù)據(jù)導(dǎo)入導(dǎo)出元數(shù)據(jù)管理元數(shù)據(jù)模型采用公共倉庫元模型(CommonWa54元數(shù)據(jù)管理元數(shù)據(jù)的存儲(chǔ):元數(shù)據(jù)應(yīng)以數(shù)據(jù)庫存儲(chǔ),便于管理,維護(hù)和擴(kuò)展。數(shù)據(jù)交換:支持以XML等標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)交換。應(yīng)用編程接口(API):通過API接入為元數(shù)據(jù)管理提供所需的靈活性。元數(shù)據(jù)集中控制:元數(shù)據(jù)為整個(gè)經(jīng)營分析系統(tǒng)的信息資源提供了記錄,應(yīng)對元數(shù)據(jù)集中管理控制,以確保信息的一致性和準(zhǔn)確性。影響分析:從元數(shù)據(jù)中發(fā)現(xiàn)任何變化給全局帶來的影響,確定某個(gè)實(shí)體的用途和與其它實(shí)體的關(guān)聯(lián)。版本控制:指測試和生產(chǎn)過程中的版本控制,應(yīng)按部門進(jìn)行。允許多個(gè)開發(fā)人員同時(shí)開發(fā)項(xiàng)目,并且開發(fā)人員可以根據(jù)要求修改對象,而不影響其他開發(fā)人員。元數(shù)據(jù)模型元數(shù)據(jù)管理元數(shù)據(jù)報(bào)告元數(shù)據(jù)導(dǎo)入導(dǎo)出元數(shù)據(jù)管理元數(shù)據(jù)的存儲(chǔ):元數(shù)據(jù)應(yīng)以數(shù)據(jù)庫存儲(chǔ),便于管理,維55元數(shù)據(jù)管理邏輯模型報(bào)告實(shí)體:實(shí)體屬性、數(shù)據(jù)類型關(guān)系:實(shí)體之間的關(guān)系維度:維度定義、層次、屬性、度量:維度、計(jì)算公式物理模型報(bào)告表、視圖匯總表立方體存儲(chǔ)模式ETL報(bào)告數(shù)據(jù)映射關(guān)系數(shù)據(jù)裝載過程元數(shù)據(jù)模型元數(shù)據(jù)管理元數(shù)據(jù)報(bào)告元數(shù)據(jù)導(dǎo)入導(dǎo)出元數(shù)據(jù)管理邏輯模型報(bào)告元數(shù)據(jù)模型元數(shù)據(jù)管理元數(shù)據(jù)報(bào)告元數(shù)據(jù)56元數(shù)據(jù)管理元數(shù)據(jù)管理需要遵循OMG-CWM元數(shù)據(jù)標(biāo)準(zhǔn),元數(shù)據(jù)庫中的內(nèi)容可以按CWM的標(biāo)準(zhǔn)導(dǎo)出,提供給其它軟件,也可以從其它工具中導(dǎo)入元數(shù)據(jù)。元數(shù)據(jù)模型元數(shù)據(jù)管理元數(shù)據(jù)報(bào)告元數(shù)據(jù)導(dǎo)入導(dǎo)出元數(shù)據(jù)管理元數(shù)據(jù)管理需要遵循OMG-CWM元數(shù)據(jù)標(biāo)準(zhǔn),元數(shù)57以數(shù)據(jù)為驅(qū)動(dòng)的快速實(shí)施我們有什么可供分析的數(shù)據(jù)?收集數(shù)據(jù)樣本快速開發(fā)界面原型并確認(rèn)對有價(jià)值的原型進(jìn)行深入數(shù)據(jù)分析,確定數(shù)據(jù)提供策略和方式。模型固化數(shù)據(jù)貫通在省公司數(shù)據(jù)中心架構(gòu)已經(jīng)實(shí)現(xiàn)的基礎(chǔ)上,以集中式的數(shù)據(jù)中心建設(shè),可以采用快速實(shí)施的方法調(diào)整與性能優(yōu)化以數(shù)據(jù)為驅(qū)動(dòng)的快速實(shí)施我們有什么可供分析的數(shù)據(jù)?收集數(shù)據(jù)樣本58多年數(shù)據(jù)倉庫的建設(shè)體會(huì)1、數(shù)據(jù)展現(xiàn)的開發(fā)和準(zhǔn)確數(shù)據(jù)的數(shù)據(jù),是能否做好倉庫的基礎(chǔ)。形式很重要。2、只要有好的數(shù)據(jù)就可以開展一定的工作,不一定要等應(yīng)用系統(tǒng)建設(shè)成功才開展。3、數(shù)據(jù)模型并不是最重要的事情。分析模型的建立往往取決于分析的要求。對于大家追求的數(shù)據(jù)共享和分析的通用模型,取決于數(shù)據(jù)源,這個(gè)工作應(yīng)該在業(yè)務(wù)系統(tǒng)層面去實(shí)現(xiàn)。通用的共享視圖模型可以是虛擬存在的,比如采用數(shù)據(jù)庫視圖來實(shí)現(xiàn)。4、數(shù)據(jù)集中很重要,沒有數(shù)據(jù)的集中,就會(huì)失去動(dòng)力和基礎(chǔ)。數(shù)據(jù)有了量的積庫累,一定是有文章做的,分析模型的抽象一定是在大量數(shù)據(jù)的基礎(chǔ)上的。對于每個(gè)業(yè)務(wù)系統(tǒng),我們一定要廠家提供數(shù)據(jù)庫設(shè)計(jì)文檔,最好安排資源對文檔與數(shù)據(jù)庫的一致性進(jìn)行檢查。這個(gè)工作做好了,其實(shí)可以少很多后續(xù)的協(xié)調(diào)工作。5、完整意義上的一體化建設(shè),會(huì)存在多次迭代和反復(fù)。數(shù)據(jù)分析的要求,會(huì)促使業(yè)務(wù)系統(tǒng)的升級(jí)和改造。同時(shí)業(yè)務(wù)系統(tǒng)的升級(jí),也會(huì)提供新的數(shù)據(jù),同時(shí)引發(fā)新的數(shù)據(jù)展現(xiàn)要求。6、商業(yè)智能分析工具也呈一體會(huì)趨勢,目前整合趨勢這提格局已定,未來就是以幾大軟件巨頭競爭,我們沒有太多的選擇。7、早期建設(shè),不建設(shè)做過多的數(shù)據(jù)處理,以便于核對數(shù)據(jù)的準(zhǔn)確性。模型加工的對應(yīng)性一定要可直接追溯。多年數(shù)據(jù)倉庫的建設(shè)體會(huì)1、數(shù)據(jù)展現(xiàn)的開發(fā)和準(zhǔn)確數(shù)據(jù)的數(shù)據(jù),是59問題交流問題交流60

數(shù)據(jù)中心(數(shù)據(jù)倉庫)的

建設(shè)實(shí)施深圳海聯(lián)訊科技股份公司張千福數(shù)據(jù)中心(數(shù)據(jù)倉庫)的

建設(shè)實(shí)施深圳海聯(lián)訊科技股份公司61一體化平臺(tái)總體拓?fù)鋱D身份管理認(rèn)證代理人員目錄認(rèn)證目錄人力資源安全生產(chǎn)物資管理協(xié)同辦公營銷管理財(cái)務(wù)管理項(xiàng)目管理綜合管理操作型數(shù)據(jù)存儲(chǔ)(ODS)數(shù)據(jù)倉庫商務(wù)智能全局?jǐn)?shù)據(jù)字典

公共信息模型業(yè)務(wù)流程集成業(yè)務(wù)數(shù)據(jù)集成身份認(rèn)證登錄數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換網(wǎng)省公司網(wǎng)省公司安全管理企業(yè)資源管理平臺(tái)ETL1運(yùn)維管理企業(yè)門戶單點(diǎn)登錄基礎(chǔ)支撐功能個(gè)性化定制多渠道接入Portlet框架虛擬門戶門戶管理與維護(hù)基本應(yīng)用擴(kuò)展應(yīng)用展現(xiàn)層的應(yīng)用集成Web內(nèi)容管理搜索協(xié)同工作待辦事宜BI展現(xiàn)對8大系統(tǒng)中協(xié)同辦公的規(guī)范要求對應(yīng)用集成項(xiàng)目的規(guī)范要求對BI接入的規(guī)范要求ETL2一體化平臺(tái)總體拓?fù)鋱D身份管理認(rèn)證代理人員目錄認(rèn)證目錄人力資源62基本概念廣義數(shù)據(jù)中心:數(shù)據(jù)中心是提供所有應(yīng)用系統(tǒng)的運(yùn)營場所。數(shù)據(jù)中心也是容納用以支持應(yīng)用系統(tǒng)運(yùn)行的基礎(chǔ)設(shè)施(包括服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)設(shè)備)的物理地點(diǎn)。數(shù)據(jù)中心本身的ODS、數(shù)據(jù)倉庫及建立在其上的決策分析應(yīng)用。數(shù)據(jù)中心需要有一套成熟的運(yùn)行、維護(hù)體系支持其日常運(yùn)行,保證應(yīng)用系統(tǒng)高效地不間斷運(yùn)行,數(shù)據(jù)被正確的訪問狹義數(shù)據(jù)中心:狹義的數(shù)據(jù)中心是指數(shù)據(jù)倉庫和建立在數(shù)據(jù)倉庫之上的決策分析應(yīng)用,具體包括:數(shù)據(jù)源,數(shù)據(jù)的ETL,ODS數(shù)據(jù)庫,數(shù)據(jù)倉庫,數(shù)據(jù)集市,商務(wù)智能應(yīng)用和元數(shù)據(jù)管理等。

在此作業(yè)指導(dǎo)書中,除非特別說明數(shù)據(jù)中心都是指俠義的數(shù)據(jù)中心,即數(shù)據(jù)倉庫及建立在數(shù)據(jù)倉庫之上的商務(wù)智能和決策分析應(yīng)用。

基本概念廣義數(shù)據(jù)中心:63作業(yè)指導(dǎo)書概述數(shù)據(jù)倉庫概念:數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策。 數(shù)據(jù)倉庫可以幫助用戶更好地理解信息,從新的角度看待這些信息,以便獲得更好的洞察力,看到模式和趨勢,并更好地進(jìn)行商業(yè)決策。數(shù)據(jù)倉庫為整個(gè)企業(yè)的需要服務(wù)。數(shù)據(jù)倉庫需要訪問不同的數(shù)據(jù)源,需要存儲(chǔ)海量的數(shù)據(jù),需要對企業(yè)數(shù)據(jù)進(jìn)行分析,并用適當(dāng)?shù)姆绞秸宫F(xiàn)給出來。數(shù)據(jù)倉庫的建設(shè)不僅涉及到許多先進(jìn)的技術(shù),更涉及到企業(yè)所有的業(yè)務(wù)知識(shí),所以說數(shù)據(jù)倉庫不是一個(gè)產(chǎn)品,而是一個(gè)具體的解決方案。數(shù)據(jù)中心概念數(shù)據(jù)倉庫概念背景與目的建設(shè)步驟建議迭代關(guān)系實(shí)例說明作業(yè)指導(dǎo)書概述數(shù)據(jù)倉庫概念:數(shù)據(jù)中心概念數(shù)據(jù)倉庫概念背景與目64整體架構(gòu)圖O_x:數(shù)據(jù)橫向移動(dòng)V_x:數(shù)據(jù)縱向移動(dòng)整體架構(gòu)圖O_x:數(shù)據(jù)橫向移動(dòng)65數(shù)據(jù)中心建設(shè)過程需求分析邏輯分析ODS建模數(shù)據(jù)倉庫建模源數(shù)據(jù)分析數(shù)據(jù)的獲取與整合應(yīng)用設(shè)計(jì)性能調(diào)優(yōu)數(shù)據(jù)展現(xiàn)元數(shù)據(jù)管理系統(tǒng)建設(shè)過程數(shù)據(jù)中心建設(shè)過程需求分析邏輯分析ODS建模數(shù)據(jù)倉庫建模源數(shù)據(jù)66迭代式開發(fā)迭代式開發(fā)67國網(wǎng)典設(shè)建議的甲方項(xiàng)目組織國網(wǎng)典設(shè)建議的甲方項(xiàng)目組織68海聯(lián)訊的項(xiàng)目組織海聯(lián)訊的項(xiàng)目組織69實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD70需求分析調(diào)研內(nèi)容調(diào)研對象調(diào)研時(shí)間調(diào)研地點(diǎn)內(nèi)容1內(nèi)容2內(nèi)容3內(nèi)容4…調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書需求分析調(diào)研內(nèi)容調(diào)研對象調(diào)研時(shí)間調(diào)研地點(diǎn)內(nèi)容1內(nèi)容2內(nèi)容3內(nèi)71需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研方式:當(dāng)面訪談;問卷調(diào)查;訪談及問卷提綱模板請參見附錄2需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研方式:72需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書實(shí)例調(diào)研內(nèi)容:針對不同層面的人員,調(diào)研內(nèi)容不同對企業(yè)領(lǐng)導(dǎo)層領(lǐng)導(dǎo)層目前的工作重點(diǎn)有哪些和此主題相關(guān),和哪幾個(gè)指標(biāo)相關(guān)?領(lǐng)導(dǎo)層最關(guān)心哪幾個(gè)指標(biāo)?針對這些指標(biāo),領(lǐng)導(dǎo)層目前采用何種獲取方式?針對這些指標(biāo),領(lǐng)導(dǎo)層目前都進(jìn)行哪些分析,采用何種分析手段,采用何種分析方法?目前狀況下,針對這些指標(biāo)都有哪些展現(xiàn)方式?領(lǐng)導(dǎo)層對數(shù)據(jù)倉庫的期望是什么?領(lǐng)導(dǎo)層希望決策分析系統(tǒng)能提供哪些分析功能?領(lǐng)導(dǎo)層希望以何種方式來看這些指標(biāo)?領(lǐng)導(dǎo)層希望對這些指標(biāo)進(jìn)行哪些方面的比較?需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書實(shí)例調(diào)研內(nèi)容:針對不同73需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面的人員,調(diào)研內(nèi)容不同對中間管理層中間管理層通常需要上報(bào)哪些指標(biāo)?和此分析主題相關(guān)的有哪些指標(biāo)?平時(shí)領(lǐng)導(dǎo)層通常詢問哪些指標(biāo)?在這些指標(biāo)中哪幾個(gè)和此分析主題有關(guān)?中間管理層目前的工作重點(diǎn)有哪些和此主題相關(guān),和哪幾個(gè)指標(biāo)相關(guān)?中間管理層本身最關(guān)心哪幾個(gè)指標(biāo)?中間管理層對下屬的工作人員都考核哪些指標(biāo)?哪幾個(gè)指標(biāo)與此分析主題有關(guān)?針對這些指標(biāo),中間管理層目前采用何種獲取方式?針對這些指標(biāo),中間管理層目前都進(jìn)行哪些分析,采用何種分析手段,采用何種分析方法?目前狀況下,針對這些指標(biāo)都有哪些展現(xiàn)方式?中間管理層對數(shù)據(jù)倉庫的期望是什么?中間管理層希望決策分析系統(tǒng)能提供哪些分析功能?中間管理層希望以何種方式來看這些指標(biāo)?中間管理層希望對這些指標(biāo)進(jìn)行哪些方面的比較?需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面74需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面的人員,調(diào)研內(nèi)容不同對業(yè)務(wù)人員平時(shí)工作中最關(guān)心的是哪些指標(biāo)?有哪幾個(gè)指標(biāo)與此分析主題有關(guān)?平時(shí)直屬領(lǐng)導(dǎo)通常詢問哪些指標(biāo)?在這些指標(biāo)中哪幾個(gè)和此分析主題有關(guān)?業(yè)務(wù)人員目前的工作重點(diǎn)有哪些和此主題相關(guān),和哪幾個(gè)指標(biāo)相關(guān)?業(yè)務(wù)人員對數(shù)據(jù)倉庫的期望是什么?業(yè)務(wù)人員希望系統(tǒng)能提供哪些分析功能?業(yè)務(wù)人員希望以何種方式來看這些指標(biāo)?業(yè)務(wù)人員希望對這些指標(biāo)進(jìn)行哪些方面的比較?需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面75需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面的人員,調(diào)研內(nèi)容不同對IT人員此主題所需要的數(shù)據(jù)源都取自哪些業(yè)務(wù)系統(tǒng)?與本主題有關(guān)的現(xiàn)有的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)怎樣?與本主題有關(guān)的現(xiàn)有的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)更新頻率如何?IT人員對數(shù)據(jù)倉庫的期望是什么?IT人員在平時(shí)的工作中最關(guān)心的哪些指標(biāo)?需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書調(diào)研內(nèi)容:針對不同層面76需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書需求規(guī)格說明書需求規(guī)格說明書模板詳見附錄4需求分析調(diào)研計(jì)劃實(shí)際調(diào)研需求規(guī)格說明書需求規(guī)格說明書77實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD78邏輯分析單一主題處理邏輯分析從業(yè)務(wù)邏輯入手,分析各指標(biāo)的組成關(guān)系;多主題處理邏輯分析綜合考慮各分析主題間的邏輯關(guān)系;處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元數(shù)據(jù)建立邏輯分析單一主題處理邏輯分析處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元數(shù)79邏輯分析單一主題支撐數(shù)據(jù)分析單個(gè)主題分析所需要的原始支撐數(shù)據(jù)分析多主題支撐數(shù)據(jù)分析所有主題統(tǒng)一考慮做需要的支撐數(shù)據(jù)分析處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元數(shù)據(jù)建立邏輯分析單一主題支撐數(shù)據(jù)分析處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元80邏輯分析業(yè)務(wù)元數(shù)據(jù)包括以下信息:使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象名和屬性名;訪問數(shù)據(jù)的原則和數(shù)據(jù)來源;系統(tǒng)所提供的分析方法及公式、報(bào)表信息。處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)元數(shù)據(jù)建立邏輯分析業(yè)務(wù)元數(shù)據(jù)包括以下信息:處理邏輯分析支撐數(shù)據(jù)分析業(yè)務(wù)81實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD82ODS建模ODS邏輯模型邏輯結(jié)構(gòu):完成實(shí)體的定義,各實(shí)體間的關(guān)系等存儲(chǔ)周期(立即刪除、過一段時(shí)間刪除或者是備份到其它介質(zhì)上)存儲(chǔ)粒度(與源系統(tǒng)基本保持一致)ODS物理模型數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)索引策略數(shù)據(jù)存放位置(硬盤或磁帶等)存儲(chǔ)分配分區(qū)設(shè)計(jì)邏輯模型物理模型驗(yàn)證實(shí)例ODS建模ODS邏輯模型邏輯模型物理模型驗(yàn)證實(shí)例83ODS建模邏輯模型物理模型驗(yàn)證實(shí)例ODS建模邏輯模型物理模型驗(yàn)證實(shí)例84實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD85需求分析邏輯分析ODS建模數(shù)據(jù)倉庫建模源數(shù)據(jù)分析數(shù)據(jù)的獲取與整合應(yīng)用設(shè)計(jì)性能調(diào)優(yōu)數(shù)據(jù)展現(xiàn)元數(shù)據(jù)管理系統(tǒng)建設(shè)過程需求分析邏輯分析ODS建模數(shù)據(jù)倉庫建模源數(shù)據(jù)分析數(shù)據(jù)的獲取與86數(shù)據(jù)倉庫建模數(shù)據(jù)倉庫邏輯模型劃分粒度層次確定數(shù)據(jù)分割策略確定存儲(chǔ)周期定義關(guān)系模式數(shù)據(jù)倉庫物理模型數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)索引策略數(shù)據(jù)存放位置(硬盤或磁帶等)存儲(chǔ)分配分區(qū)設(shè)計(jì)邏輯模型物理模型驗(yàn)證實(shí)例數(shù)據(jù)倉庫建模數(shù)據(jù)倉庫邏輯模型邏輯模型物理模型驗(yàn)證實(shí)例87數(shù)據(jù)倉庫建模邏輯模型物理模型驗(yàn)證實(shí)例數(shù)據(jù)倉庫建模邏輯模型物理模型驗(yàn)證實(shí)例88實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD89數(shù)據(jù)源分析數(shù)據(jù)源范圍包括數(shù)據(jù)源邏輯范圍和物理范圍數(shù)據(jù)源格式理解各數(shù)據(jù)源的格式,確定統(tǒng)一的格式,制定相應(yīng)的轉(zhuǎn)換規(guī)則數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析數(shù)據(jù)源范圍數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)90數(shù)據(jù)源分析ORACLE數(shù)據(jù)源名稱代碼用電分類AC_ELEC_CLASS電價(jià)表AC_TARIFF行業(yè)AC_TRADE_TYPE欠費(fèi)信息表CHG_RECEIVABLES客戶信息EP_CUST_INFO電量與電費(fèi)表EP_RESULT地區(qū)(單位)SU_AREA部門SU_DEPT電壓AC_VOLT_GRADE數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析ORACLE數(shù)據(jù)源名稱代碼用電分類AC_ELEC_91數(shù)據(jù)源分析SYBASE數(shù)據(jù)源名稱代碼用戶基本信息User_inf按戶電費(fèi)數(shù)據(jù)User_cost電費(fèi)數(shù)據(jù)bill_data用電性質(zhì)代碼表Code_e_kind用電類別Code_usage_date電價(jià)表Price計(jì)費(fèi)日期對應(yīng)電價(jià)日期cal_price_date單位代碼Dept行業(yè)代碼表Code_trade_new電壓代碼表Codvolt時(shí)段Code_period用戶類別Code_user_type用戶使用電表User_ammeter用電分類代碼表rep_salse_kind用電分類與用電性質(zhì)關(guān)系表rep_salse_relation其它電費(fèi)數(shù)據(jù)Bill_data_oth數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析SYBASE數(shù)據(jù)源名稱代碼用戶基本信息User_i92數(shù)據(jù)源分析名稱代碼更新用電類AC_ELEC_CLASS維表(緩慢變化)電價(jià)表AC_TARIFF維表(緩慢變化)行業(yè)AC_TRADE_TYPE維表(緩慢變化)欠費(fèi)信息表CHG_RECEIVABLES月客戶信息EP_CUST_INFO維表電量與電費(fèi)表EP_RESULT月地區(qū)(單位)SU_AREA維表(緩慢變化)部門SU_DEPT維表(緩慢變化)電壓AC_VOLT_GRADE維表(緩慢變化)數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析名稱代碼更新用電類AC_ELEC_CLASS維表93數(shù)據(jù)源分析名稱代碼數(shù)據(jù)量用電分類AC_ELEC_CLASS92電價(jià)表AC_TARIFF355行業(yè)AC_TRADE_TYPE595欠費(fèi)信息表CHG_RECEIVABLES1309341客戶信息EP_CUST_INFO147692電量與電費(fèi)表EP_RESULT2775326地區(qū)(單位)SU_AREA15部門SU_DEPT102電壓AC_VOLT_GRADE6數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析名稱代碼數(shù)據(jù)量用電分類AC_ELEC_CLASS94數(shù)據(jù)源分析數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率數(shù)據(jù)源分析數(shù)據(jù)源范圍數(shù)據(jù)源格式數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)更新頻率95實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用分析8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD96數(shù)據(jù)的獲取與整合直接抽取ETL服務(wù)器直接連接到應(yīng)用系統(tǒng)后臺(tái)數(shù)據(jù)庫中,直接抽取所需數(shù)據(jù)。采用這種抽取方式時(shí),必須注意安全控制和抽取時(shí)間窗口兩個(gè)問題。

WEB服務(wù)通過WEB服務(wù)獲取系統(tǒng)需要的數(shù)據(jù)的抽取方式。文件交換文件交換是指應(yīng)用系統(tǒng)將需要抽取的業(yè)務(wù)數(shù)據(jù)保存為有格式的文本文件,然后ETL服務(wù)器通過讀此文件內(nèi)容來獲取業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)抽取方式。數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方式數(shù)據(jù)的獲取與整合直接抽取數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方97數(shù)據(jù)的獲取與整合字段映射代碼轉(zhuǎn)換字段拆分字段合并字段運(yùn)算字段補(bǔ)充行列轉(zhuǎn)換數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方式數(shù)據(jù)的獲取與整合字段映射數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方98數(shù)據(jù)的獲取與整合全部覆蓋記錄追加記錄更新數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方式數(shù)據(jù)的獲取與整合全部覆蓋數(shù)據(jù)獲取方式數(shù)據(jù)轉(zhuǎn)換方式數(shù)據(jù)裝載方99實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用設(shè)計(jì)8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD100應(yīng)用設(shè)計(jì)OLAP分析方法ROLAPMOLAPHOLAPOLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)OLAP分析方法OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)101應(yīng)用設(shè)計(jì)OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘102應(yīng)用設(shè)計(jì)預(yù)定義報(bào)表對單報(bào)表可以直接從數(shù)據(jù)庫中取出數(shù)據(jù)進(jìn)行分析展現(xiàn)。同一主題的多個(gè)報(bào)表間有較強(qiáng)的關(guān)聯(lián),有些數(shù)據(jù)會(huì)在多個(gè)報(bào)表中以不同方式出現(xiàn)。因此,可以對多個(gè)報(bào)表進(jìn)行整合。OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)預(yù)定義報(bào)表OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘103應(yīng)用設(shè)計(jì)即席查詢基于單個(gè)事實(shí)表的即席查詢基于多個(gè)事實(shí)表關(guān)聯(lián)的即席查詢OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)即席查詢OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘104應(yīng)用設(shè)計(jì)數(shù)據(jù)挖掘定義問題:清晰地定義出業(yè)務(wù)問題,確定數(shù)據(jù)挖掘的目的。數(shù)據(jù)準(zhǔn)備:包括:選擇數(shù)據(jù):在大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目標(biāo)中提取數(shù)據(jù)挖掘的目標(biāo)數(shù)據(jù)集;數(shù)據(jù)預(yù)處理:進(jìn)行數(shù)據(jù)再加工,包括檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性、去噪聲,填補(bǔ)丟失的域,刪除無效數(shù)據(jù)等。數(shù)據(jù)挖掘:根據(jù)數(shù)據(jù)功能的類型和和數(shù)據(jù)的特點(diǎn)選擇相應(yīng)的算法,在凈化和轉(zhuǎn)換過的數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘。結(jié)果分析:對數(shù)據(jù)挖掘的結(jié)果進(jìn)行解釋和評價(jià),轉(zhuǎn)換成為能夠最終被用戶理解的知識(shí)。知識(shí)運(yùn)用:將分析所得到的知識(shí)集成到業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中去。OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘應(yīng)用設(shè)計(jì)數(shù)據(jù)挖掘OLAP分析預(yù)定義報(bào)表即席查詢數(shù)據(jù)挖掘105實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53ODS建模元數(shù)據(jù)管理106數(shù)據(jù)獲取與整合7應(yīng)用展現(xiàn)8性能調(diào)優(yōu)9數(shù)據(jù)展現(xiàn)實(shí)施過程數(shù)據(jù)倉庫建模41需求分析2邏輯分析數(shù)據(jù)源分析53OD106性能調(diào)優(yōu)優(yōu)化指標(biāo)對系統(tǒng)性能進(jìn)行評估,得出相關(guān)性能指標(biāo)綜合各種相關(guān)因素,得出各項(xiàng)指標(biāo)的期望值優(yōu)化步驟根據(jù)經(jīng)驗(yàn)調(diào)整,無固定的步驟性能調(diào)優(yōu)優(yōu)化指標(biāo)107匯報(bào)內(nèi)容數(shù)據(jù)倉庫建模51概述2需求分析3邏輯分析數(shù)據(jù)源分析64ODS建模元數(shù)據(jù)管理117數(shù)據(jù)獲取與整合8應(yīng)用分析9性能調(diào)優(yōu)10數(shù)據(jù)展現(xiàn)匯報(bào)內(nèi)容數(shù)據(jù)倉庫建模51概述2需求分析3邏輯分析數(shù)據(jù)源分析6108數(shù)據(jù)展示展現(xiàn)內(nèi)容展現(xiàn)數(shù)據(jù)以及展現(xiàn)格式展現(xiàn)方式報(bào)表圖形圖標(biāo)展現(xiàn)方法打印報(bào)表電子報(bào)表WEB發(fā)布數(shù)據(jù)展示展現(xiàn)內(nèi)容

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論