中國電信經(jīng)營分析系統(tǒng)技術(shù)交流ppt課件

1、運(yùn)營分析系統(tǒng)技術(shù)交流中國電信運(yùn)營分析系統(tǒng)第一部分：公司引見第二部分：需求闡明第三部分：處理方案第四部分：問題交流目錄Part1 公司引見第一部分：公司引見第二部分：需求闡明第三部分：處理方案第四部分：問題交流Part2 需求闡明背景企業(yè)運(yùn)營開展的結(jié)果以業(yè)務(wù)為中心話單量小、業(yè)務(wù)少、用戶少以客戶為中心大數(shù)據(jù)量、業(yè)務(wù)多、異構(gòu)數(shù)據(jù)、決策分析技術(shù)開展的結(jié)果數(shù)據(jù)庫與數(shù)據(jù)倉庫人工智能數(shù)據(jù)發(fā)掘聯(lián)機(jī)分析企業(yè)信息化的四個(gè)進(jìn)程數(shù)據(jù)信息知識施效在線分析數(shù)據(jù)挖掘客戶關(guān)系管理數(shù)據(jù)倉庫=營銷自動化=銷售隊(duì)伍自動化=客戶效力與技術(shù)支持=現(xiàn)實(shí)發(fā)生了什么?=為什么會發(fā)生？=對象是誰？=還會發(fā)生什么?運(yùn)營分析系統(tǒng)信息流圖 建立目的

2、建立一個(gè)一致的數(shù)據(jù)信息平臺采用先進(jìn)的數(shù)據(jù)倉庫技術(shù)和分析發(fā)掘工具，提取數(shù)據(jù)中的有價(jià)值信息為企業(yè)的客戶效力、市場營銷等任務(wù)提供科學(xué)有效的支撐，提升企業(yè)的運(yùn)營程度和競爭才干，表達(dá)以客戶為中心的運(yùn)營理念建立原那么兩級系統(tǒng)，三層構(gòu)造整合業(yè)務(wù)數(shù)據(jù)、面向運(yùn)營分析 能經(jīng)過多種手段實(shí)現(xiàn)業(yè)務(wù)智能主題可擴(kuò)展、新增及重構(gòu)成為業(yè)務(wù)決策者專業(yè)的咨詢顧問 運(yùn)營分析系統(tǒng)的開發(fā)與建立將分階段進(jìn)展系統(tǒng)功能支持與各種主流數(shù)據(jù)庫平臺、多維分析引擎、數(shù)據(jù)發(fā)掘引擎和前端展現(xiàn)工具的無縫集成開放的運(yùn)用程序接口和工具提供一致的數(shù)據(jù)倉庫平臺，支持后續(xù)運(yùn)用和擴(kuò)展可定制化的客戶界面一致的用戶和權(quán)限管理機(jī)制主題分析及專題分析前端用戶/閱讀器運(yùn)用效力器

3、 /Web Server業(yè)務(wù)主題分析效力質(zhì)量模塊用戶分析模塊業(yè)務(wù)分析模塊收益分析模塊市場營銷分析模塊市場競爭分析模塊新業(yè)務(wù)分析模塊協(xié)作效力方分析模塊大客戶分析模塊專題分析業(yè)務(wù)(含新業(yè)務(wù))專題市場、競爭專題大客戶開展、異動專題客戶專題分析數(shù)據(jù)倉庫業(yè)務(wù)管理模型Part3 處理方案技術(shù)體系構(gòu)造主要廠商產(chǎn)品引見體系構(gòu)造BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源BOSS系統(tǒng)網(wǎng)管客服其它1 數(shù)據(jù)源BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源省BOSS系統(tǒng)的數(shù)據(jù)：批價(jià)后的詳單帳務(wù)數(shù)據(jù)欠費(fèi)記錄繳費(fèi)記錄欺詐記錄客戶信息資源記錄營業(yè)記錄贊揚(yáng)記錄查詢記錄結(jié)算數(shù)據(jù)人工錄入的信息網(wǎng)管系統(tǒng)的數(shù)據(jù) 熱點(diǎn)小區(qū) 接通率

4、缺點(diǎn)信息客服數(shù)據(jù) 贊揚(yáng)信息 效力情況其他數(shù)據(jù) 人工輸入數(shù)據(jù)源細(xì)分計(jì)費(fèi)子系統(tǒng)：通話詳單原始、計(jì)費(fèi)后、詳單格式計(jì)費(fèi)運(yùn)用費(fèi)率表錯誤話單結(jié)算話單帳務(wù)子系統(tǒng)：帳務(wù)數(shù)據(jù)欠費(fèi)記錄繳費(fèi)記錄、繳費(fèi)方式欺詐記錄營業(yè)子系統(tǒng)：用戶資料及信譽(yù)度資源運(yùn)用記錄營業(yè)廳、營業(yè)員資料客服子系統(tǒng)：贊揚(yáng)記錄用戶查詢記錄網(wǎng)管系統(tǒng)：接通率數(shù)據(jù)掉話率數(shù)據(jù)手工錄入數(shù)據(jù)：市場調(diào)查結(jié)果記錄市場宣傳費(fèi)用和方式記錄流水型增長數(shù)據(jù)：通話詳單原始、計(jì)費(fèi)后錯誤話單帳務(wù)數(shù)據(jù)欠費(fèi)記錄繳費(fèi)記錄欺詐記錄資源運(yùn)用記錄贊揚(yáng)記錄用戶查詢記錄財(cái)務(wù)數(shù)據(jù)物流數(shù)據(jù)市場調(diào)查結(jié)果記錄市場宣傳費(fèi)用和方式記錄變化更新數(shù)據(jù)：計(jì)費(fèi)運(yùn)用費(fèi)率表繳費(fèi)方式用戶資料及信譽(yù)度營業(yè)廳、營業(yè)員資料BOS

5、SMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)獲取層2 數(shù)據(jù)獲取層數(shù)據(jù)來源首先直接快速傳輸?shù)椒侄未鎯^(qū)，再從分段存儲區(qū)經(jīng)過清洗、轉(zhuǎn)換、映射等復(fù)雜的數(shù)據(jù)挪動處置轉(zhuǎn)移到目的數(shù)據(jù)倉庫中。以保證數(shù)據(jù)的快速導(dǎo)入而盡量減小對業(yè)務(wù)系統(tǒng)呵斥的壓力。有數(shù)據(jù)庫和文件二種方式，分別對應(yīng)于不同運(yùn)營系統(tǒng)的數(shù)據(jù)源。數(shù)據(jù)集成 異構(gòu)數(shù)據(jù)源整合暫時(shí)存儲區(qū)(Staging Area)BOSS與運(yùn)營分析系統(tǒng)的銜接方案計(jì)費(fèi)營帳運(yùn)營分析系統(tǒng)DW客服采集BOSS系統(tǒng)ODS文件加載，例如采用sql*load數(shù)據(jù)集成，例如采用OWB,Pl/Sql,CA Advantage Data Transformer數(shù)據(jù)清洗、轉(zhuǎn)換，如采用OWB,Pl/SqlS

6、ql*Load實(shí)現(xiàn)方式1、掌握源文件的文件格式2、定義目的ODS的對應(yīng)表構(gòu)造3、編寫執(zhí)行的腳本4、運(yùn)轉(zhuǎn)腳本5、查看運(yùn)轉(zhuǎn)的日志例子：將pt0431文件的記錄裝載進(jìn)入表cc_test中實(shí)現(xiàn)：1、根據(jù)文件pt0431格式和表cc_test的構(gòu)造，編寫腳本jl.ldr：LOAD DATAINFILE ./pt0431INTO TABLE cc_test(文件格式與表構(gòu)造對應(yīng)關(guān)系定義)2、編寫控制腳本jl.sql：sqlload userid=ht/hello control=jl.ldr log=jl.log3、執(zhí)行：#sh jl4、查看日志文件jl.logPl/Sql實(shí)現(xiàn)方式有些數(shù)據(jù)需求經(jīng)過程序處置

7、后才干很好的被運(yùn)用。例如：基于批價(jià)詳單來分析話務(wù)流向時(shí)需求利用詳單記錄中的Other_party字段。Other_party能夠的存在方式：1795X+固定號碼；013XH1H2H3H4N1-N4;13XH1H2H3H4N1-N4;00+號碼；特殊號碼：110、119、1861等；172X1X2;只需經(jīng)過一定的處置，才干分析去話的方向是聯(lián)通、電信，國際，特殊呼叫等適用于隨機(jī)獲取數(shù)據(jù) ETL 環(huán)境和處置流程來源 OLTP系統(tǒng)數(shù)據(jù)轉(zhuǎn)化引擎緩存來源 主機(jī)或 C/S 系統(tǒng)轉(zhuǎn)化引擎數(shù)據(jù)倉庫企業(yè)元數(shù)據(jù)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市掃描元數(shù)據(jù)要求資源規(guī)劃交付用戶流程數(shù)據(jù)倉庫監(jiān)控義務(wù)調(diào)度數(shù)據(jù)抽取數(shù)據(jù)清洗數(shù)據(jù)

8、轉(zhuǎn)換數(shù)據(jù)加載索引建立數(shù)據(jù)聚合元數(shù)據(jù)導(dǎo)入元數(shù)據(jù)維護(hù)BOSSOANMSELSE抽取戰(zhàn)略1、對于有時(shí)間線的數(shù)據(jù)增量抽取，例如：效力信息表， 由于有處置時(shí)間，可增量抽取2、沒時(shí)間線的數(shù)據(jù)那么完全抽取，例如客戶信息表3、明細(xì)帳單、綜合帳單在出帳后，例如出帳后第二天 抽取4、對于文件，象BOSS系統(tǒng)的結(jié)算清單、計(jì)費(fèi)清單按文 件生成周期實(shí)時(shí)抽取3 數(shù)據(jù)存儲層BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)存儲層根底數(shù)據(jù)倉庫數(shù)據(jù)來源數(shù)據(jù)構(gòu)造3NF星型構(gòu)造雪花構(gòu)造完好性和有效性檢查，對冗余和不一致的數(shù)據(jù)進(jìn)展了清洗和轉(zhuǎn)換。數(shù)據(jù)量將非常龐大。 3NF減少數(shù)據(jù)冗余減少存儲容量靈敏的擴(kuò)展才干執(zhí)行效率相對較低數(shù)據(jù)集市數(shù)據(jù)倉庫

9、的子集，主要面向某特定主題。數(shù)據(jù)來源對根底數(shù)據(jù)倉庫中數(shù)據(jù)的復(fù)制、分布或聚合數(shù)據(jù)構(gòu)造星型構(gòu)造Star-Schema存在數(shù)據(jù)冗余相對較大容量維變化時(shí)，需重新建立執(zhí)行效率高粒度選擇多重粒度級別中央數(shù)據(jù)倉庫采用低粒度級，例如，客戶月通話詳單 -高細(xì)節(jié)數(shù)據(jù)，能回答一切問題，但分析效率較低；數(shù)據(jù)集市采用高粒度級，例如，客戶月通話綜合信息- -低細(xì)節(jié)數(shù)據(jù)，能回答部分問題，但分析效率高；假設(shè)高粒度數(shù)據(jù)也包含分析所需的足夠的細(xì)節(jié)，那么高粒度數(shù)據(jù)的運(yùn)用效率會提高很多中央數(shù)據(jù)倉庫與從屬數(shù)據(jù)集市中央數(shù)據(jù)倉庫客戶信息Cust_IDMsisdnAge_levelCust_TypeCity_Code通話詳單Call_Typ

10、eMsisdnStart_DateStart_timeCall_duration.帳戶信息Account_IDCust_IDLfeeCfeeDiscount_fee其它信息Cust_IDMsisdnAge_levelCust_TypeCity_CodeCust_IDMsisdn客戶通話行為分析客戶消費(fèi)行為分析其它分析根據(jù)分析的需求Map數(shù)據(jù)數(shù)據(jù)倉庫完好構(gòu)架Data Marts Data Mining OLAPAnalysis Mart MartStaging AreaData WarehouseOperational DataExternalDataArchiveDataManualDataB

11、usiness Users4 數(shù)據(jù)訪問層信息處置查詢和報(bào)表分析處置根本的OLAP操作數(shù)據(jù)發(fā)掘知識發(fā)現(xiàn)BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)訪問層舉例：話務(wù)流向分析 維：通話日期、通話時(shí)間、對端號碼，共3個(gè)維；分析目的：通話次數(shù)，通話時(shí)長實(shí)施：建立一個(gè)3維的數(shù)據(jù)立方體，對目的采用切片、鉆取、旋轉(zhuǎn)等方法進(jìn)展分析多維數(shù)分析時(shí)間日期對端號碼同一時(shí)辰話務(wù)流向分析12:00OLAP分析方法一【切片】12:00日期對端號碼OLAP分析方法一【切片】時(shí)間日期5月1日對端號碼同一日期話務(wù)流向分析5月1日對端號碼時(shí)間OLAP分析方法一【切片】流向同一運(yùn)營商的話務(wù)量分析時(shí)間日期聯(lián)通對端號碼聯(lián)通日 期時(shí)間時(shí)間日

12、期年季度季度月月月月對端號碼OLAP分析方法二【鉆取】在同一個(gè)維上，按不同的層次來分析OLAP分析方法三【旋轉(zhuǎn)】將年份和季度交換坐標(biāo)基于WEB的展現(xiàn)方式對數(shù)據(jù)進(jìn)展可視化的分析，分析結(jié)果的展現(xiàn)方式有以下幾種，并且各種方式之間可以相互的轉(zhuǎn)換：1柱狀圖；2相對柱狀圖；3累計(jì)柱狀圖；4餅圖；5散點(diǎn)圖；6折線圖；7趨勢圖；8網(wǎng)頁表格；9表格中的數(shù)據(jù)倒出到Excel報(bào)表WEB展現(xiàn)例如【柱圖】WEB展現(xiàn)例如【3D柱圖】5 元數(shù)據(jù)關(guān)于數(shù)據(jù)的數(shù)據(jù)技術(shù)元數(shù)據(jù)操作元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)貫穿全過程BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源元數(shù)據(jù)管理元數(shù)據(jù)管理業(yè)務(wù)定義屬性定義DA / DBA ToolErwin抽取規(guī)那么, 轉(zhuǎn)

13、換規(guī)那么ETL Tool報(bào)表格式, 過濾,分割等DSS Tool數(shù)據(jù)庫元數(shù)據(jù)元數(shù)據(jù)庫雙向自動無銜接業(yè)務(wù)定義OtherExcelHTMLBusiness Users數(shù)據(jù)倉庫開發(fā)元數(shù)據(jù)管理Intranet/Extranet-Definitions-Domains-Names6 系統(tǒng)管理平安備份平安體系構(gòu)造 系統(tǒng)平安平安的層次每個(gè)層次均需求相應(yīng)措施保證數(shù)據(jù)庫、運(yùn)用、網(wǎng)絡(luò)網(wǎng)絡(luò)層防火墻電子認(rèn)證加密平安層次數(shù)據(jù)庫層密碼數(shù)據(jù)庫權(quán)限控制運(yùn)用層平安用戶身份認(rèn)證按照操作對象和操作類別規(guī)定各操作員的權(quán)限保證身份的有效性和不可抵賴性采用口令密碼方式，可以向數(shù)字證書晉級數(shù)據(jù)加密效力和數(shù)據(jù)權(quán)限容災(zāi)與備份：概述什么災(zāi)？火災(zāi)

14、、地震、洪水系統(tǒng)缺點(diǎn)：硬件、操作系統(tǒng)、數(shù)據(jù)庫.運(yùn)用缺點(diǎn)：設(shè)計(jì)時(shí)思索不周誤操作黑客入侵、故意破壞容災(zāi)方法以備份系統(tǒng)替代主系統(tǒng)，并及時(shí)恢復(fù)主系統(tǒng)數(shù)據(jù)復(fù)制其它：地理分布，電源、網(wǎng)絡(luò)等的高可用性容災(zāi)與備份：數(shù)據(jù)備份戰(zhàn)略數(shù)據(jù)備份的層次物理視圖邏輯視圖DB、數(shù)據(jù)庫方式、運(yùn)用數(shù)據(jù)備份的方式聯(lián)機(jī)復(fù)制同步、異步、形狀脫機(jī)備份防止“誤操作型災(zāi)難數(shù)據(jù)備份的目的一致性、當(dāng)前性、可恢復(fù)性，盡量減少數(shù)據(jù)喪失及盡快恢復(fù)容災(zāi)與備份：數(shù)據(jù)復(fù)制層次主機(jī)硬盤DB文件表運(yùn)用 內(nèi)存?zhèn)浞輽C(jī)硬盤DB文件表運(yùn)用 內(nèi)存輸入輸入 物理視圖 DB視圖 數(shù)據(jù)庫方式視圖 運(yùn)用視圖復(fù)制或轉(zhuǎn)移Part3 處理方案技術(shù)體系構(gòu)造主要廠商產(chǎn)品引見產(chǎn)品供應(yīng)商IB

15、M Corp.Oracle Corp.SAS InstituteMicrosoft Corp.MicroStrategy Inc.CABrio TechnologyBusiness Objects Inc.Cognos產(chǎn)品供應(yīng)商Data warehousesOLAPData miningReporting, Querying and business intelligenceETLOracleSybaseSASDB2NCRBI/SASDB2 Olap ServerOracle ExpressBusiness Objects/OLAP accessSAS Data miningGeneva(Pw

16、C)Intelligent Miner,Visualization(IBM)MineSet (Silicon Graphics)Visual Insights(Lucent)Business ObjectsBrioAdaptive Server IQ multiplex(Sybase)ActuateHummingbird suiteNUMA-Q2000(IBM)Pilot Balanced Score cardOWBInformaticaCA Data TransformerSAS/WABestWorstRelative to all platforms (including S/390);u

17、pdated April 2001Copyright 2001Data Mgmt.Data Admin.Scalability & SuitabilityConcurrent Query Mgmt.DW Track RecordQuery PerformanceHPHP9000HP-UXOracle IBM SPRS/6000AIXDB2 EEESunEnterpriseSolarisOracle GenericIntel IA-32Win2000SQL ServerUnisysES7000Win2000SQL ServerIBMS/390OS/390DB2 EEECompaqAlphaTru

18、64OracleNCRWorldMarkMP-RASTeradata主機(jī)廠家:主機(jī)型號:操作系統(tǒng):數(shù)據(jù)倉庫平臺:數(shù)據(jù)倉庫比較Copyright 2001IBM DB2IBM數(shù)據(jù)倉庫處理方案DB2 Warehouse Manager (管理工具)DB2 Visual warehousing(ETL)MIS/OABOSS網(wǎng)管No.7監(jiān)測DB2 UDBV7.2數(shù)據(jù)倉庫DB2 OLAPSERVER(MDB)查詢?nèi)藛T分析人員Hyperion analyzer 決策人員IBM Intelligent Miner 數(shù)據(jù)發(fā)掘DB2 Warehouse ManagerDB2 UDBV7.2數(shù)據(jù)集市外部來源DB2

19、 UDBV7.2數(shù)據(jù)集市Enterprise Information PortalIBM數(shù)據(jù)倉庫的特點(diǎn)提供大型數(shù)據(jù)庫DB2作為數(shù)據(jù)倉庫的存儲數(shù)據(jù)庫，DB2性能優(yōu)良，提供從桌面機(jī)到任務(wù)站、小型機(jī)、大型機(jī)的良好擴(kuò)展性 提供Visual Warehousing作為數(shù)據(jù)抽取工具，VW可以從廣泛的數(shù)據(jù)源抽取數(shù)據(jù)，并且在大數(shù)據(jù)量的抽取中充分顯示了速度優(yōu)勢 提供多維型、關(guān)系型兩種Cube的實(shí)現(xiàn)方式 提供功能強(qiáng)大的訪問Cube的查詢語法 Query Script 在一切同類產(chǎn)品中提供最強(qiáng)大的分區(qū)功能 DWDMDMQueryPerformance (10)DataManagement (10)Challenge

20、sStrengths Performance standard for very-large data warehouses and data marts Manageability low number of DBAs required Query optimization support for complex data models Support for concurrent query workloads Lack of platform choice (confusion) Delays on NT/MPP Ability to execute well Ability to ke

21、ep current capability lead Marketing and positioning for broader market Higher initial cost of solution BI tool and application supportProven DW Track Record (10)Concurrent Query Management (10)Platform Suitability & Scalability (10)DataAdministration (9)Common TopologyUser access tothe datawarehous

22、e andfew data martsNCR TeradataCopyright 2001OracleOracle數(shù)據(jù)倉庫處理方案Oracle9i Enterprise Manager(管理工具)Oracle9i WarehouseBuilder(ETL)MIS/OABOSS網(wǎng)管No.7監(jiān)測Oracle9i數(shù)據(jù)倉庫OracleDiscovery即席查詢查詢?nèi)藛TOracleReports預(yù)定義報(bào)表分析人員OracleExpressOLAP決策人員OracleData Mining數(shù)據(jù)發(fā)掘Oracle9i數(shù)據(jù)集市Oracle9i數(shù)據(jù)集市Oracle9iODS外部來源OraclEPortalExpr

23、essServer(MDB)Oracle數(shù)據(jù)倉庫的特點(diǎn)提供RDBMS和MDDB兩種數(shù)據(jù)存儲構(gòu)造，Oracle功能強(qiáng)大，提供了良好擴(kuò)展性, 提供了功能強(qiáng)大的系統(tǒng)管理界面支持超大型數(shù)據(jù)倉庫，并提供多種優(yōu)化手段和針對數(shù)據(jù)倉庫的特征，如分區(qū)，位圖索引 提供功能強(qiáng)大的訪問Cube的查詢語法Express command 提供Oracle Warehouse Builder作為數(shù)據(jù)抽取工具，OWB提供功能包括：模型構(gòu)造和設(shè)計(jì)；數(shù)據(jù)提取、挪動和裝載；元數(shù)據(jù)管理；分析工具的整合；以及數(shù)據(jù)倉庫管理。具有開放可延伸的框架。 Sybase數(shù)據(jù)倉庫處理方案RelationalPackageLegacyExternal

24、sourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMSROLAPRDBMSRDBMS, Star SchemaArchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolE

25、nd-UserToolLocal MetadataLocal MetadataPowerMartSybase IQSybase IQCognosPowerMartWarehouseArchitectWCCBrio/BOSybase ASESybase數(shù)據(jù)倉庫的特點(diǎn)按列存儲，有很高的緊縮比例PowerMart可以在一個(gè)一致的界面中將用戶定義的轉(zhuǎn)換規(guī)那么、Schedule、權(quán)限設(shè)置、數(shù)據(jù)源和目的等等數(shù)據(jù)抽取定義經(jīng)過有效的方式管理起來，方便整個(gè)數(shù)據(jù)抽取任務(wù)的管理 Adaptive Server IQ不僅運(yùn)用了基于值的位映射bitmap算法及傳統(tǒng)的b-tree算法，還運(yùn)用了Sybase有專利權(quán)的位式b

26、it-wise索引 IQ with Multiplex可以支持無限的用戶訪問數(shù)據(jù)倉庫 系統(tǒng)硬件拓?fù)鋱D數(shù)據(jù)倉庫效力器數(shù)據(jù)分析效力器數(shù)據(jù)抽取效力器數(shù)據(jù)發(fā)掘效力器 WEB效力器省中心局域網(wǎng)廣域網(wǎng)廣域網(wǎng)存儲及備份系統(tǒng)防火墻管理終端相關(guān)部門客戶層相關(guān)部門客戶層InternetSAN典型構(gòu)造存儲方式比較存儲估算數(shù)據(jù)倉庫數(shù)據(jù)3NFStar-Schema數(shù)據(jù)集市Star-SchemaCube3NF計(jì)算公式總?cè)萘?源數(shù)據(jù)i * (1+索引因子) * RAID 因子源數(shù)據(jù)i=單條記錄字節(jié)數(shù) * 記錄數(shù)/人.天 * 用戶數(shù)*有成效戶系數(shù) * 天數(shù)/月 * 保管月數(shù)闡明： 索引因子 = 0.7 RAID因子 = 1.

27、25 記錄數(shù)/人.天 = 8 用戶數(shù)*有成效戶系數(shù) = 200萬/600萬/1200萬 天數(shù)/月 = 31 保管月數(shù) = N注：以上計(jì)算基于Oracle數(shù)據(jù)倉庫引擎Star-Schema的計(jì)算維表用來描畫屬性數(shù)據(jù)，通常數(shù)據(jù)量很小，可以忽略不計(jì)?，F(xiàn)實(shí)表記錄的大小取決于分析的內(nèi)容，包括每個(gè)維值的代碼和匯總數(shù)值的大小。記錄的數(shù)量取決于分析維度的多少和每個(gè)維度能夠出現(xiàn)的值的個(gè)數(shù)?，F(xiàn)實(shí)表大小= 現(xiàn)實(shí)表記錄大小x 各維值取值數(shù)x 緊縮比因子業(yè)務(wù)主題總數(shù)據(jù)量= 各現(xiàn)實(shí)表大小的總和星型數(shù)據(jù)存儲量= 業(yè)務(wù)主題總數(shù)據(jù)量x (1+索引因子) x RAID 因子存儲估算600萬為例語音業(yè)務(wù)用戶本地話單每年存儲量為：2

28、30*8*600萬* 31 * 12 = 4.11T遨游話單每年存儲量為：230*10% * 8*600萬* 31 * 12 = 0.411T語音業(yè)務(wù)用戶話單每年總存儲量為：4.11T+0.411T = 4.521T 數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)本地話單每年存儲量為：400*20%* 8*600萬* 31 * 12 =1.44T遨游用戶話單每年存儲量為：400*20%* 10% * 8*600萬* 31 * 12 = 190.4G數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)話單每年總存儲量為：1.44T+190.4G = 1.63T存儲估算600萬為例結(jié)算話單結(jié)算話單每年存儲量為：200*600萬*8+8*10%*50%*3

29、1*12 = 1.97T每年話單存儲總量為： 4.521T + 1.63T + 1.97T = 8.121T存儲估算600萬為例營業(yè)部買賣記錄根本上是每個(gè)客戶有幾條記錄，但相對穩(wěn)定，不會大量產(chǎn)生，也不隨時(shí)間爆炸性增長，估算為0.6T/年?？头?shù)據(jù)也會隨時(shí)間增長，但增幅遠(yuǎn)小于話單數(shù)據(jù)，估算為0.6T/年。 存儲估算600萬為例客戶資料數(shù)據(jù)相對穩(wěn)定，以后隨客戶數(shù)量的添加而增長，其增幅也不大，估算為0.6T/年?？?cè)萘拷Y(jié)合上述要素，總的存儲空間為：(8.121T+0.6T*3*1.25=12.4T存儲估算600萬為例主機(jī)性能測算TPC-CTPC-C is an on-line transaction

30、 processing benchmarkTPC-HTPC-H is an ad-hoc, decision support benchmarkIt consists of a suite of business oriented ad-hoc queries and concurrent data modifications.The performance metric reported by TPC-H is called the TPC-H Composite Query-per-Hour Performance Metric (QphHSize)影響要素源主機(jī)源數(shù)據(jù)庫網(wǎng)絡(luò)帶寬數(shù)據(jù)量主要

31、目的主機(jī)主要目的數(shù)據(jù)庫主要HP Superdome + OracleIBM SP + DB2NCRSUN + Oracle特別提示 Oracle 9i Warehouse Builder Unleashing World Record Performance March 2002 采用HP Superdome + Oracle發(fā)布測試環(huán)境主機(jī)、數(shù)據(jù)庫Database Information: Oracle 9.0.1.1 Enterprise Edition HP Superdome Enterprise Server: 64 552MHz PA-RISC 8600 CPUs each wit

32、h 512KB I-cache, 1MB D-cache. 128 GB Memory 64 PCI Fibre Channel 2X Card 1 HP 1000 BaseSX PCI Lan Adapter 4 SureStore E Disk Array XP512 (with a total of 744 18.2GB Disks) 1 High Availability Storage System (with a total of 3 9.1 GB 10K RPM LVD Disks) OS used is HP-UX 11.i 64-bit 測試環(huán)境數(shù)據(jù)量測試結(jié)果第一部分：公司引見第二部分：需求闡明第三部分：處理方案第四部分：實(shí)施和效力第五部分：系統(tǒng)演示第六部分：問題交流議程元數(shù)據(jù)驅(qū)動、螺旋上升的數(shù)據(jù)倉庫構(gòu)建的過程就是“建立元數(shù)據(jù)構(gòu)造數(shù)據(jù)倉庫/集市的不斷循環(huán)、不斷上升的過程 運(yùn)營分析系統(tǒng)實(shí)施方法論元數(shù)據(jù)驅(qū)動信息模型分階段實(shí)施由元數(shù)據(jù)進(jìn)展一致的管理和協(xié)調(diào)