用戶案例_數(shù)據(jù)倉庫

2020年4月19日 用戶案例介紹Oracle數(shù)據(jù)中心 內(nèi)容 法國電信新西蘭電信 法國電信數(shù)據(jù)倉庫 法國電信 FranceTelecom 歐洲第三大電信運(yùn)營商 2000年營業(yè)額為337億歐元在五大洲220個國家和地區(qū)擁有9100多萬客戶下屬Orange是第二大移動運(yùn)營商 實(shí)際的數(shù)據(jù)倉庫案例 WinterVLDBSurvey 14Sep2005LargestDatabaseSize DecisionSupport SearsTeradata4 63HCIAInformix4 50Wal MartTeradata4 42TeleDanmarkDB22 84CitiCorpDB22 47MCIInformix1 88NDCHealthOracle1 85SprintTeradata1 30FordOracle1 20AcxiomOracle1 13 法國電信 世界上最大的數(shù)據(jù)倉庫 Winter2003VLDBSurveyLargestDatabaseSize DecisionSupport 數(shù)據(jù)倉庫項目建設(shè)目標(biāo) 建立統(tǒng)一的數(shù)據(jù)信息平臺 實(shí)現(xiàn)客戶資料和生產(chǎn)數(shù)據(jù)的集中存儲 利用先進(jìn)的數(shù)據(jù)倉庫技術(shù)和決策分析技術(shù)為市場營銷和客戶服務(wù)工作提供有效的支撐 流失分析欺詐分析客戶發(fā)展分析客戶關(guān)系管理 目前系統(tǒng)規(guī)模 包含12個月的話單數(shù)據(jù)庫容量為65TB 其中原始數(shù)據(jù)為25TB最大的表包含1800億話單 項目面臨的技術(shù)挑戰(zhàn) 數(shù)據(jù)存儲系統(tǒng)要求存儲12 18個月的詳單數(shù)據(jù)數(shù)據(jù)裝載按小時裝載詳單數(shù)據(jù) 要求每天在8小時內(nèi)裝載5億條詳單高峰時一個小時裝載6500萬條詳單在8小時內(nèi)同時完成1億7000萬個匯總操作數(shù)據(jù)訪問支持680個并發(fā)用戶 支持8000個系統(tǒng)用戶95 的預(yù)定義查詢操作在5秒鐘內(nèi)完成每秒鐘23個查詢操作 法國電信選擇數(shù)據(jù)倉庫平臺的考慮 強(qiáng)大的ETL支持能力支持按小時的數(shù)據(jù)裝載高效的數(shù)據(jù)訪問硬件的支持 多CPU 大內(nèi)存 并行處理分區(qū)技術(shù)索引技術(shù)數(shù)據(jù)庫內(nèi)置的分析能力高可用性7x24不間斷運(yùn)行軟件的成熟性TB級數(shù)據(jù)倉庫用戶案例 數(shù)據(jù)倉庫 數(shù)據(jù)緩沖池和操作數(shù)據(jù)存儲 匯總計算計算更新 生產(chǎn)數(shù)據(jù)采集和預(yù)處理預(yù)處理轉(zhuǎn)換導(dǎo)出新數(shù)據(jù) 數(shù)據(jù)倉庫系統(tǒng)管理 數(shù)據(jù)倉庫功能管理 系統(tǒng)管理員操作員 錯誤數(shù)據(jù)處理 刷新數(shù)據(jù)集市 數(shù)據(jù)集市1 客戶資料 客戶資料接收和準(zhǔn)備質(zhì)量檢查轉(zhuǎn)換 生產(chǎn)系統(tǒng) 數(shù)據(jù)集市2 中央數(shù)據(jù)存儲 普通用戶 預(yù)處理應(yīng)用 其它界面 WEB界面 高級用戶 即席查詢應(yīng)用 應(yīng)用平臺 系統(tǒng)的邏輯結(jié)構(gòu) 系統(tǒng)中使用的Oracle關(guān)鍵技術(shù) 混合分區(qū) 混合分區(qū)的設(shè)計 按地區(qū)建立列表分區(qū)按時間建立范圍分區(qū)一天以上的話單數(shù)據(jù)按天建立365分區(qū)一天以內(nèi)的話單按小時建立分區(qū) selectsum sales amount fromsaleswheresales datebetweento date 01 MAR 1999 DD MON YYYY andto date 31 MAY 1999 DD MON YYYY 利用分區(qū)忽略提高大表的查詢性能 分區(qū)忽略 只有相關(guān)分區(qū)被訪問 系統(tǒng)測試結(jié)果 數(shù)據(jù)訪問 每秒鐘23到100個并發(fā)查詢操作95 的查詢在1秒鐘內(nèi)完成 系統(tǒng)中使用的Oracle關(guān)鍵技術(shù) 可傳輸?shù)谋砜臻g 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)倉庫 Mar Feb Jan Mar Feb 操作系統(tǒng)文件的直接復(fù)制不需要數(shù)據(jù)的導(dǎo)入 導(dǎo)出 實(shí)現(xiàn)按小時的數(shù)據(jù)加載 OLTP DataWarehouse DataMarts Archives Informationdistribution Staging 可傳輸表空間在數(shù)據(jù)倉庫中的使用 舉例利用可傳輸?shù)谋砜臻g和分區(qū)技術(shù)實(shí)現(xiàn)快速數(shù)據(jù)裝載 詳單數(shù)據(jù)的導(dǎo)出 把需要傳輸?shù)臄?shù)據(jù)放在單獨(dú)的表空間CREATETABLEtemp jan salesNOLOGGINGTABLESPACEts temp salesASSELECT FROMsalesWHEREtime idBETWEEN 31 DEC 1999 AND 01 FEB 2000 導(dǎo)出數(shù)據(jù)字典EXPTRANSPORT TABLESPACE yTABLESPACES ts temp salesFILE jan sales dmp復(fù)制數(shù)據(jù)文件和數(shù)據(jù)字典到數(shù)據(jù)倉庫服務(wù)器 詳單數(shù)據(jù)的導(dǎo)入 導(dǎo)入數(shù)據(jù)字典IMPTRANSPORT TABLESPACE yDATAFILES db tempjan f TABLESPACES ts temp salesFILE jan sales dmp通過分區(qū)交換 將新數(shù)據(jù)加入目標(biāo)表1 ALTERTABLEsalesADDPARTITIONsales 00janVALUESLESSTHAN TO DATE 01 feb 2000 dd mon yyyy 2 ALTERTABLEsalesEXCHANGEPARTITIONsales 00janWITHTABLEtemp sales janINCLUDINGINDEXESWITHVALIDATION 系統(tǒng)測試結(jié)果 數(shù)據(jù)裝載 數(shù)據(jù)裝載 裝載包含5000萬條詳單的一個分區(qū)和2個索引的一個表空間文件傳輸 4 50 數(shù)據(jù)導(dǎo)入到Oracle數(shù)據(jù)倉庫 瞬時創(chuàng)建索引 7 50 預(yù)計算及其它運(yùn)算 14 合計 32 26 物化視圖提高匯總數(shù)據(jù)的訪問性能 查詢 法國和意大利的用戶在過去三個月的漫游通話總時長是多少 使用Oracle內(nèi)置的SQL分析函數(shù) 匯總ROLLUP CUBE抽樣Sampling排名Rank rank percentile ntile top bottom滑動窗口MovingWindow avg sum min max count variance stddev firstvalue同比Period over periodcomparisons時間序列Lag報表函數(shù)sum avg min max variance stddev count ratiotoreport統(tǒng)計函數(shù)covariance correlation linearregression TimekeySalesSales last yearSales change98 11100 99 11200110010099 2150014505099 31700135025099 416001700 10099 51800160020099 6150014505099 7130012505099 814001200200 SELECTtimekey sales LAG sales 12 OVER ORDERBYtimekey assales last year sales sales last year assales changeFROMsales 舉例 使用時間序列函數(shù) 系統(tǒng)使用情況 數(shù)據(jù)匯總 1億7000萬個匯總運(yùn)算在2個小時內(nèi)完成不需要專門的服務(wù)器數(shù)據(jù)訪問 每秒鐘23到100個并發(fā)查詢操作95 的查詢在1秒鐘內(nèi)完成 數(shù)據(jù)倉庫系統(tǒng)為法國電信帶來的好處 為各個業(yè)務(wù)部門的用戶提供統(tǒng)一的數(shù)據(jù)視圖保證數(shù)據(jù)的一致性和質(zhì)量提高信息的及時性整合系統(tǒng) 節(jié)省投資已經(jīng)將10個系統(tǒng)整合 未來會整合更多的系統(tǒng)比原來的專有系統(tǒng)管理更靈活 升級更容易 數(shù)據(jù)倉庫系統(tǒng)為法國電信帶來的好處 全面了解客戶的使用行為 實(shí)現(xiàn)市場細(xì)分欺詐行為檢測建立欺詐模式庫及時檢測客戶通話行為發(fā)生的突然變化 運(yùn)用模式庫進(jìn)行識別通過預(yù)警系統(tǒng)通知相關(guān)人員進(jìn)行調(diào)查 我們每天裝載5億條話單 Oracle數(shù)據(jù)倉庫在實(shí)際使用中已經(jīng)被證明非常穩(wěn)定 可靠和具有擴(kuò)展性 Jean LucCochennecFranceTelecom 從WinterCorporation最近的數(shù)據(jù)庫可伸縮性調(diào)查發(fā)現(xiàn) 法國電信的數(shù)據(jù)倉庫系統(tǒng)無論是從數(shù)據(jù)庫規(guī)模和記錄數(shù)方面 都是世界上單一數(shù)據(jù)庫中最大的 RichardWinter March2002 FieldExperiencewithLargeScaleDataWarehousingonOracle 新西蘭電信數(shù)據(jù)倉庫 新西蘭電信簡介 新西蘭最大的綜合電信運(yùn)營商在新西蘭和澳洲擁有210萬用戶員工數(shù)為6900多名總資產(chǎn)83億新西蘭元年收入55億新西蘭元業(yè)務(wù)范圍 市話 長途 移動 互聯(lián)網(wǎng) 寬帶 增值業(yè)務(wù) 項目建設(shè)背景 電信市場變化開放的電信市場日益增多的競爭對手公司戰(zhàn)略轉(zhuǎn)變從擴(kuò)大用戶群轉(zhuǎn)變?yōu)樘岣攥F(xiàn)有用戶對企業(yè)的貢獻(xiàn)度從大規(guī)模營銷轉(zhuǎn)向目標(biāo)市場營銷 原有系統(tǒng)的狀況 各個系統(tǒng)采用不同平臺缺乏數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)采集和集成困難多個系統(tǒng)中冗余的數(shù)據(jù) 數(shù)據(jù)倉庫項目概況 PROBEPROactiveBusinessEnabler 從1996年6月開始建設(shè) 1997年建成上線到2002年為止 開發(fā)了50多個主題 客戶 產(chǎn)品 收入 通話行為 市場營銷 繳費(fèi)用戶包括市場部 銷售部和財務(wù)部等部門1400多人 Oracle在項目中的參與情況 1996 2002 設(shè)計和建設(shè)數(shù)據(jù)倉庫逐步增加50個新的分析應(yīng)用 目前 與新西蘭電信和EDS合作實(shí)施 360 客戶視圖 項目建立數(shù)據(jù)倉庫與業(yè)務(wù)系統(tǒng)的實(shí)時接口實(shí)現(xiàn)實(shí)時的客戶細(xì)分 PROBE項目為公司帶來的效益 有形效益 增加收入 提高ARPU減少客戶流失提高營銷活動的響應(yīng)率從5 提高到30 降低營銷成本和服務(wù)成本 PROBE項目的投資回報 目標(biāo)市場營銷每年節(jié)省1200萬元 市場贏回 計劃每年增加800萬元更合理的國際長途收費(fèi)定價增加收入與節(jié)約成本 每年700萬元 PROBE為外部客戶服務(wù) 向外部客戶出售統(tǒng)計分析結(jié)果 Vision 800客戶按地區(qū) 時段 服務(wù)類型價格 每月一次 25 月每周一次 85 月 議程 項目概況項目實(shí)施方法數(shù)據(jù)倉庫技術(shù)方案 建設(shè)原則 需求驅(qū)動 從多種渠道識別客戶實(shí)現(xiàn)精確營銷提升客戶價值 業(yè)務(wù)目標(biāo) 建設(shè)原則 實(shí)用性緊密配合業(yè)務(wù)部門的市場經(jīng)營活動 客戶維系 流失客戶名單營銷活動管理 營銷活動名單 反饋分析新業(yè)務(wù)開發(fā) 產(chǎn)品定價 關(guān)聯(lián)分析 發(fā)展戰(zhàn)略 規(guī)劃 網(wǎng)絡(luò)管理 目標(biāo)市場營銷 客戶滿意度 銷售 財務(wù)表現(xiàn) CustomerandProductInformation 運(yùn)營效率 制訂企業(yè)發(fā)展戰(zhàn)略監(jiān)控其執(zhí)行情況 BusinessIntelligenceForTelecom 建設(shè)方法 整體規(guī)劃 分步實(shí)施 需求預(yù)測能力規(guī)劃投資預(yù)測 通信能力分析通信質(zhì)量分析業(yè)務(wù)覆蓋分析 欺詐檢測業(yè)務(wù)開展業(yè)務(wù)使用供應(yīng)鏈分析 客戶流失分析客服中心分析服務(wù)質(zhì)量保證 市場細(xì)分響應(yīng)模型營銷活動ROI分析 新產(chǎn)品設(shè)計價格模型 收入總量及變化收入結(jié)構(gòu)分析繳 欠費(fèi)分析 整體規(guī)劃的實(shí)現(xiàn) 統(tǒng)一規(guī)劃 數(shù)據(jù)模型數(shù)據(jù)獲取策略元數(shù)據(jù) 確定新增應(yīng)用的優(yōu)先級 效益低高不可能下次考慮沒有價值目標(biāo)應(yīng)用 高低 成本和風(fēng)險 數(shù)據(jù)倉庫的效益 成本和風(fēng)險 嚴(yán)格的投資回報分析 效益 我們能通過這個項目的實(shí)施獲得什么 有形 增加收入 降低成本無形 工作效率提高 企業(yè)更 智能化 成本 為了實(shí)現(xiàn)這些收益需要付出什么代價 一次性成本持續(xù)性成本風(fēng)險 會遇到哪些障礙 螺旋遞增式建設(shè)方法 每次迭代目標(biāo)明確 快速見效滾動投資 每年追加費(fèi)用是初始投資的15 20 應(yīng)用推廣 領(lǐng)導(dǎo)帶頭使用設(shè)置專職的業(yè)務(wù)分析員系統(tǒng)使用情況統(tǒng)計注重對業(yè)務(wù)人員的培訓(xùn) 議程 項目概況項目實(shí)施方法數(shù)據(jù)倉庫技術(shù)方案 PROBE系統(tǒng)架構(gòu)和數(shù)據(jù)流 加載 20 內(nèi)部源系統(tǒng) 12CPU 3Tbdisk Tape ftp DBlink PROBE 外部信息源 email ftp CD OracleDesigner 元數(shù)據(jù)庫 OraclePortalandDiscoverer 報表 Oracle9iAS 抽取 OLAP分析和數(shù)據(jù)挖掘 內(nèi)部系統(tǒng) SQL andQueryBuilder DBlink ftp ftp CD Oracle9irelease2 外部機(jī)構(gòu) PROBE數(shù)據(jù)模型 分層設(shè)計 內(nèi)部和外部信息源 加載 StagingArea FeedControl 任務(wù)調(diào)度管理 原子層 relationalschema 訪問層 star snowflakeschema PROBE 數(shù)據(jù)挖掘和分析 SQL andQueryBuilder OraclePortal OracleDiscoverer 報表 營銷管理 PROBE中的數(shù)據(jù)功能劃分 PROBE項目的演進(jìn) 360 客戶視圖 項目 EDB消除數(shù)據(jù)重復(fù)和錯誤集成原有系統(tǒng)客戶數(shù)據(jù) 建立統(tǒng)一的客戶視圖 基于OracleTCA模型 PROBE升級為企業(yè)數(shù)據(jù)倉庫 EDW 實(shí)時數(shù)據(jù)采集和分析結(jié)果發(fā)布引入EAI技術(shù) PROBE新的系統(tǒng)架構(gòu) 門戶 EIS 動態(tài)查詢OracleDiscoverer 用戶訪問 OracleCustomersOnline Oracle11iCRMSuite EAI ICMS計費(fèi)系統(tǒng) 客戶 帳戶 地址 PROBE 群體 關(guān)系 StagingArea 實(shí)時維度數(shù)據(jù)維護(hù) EAIStagingArea star snowflakeschema 原子層 relationalschema 聯(lián)機(jī)數(shù)據(jù)存儲 OLTP 下游系統(tǒng)訪問 9iAS 構(gòu)建閉環(huán)的信息流 數(shù)據(jù)倉庫 計費(fèi)系統(tǒng) CTI 市場營銷活動管理 呼叫中心 數(shù)據(jù)挖掘服務(wù)器 數(shù)據(jù)模型的設(shè)計方法 從業(yè)務(wù)需求出發(fā)識別各主題分析所需要的數(shù)據(jù)數(shù)據(jù)探索 分析數(shù)據(jù)源的數(shù)據(jù)質(zhì)量找出來自多個系統(tǒng)的公共表統(tǒng)一維護(hù)建立原子層數(shù)據(jù)模型模型非規(guī)范化建立訪問層數(shù)據(jù)模型 維度模型 PROBE中的主題域 產(chǎn)品 產(chǎn)品使用 網(wǎng)絡(luò)事件 網(wǎng)元 地域 帳務(wù) 參