商務(wù)智能：IBM電信業(yè)商業(yè)智能解決方案

1、IBM電信業(yè)商業(yè)智能解決方案議程數(shù)據(jù)分析析與決策策支持系系統(tǒng)面臨臨的挑戰(zhàn)戰(zhàn)IBM商商業(yè)智智能解決決方案簡簡介IBM方方案優(yōu)優(yōu)勢電信企業(yè)業(yè)的需要要帳務(wù)統(tǒng)計計收益分析析網(wǎng)絡(luò)、基基站運維維分析績效考核核客戶關(guān)系系管理風(fēng)險預(yù)測測市場競爭爭分析.帳務(wù)統(tǒng)計計、分析析日、月統(tǒng)統(tǒng)計報表表月結(jié)算報報表營業(yè)收入入統(tǒng)計、分析資費來源源統(tǒng)計、分析業(yè)務(wù)量統(tǒng)統(tǒng)計、分分析.收益情況況分析收入總量量分析及及預(yù)測收入增量量分析及及預(yù)測ARPU分析及及預(yù)測收入結(jié)構(gòu)構(gòu)分析及及預(yù)測大客戶收收入情況況分析及及預(yù)測客戶交費費情況分分析及預(yù)預(yù)測客戶欠費費情況及及其結(jié)構(gòu)構(gòu)分析及及預(yù)測新增客戶戶交/欠欠費情況況分析及及預(yù)測欠費回收收情況分分析

2、高額/欺欺詐分析析銷賬分析析市場競爭爭分析市場占有有率分析析及預(yù)測測市場需求求分析及及預(yù)測競爭對手手發(fā)展情情況分析析及預(yù)測測各競爭對對手的市市場營銷銷分析供應(yīng)商市市場行為為特征分分析合作商市市場行為為特性分分析業(yè)務(wù)發(fā)展展分析業(yè)務(wù)量發(fā)發(fā)展分析析及預(yù)測測業(yè)務(wù)增量量分析及及預(yù)測MOU分分析及預(yù)預(yù)測新業(yè)務(wù)使使用量分分析及預(yù)預(yù)測業(yè)務(wù)資源源使用特特征分析析及預(yù)測測大客戶使使用業(yè)務(wù)務(wù)量的特特征分析析及預(yù)測測大客戶使使用業(yè)務(wù)務(wù)的特征征分析及及預(yù)測流量和流流向特征征分析及及預(yù)測客戶分析析客戶總量量分析及及預(yù)測新增客戶戶分析及及預(yù)測客戶凈增增量分析析及預(yù)測測客戶流失失量分析析及預(yù)測測客戶轉(zhuǎn)網(wǎng)網(wǎng)量分析析及預(yù)測測大客

3、戶發(fā)發(fā)展分析析及預(yù)測測客戶消費費能力分分析及預(yù)預(yù)測客戶消費費習(xí)慣/愛好分分析及預(yù)預(yù)測客戶戶信用度度分析外來用戶戶分析模擬用戶戶分析儲值卡用用戶分析析潛在用戶戶分析零次用戶戶分析一戶多卡卡用戶分分析客戶關(guān)系系管理及及市場策策略發(fā)現(xiàn)優(yōu)秀秀客戶發(fā)現(xiàn)易流流失客戶戶群調(diào)整產(chǎn)品品定價發(fā)現(xiàn)客戶戶行為模模式開發(fā)新產(chǎn)產(chǎn)品交叉銷售售.網(wǎng)絡(luò)、基基站分析析基站配置置與話務(wù)務(wù)量分布布情況分分析分析各時時段各基基站/交交換機的的負載情情況網(wǎng)絡(luò)收益益分析網(wǎng)絡(luò)容量量分析網(wǎng)絡(luò)安全全分析熱點小區(qū)區(qū)分析路由分析析等服務(wù)質(zhì)量量分析客戶服務(wù)務(wù)質(zhì)量分分析客戶服務(wù)務(wù)時限分分析客戶咨詢詢查詢焦點點分析客戶投訴訴焦點分分析大客戶服服務(wù)質(zhì)量量分

4、析客戶滿意意度分析析客戶忠誠誠度分析析營銷管理理分析市場價格格分析營銷渠道道作用分分析代銷代辦辦酬金分分析營銷人員員素質(zhì)分分析營銷宣傳傳市場效效果分析析促銷行為為市場效效果分析析綜合決策策分析決策取向向模擬分分析決策行為為市場操操作模擬擬分析決策行為為市場效效果模擬擬分析績效考核核分公司績績效考核核營業(yè)部績績效考核核營業(yè)員績績效考核核.當(dāng)前狀態(tài)態(tài)計費系統(tǒng)網(wǎng)管系統(tǒng)財務(wù)系統(tǒng)營業(yè)系統(tǒng)統(tǒng)結(jié)算報表表CRM局長信息息系統(tǒng)挑戰(zhàn)：信信息孤島島財務(wù)系統(tǒng)統(tǒng)市場促銷銷數(shù)據(jù)客戶數(shù)據(jù)據(jù)營業(yè)數(shù)據(jù)據(jù)呼叫中心心數(shù)據(jù)建立數(shù)據(jù)據(jù)倉庫、實施商商業(yè)智能能生產(chǎn)系統(tǒng)統(tǒng)數(shù)據(jù)倉庫庫OLAP智能挖掘掘如何實施施商業(yè)智智能分析的復(fù)雜度和價值統(tǒng)計

5、多維數(shù)據(jù)挖掘優(yōu)化階段 1 階段 2 階段 3 階段 4 階段 5分析的階段數(shù)據(jù)集市數(shù)據(jù)倉庫發(fā)現(xiàn)驗證IBMBI解解決方方案產(chǎn)品品業(yè)務(wù)系統(tǒng)1業(yè)務(wù)系統(tǒng)2業(yè)務(wù)系統(tǒng)3業(yè)務(wù)系統(tǒng)n數(shù)據(jù)倉庫管理器/數(shù)據(jù)庫 Warehouse Manager/DB2 UDBDB2 OLAP Server報表工具QMFDB2 OLAP Server AnalyzerIntelligent Miner for Data其它應(yīng)用IBMBI體體系結(jié)構(gòu)構(gòu)DB2 UDBDB2 UDBDB2 Warehouse Manager數(shù)據(jù)倉庫管理器Meta DataDB2 OLAP ServerDB2/Warehouse Control Cente

6、rOLAP Server App ManagerOLAP Server Analysis Server客戶端工具支持WEB決策支持工具和應(yīng)用程序DB2 FamilyORACLEInformixSybaseSQL ServerIMS & VSAMFilesData Joiner DB2 Intelligent Miner for Data數(shù)據(jù)智能挖掘服務(wù)器什么是數(shù)數(shù)據(jù)倉庫庫數(shù)據(jù)倉庫庫是指從從業(yè)務(wù)數(shù)據(jù)據(jù)中創(chuàng)建信息數(shù)據(jù)據(jù)庫，并針對對決策和分析進行優(yōu)化化。數(shù)據(jù)倉庫庫中的信信息是面向主題題的、集成化的的、穩(wěn)定的、隨時間變變化的數(shù)據(jù)集集合，用用以支持持管理決決策的過過程。數(shù)據(jù)來自自多個數(shù)數(shù)據(jù)源，并整合合到

7、一個個數(shù)據(jù)庫庫中。在數(shù)據(jù)整整合的過過程中數(shù)數(shù)據(jù)要經(jīng)經(jīng)過聚合、摘要和清洗。不同的數(shù)數(shù)據(jù)用于于不同的的目的面向主題題集成比較穩(wěn)定定包含歷史史數(shù)據(jù)支持管理理決策面向應(yīng)用用有限集成成經(jīng)常更新新僅有當(dāng)前前值支持日常常業(yè)務(wù)運運作業(yè)務(wù)數(shù)據(jù)據(jù)信息數(shù)據(jù)據(jù)業(yè)務(wù)數(shù)據(jù)據(jù)和信息息數(shù)據(jù)根根本不同同！TrustAccountsCheckingAccountsLoanAccountsLoanAccounts年月日Account History建立數(shù)據(jù)據(jù)倉庫的的過程商業(yè)主題業(yè)務(wù)信息業(yè)務(wù)數(shù)據(jù)管理轉(zhuǎn)換工具商業(yè)視圖元數(shù)據(jù)成員映射商業(yè)視圖Templates外部數(shù)據(jù)DB2DataWarehouse體體系結(jié)構(gòu)構(gòu)Log ServerKern

8、elDispatcherSchedulerClientsWarehouse ServerWarehouse AgentsDatabasesRelationalSourceDB2 TargetDataMessageMessageNon-RelSourceEnd UsersDataDataDataDataNT/2000, OS/2, AIX, Sun, OS/390, AS/400DDDLogEditionsConfigurationControlDatabaseDB2MetadataMetadataType titleType textFlat FilesData Warehouse Cente

9、rMessageNT/2000NT/2000 AgentNT/2000, AIX, SunIncluded with DB2 UDB數(shù)據(jù)倉庫庫代理(Agent)技術(shù)數(shù)據(jù)倉庫庫控制服服務(wù)器(Warehouse ControlServer)時間表啟啟動從控制數(shù)數(shù)據(jù)庫中中獲取商商業(yè)視圖圖定義啟動代理理(通過過代理后臺進程)循環(huán):- 接受受和記錄錄結(jié)果- 更新新客戶端端顯示數(shù)據(jù)倉庫庫代理(Agent)響應(yīng)VW管理器器循環(huán):- 接受受命令- 執(zhí)行行命令- 報告告狀態(tài)DB2UDB高度并并行的海海量數(shù)據(jù)據(jù)庫Cluster多個大緩沖區(qū)支持64位內(nèi)存尋址內(nèi)存管理單處理器對稱多處理(SMP)Massively P

10、arallel Processor (MPP)增強的SMP并行支持MPP并行支持并行事務(wù)CPUSQLCPUSQLCPUSQLCPUSQL并行查詢SQLCPUCPUCPUCPUSQLQueryQueryOptimizerBest Query PlanThreadedCodeCompile -TimeRun-TimeAgentAgentAgentPrefetchersSinglequeryinvolves1 coordinatingagentn subagentsmprefetchers(shared)Allexecuting in parallel on availableprocessorsC

11、ombinationof.Data parallelismEach agent works on subsetofdataData dynamically assigned so usernot required to partitiondataFunctional parallelism (pipelining)Each agent works on differentqueryfunction,e.g.scan,sortAlso enablesParallelIndexCreateParallelBackupand RestoreAllowsmultipleprocesses to rea

12、dorwritedatato/from thedatabaseParallelLOADExploitationofmultipleprocessorsduringload,particularly forparsing/converting/formattingdata節(jié)點內(nèi)部部并行ParallelEdition -style(shared-nothing)Data parallelism throughhashpartitioningPartitions canbe.PhysicalonMPPorclusterLogical on SMPRun-TimeAgentPrefetchersAge

13、ntPrefetchersAgentPrefetchersnode 0node 1node nSQLQueryQueryOptimizerBest Query PlanThreadedCodeCompile -Time節(jié)點間并并行(數(shù)數(shù)據(jù)庫分分區(qū)間并并行).SingleDatabaseViewParallelOptimizerUserQueryNode(CPU)Node(CPU)Node(CPU)Node(CPU)Shared-nothingsoftwarearchitecturesupportsIndependentphysicalnodesSeparateCPU, memory,and d

14、iskIncludingSMP nodesORMultiplelogical database partitionsonsingle large SMPServerInterpartitioncommunication is cross memory,not cross networkData is partitioned acrossnodesautomatically by hashingEverything operates in parallelSelectInsertUpdateDeleteBackup/restoreLoadCreateindexReorg充分利用用分區(qū)數(shù)數(shù)據(jù)庫的的

15、能力SocialInsurance NumberNameLocation123-456-789JoeBostonTorontoPartitionKey value Hashedto:8VectorPosition0123456789101112.Node1231231231231.DB2DB2DB2PartitionMapDetermines homeforrowCanbeadjustedfor dataskewusingtheREDISTRIBUTE utilityHash分區(qū)和和分區(qū)映映射表BlendsbestofMPPand SMPstyleofparallelismIdealforSM

16、P clustersMost flexible hardware supportLeading EdgeQueryOptimizer!Run-Timenode 0AgentAgentAgentPrefetchersnode 1AgentAgentAgentPrefetchersnode 2AgentAgentAgentPrefetchersSQLQueryQueryOptimizerBest Query PlanThreadedCodeCompile -Time分區(qū)內(nèi)及及分區(qū)間間并行DB2UDB:更更大的容容量表/視圖圖/列/別名長長度增加加名字更容容易記憶憶更容易移移植SQL語語句長度度可達

17、64KB更復(fù)雜的的查詢和和分類(如數(shù)據(jù)據(jù)挖掘)由工具自自動生成成的語句句VARCHAR大小可可以達到到32KB更小依賴賴LONGVARCHAR，節(jié)省省空間并并提高性性能最大表/表空間間大小64GB/128GB/256GB/512GB可以生成成更大的的表而不不需要分分區(qū)(partition)索引字段段總長度度達1024byte可以對更更多/更更長的字字段加索索引DB2UDB:優(yōu)優(yōu)化技術(shù)術(shù)優(yōu)化級別別0-9查詢重寫寫增加隱含含的條件件一般條件件下壓(pushdown)子查詢該該為JOIN消除不必必要的JOIN將量化的的條件轉(zhuǎn)轉(zhuǎn)化為標(biāo)標(biāo)量子查查詢將OR轉(zhuǎn)轉(zhuǎn)為IN將IN轉(zhuǎn)轉(zhuǎn)為JOIN視圖合并并消除不必必

18、要的DISTINCT優(yōu)化器擴擴展減少限制制RID列列表排序序IndexOring執(zhí)行計劃劃分析避免Cartesian積增強的JOIN大小估估計非統(tǒng)一的的分布式式統(tǒng)計I/O統(tǒng)統(tǒng)計對隨機和和順序I/O不不同處理理鎖優(yōu)化可修正的的CPU和I/O成本本估算可更新的的目錄統(tǒng)統(tǒng)計DB2UDB與商業(yè)業(yè)智能集集成新的統(tǒng)計計函數(shù)頁面大小?。?KB,8KB,16KB,32KB更小的I/O，減少索索引的層層次優(yōu)化器可可以利用用多個緩緩沖池(與頁面面大小)更多的利利用星型型連接優(yōu)優(yōu)化利用星型型連接設(shè)設(shè)計的數(shù)數(shù)據(jù)庫性性能更好好對數(shù)據(jù)倉倉庫的增增強數(shù)據(jù)加載載過程中中自動建建立索引引LOAD TERMINATE/RESTA

19、RT選項LOAD時遞增增的建立立索引利用LOADINSERT將數(shù)據(jù)據(jù)附加到到已經(jīng)存存在數(shù)據(jù)據(jù)的表中中易用的管管理工具具DB2ConnectEnterprise EditionDRDA-CompliantServerData ReplicationCaptureApplyVisualAgefor JavaDB2ExtendersVisualExplainDevelopersClientConfigurationAssistantUsersDB2DiscoveryAdministratorCommand Center(GUI CLP)DB2UDB ServerDB2UDB ServerGovern

20、orControl CenterandUtilitiesPerformanceMonitorJobSchedulerPerformanceSmartGuideNetwork ConfigurationSmartGuideAdministrationServerSatelliteAdministration集成化的的圖形界界面管理理工具Control CenterCommand CenterPerformanceMonitorPerformanceSmartGuideIndexSmartGuideOtherToolsIntegrated withthe DB2Control CenterDB2S

21、cript CenterAllowsuserstocreate andschedulescripts forregular database activitiesDB2JournalProvidesuserswith aviewofactivities which haveoccuredintheDBMSDB2LicenseCenterAllowsuserstomonitorlicense complianceDB2InformationCenterProvidesuserswith theentireDB2 UDBTechnicalLibraryonlineServerCommunicati

22、ons(Network) ConfigurationAssistantAutomatesset up of serverforcommunicationwith clientsClientConfigurationAssistantDatabaseconnection configurationand testingCanrequestthat DB2Discoverysearch networkfor databasesODBC administrationDB2DiscoverySearchesforDB2 serversand databasesover thenetworkReturn

23、s information required forconnection to clientDB2家家族產(chǎn)品品全全面解決決方案TCP/IPIPX/SPXNETBIOSDOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUNSolarisSNISINIXSGIIrixMACWebBrowsersClientsDB2for OS/400DB2for AIXDB2for OS/2DB2for HP-UXDB2for HP-UX 11.0DB2for SUNSolarisDB2for SINIXDB2for NTDB2for SCODB2for SCOUnixware7S

24、erversDB2ConnectDatajoinerNet.DataMiddlewareParallelComplexesDB2UDB EEEforAIXDB2UDB EEEforSUN SolarisDB2UDB EEEforWindowsNTDB2UDB forOS/390DB2for OS/400PersonalDB2for OS/2DB2for WinNTDB2for Win95DB2for Win98LotusApproachSatelliteEditionDB2EverywhereOracleSybaseInformixSQLServerIMSVSAMSourcesTivoliTM

25、E-10SatelliteEditionManagementHostsDB2UDB forOS/390DB2for VM andVSEDB2for OS/400TCP/IPSNAIPX/SPXWANCompleteSolutionsOnlineAnalyticalProcessing (OLAP)由IBM研究員員E.F.Codd提出，被業(yè)界界廣泛采采用為計劃和和分析優(yōu)優(yōu)化處理理多維視圖圖鉆取切片滿足用戶戶需求填補關(guān)系系型數(shù)據(jù)據(jù)庫的不不足利用現(xiàn)有有投資后臺交易易系統(tǒng)前臺報表表系統(tǒng)OLAP:多多維分析析用維的方方法觀察察數(shù)據(jù)產(chǎn)品，時時間，地地區(qū)，財財務(wù)指標(biāo)標(biāo)等數(shù)據(jù)模型型等同于于業(yè)務(wù)模模型結(jié)算分析歸

26、屬局被訪局時間沖銷結(jié)算北京上海天津北京廣東.Q1Q4來訪費用出訪費用Q2Q3OLAP：多維維分析旋轉(zhuǎn)：按按不同順順序組織織各個維維，對結(jié)結(jié)果進行行考察鉆?。涸谠谝粋€維維內(nèi)部沿沿著從高高到低或或從低到到高的方方向考察察數(shù)據(jù)上鉆下鉆切片：在在確定某某些維數(shù)數(shù)據(jù)的情情況下對對其他維維進行觀觀察OLAP:多多維分析析時間歸屬局被訪局2000年2000年1月2000年1月1日2000年1月2日2000年1月3日2000年2月考察一個個特定的的維時間維，包括每每一個歸歸屬局到到各被訪訪局的沖沖銷結(jié)算算關(guān)系鉆取到下下面的層層次來考考察詳細細情況OLAP：旋轉(zhuǎn)轉(zhuǎn)時間歸屬局被訪局歸屬局被訪局時間按照不同同的順序

27、序組合維維，對數(shù)數(shù)據(jù)進行行考察OLAP：鉆取取結(jié)算分析析時間歸屬局被訪局沖銷結(jié)算算199920002001北京上海.北京上海來訪費用用出訪費用用Q1Q2Q3Q4AprMayJun鉆取到各各級數(shù)據(jù)據(jù)層次時間，年年，季，月，日日歸屬局，省局，地市OLAP：切片片時間歸屬局被訪局時間被訪局歸屬局一月份所所有歸屬屬局對各各被訪局局的沖銷銷結(jié)算關(guān)關(guān)系每個歸屬屬局對被被訪局北北京每個個月份的的沖銷結(jié)結(jié)算關(guān)系系用切片的的方法從從不同的的角度觀觀察OLAPOLTPOLTP vs.OLAP：不同同的角色色紀(jì)錄交易易情況有限的步步驟二維數(shù)據(jù)管理理數(shù)據(jù)處理理運行商業(yè)運作作確定任務(wù)務(wù)反復(fù)的過過程多維數(shù)據(jù)合并并信息綜合

28、合推動商業(yè)計劃劃DB2UDB支持OLAP的高級級特性優(yōu)化的SQL先進的基于成本的優(yōu)化器(Starburst)查詢重寫圖形化界面生成的低效SQL獨特的星型連接算法ProductStoreMonth先進的索引技術(shù)110011101010111010111101101010101010110001101010101010On-Line Analytical ProcessingProductMonthStoreCube, Rollup 操作符表函數(shù)并行支持自動的摘要表復(fù)制的表IBMDB2 OLAPServer開放的系系統(tǒng)最終用戶戶OLAP工具具最終用戶戶查詢/報表工工具易于實現(xiàn)現(xiàn)和管理理自動化的的數(shù)

29、據(jù)庫庫設(shè)計利用現(xiàn)有有的技能能和工具具系統(tǒng)管理理數(shù)據(jù)庫管管理高度可伸伸縮性(Scalability)與IBM數(shù)據(jù)倉倉庫體系系結(jié)合提供兩種種存儲方方式易于使用用的安全全權(quán)限限限制IBM DB2 OLAP Server EssbaseOLAPEngineIBMRelationalStorageInterfaceEssbaseMulti-dimensionalData Store開放的接接口標(biāo)準(zhǔn)準(zhǔn)開放的應(yīng)應(yīng)用程序序接口和和工具C/C+API、JDBC、ODBC/CLIEmbeddedSQL、SQLJ、Java、C/C+、VB、Delphi/C+Builder、PowerBuilder 眾多的客客戶端工

30、工具DB2OLAPServerAnalyzerBusinessObjectBrioCognosExcel/Lotus123通用的運運行平臺臺AIXSolarisHP-UXWindows NT/2000LinuxS390AS400OLAP Server與數(shù)數(shù)據(jù)倉庫庫管理器器緊密集集成IBM的的數(shù)據(jù)倉倉庫管理理器中帶帶有大量量與OLAPServer相關(guān)的的程序(vwp)：文件數(shù)據(jù)據(jù)加載到到OLAP數(shù)據(jù)庫數(shù)數(shù)據(jù)加載載OLAP用文件數(shù)數(shù)據(jù)更新新維用數(shù)據(jù)庫庫數(shù)據(jù)更更新維計算用規(guī)則計計算客戶可以以使用Web方方式訪問問，不需需要安裝裝任何OLAP工具。Web瀏覽器應(yīng)用服務(wù)器WWWOLAP Server數(shù)據(jù)

31、倉庫TCP/IP客戶端訪訪問和維維護完善的授授權(quán)機制制：應(yīng)用程序序級數(shù)據(jù)庫(Cube)級過濾器讀、寫、計算、設(shè)計權(quán)權(quán)限用戶組圖形化管管理界面面用戶、權(quán)權(quán)限管理理完整的日日志紀(jì)錄錄數(shù)據(jù)挖掘掘數(shù)據(jù)倉庫庫選擇的數(shù)據(jù)選擇轉(zhuǎn)換挖掘理解轉(zhuǎn)換后的的數(shù)據(jù)可理解的的信息抽取的信信息一個過程程，從大大型數(shù)據(jù)據(jù)庫中抽抽取以前前沒有發(fā)發(fā)現(xiàn)，可可理解的的，可操操作的信信息，用用以支持持企業(yè)關(guān)關(guān)鍵性決決策。數(shù)據(jù)挖掘掘的典型型例子基于歷史數(shù)據(jù)預(yù)測行為發(fā)現(xiàn)未知分群、規(guī)則和模式常用數(shù)據(jù)據(jù)挖掘算算法分為為三類Data Mining AlgorithmsNo PredictionPredictOne ThingTime Serie

32、s MatchingPredictEverythingAssociationsSequential PatternsDecision TreeRBFClassificationValue PredictionNeuralNeuralClusteringDemographicNeural常用數(shù)據(jù)據(jù)挖掘算算法Clustering (Segmentation)-nodependentvariableDemographicSegmentationNeuralSegmentation (Kohonen Map)Example:Identifycommon characteristicsina custo

33、mer database.Predictive/Classification Modeling-dependentvariableNonlinearregressionDecisiontreesNeuralnetworksRadial-basisfunctionsExample:PredictIBMsstockpricetomorrow.常用數(shù)據(jù)據(jù)挖掘算算法Link Analysis-transactiondataBasicassociations(or dissociation)Sequential associations(overtime)Example:Identifywhichfeaturesofaninsurance policysell together.Similar TimeSequence許多業(yè)務(wù)務(wù)問題可可以映射射到數(shù)據(jù)據(jù)挖掘技技術(shù)IntelligentMinerforDataV6.1IBMIntelligentMinerfor DataSequential PatternsAssociationsPredictive ModelingDeviation DetectionClusteringClassificationData Mining KernelsVisualization T