動態(tài)數(shù)據(jù)倉庫技術(shù)及應(yīng)用案例

動態(tài)數(shù)據(jù)倉庫技術(shù)及應(yīng)用案例富子祺議題動態(tài)數(shù)據(jù)倉庫技術(shù)行業(yè)應(yīng)用案例關(guān)鍵技術(shù)實現(xiàn)議題動態(tài)數(shù)據(jù)倉庫技術(shù)行業(yè)應(yīng)用案例關(guān)鍵技術(shù)實現(xiàn)戰(zhàn)略型智能戰(zhàn)術(shù)型智能數(shù)據(jù)倉庫發(fā)展的階段嵌入在發(fā)生什么統(tǒng)計發(fā)生了什么分析為什么發(fā)生預(yù)測要發(fā)生什么驅(qū)動

計劃發(fā)生什么批處理即席查詢分析事件觸發(fā)連續(xù)加載/小查詢什么是動態(tài)數(shù)據(jù)倉庫?動態(tài)數(shù)據(jù)倉庫的定義：一個用于戰(zhàn)略分析、戰(zhàn)術(shù)驅(qū)動、業(yè)務(wù)決策的，具備時效性、綜合性和一致性的數(shù)據(jù)中心。是傳統(tǒng)數(shù)據(jù)倉庫與動態(tài)技術(shù)的整合。及時更新–實時、準(zhǔn)實時快速響應(yīng)戰(zhàn)術(shù)查詢事件驅(qū)動、主動推送需求動態(tài)數(shù)據(jù)倉庫的要求：高效性–生產(chǎn)級（秒、分）響應(yīng)速度可擴(kuò)展性–支持大數(shù)據(jù)量,混合負(fù)載及并發(fā)用戶可用性–7x24x365數(shù)據(jù)及時性–準(zhǔn)確的,隨時更新的數(shù)據(jù)動態(tài)數(shù)據(jù)倉庫參考架構(gòu)EnterpriseMessage/ServiceBusBatchServiceBrokers數(shù)據(jù)倉庫FinanceVendorERPRDBMSBasedEventProcessingASP/JSPMarketingCallCenterFinanceExecutiveSuppliersProduct一線操作型用戶管理層戰(zhàn)略型用戶StreamingPOSLogisticsInternet/IntranetCustomers業(yè)務(wù)流程自動化數(shù)據(jù)倉庫業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)獲取交易服務(wù)決策支持服務(wù)BusinessRulesEventNotificationEventDetection動態(tài)數(shù)據(jù)倉庫熱點技術(shù)流程為中心和數(shù)據(jù)為中心的技術(shù)J2EEand.NETRDBMSEAIandESBETLandEiiJavaandVBSQLIDEandEclipseBIToolsWorkflowandrulesAnalytics數(shù)據(jù)整合技術(shù)ESB實時信息數(shù)據(jù)加載轉(zhuǎn)換數(shù)據(jù)復(fù)制應(yīng)用1適配器轉(zhuǎn)換事件消息應(yīng)用2應(yīng)用3抽取程序轉(zhuǎn)換/清洗Update更新數(shù)據(jù)獲取應(yīng)用App2EDWNetworkApp1EDWApp2App3App4App1弱中等強1510選擇適合的數(shù)據(jù)整策略ETL/ELTESB/EAIReplication主要使用的數(shù)據(jù)大批量抽取數(shù)據(jù)流更新數(shù)據(jù)流數(shù)據(jù)抽取程序1084轉(zhuǎn)換964數(shù)據(jù)清洗911元數(shù)據(jù)85n/a路由/傳輸2105開發(fā)工具710n/a實時性6810部署的成本459資源消耗468數(shù)據(jù)庫鎖377事件驅(qū)動應(yīng)用（Event-DrivenApplications）事件感知事件處理事件輸出應(yīng)用程序偵測集成代理智能代理觸發(fā)器行為（模式）識別ESB儀表盤應(yīng)用程序Portals過濾規(guī)則引擎分析歷史分派/發(fā)布告警/KPI觸發(fā)工作流產(chǎn)生新的事件ActiveDataWarehouseEDA（事件驅(qū)動架構(gòu)）與SOA（服務(wù)導(dǎo)向架構(gòu)）Event-DrivenArchitectureServiceOrientedArchitecture透明的事件發(fā)布者根本不知道事件訂閱者是否存在松耦合服務(wù)調(diào)用方不關(guān)心服務(wù)實現(xiàn)方的位置和技術(shù)多對多發(fā)布與訂閱。事件可以激活很多訂閱者一對一的通訊每次調(diào)用一個特殊的服務(wù)，雙向通訊。事件觸發(fā)器流程控制由事件接收者決定服務(wù)調(diào)用方來觸發(fā)流程控制由服務(wù)調(diào)用方來啟動異步異步操作同步反饋同步發(fā)送給調(diào)用方互補而非競爭ESB動態(tài)數(shù)據(jù)倉庫對EDA/SOA架構(gòu)的支撐ADWWebserviceEventProcessorWebserviceEventProcessor應(yīng)用事件偵測通知業(yè)務(wù)一線的用戶告警SPManagerQueueTable觸發(fā)器加載/更新Select/consume衍生外部存儲過程12WebService事件處理方外部存儲過程SOAEDA議題動態(tài)數(shù)據(jù)倉庫技術(shù)行業(yè)應(yīng)用案例關(guān)鍵技術(shù)實現(xiàn)動態(tài)數(shù)據(jù)倉庫在速遞行業(yè)的應(yīng)用－網(wǎng)站/航空業(yè)基于動態(tài)數(shù)據(jù)倉庫的個性化網(wǎng)站（travelcity）基于Cookie進(jìn)行客戶識別通過客戶的個性化信息來展現(xiàn)不同的圖像、產(chǎn)品以及廣告由數(shù)據(jù)倉庫實時提供這些的信息。IP來自舊金山曾經(jīng)參與過哪些旅行活動合作伙伴自由行的線路WelcomeTim!PreferredMemberSeeyourrewards!ViewyourprofileSpecialPreferredMemberdiscount!Save$200todayonEuropeanTotalTripPackages!

FareWatcherSFO$83toSanDiego$198toDallas動態(tài)數(shù)據(jù)倉庫架構(gòu)AirfareshopCarfareshopHotelfareshopPackagefareshopDailyCampaignsAccucastTCRMIOSLookertoBookerShopping/BookingMemberprofilesDealAir

DealCarDealHotelDealPackage主頁低價票、酒店促銷提醒廣告服務(wù)LeadpricesDealsOffers數(shù)據(jù)倉庫Impression&clickloggingSabreMTSPassportEquitec/AxciomLeadpriceharvestersMerchandisingEngineCampaignChannelAdapterAir,car,hotel,&packageservices動態(tài)數(shù)據(jù)倉庫上的應(yīng)用支撐狀況中等-低優(yōu)先級高優(yōu)先級優(yōu)先級隨時調(diào)整實時加載報表即席查詢網(wǎng)站其它應(yīng)用FastLoadMultiLoad350Mrows/day實時訪問決策支持實時加載Teradata批量加載小批量加載300K-1Mrequests/day395KQueries/day695Krows/day動態(tài)數(shù)據(jù)倉庫在速遞行業(yè)的應(yīng)用－物流業(yè)實時動態(tài)全程跟蹤查詢?nèi)虝r限管控系統(tǒng)－以數(shù)據(jù)分析為基礎(chǔ)的主動式流程推薦的時限設(shè)定區(qū)間預(yù)定義維護(hù)規(guī)則數(shù)理統(tǒng)計方法保障時限合理性哪些地區(qū)能夠推出更快捷的速遞業(yè)務(wù)逾限提前告警，及時補救哪些信息需要維護(hù)規(guī)則配置是否符合實際時限維護(hù)運力與時限是否存在聯(lián)系時限應(yīng)用渠道系統(tǒng)架構(gòu)數(shù)據(jù)倉庫加載服務(wù)器運輸系統(tǒng)（省集中）外部Portal內(nèi)部Portal應(yīng)用服務(wù)器郵政支局(省集中)分揀中心（地市集中）實時加載InternetIntranetTIBCO企業(yè)服務(wù)總線TNTKAHALA應(yīng)用支撐狀況資源動態(tài)負(fù)載管理、優(yōu)先級分時配置實時加載報表即席查詢實時網(wǎng)站查詢定時短信推送實時訪問決策支持實時加載Teradata2.7M/day30KQueries/day15Mrows/day1~3K/30min實時反饋實時語音查詢?FastLoadMultiLoad批量加載動態(tài)數(shù)據(jù)倉庫在移動行業(yè)的應(yīng)用通訊行業(yè)用戶套餐使用提醒及套餐升級

用戶訂購套餐批量加載實時加載客戶通話/發(fā)送短信用戶套餐當(dāng)日實時匯總往日匯總++規(guī)則引擎友情提醒：您本月的套餐為399分鐘，現(xiàn)在已使用360分鐘。您的套餐為399分鐘，但截止目前為止您已使用450分鐘，建議您將套餐更換為599套餐，將為您節(jié)省XX元話費1、短信告知12593的價值，2、累計撥打60分鐘以上獲贈10元話費1、短信告知非動感地帶客戶短信費用，動感地帶客戶套餐中包含的短信，2、累計發(fā)送100條獲贈話費8元1、短信介紹漫游業(yè)務(wù)2、累計接打電話80分鐘，可獲贈話費20元。新客戶關(guān)懷客戶購卡激活第1次撥打長途第1次發(fā)送短信第1次使用漫游撥打長途累計60分鐘第100次發(fā)送短信累計接打80分鐘更多次使用業(yè)務(wù)更多業(yè)務(wù)被使用1、短信告知贈送話費2、短信推薦其他業(yè)務(wù)（全面展開后分類推廣業(yè)務(wù)）1、短信告知話費贈送2、短信推薦其他業(yè)務(wù)（全面展開后分類推廣業(yè)務(wù)）1、短信告知贈送話費20元2、短信推薦其他業(yè)務(wù)（全面展開后分類推廣業(yè)務(wù)）使用媒介：短信使用媒介：彩信、短信使用媒介：彩信或短信使用媒介：短信技術(shù)架構(gòu)SDATA（語音、短信等實時加載接口）DBOData實時匯總計算系統(tǒng)接口數(shù)據(jù)倉庫BOSS實時接口（語音、短信等詳單數(shù)據(jù)）話費贈送接口參數(shù)配置信息營銷客戶信息獎勵客戶信息新生用戶信息詳單匯總信息實時短信接口引擎實時加載實時推送定時回傳議題動態(tài)數(shù)據(jù)倉庫概念行業(yè)應(yīng)用案例關(guān)鍵技術(shù)實現(xiàn)動態(tài)數(shù)據(jù)倉庫的關(guān)鍵技術(shù)實時加載策略動態(tài)數(shù)據(jù)模型設(shè)計查詢策略實時分析企業(yè)集成混合負(fù)載管理實時監(jiān)控業(yè)務(wù)規(guī)則引擎動態(tài)數(shù)據(jù)備份相關(guān)系統(tǒng)應(yīng)用監(jiān)控數(shù)據(jù)監(jiān)控設(shè)備監(jiān)控?zé)o時間窗口備份增量恢復(fù)策略負(fù)載特征優(yōu)化配置高并發(fā)生產(chǎn)級響應(yīng)事件偵測容錯設(shè)計實時數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)更新性能加載策略設(shè)計模型融合優(yōu)化策略擴(kuò)展性數(shù)據(jù)加載與模型設(shè)計實時加載1、不間斷數(shù)據(jù)加載－無人職守加載性能匹配、突增數(shù)據(jù)的應(yīng)急處理加載不能停止，需要自動處理異常錯誤實時記錄檢查/糾正，錯誤信息剔除/告知2、數(shù)據(jù)更新率提高事物處理邏輯、級聯(lián)操作可回退、重復(fù)加載時序保證3、加載策略數(shù)據(jù)復(fù)制實時加載小批次加載加載策略設(shè)計（例）數(shù)據(jù)模型設(shè)計與傳統(tǒng)數(shù)據(jù)倉庫模型的融合獨立設(shè)計：邏輯動態(tài)數(shù)據(jù)集市模型＋傳統(tǒng)數(shù)據(jù)倉庫模型

松偶合，二次信息整合已有數(shù)據(jù)倉庫的動態(tài)性改進(jìn)整體設(shè)計：統(tǒng)一的動態(tài)數(shù)據(jù)倉庫模型完全融合、一次信息整合新建動態(tài)數(shù)據(jù)倉庫基于動態(tài)應(yīng)用的模型優(yōu)化非正則化設(shè)計：冗余信息、多極分區(qū)特殊索引設(shè)計：表關(guān)聯(lián)索引數(shù)據(jù)時間戳動態(tài)數(shù)據(jù)倉庫實時加載動態(tài)數(shù)據(jù)集市傳統(tǒng)數(shù)據(jù)倉庫模型實時應(yīng)用負(fù)載、監(jiān)控與備份不同類型的應(yīng)用對資源需求有不同的特點短查詢(訪問量多，消耗小)簡單匯總及應(yīng)用(訪問量中，消耗中)復(fù)雜的匯總及應(yīng)用(訪問量大，消耗大)允許執(zhí)行的任務(wù)需要執(zhí)行的任務(wù)快車道慢車道副路在動態(tài)數(shù)據(jù)倉庫的應(yīng)用環(huán)境中，系統(tǒng)承擔(dān)的各類應(yīng)用對資源的需求類型、需求時段以及需求緊迫性等方面均存在較明顯的差異?；旌县?fù)載管理通過對系統(tǒng)資源的合理配置與使用，追求資源的最優(yōu)利用?；旌县?fù)載管理用戶屬性AcctID為'$M$'AMPExecutionParsingEngineAG實際分配相應(yīng)資源性能組（PG）為M基于代價最優(yōu)執(zhí)行計劃查詢兩種負(fù)載管理機(jī)制定時切換－應(yīng)用種類多、特征清晰動態(tài)分配－應(yīng)用單一、特征不明顯ADW混合負(fù)載管理策略（例）17:00~2:00動態(tài)查詢應(yīng)用：48%實時數(shù)據(jù)加載：35%數(shù)據(jù)統(tǒng)計處理：17%2:00~8:00動態(tài)查詢應(yīng)用：20%實時數(shù)據(jù)加載：30%數(shù)據(jù)統(tǒng)計處理：50%8:20~12:00動態(tài)查詢應(yīng)用：75%實時數(shù)據(jù)加載：15%數(shù)據(jù)統(tǒng)計處理：10%13:20~17:00動態(tài)查詢應(yīng)用：75%實時數(shù)據(jù)加載：15%數(shù)據(jù)統(tǒng)計處理：10%12:00~13:20動態(tài)查詢應(yīng)用：48%實時數(shù)據(jù)加載：35%數(shù)據(jù)統(tǒng)計處理：17%資源配置策略之間依靠定時的觸發(fā)進(jìn)行切換實時監(jiān)控保障動態(tài)數(shù)據(jù)倉庫系統(tǒng)核心服務(wù)健康運行應(yīng)用監(jiān)控核心服務(wù)模塊服務(wù)使用量工作流、業(yè)務(wù)規(guī)則引擎數(shù)據(jù)監(jiān)控數(shù)據(jù)收發(fā)匹配數(shù)據(jù)異常系