王闖舟商業(yè)智能與大數(shù)據(jù)概述PPT

商業(yè)智能(BusinessIntelligence)與大數(shù)據(jù)概述王闖舟2013/12/16于同濟(jì)大學(xué)背景簡介1983.9-1990.12，同濟(jì)大學(xué)電氣工程系，自動控制專業(yè)，本科與碩士1991.1-1993.1同濟(jì)大學(xué)電氣工程系自動控制教研室1993.1-1994.7德國FESTO上海辦事處1994.7-2009.7美國AT&T公司、NCR公司、Teradata，在Teradata擔(dān)任中國區(qū)副總經(jīng)理和SeniorPracticePartner，負(fù)責(zé)華北與華東地區(qū)的ProfessionalService2009.7-2011.8，東南融通系統(tǒng)工程有限公司，負(fù)責(zé)其商業(yè)智能事業(yè)部的技術(shù)管理工作2011.8-目前，文思創(chuàng)新(Vanceinfo)、文思海輝(Pactera)，負(fù)責(zé)其商業(yè)智能解決方案業(yè)務(wù)線從1996年開始專注于商業(yè)智能、數(shù)據(jù)倉庫領(lǐng)域的咨詢與項(xiàng)目實(shí)施服務(wù)，主要為金融、電信行業(yè)的客戶提供商業(yè)智能解決方案，包括數(shù)據(jù)倉庫基礎(chǔ)平臺、CRM、風(fēng)險、運(yùn)營管理、財(cái)務(wù)管理等領(lǐng)域2TOPIC商業(yè)智能的應(yīng)用示例1數(shù)據(jù)倉庫解決方案架構(gòu)23進(jìn)入大數(shù)據(jù)時代4Q&A3什么是商業(yè)智能BusinessIntelligence商業(yè)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的工具。商業(yè)智能是對商業(yè)信息的搜集、管理和分析過程，目的是使企業(yè)的各級決策者獲得知識或洞察力（insight），促使他們做出對企業(yè)更有利的決策。商業(yè)智能不是什么新技術(shù)，它只是數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘等技術(shù)的綜合運(yùn)用。數(shù)據(jù)倉庫（DataWarehouse）是一個面向主題的（SubjectOriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策(DecisionMakingSupport)---數(shù)據(jù)倉庫之父BillInmon,“BuildingtheDataWarehouse”（1991）4BI應(yīng)用案例：管理駕駛窗5BI應(yīng)用案例：客戶獲取

事例：爭奪鐵通的用戶實(shí)施者：中國電信某地區(qū)公司市場部使用應(yīng)用名稱：數(shù)據(jù)倉庫內(nèi)結(jié)算話單步驟：

1、對當(dāng)月所有用戶的結(jié)算費(fèi)用進(jìn)行排序，發(fā)現(xiàn)電話號碼96368的結(jié)算支出排名最高，查詢之前各月份，它的排名也最高，最近一年每月平均結(jié)算支出為3390元。

2、查詢96368的用戶資料為當(dāng)?shù)匾粺煵莨究头柎a。

3、從數(shù)據(jù)倉庫提取其結(jié)算話單，統(tǒng)計(jì)其與各個運(yùn)營商之間互通的情況，發(fā)現(xiàn)其與鐵通的用戶互通較多，造成結(jié)算支出較大。

6BI應(yīng)用案例：客戶獲取4、針對鐵通經(jīng)營的同樣是固定電話，電信的產(chǎn)品完全可替代的特點(diǎn)，派單給大客戶服務(wù)部，要求大客戶經(jīng)理說服煙草公司把它的分銷商的電話全部轉(zhuǎn)為電信電話。5、通過一系列綜合的營銷手段，成功把煙草公司分銷商轉(zhuǎn)換為電信用戶

成效：鐵通1842個用戶轉(zhuǎn)為電信用戶按門面電話的最低ARPU40元/月計(jì)算，月創(chuàng)收7.37萬元，年累計(jì)創(chuàng)收88.42萬元7BI應(yīng)用案例：數(shù)據(jù)倉庫效益（國內(nèi)某股份制銀行）實(shí)施前實(shí)施后營銷名單獲取時間4-6Weeks<1Day業(yè)務(wù)及客戶統(tǒng)計(jì)報表產(chǎn)生速度4-6Weeks<1Day績效分析能力N/A１天～1周客戶可接觸率<15%30%＋一年能執(zhí)行營銷活動數(shù)量<1050+活動平均反饋率無法評估8-30%活動回報率無法評估Upto60%無，貸款容易有風(fēng)險強(qiáng)大客戶單一視圖能力8BI應(yīng)用案例：在市場營銷的應(yīng)用（某銀行信用卡中心）基于數(shù)據(jù)倉庫的客戶關(guān)系管理系統(tǒng)，從了解客戶或客戶細(xì)分開始，在制定各種客戶／產(chǎn)品／渠道的營銷管理策略時提供決策信息支持，計(jì)劃、執(zhí)行并管理各種行銷活動。CRM在銀行卡管理中提供新卡獲取、客戶挽留和交叉銷售的功能，有力推動銀行卡業(yè)務(wù)快速發(fā)展。Ad-hocqueryRawCustomerListAd-hocqueryRawCustomerListAd-hocqueryRawCustomerList優(yōu)化客戶名單

CallCenterSMS直郵－客戶獲取營銷郵件，依據(jù)分行及目標(biāo)客戶類型而有不同數(shù)據(jù)倉庫2。營銷活動定義、名單進(jìn)行去重、頻率規(guī)則的限定和過濾1。初始客戶名單通過Brio從數(shù)據(jù)倉庫中篩選出來，并導(dǎo)入TCRM中4。渠道應(yīng)用接觸目標(biāo)客戶，傳送促銷信息5。數(shù)據(jù)倉庫監(jiān)控客戶開卡事件6。使用Brio分析營銷活動成功率3。名單和相應(yīng)營銷信息傳送給不同的渠道系統(tǒng)直郵分行CRM系統(tǒng)的主要模塊：分析模塊溝通管理個性化模板與規(guī)則交互：營銷渠道整合(callcenter/SMS/Email)最優(yōu)化：營銷評估和優(yōu)化CRM投產(chǎn)之后，已經(jīng)執(zhí)行了170多個營銷活動，由于實(shí)現(xiàn)了目標(biāo)客戶營銷，平均每個營銷活動的目標(biāo)客戶從百萬級降低到10萬，乃至5000-1000之間，所以營銷成本比系統(tǒng)投產(chǎn)前降低了90%以上。投資回報：9BI應(yīng)用案例：客戶挽留（某銀行信用卡中心）07年10月的預(yù)測評分結(jié)果顯示流失概率50％以上的客戶為93975人；在流失概率50％以上客戶中，其中3％的客戶貢獻(xiàn)86％利潤；在挽留客戶的營銷活動中，將主要的資金和資源用在3%高價值客戶上，可節(jié)省97%的營銷成本，而得到86%的效果；流失概率50－60％的客戶貢獻(xiàn)度分布：投資回報：10BI應(yīng)用的背后11支持前述類型應(yīng)用的最佳實(shí)踐是構(gòu)建企業(yè)級數(shù)據(jù)倉庫EDW（數(shù)據(jù)平臺），通過一定的數(shù)據(jù)模型來整合企業(yè)內(nèi)的各種數(shù)據(jù)，并在此基礎(chǔ)之上構(gòu)建相關(guān)的分析型應(yīng)用這些應(yīng)用很難在企業(yè)原有的OLTP系統(tǒng)（以交易或者流程為主）上實(shí)現(xiàn)，如果沒有數(shù)據(jù)倉庫，也可以通過手工或者半手工的方式來實(shí)現(xiàn)，但非常麻煩，很難重復(fù)使用BI系統(tǒng)主要通過數(shù)據(jù)分析來發(fā)現(xiàn)數(shù)據(jù)之間內(nèi)含的業(yè)務(wù)規(guī)律，其負(fù)載類型和負(fù)載特征與OLTP系統(tǒng)有很大的差異，一般都需要建立物理獨(dú)立的系統(tǒng)，并采用適合BI負(fù)載環(huán)境的專門技術(shù)平臺---一般都是以基于MPP（MassiveParallelProcessing）技術(shù)的數(shù)據(jù)庫引擎為基礎(chǔ)目前國內(nèi)主流的MPP平臺有：DB2,Netezza(IBMPuredata),OracleExadata,Teradata,EMCGreenplum(Pivotal),HPVertica,SAPHANA.Microsoft也推出了它的MPP數(shù)據(jù)庫一體機(jī)TOPIC商業(yè)智能的應(yīng)用示例1數(shù)據(jù)倉庫解決方案架構(gòu)23進(jìn)入大數(shù)據(jù)時代4Q&A12數(shù)據(jù)倉庫解決方案整體框架企業(yè)級數(shù)據(jù)倉庫基礎(chǔ)平臺將采用模塊化、參數(shù)化的功能設(shè)計(jì)方式，提高了系統(tǒng)運(yùn)行的穩(wěn)定性并有效的降低實(shí)施成本和風(fēng)險。13EDW體系架構(gòu)應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·近源層·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系日常監(jiān)控·故障處理·備份恢復(fù)·系統(tǒng)安全組織架構(gòu)·管控流程·管控內(nèi)容管控體系從應(yīng)用體系、數(shù)據(jù)體系、技術(shù)體系、運(yùn)維體系和管控體系五個方面闡述數(shù)據(jù)倉庫整體架構(gòu)14應(yīng)用體系—特定主題的應(yīng)用15國內(nèi)外先進(jìn)銀行總結(jié)提煉了一套數(shù)據(jù)倉庫業(yè)務(wù)應(yīng)用框架，包括了客戶管理、運(yùn)營管理、風(fēng)險管理、財(cái)務(wù)管理、監(jiān)管與信息披露五大支柱的幾百種應(yīng)用，為金融機(jī)構(gòu)的數(shù)據(jù)倉庫項(xiàng)目建設(shè)和推廣應(yīng)用提供了極好的借鑒?？蛻艄芾砜蛻臬@取與挽留客戶細(xì)分與價值提升交叉銷售/向上銷售事件驅(qū)動營銷營銷活動管理與優(yōu)化客戶生命周期管理風(fēng)險管理合規(guī)與信息披露資產(chǎn)負(fù)債管理金融犯罪識別信用風(fēng)險市場風(fēng)險操作風(fēng)險財(cái)務(wù)管理財(cái)務(wù)績效管理資本配置與管理法規(guī)遵從與報表產(chǎn)品捆綁與定價財(cái)務(wù)管理流程優(yōu)化運(yùn)營管理交易渠道管理銷售渠道管理渠道遷移與流程優(yōu)化績效考核與報表產(chǎn)品開發(fā)與定價資源規(guī)劃與管理監(jiān)管與信息披露1104報表信息披露報表15應(yīng)用體系—數(shù)據(jù)應(yīng)用規(guī)劃參考16跨領(lǐng)域的應(yīng)用平臺客戶管理類應(yīng)用風(fēng)險管理類應(yīng)用運(yùn)營管理類應(yīng)用財(cái)務(wù)管理類應(yīng)用監(jiān)管與信息披露類應(yīng)用零售CRM對公CRM客戶營銷管理系統(tǒng)即席查詢平臺數(shù)據(jù)挖掘平臺報表服務(wù)平臺滿足總分行臨時數(shù)據(jù)需求支持業(yè)務(wù)人員進(jìn)行業(yè)務(wù)探索客戶聚類分析產(chǎn)品購買關(guān)聯(lián)分析客戶流失概率模型行為評分模型申請?jiān)u分模型……財(cái)務(wù)報表風(fēng)險報表監(jiān)管報表個人客戶報表對公客戶報表總帳報表考評報表產(chǎn)品報表1104監(jiān)管報表信息披露報表新資本協(xié)議應(yīng)用群資產(chǎn)負(fù)債管理人行征信人行反洗錢特別關(guān)注客戶信息系統(tǒng)關(guān)聯(lián)方信息查詢系統(tǒng)關(guān)鍵經(jīng)營指標(biāo)分析系統(tǒng)管理會計(jì)系統(tǒng)人行集中金融統(tǒng)計(jì)風(fēng)險準(zhǔn)備金計(jì)提客戶利潤貢獻(xiàn)度計(jì)算貴賓服務(wù)系統(tǒng)客戶積分計(jì)算客戶經(jīng)理績效考核分行績效考核渠道分析中間業(yè)務(wù)分析產(chǎn)品績效分析內(nèi)部財(cái)務(wù)信息分析定價系統(tǒng)個人客戶內(nèi)部評級境內(nèi)機(jī)構(gòu)網(wǎng)絡(luò)布局優(yōu)化評估戰(zhàn)略性業(yè)務(wù)指標(biāo)人行支付報表分行分潤國家外管局監(jiān)管報表高端客戶理財(cái)報表技術(shù)緩存層近源模型層整合模型層共性加工層應(yīng)用集市層數(shù)據(jù)倉庫倉內(nèi)集市倉內(nèi)集市倉內(nèi)集市倉內(nèi)集市倉內(nèi)集市倉內(nèi)集市…倉外集市倉外集市倉外集市倉外集市倉外集市…應(yīng)用集市示例16隨機(jī)查詢

–具有IT和業(yè)務(wù)兩方面的知識和技能，進(jìn)行任意數(shù)據(jù)探索和查詢，回答各種未預(yù)先定義的業(yè)務(wù)問題。數(shù)據(jù)挖掘

–在靈活分析的基礎(chǔ)上，對某些業(yè)務(wù)問題進(jìn)行數(shù)據(jù)屬性的提煉和歸納，如“評分模型”、“違約模型”、”細(xì)分模型”等。應(yīng)用系統(tǒng)

–支持復(fù)雜業(yè)務(wù)邏輯的應(yīng)用系統(tǒng)，包括營銷活動管理平臺、ALM、利潤貢獻(xiàn)度、平衡計(jì)分卡等。實(shí)踐表明，應(yīng)用系統(tǒng)的開發(fā)離不開需求的成熟和穩(wěn)定，只有通過大量的靈活分析和數(shù)據(jù)挖掘的應(yīng)用，才能形成成熟穩(wěn)定的應(yīng)用需求，反之，應(yīng)用系統(tǒng)在業(yè)務(wù)中的大量使用，又會促進(jìn)分析人員更加深入、有效的分析探索數(shù)據(jù)。數(shù)據(jù)挖掘(Modeling)應(yīng)用系統(tǒng)隨機(jī)查詢(Ad-hoc)固定報表固定報表

–以固定模式回答簡單、常規(guī)的業(yè)務(wù)管理、統(tǒng)計(jì)類問題。應(yīng)用體系—應(yīng)用模式17數(shù)據(jù)倉庫數(shù)據(jù)挖掘的流程取樣評估與確認(rèn)模型化

、數(shù)據(jù)探索與轉(zhuǎn)化清洗數(shù)據(jù)與預(yù)處理找出并了解業(yè)務(wù)問題部署到數(shù)據(jù)倉庫知識建模前的預(yù)處理通過樣本組來建立預(yù)測模型通過對照組與行動組的比較，評估模型的精準(zhǔn)性；通過行動組與不行動組的比較，評估執(zhí)行環(huán)節(jié)的優(yōu)劣。18應(yīng)用體系—應(yīng)用規(guī)劃考慮維度IT部門除了考慮數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、投資預(yù)算規(guī)模之外，更重要的是考慮應(yīng)用實(shí)施能否滿足業(yè)務(wù)用戶目前收益心理預(yù)期等因素，要想的大（全面，具體，全局觀）。數(shù)據(jù)倉庫建設(shè)規(guī)劃，要分步驟進(jìn)行實(shí)施，起步從小做起；不同業(yè)務(wù)部門對業(yè)務(wù)應(yīng)用的優(yōu)先度要求不同，必須綜合考慮不同部門對業(yè)務(wù)應(yīng)用的策略價值和投資回報評價，形成初步的規(guī)劃后，再經(jīng)數(shù)據(jù)倉庫管理委員會討論確定。數(shù)據(jù)倉庫建設(shè)規(guī)劃，通常從以下三個方面進(jìn)行評估：實(shí)施難度：IT部門評估策略價值：決策層評估投資回報：應(yīng)用部門評估19IncreasingQueryandWorkloadComplexityIncreasingDataDetail,Volume,Integration&SchemaSophisticationBI應(yīng)用模式的類型與發(fā)展ContinuousUpdate&TimeSensitiveQueriesBecomeImportantOPERATIONALIZINGWHATIsHappening?EventBasedTriggeringTakesHoldACTIVEWAREHOUSING

MAKINGithappen!ContinuousUpdate/ShortQueriesEvent-BasedTriggeringPrimarilyBatchIncreaseinAdHocQueriesANALYZINGWHYdidithappen?REPORTINGWHAThappened?AnalyticalModelingGrowsPREDICTINGWHYwillithappen?BatchAdHocAnalyticsIncreasingBusinessValueandImpact20EDW體系架構(gòu)應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·近源層·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系日常監(jiān)控·故障處理·備份恢復(fù)·系統(tǒng)安全組織架構(gòu)·管控流程·管控內(nèi)容管控體系從應(yīng)用體系、數(shù)據(jù)體系、技術(shù)體系、運(yùn)維體系和管控體系五個方面闡述數(shù)據(jù)倉庫規(guī)劃。21數(shù)據(jù)體系—一個相對完整的BI數(shù)據(jù)架構(gòu)應(yīng)用集市層面向應(yīng)用按需定制共性加工層初級的數(shù)據(jù)加工依賴對應(yīng)用的提煉技術(shù)緩沖層ETL專用的純技術(shù)層完全與源系統(tǒng)結(jié)構(gòu)一致近源模型層基本依照源系統(tǒng)建模盡量保持業(yè)務(wù)數(shù)據(jù)原貌整合模型層面向整合主題設(shè)計(jì)提供規(guī)范和共享22數(shù)據(jù)體系—整合模型層定位長期的，細(xì)節(jié)的，整合的數(shù)據(jù)存儲，為各類業(yè)務(wù)需求提供支持特點(diǎn)面向主題，數(shù)據(jù)整合提供規(guī)范和共享中性設(shè)計(jì)，偏范式化，靈活可擴(kuò)展細(xì)節(jié)信息，保留長期歷史23數(shù)據(jù)體系—整合層模型主題示例Product&ServiceEventAgreementChannelPartyAssetFinance&RiskRegion&AddressMarketingOrganization24建?？傮w原則數(shù)據(jù)整合原則倉庫建?？傮w原則歷史保留原則中性原則面向主題原則3NF原則實(shí)體充分整合記錄審慎整合狀態(tài)歷史保留關(guān)系歷史保留25Why3NFFurther

NormalisedFullyNormalised5NF4NF3NF2NF1NF(BCNF)特點(diǎn):減少冗余Integrity屏蔽變化，容易擴(kuò)展對數(shù)據(jù)庫引擎多表連接、復(fù)雜查詢的要求很高業(yè)務(wù)人員不容易理解與接受1NF: 第一范式（1NF）：強(qiáng)調(diào)的是列的原子性，即列不能夠再分成其他幾列。2NF: 除了滿足1NF，還必須：1、必須有一個主鍵；2、沒有包含在主鍵中的列必須完全依賴于主鍵，而不能只依賴于主鍵的一部分。3NF: 滿足2NF，另外非主鍵列必須直接依賴于主鍵，不能存在傳遞依賴。即不能存在：非主鍵列A依賴于非主鍵列B，非主鍵列B依賴于主鍵的情況。26數(shù)據(jù)體系—共性加工層定位提供相對中性，具有業(yè)務(wù)意義的初級加工數(shù)據(jù)，支持上層應(yīng)用的數(shù)據(jù)加工，或供業(yè)務(wù)人員的訪問特點(diǎn)全局考慮，提煉需求共性多層次設(shè)計(jì)，多種數(shù)據(jù)粒度側(cè)重業(yè)務(wù)理解，蘊(yùn)含豐富的業(yè)務(wù)規(guī)則27數(shù)據(jù)體系—應(yīng)用集市層定位提供特定應(yīng)用支持特點(diǎn)面向應(yīng)用形式各異，各自獨(dú)立按需定制，滿足特定業(yè)務(wù)的需求報表集市挖掘集市多維分析集市28數(shù)據(jù)體系—各數(shù)據(jù)層次的定位小結(jié)目標(biāo)以數(shù)據(jù)下載的結(jié)構(gòu)為準(zhǔn)，一般與源系統(tǒng)結(jié)構(gòu)相同數(shù)據(jù)可能是增量，也可能是全量用于技術(shù)加工短期的，細(xì)節(jié)的反應(yīng)業(yè)務(wù)原貌的數(shù)據(jù)存儲直接提供基于源系統(tǒng)結(jié)構(gòu)的簡單原貌訪問為BI環(huán)境中適合的業(yè)務(wù)需求提供支持長期的，細(xì)節(jié)的，整合的數(shù)據(jù)存儲為BI環(huán)境中適合的各類業(yè)務(wù)需求提供支持相對中性，具業(yè)務(wù)意義的初加工數(shù)據(jù)，但不面向特定應(yīng)用作為上層應(yīng)用數(shù)據(jù)加工的基礎(chǔ)，或供業(yè)務(wù)人員直接訪問服務(wù)特定應(yīng)用原則簡單處理關(guān)注源系統(tǒng)結(jié)構(gòu)的變化簡單處理，不考慮整合關(guān)注保留策略面向全局，數(shù)據(jù)整合中性設(shè)計(jì)，靈活擴(kuò)展提供規(guī)范和共享提煉應(yīng)用需求共性多種數(shù)據(jù)粒度易于理解和使用面向具體應(yīng)用按需設(shè)計(jì)形式源系統(tǒng)模型近源系統(tǒng)模型設(shè)計(jì)根據(jù)支持應(yīng)用情況可以保留短期歷史面向主題設(shè)計(jì)偏范式化長期保留歷史初步數(shù)據(jù)加工分層設(shè)計(jì)形式各異，依具體應(yīng)用不同重點(diǎn)理解源結(jié)構(gòu)理解源結(jié)構(gòu)主題定義框架設(shè)計(jì)整合策略實(shí)施方法應(yīng)用篩選應(yīng)用提煉整體性一致性用途不對外提供數(shù)據(jù)服務(wù)業(yè)務(wù)原貌查詢即時報表數(shù)據(jù)質(zhì)量檢查靈活查詢整合規(guī)則檢查常規(guī)報表靈活查詢業(yè)務(wù)規(guī)則檢查特定應(yīng)用技術(shù)緩沖層近源模型層整合模型層共性加工層應(yīng)用集市層29企業(yè)級總體數(shù)據(jù)架構(gòu)ESB數(shù)據(jù)采集和交換平臺集成型數(shù)據(jù)區(qū)歷史數(shù)據(jù)訪問應(yīng)用數(shù)據(jù)挖掘工具監(jiān)管報送平臺即席查詢工具數(shù)據(jù)集成平臺新核心系統(tǒng)老核心系統(tǒng)客戶系統(tǒng)外圍系統(tǒng)渠道系統(tǒng)外部系統(tǒng)(外聯(lián)平臺)操作型數(shù)據(jù)區(qū)分析型數(shù)據(jù)區(qū)應(yīng)用服務(wù)區(qū)……應(yīng)用服務(wù)器報表工具WEB服務(wù)器歷史數(shù)據(jù)區(qū)統(tǒng)一報表平臺管理會計(jì)系統(tǒng)流動性風(fēng)險系統(tǒng)市場風(fēng)險系統(tǒng)歷史數(shù)據(jù)平臺數(shù)據(jù)挖掘平臺大數(shù)據(jù)平臺數(shù)據(jù)交換區(qū)實(shí)時事件處理平臺貼源模型層（ODS）主題模型層（EDW）應(yīng)用集市層數(shù)據(jù)緩沖層共性加工層(GDM)國家審計(jì)署平臺非現(xiàn)場審計(jì)30EDW體系架構(gòu)應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·近源層·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系日常監(jiān)控·故障處理·備份恢復(fù)·系統(tǒng)安全組織架構(gòu)·管控流程·管控內(nèi)容管控體系從應(yīng)用體系、數(shù)據(jù)體系、技術(shù)體系、運(yùn)維體系和管控體系五個方面闡述數(shù)據(jù)倉庫規(guī)劃。31技術(shù)體系—統(tǒng)一數(shù)據(jù)交換32技術(shù)體系—統(tǒng)一調(diào)度架構(gòu)33技術(shù)體系—統(tǒng)一監(jiān)控架構(gòu)34技術(shù)體系—統(tǒng)一信息發(fā)布統(tǒng)一信息發(fā)布定位統(tǒng)一信息發(fā)布平臺定位為數(shù)據(jù)倉庫體系的展現(xiàn)平臺，用于展現(xiàn)企業(yè)基礎(chǔ)數(shù)據(jù)平臺及所有分析型應(yīng)用資源。分析型應(yīng)用資源的集成包含前端界面的整合和各應(yīng)用后臺數(shù)據(jù)及權(quán)限的整合登錄首頁公告頁面調(diào)用功能分析型應(yīng)用集成角色管理授權(quán)管理系統(tǒng)管理日志管理會話管理應(yīng)用模式固定報表即席查詢數(shù)據(jù)挖掘用戶身份管理統(tǒng)一認(rèn)證單點(diǎn)登錄安全審計(jì)認(rèn)證管理統(tǒng)一信息發(fā)布內(nèi)容統(tǒng)一入口權(quán)限管理應(yīng)用集成35統(tǒng)一商業(yè)智能門戶功能架構(gòu)36EDW體系架構(gòu)應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·近源層·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系日常監(jiān)控·故障處理·備份恢復(fù)·系統(tǒng)安全組織架構(gòu)·管控流程·管控內(nèi)容管控體系從應(yīng)用體系、數(shù)據(jù)體系、技術(shù)體系、運(yùn)維體系和管控體系五個方面闡述數(shù)據(jù)倉庫規(guī)劃。3738運(yùn)維體系—運(yùn)營維護(hù)TitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhere日常監(jiān)控變更管理問題處理容量規(guī)劃備份恢復(fù)需求管理服務(wù)水平組織架構(gòu)管理工具①②③④⑤⑥⑦⑧⑨主管部門技術(shù)支持部門生產(chǎn)運(yùn)行部門數(shù)據(jù)支持部門資源管理部門資源監(jiān)控服務(wù)監(jiān)控應(yīng)用監(jiān)控運(yùn)行性問題非運(yùn)行性問題變更規(guī)范變更流程設(shè)計(jì)原則備份內(nèi)容備份策略備份管理技術(shù)緩沖層整合模型層共性加工層應(yīng)用集市層制定SLA標(biāo)準(zhǔn)落實(shí)標(biāo)準(zhǔn)周期性考核數(shù)據(jù)標(biāo)準(zhǔn)管理平臺元數(shù)據(jù)管理平臺數(shù)據(jù)質(zhì)量管理平臺數(shù)據(jù)需求平臺項(xiàng)目需求臨時數(shù)據(jù)類需求組織架構(gòu)日常監(jiān)控問題處理變更管理備份恢復(fù)容量規(guī)劃服務(wù)水平管理工具需求管理從現(xiàn)有的經(jīng)驗(yàn)看，數(shù)據(jù)倉庫體系的運(yùn)行維護(hù)主要是通過合理的組織架構(gòu)，制定易于執(zhí)行的運(yùn)維管理流程和規(guī)范，通過完善的管理工具，對系統(tǒng)監(jiān)控、問題處理、系統(tǒng)變更等常規(guī)問題進(jìn)行系統(tǒng)化的處理EDW體系架構(gòu)應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·近源層·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系日常監(jiān)控·故障處理·備份恢復(fù)·系統(tǒng)安全組織架構(gòu)·管控流程·管控內(nèi)容管控體系從應(yīng)用體系、數(shù)據(jù)體系、技術(shù)體系、運(yùn)維體系和管控體系五個方面闡述數(shù)據(jù)倉庫規(guī)劃。39從數(shù)據(jù)質(zhì)量相關(guān)故障問題說起40案例1操作員反映銀行內(nèi)部對賬管理系統(tǒng)“存款余額檔的導(dǎo)入”作業(yè)出錯.故障現(xiàn)象上游系統(tǒng)升級后，由于業(yè)務(wù)需要等原因?qū)ψ侄伍L度進(jìn)行了擴(kuò)展，導(dǎo)致上下游字段長度不一致；銀行內(nèi)部對賬管理系統(tǒng)的活期賬務(wù)表里的余額（可能是活期、定期、貸款）在數(shù)據(jù)庫中定義為13位，但新核心對公中定義為19位（核心舊對公是13位），5日中有一條數(shù)據(jù)超過13位（1900多億，14位），造成數(shù)據(jù)從核心導(dǎo)入銀行內(nèi)部對賬管理系統(tǒng)時溢出，批次中斷。數(shù)據(jù)中心計(jì)劃在6或7日進(jìn)行數(shù)據(jù)字段的擴(kuò)展，目前排查內(nèi)部對賬系統(tǒng)中仍有部分字段長度為13位，存在一定風(fēng)險。問題分析元數(shù)據(jù)變更問題案例3管理員檢查發(fā)現(xiàn)信貸統(tǒng)計(jì)監(jiān)測系統(tǒng)批次作業(yè)“賬戶級別統(tǒng)計(jì)中間新表”執(zhí)行出錯。故障現(xiàn)象CMS提供的客戶風(fēng)險權(quán)重表存在12條客戶編號為空的記錄問題分析空值問題案例2電子銀行部反映ODS平臺電子銀行報表“電子銀行渠道替代率報表”數(shù)據(jù)不正確。故障現(xiàn)象系統(tǒng)遷移導(dǎo)致的數(shù)據(jù)計(jì)算口徑發(fā)生變化，原有計(jì)算口徑計(jì)算錯誤問題分析數(shù)據(jù)變更問題，指標(biāo)口徑變化，指標(biāo)標(biāo)準(zhǔn)化問題企業(yè)級數(shù)據(jù)管控內(nèi)容數(shù)據(jù)管控是對企業(yè)數(shù)據(jù)的綜合治理，通常來說，落到具體層面上可以分為對數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理，數(shù)據(jù)標(biāo)準(zhǔn)是支持業(yè)務(wù)、技術(shù)和流程的規(guī)范化建設(shè)的標(biāo)準(zhǔn)體系；數(shù)據(jù)質(zhì)量是數(shù)據(jù)對其期望目的的符合度；元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)規(guī)范數(shù)據(jù)形態(tài)數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)向元數(shù)據(jù)提供業(yè)務(wù)元數(shù)據(jù)的標(biāo)準(zhǔn)定義指導(dǎo)數(shù)據(jù)質(zhì)量進(jìn)行有效的檢測和檢查通過元數(shù)據(jù)管理平臺維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)向數(shù)據(jù)質(zhì)量提供元數(shù)據(jù)對象更好的發(fā)現(xiàn)數(shù)據(jù)問題通過數(shù)據(jù)質(zhì)量的具體操作來監(jiān)控標(biāo)準(zhǔn)的執(zhí)行情況檢測元數(shù)據(jù)的定義情況4142如何做好數(shù)據(jù)管控工作，我們需要從人員、流程、技術(shù)多個方面下足功夫，逐步管理好BI數(shù)據(jù)質(zhì)量問題。

通過建立相應(yīng)的數(shù)據(jù)管控組織架構(gòu)，梳理完善的管控工作流程，通過系統(tǒng)工具支撐日常工作，使數(shù)據(jù)管控治理工作能夠落到實(shí)處，全面提升銀行數(shù)據(jù)運(yùn)用水平和數(shù)據(jù)質(zhì)量。組織和角色定義管理辦法管理流程制度和模版管理流程技術(shù)平臺流程制定系統(tǒng)建設(shè)組織架構(gòu)技術(shù)支持技術(shù)流程人員

技術(shù)平臺的支持規(guī)章制度管理辦法：數(shù)據(jù)管控管理辦法；數(shù)據(jù)標(biāo)準(zhǔn)管理辦法；數(shù)據(jù)質(zhì)量管理辦法；元數(shù)據(jù)管理辦法；數(shù)據(jù)需求管理辦法；監(jiān)管統(tǒng)計(jì)管理辦法；數(shù)據(jù)模型管理辦法；數(shù)據(jù)交換管理辦法；……工作模版：數(shù)據(jù)標(biāo)準(zhǔn)需求模版；數(shù)據(jù)標(biāo)準(zhǔn)審核映射模版；元數(shù)據(jù)變更申請模版；數(shù)據(jù)質(zhì)量檢核規(guī)則模版；數(shù)據(jù)需求申請模版；……規(guī)章制度管理辦法說明總則：第一條為規(guī)范全行數(shù)據(jù)標(biāo)準(zhǔn)，符合國家標(biāo)準(zhǔn)化政策及監(jiān)管統(tǒng)計(jì)規(guī)定，推動數(shù)據(jù)標(biāo)準(zhǔn)在業(yè)務(wù)領(lǐng)域和技術(shù)領(lǐng)域的應(yīng)用，提高數(shù)據(jù)質(zhì)量和管理效率，落實(shí)監(jiān)管統(tǒng)計(jì)規(guī)定，特制定本辦法。第二條本辦法所稱數(shù)據(jù)標(biāo)準(zhǔn)是指針對本行各種重要數(shù)據(jù)制定的規(guī)范性文件，以確保這些重要數(shù)據(jù)在全行內(nèi)外共同使用和交換中的一致性和準(zhǔn)確性，是數(shù)據(jù)管控的基礎(chǔ)。組織與職責(zé)：第八條數(shù)據(jù)管控辦公室的數(shù)據(jù)標(biāo)準(zhǔn)管理工作由計(jì)劃財(cái)務(wù)部負(fù)責(zé)。信息技術(shù)部、各相關(guān)部門協(xié)助配合數(shù)據(jù)標(biāo)準(zhǔn)管理工作。第九條計(jì)劃財(cái)務(wù)部是數(shù)據(jù)標(biāo)準(zhǔn)管理的主管責(zé)任部門，設(shè)置數(shù)據(jù)標(biāo)準(zhǔn)管理專員、數(shù)據(jù)標(biāo)準(zhǔn)管理員、數(shù)據(jù)標(biāo)準(zhǔn)平臺管理員，承擔(dān)以下職責(zé)……數(shù)據(jù)標(biāo)準(zhǔn)的制定：第十二條 數(shù)據(jù)標(biāo)準(zhǔn)的制定流程分為標(biāo)準(zhǔn)需求提出、標(biāo)準(zhǔn)需求審批、標(biāo)準(zhǔn)制定、標(biāo)準(zhǔn)審核和標(biāo)準(zhǔn)發(fā)布階段。數(shù)據(jù)標(biāo)準(zhǔn)的應(yīng)用：第十九條 數(shù)據(jù)標(biāo)準(zhǔn)的應(yīng)用包括數(shù)據(jù)標(biāo)準(zhǔn)的落地執(zhí)行和數(shù)據(jù)標(biāo)準(zhǔn)檢核。數(shù)據(jù)標(biāo)準(zhǔn)管理平臺：第二十六條數(shù)據(jù)標(biāo)準(zhǔn)在更新后，計(jì)劃財(cái)務(wù)部應(yīng)在平臺上及時發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)變更通告附則：第二十七條因違反本辦法產(chǎn)生的不良后果或造成損失，視情節(jié)按照有關(guān)規(guī)定追究相關(guān)人員責(zé)任。第二十八條如果數(shù)據(jù)標(biāo)準(zhǔn)管理工作中出現(xiàn)爭議或者分歧，可向數(shù)據(jù)管控辦公室申請復(fù)議，由數(shù)據(jù)管控辦公室協(xié)調(diào)解決。對無法解決的重大爭議和分歧，由數(shù)據(jù)管控辦公室報請數(shù)據(jù)管控委員會決策。示例43數(shù)據(jù)管控委員會和辦公室數(shù)據(jù)管控委員會（行長、各部門負(fù)責(zé)人）數(shù)據(jù)管控辦公室（計(jì)劃財(cái)務(wù)部、信息技術(shù)部）數(shù)據(jù)標(biāo)準(zhǔn)管理團(tuán)隊(duì)數(shù)據(jù)質(zhì)量管理團(tuán)隊(duì)數(shù)據(jù)需求管理團(tuán)隊(duì)元數(shù)據(jù)管理團(tuán)隊(duì)對全行數(shù)據(jù)管控工作進(jìn)行集中統(tǒng)一領(lǐng)導(dǎo)，協(xié)調(diào)相關(guān)各職能部門的運(yùn)作；審議全行數(shù)據(jù)管控建設(shè)狀況，研究確定全行數(shù)據(jù)管控的戰(zhàn)略、方針和政策；審定全行數(shù)據(jù)管控方案與實(shí)施計(jì)劃，監(jiān)督檢查全行數(shù)據(jù)管控措施的執(zhí)行情況；不定期審議數(shù)據(jù)管控重大變更事項(xiàng)；針對數(shù)據(jù)檢查報告中提出的嚴(yán)重違規(guī)及重大問題，在全行范圍內(nèi)協(xié)調(diào)整改、處理及處罰；定期聽取數(shù)據(jù)管控辦公室對數(shù)據(jù)管控工作的匯報；審議其他需提交委員會研究的數(shù)據(jù)管控事項(xiàng)。溝通和協(xié)調(diào)數(shù)據(jù)管控日常管理工作；制定數(shù)據(jù)管控相關(guān)工作計(jì)劃；推動數(shù)據(jù)管控執(zhí)行策略和執(zhí)行方案定期向決策委員會匯報數(shù)據(jù)管控工作情況；制定并審核數(shù)據(jù)平臺用戶角色和數(shù)據(jù)訪問權(quán)限控制方案。數(shù)據(jù)管控委員會和辦公室是數(shù)據(jù)運(yùn)營和管理的組織。示例44數(shù)據(jù)管控總體組織架構(gòu)數(shù)據(jù)管控委員會數(shù)據(jù)質(zhì)量管理專員數(shù)據(jù)質(zhì)量管理員數(shù)據(jù)質(zhì)量平臺管理員數(shù)據(jù)標(biāo)準(zhǔn)管理專員數(shù)據(jù)標(biāo)準(zhǔn)管理員數(shù)據(jù)標(biāo)準(zhǔn)平臺管理員數(shù)據(jù)需求管理專員數(shù)據(jù)需求管理員需求平臺管理員元數(shù)據(jù)管理專員元數(shù)據(jù)管理員元數(shù)據(jù)平臺管理員數(shù)據(jù)管控辦公室數(shù)據(jù)標(biāo)準(zhǔn)管理團(tuán)隊(duì)數(shù)據(jù)質(zhì)量管理團(tuán)隊(duì)數(shù)據(jù)需求管理團(tuán)隊(duì)元數(shù)據(jù)管理團(tuán)隊(duì)示例45數(shù)據(jù)管控平臺46標(biāo)準(zhǔn)應(yīng)用—標(biāo)準(zhǔn)管理系統(tǒng)_標(biāo)準(zhǔn)瀏覽八大類信息項(xiàng)目錄樹產(chǎn)品分類映射到PMS中INDV_BASC_NFO的EDU_LEVEL學(xué)歷標(biāo)準(zhǔn)代碼小類信息項(xiàng)明細(xì)信息項(xiàng)標(biāo)準(zhǔn)與系統(tǒng)映射映射到具體字段47數(shù)據(jù)質(zhì)量檢核環(huán)節(jié)在數(shù)據(jù)倉庫的各個環(huán)節(jié)制定數(shù)據(jù)質(zhì)量檢查方案和檢查指標(biāo)，并在ETL過程中進(jìn)行數(shù)據(jù)質(zhì)量檢查，檢查結(jié)果直接返回到數(shù)據(jù)質(zhì)量管理結(jié)果庫，供數(shù)據(jù)質(zhì)量系統(tǒng)進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控和分析。48數(shù)據(jù)質(zhì)量管理系統(tǒng)檢核規(guī)則檢核結(jié)果質(zhì)量分析檢核字段：OPERATERID記錄總數(shù)：3397問題總數(shù)：285檢核字段：COLNUMBER檢核類型：非空檢核頻度規(guī)則基本屬性規(guī)則擴(kuò)展屬性指標(biāo)趨勢分析非空問題：31%長度問題：31%一致性問題：38%趨勢分析問題數(shù)：3問題數(shù)：7類型分析檢核對象規(guī)則定義報警渠道49TOPIC商業(yè)智能的應(yīng)用示例1數(shù)據(jù)倉庫解決方案架構(gòu)23進(jìn)入大數(shù)據(jù)時代4Q&A50阿里小貸的傳奇51阿里小貸，債務(wù)人無需提供抵押品或第三方擔(dān)保僅憑自己的信譽(yù)就能取得貸款，并以借款人信用程度作為還款保證截至2012年6月，浙江和重慶的阿里小貸以16億元的注冊資金累計(jì)貸款260多億元，累計(jì)服務(wù)企業(yè)12.9萬家，單日利息收入100萬元，不良率為0.9%。單筆小微信貸操作成本為2.3元，阿里小貸被冠以了“最賺錢的小貸公司”的稱號“大數(shù)據(jù)時代”維克托?邁爾-舍恩伯格(ViktorMayer-Sch?nberger)5250億-全球2011年手機(jī)用戶數(shù)300億-Facebook每月共享出來的信息條數(shù)1.2萬億GB(1.2ZB)-2011年全球數(shù)據(jù)量40%：全球每年的數(shù)據(jù)量增長率6.8億臺：2012年全球智能手機(jī)銷量預(yù)測1.8億臺：2012年中國智能手機(jī)銷量預(yù)測IDC:The3rdPlatformandBigData53數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣和黃金Gartner：2015年大數(shù)據(jù)將帶來440萬IT崗位Source:InformationWeek2013Analytics,BusinessIntelligenceandInformationManagementSurveyGartner：2015年大數(shù)據(jù)將帶來440萬IT崗位Gartner最新研究數(shù)據(jù)顯示，2013年全球IT支出預(yù)計(jì)將超過3.7萬億美元，與2012年3.6萬億美元的支出預(yù)計(jì)相比，增長3.8%。而大數(shù)據(jù)正在創(chuàng)造輝煌，將帶來大量就業(yè)機(jī)會。Gartner高級副總裁兼全球研究負(fù)責(zé)人PeterSondergaard表示：“到2015年，大數(shù)據(jù)將為全球帶來440萬個IT崗位，其中190萬個IT崗位在美國。此外，在美國，每個大數(shù)據(jù)相關(guān)的崗位將催生三個非IT的就業(yè)機(jī)會。在未來的四年里，信息經(jīng)濟(jì)將推動美國產(chǎn)生600萬個就業(yè)機(jī)會?！盙artner同時也指出，分析師們將提醒人們注意，現(xiàn)在我們非常缺乏對所有數(shù)據(jù)以及數(shù)據(jù)的使用方法都很了解的數(shù)據(jù)科學(xué)家。Gartner預(yù)測：2020年大數(shù)據(jù)將成傳統(tǒng)行業(yè)DataScientist:TheSexiestJobofthe21stCenturybyThomasDavenport

Gartner預(yù)測：2015年大數(shù)據(jù)將帶來440萬IT崗位HarvardBusinessReviewaboutDataScientist54IBMAddsVeracity(Uncertainty)to3VsofBigData55Oracle’sV:價值密度低Value單條數(shù)據(jù)并無太多價值，但龐大的數(shù)據(jù)量蘊(yùn)含巨大財(cái)富56AvailableInformationAnalyzed

InformationAnalyzeALLAvailableInformationTraditionalApproachBigDataApproachAnalyzeSmallSubsetsofInformationAnalyzeAllInformationLeveragemoreofthedatabeingcapturedBigData使得思維模式發(fā)生轉(zhuǎn)變57TraditionalApproachBigDataApproachCarefullyCleanseInformationBeforeAnalysisAnalyzeAllInformationAsIsASmallAmountofCarefullyCleansedInformationAnalyzed

InformationAVeryLargeAmountofMessyInformationAnalyzed

InformationReduceeffortrequiredtoleveragedataBigData使得思維模式發(fā)生轉(zhuǎn)變58TraditionalApproachBigDataApproachStartwithHypothesis,TestAgainstSelectedDataExploreALLData,IdentifyCorrelations?Analyzed

InformationQuestionDataAnswerHypothesisDataCorrelationAllInformationExplorationActionableInsightDataleadstheway…andsometimescorrelationsaregoodenoughBigData使得思維模式發(fā)生轉(zhuǎn)變59TraditionalApproachBigDataApproachAnalyzedataAFTERithasbeenprocessedandlandedinaWarehouseorMartAnalyzedataINMOTIONasitisgenerated,inreal-timeLeveragedataasitiscapturedBigData使得思維模式發(fā)生轉(zhuǎn)變60$M70060050040030020010002010

2011

2012

2013

2014

2015

2016Infrastructure Software

ServicesIDC預(yù)測中國大數(shù)據(jù)技術(shù)與服務(wù)市場將會從2011年的7760萬美元快速增長到2016年的6.16億美元大數(shù)據(jù)應(yīng)用目前仍然還處在早期發(fā)展階段。互聯(lián)網(wǎng)公司使用的更為廣泛，它們主要基于開源軟件開發(fā)大數(shù)據(jù)應(yīng)用。電信和銀行開

始對大數(shù)據(jù)應(yīng)用產(chǎn)生濃厚的興

趣。Hadoop

/MapReduce

生態(tài)系統(tǒng)將

會在大數(shù)據(jù)應(yīng)用發(fā)展中扮演重要的角色。使用Hadoop技術(shù)的初創(chuàng)公司層出不窮。大廠商都在加強(qiáng)對Hadoop技術(shù)的支持。但未來大數(shù)據(jù)世界將會是一個多元世界，多種技術(shù)將會并存大數(shù)據(jù)相關(guān)人才的欠缺將會成為影響大數(shù)據(jù)市場發(fā)展的一個重要因素。7中國大數(shù)據(jù)市場未來5年將會以51.4%的速度增長6113BigDataVendorstoWatchin2013byinformationWeek62http:///big-data/slideshows/software/information-management/13-big-data-vendors-to-watch-in-2013/240144124http:///big-data/slideshows/software/business-intelligence/12-top-big-data-analytics-players/231900870http:///big-data/slideshows/software/enterprise-applications/12-hadoop-vendors-to-watch-in-2012/232500290http:///big-data/HadoopProjectsandVendorDistributions63VendorsProjectsClouderaMapRIBMHortonworksEMCDataStaxHadoopMapReduceYesYesYesYesYesYesHDFSYesYes,anddirectmountNFSYes,andGPFSYesYesNo,butCassandraApachePigYesYesYesYesYesYesApacheHiveYesYesYesYesYesYesApacheHbaseYesYesYesYesYesNo,butCassandraApacheZooKeeperYesYesYesYesYesNoApacheFlume(Incubator)YesYesYesOptionalNoNoApacheOozie(Incubator)YesYesYesOptionalNoNoApacheMahoutYesYesNoOptionalYesNoApacheSqoop(Incubator)YesYesNoOptionalNoNoApacheWhirrYesYesNoNoNoNoApacheAvroYesYesYesNoNoNoHueYesMapRControlSystemNo,butBigInsightsConsoleNoNoNoCascadingNoYesNoNoNoNoApacheLuceneNoNoYesNoNoNoJaqlNoNoYesNoNoNoApacheHCatalog(Incubator)NoNoNoYesNoNoApacheAmbari(Incubator)No,butClouderaManagerNoNoYesNoNo,butOpsCenterApacheCassandraNoNoNoNoNoYesVendorimplementationasofFeb2012.ForHadoopprojectandvendorcapabilitydetailsreadHowtoChoosetheRightApacheHadoopDistribution技術(shù)路線對比內(nèi)容關(guān)系型數(shù)據(jù)庫(非SMP）Hadoop大數(shù)據(jù)平臺數(shù)據(jù)壓縮壓縮比較高壓縮比較低歷史拉鏈實(shí)現(xiàn)簡單實(shí)現(xiàn)復(fù)雜（使用Hive)數(shù)據(jù)分區(qū)支持不支持索引支持部分商用平臺支持高并發(fā)簡單查詢支持擅長（使用Hbase）低并發(fā)復(fù)雜查詢擅長實(shí)現(xiàn)復(fù)雜（使用Hive)混合負(fù)載管理支持部分商用平臺支持?jǐn)?shù)據(jù)文件導(dǎo)出實(shí)現(xiàn)簡單Hbase導(dǎo)出實(shí)現(xiàn)復(fù)雜，HDFS導(dǎo)出簡單系統(tǒng)高可用性高高說明：如果采用非SMP的關(guān)系型數(shù)據(jù)庫，可支持非現(xiàn)場審計(jì)應(yīng)用，如果采用hadoop大數(shù)據(jù)平臺，則不支持非現(xiàn)場審計(jì)應(yīng)用。64傳統(tǒng)DBMS數(shù)據(jù)處理與Hadoop應(yīng)用層數(shù)據(jù)處理方式業(yè)務(wù)系統(tǒng)數(shù)據(jù)集成平臺

（ODS、數(shù)據(jù)倉庫、數(shù)據(jù)集市）非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)平臺(Hadoop)傳統(tǒng)分析應(yīng)用

（如Cognos等BI系統(tǒng)）大數(shù)據(jù)挖掘分析***數(shù)據(jù)結(jié)構(gòu)化、擴(kuò)展ETL：把松散的非結(jié)構(gòu)化信息轉(zhuǎn)換為有價值的結(jié)構(gòu)化信息，補(bǔ)充數(shù)據(jù)倉庫的數(shù)據(jù)源，如地理信息數(shù)據(jù)、**大數(shù)據(jù)挖掘分析：對超出傳統(tǒng)數(shù)據(jù)倉庫處理能力的數(shù)據(jù)類型和數(shù)據(jù)量