企業(yè)大數(shù)據(jù)解決方案v

大數(shù)據(jù)時代，澤佳助力企業(yè)發(fā)展@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第2頁數(shù)據(jù)無處不在任何時間，任何地點，任何事情，任何人?Anytime，anywhere，anything，anyone?休息中，隨意刷微博爬山時，記錄每一瞬間旅途中，處理公司事件工作時，實時掌握市場動態(tài)@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第3頁大數(shù)據(jù)時代已經(jīng)來到每分鐘都有大量數(shù)據(jù)產(chǎn)生1min486筆訂單（2012年11月）7.3萬筆交易數(shù)（2012年雙11）1.1GB文件下載9.5萬條微博發(fā)送14萬張照片上傳70TB處理數(shù)據(jù)@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第4頁企業(yè)大數(shù)據(jù)勢不可擋Web3.0時代，社交媒體網(wǎng)站數(shù)據(jù)出現(xiàn)井噴式激增，截至2013年3月底，新浪微博注冊用戶數(shù)增長到5.36億，日均活躍用戶數(shù)達(dá)到4980萬，每日新增微博約2億。企業(yè)在大數(shù)據(jù)時代，面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關(guān)系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時也迎來重大的轉(zhuǎn)型機(jī)遇和飛躍契機(jī)。@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第5頁大數(shù)據(jù)的特性

V

V

V

V價值Veracity體量Volume多樣性Variety速度Velocity68%31%大數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，郵件，Word,圖片，音頻信息，視頻信息。最新研究報告，到2020年，全球數(shù)據(jù)使用量預(yù)計暴增44倍，達(dá)到35.2ZB。沙里淘金，海量業(yè)務(wù)中尋找價值。1秒定律，實時獲取所需要的數(shù)據(jù)，為決策提供依據(jù)。@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第6頁企業(yè)大數(shù)據(jù)的挑戰(zhàn)業(yè)務(wù)數(shù)據(jù)的映射提取大數(shù)據(jù)價值大數(shù)據(jù)隱私大數(shù)據(jù)分析@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第7頁大數(shù)據(jù)和云計算的關(guān)系商業(yè)模式驅(qū)動應(yīng)用需求驅(qū)動云計算改變了IT,而大數(shù)據(jù)則改變了業(yè)務(wù)云計算是大數(shù)據(jù)的IT基礎(chǔ)，大數(shù)據(jù)須有云計算作為基礎(chǔ)架構(gòu)，才能高效運行通過大數(shù)據(jù)的業(yè)務(wù)需求，為云計算的落地找到了實際應(yīng)用@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第8頁大數(shù)據(jù)市場分析12011年-2016年中國大數(shù)據(jù)市場規(guī)模2各行業(yè)大數(shù)據(jù)市場規(guī)模政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個行業(yè)將占據(jù)一半市場份額。由于各個行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場空間非?？捎^。2011年是中國大數(shù)據(jù)市場元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來大數(shù)據(jù)市場的飛速發(fā)展。2012年中國大數(shù)據(jù)市場規(guī)模達(dá)到4.7億元，2013年大數(shù)據(jù)市場將迎來增速為138.3%的飛躍，到2016年，整個市場規(guī)模逼近百億。2012/122012/12澤佳建議的企業(yè)級大數(shù)據(jù)戰(zhàn)略@2013

北京澤佳公司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第10頁大數(shù)據(jù)基礎(chǔ)架構(gòu)要求可預(yù)測的低延遲高事務(wù)參數(shù)靈活的數(shù)據(jù)結(jié)構(gòu)獲取組織分析決策高吞吐量就地準(zhǔn)備所有數(shù)據(jù)源和結(jié)構(gòu)深度分析敏捷開發(fā)高度可伸縮性實時流數(shù)據(jù)運營影響@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第11頁大數(shù)據(jù)的解決方方案體系@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第12頁Oracle解決方案體系系@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第13頁IBM大數(shù)據(jù)解決方案體系@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第14頁SAP大數(shù)據(jù)解決方案體系@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第15頁澤佳大數(shù)據(jù)解決決方案，以數(shù)數(shù)據(jù)融合、綜綜合處理為方方向大交易數(shù)據(jù)大交互數(shù)據(jù)大交易融合大數(shù)據(jù)處理企業(yè)供應(yīng)鏈消費者SNS互聯(lián)網(wǎng)物聯(lián)網(wǎng)移動終端OLTP實時交易處理OLAP實時分析處理理SOCIALMEDIADATAOTHERINTERACTIONDATAMachine/DeviceSensors/meters/RFIDtagsCDR/mobileSD，MM，PP，SD，F(xiàn)ICO。。。@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第16頁澤佳大數(shù)據(jù)解決決方案基礎(chǔ)架架構(gòu)門戶澤佳大數(shù)據(jù)平臺快速、可靠大屏幕電腦桌面電子郵件SCMCRMERP數(shù)據(jù)分析人員員辦公軟件移動終端安全，部署，管理靈活體系MESPDM@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第17頁澤佳大數(shù)據(jù)解決方案整體架構(gòu)企業(yè)內(nèi)外部協(xié)協(xié)同（供應(yīng)商商+企業(yè)內(nèi)部+客戶+銀行+稅務(wù)+政府+社區(qū)+…)外部信息（社交+電商+移動+視音頻+…)開放式API和協(xié)議通用的設(shè)計和和模型環(huán)境通用數(shù)據(jù)管理理環(huán)境交易數(shù)據(jù)管理理社交數(shù)據(jù)管理理移動數(shù)據(jù)管理理主數(shù)據(jù)管理內(nèi)存數(shù)據(jù)管理理企業(yè)數(shù)據(jù)倉庫庫管理數(shù)據(jù)存儲數(shù)據(jù)獲取數(shù)據(jù)組織數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)無線數(shù)據(jù)管理理信息管理和實實時數(shù)據(jù)遷移移聯(lián)合訪問實時大數(shù)據(jù)平平臺門戶數(shù)據(jù)分析電子郵件辦公軟件大屏幕電腦桌面移動終端企業(yè)級報告工具Adhoc即時查詢例外分析非結(jié)構(gòu)化數(shù)據(jù)探探索預(yù)測與挖掘@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第18頁澤佳大數(shù)據(jù)解決方案體系數(shù)據(jù)多樣性模式動態(tài)模式HDFS分布式文件系系統(tǒng)Hbase分布式列存儲儲系統(tǒng)SybaseESP事件流處理器器HdoopMapReduceBigDataConnectorsYounghongBI獲取組織分析決策復(fù)雜場景處理理實時決策ETLEDW@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第19頁澤佳大數(shù)據(jù)應(yīng)用用主要技術(shù)—Hadoop據(jù)IDC的預(yù)測，全球球大數(shù)據(jù)市場場2015年將達(dá)170億美元規(guī)模，，市場發(fā)展前前景很大。而而Hadoop作為新一代的架構(gòu)構(gòu)和技術(shù)，因因為有利于并并行分布處理理“大數(shù)據(jù)據(jù)”而備受重重視。ApacheHadoop是一個用java語言實現(xiàn)的軟軟件框架，在在由大量計算算機(jī)組成的集集群中運行海海量數(shù)據(jù)的分分布式計算，，它可以讓應(yīng)應(yīng)用程序支持持上千個節(jié)點點和PB級別的數(shù)據(jù)。。Hadoop是項目的總稱稱，主要是由由分布式存儲儲（HDFS）、分布式計算（MapReduce）等組成。。@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第20頁Hadoop體系架構(gòu)MapReduceHDFSHBasePigChuKwaHiveZooKeeperPig是一個基于Hadoop的大規(guī)模數(shù)據(jù)據(jù)分析平臺，，Pig為復(fù)雜的海量量數(shù)據(jù)并行計計算提供了一一個簡易的操操作和編程接口。Chukwa是基于Hadoop的集群監(jiān)控系系統(tǒng)，由yahoo貢獻(xiàn)。Hive是基于Hadoop的一個工具，，提供完整的的sql查詢功能，可可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運行。ZooKeeper：高效的，可擴(kuò)擴(kuò)展的協(xié)調(diào)系系統(tǒng),存儲和協(xié)調(diào)關(guān)關(guān)鍵共享狀態(tài)。HBase是一個開源的的，基于列存存儲模型的分布式數(shù)據(jù)庫庫。HDFS是一個分布式式文件系統(tǒng)。。有著高容錯錯性的特點，，并且設(shè)計用用來部署在低低廉的硬件上上，適合那些些有著超大數(shù)數(shù)據(jù)集的應(yīng)用程序。MapReduce是一種編程模模型，用于大大規(guī)模數(shù)據(jù)集集（大于1TB）的并行運算算@2013北京澤佳公司司版權(quán)所有Copyright?2013ZejiaConsultingCorporation第21頁大數(shù)據(jù)解決方案案特點澤佳大數(shù)據(jù)解決方案案提供高速、、低速兩種互互聯(lián)解決方案案，在節(jié)點間間能夠建立起起40Gb的的互聯(lián)通路，，徹底消除系系統(tǒng)節(jié)點間通通信的瓶頸。高性能高可擴(kuò)展性高可靠相比較傳統(tǒng)的數(shù)據(jù)庫庫集群，澤佳大數(shù)據(jù)解決方案案具有良好的的可擴(kuò)展性，，隨著數(shù)據(jù)節(jié)節(jié)點的增加，，系統(tǒng)整體性性能接近線性性增加。同時時數(shù)據(jù)節(jié)點可可以在系統(tǒng)運運行中動態(tài)添添加，對系統(tǒng)統(tǒng)不會造成任任何影響。因此企業(yè)可以根據(jù)自身業(yè)務(wù)務(wù)需要，動態(tài)態(tài)添加數(shù)據(jù)節(jié)節(jié)點，當(dāng)業(yè)務(wù)務(wù)量較小時，，配置較少的的數(shù)據(jù)節(jié)點，，隨著業(yè)務(wù)量量的逐漸增多多，添加相應(yīng)應(yīng)的數(shù)據(jù)節(jié)點點，從而滿足足自身業(yè)務(wù)量量增長的需求求。澤佳大數(shù)據(jù)解決方案案能自動地維維護(hù)數(shù)據(jù)的多多份復(fù)制，并并且在任務(wù)失失敗后能自動動地重新部署署（redeploy）計算算任務(wù)務(wù)。同同時消消除系系統(tǒng)單單點故故障，，系統(tǒng)統(tǒng)中任任意一一個部部分出出現(xiàn)故故障，，系統(tǒng)統(tǒng)將自自動進(jìn)進(jìn)行切切換，，保證證用戶戶應(yīng)用用的無無縫連接，，具有有較高高的穩(wěn)穩(wěn)定性性和可可靠性性。大數(shù)據(jù)行行業(yè)應(yīng)應(yīng)用分分析@2013北京澤澤佳公公司版版權(quán)所所有Copyright?2013ZejiaConsultingCorporation第23頁大數(shù)據(jù)據(jù)行業(yè)業(yè)應(yīng)用用分析析應(yīng)用可可能性性電信政府（（公共共事業(yè)業(yè)）交通金融醫(yī)療教育能源（（電力力/石油））縱軸契契合度度：表示該該用戶戶的IT應(yīng)用特特點與與大數(shù)數(shù)據(jù)特特性的的契合合程度度；橫軸應(yīng)應(yīng)用可可能性性：表示示該用用戶出出于主主客觀觀因素素在短短期內(nèi)內(nèi)投資資大數(shù)數(shù)據(jù)的的可能能性；；注：該位置置為分分析師師訪談?wù)劦木C綜合印印象，，為定定性分分析，，圖中中位置置不代代表具具體數(shù)數(shù)值HighMidLowLowMidHigh優(yōu)先關(guān)關(guān)注行行業(yè)用用戶應(yīng)用特特點與與大數(shù)數(shù)據(jù)技技術(shù)有有較高高的契契合度度，在在主客客觀條條件上上也有有較高高的應(yīng)應(yīng)用可可能性性。值得關(guān)關(guān)注行行業(yè)用用戶應(yīng)有特特點與與大數(shù)數(shù)據(jù)的的契合合度及及應(yīng)用用可能能性綜綜合較較高適當(dāng)關(guān)關(guān)注行行業(yè)用用戶兩個維維度暫暫時都都不具具備優(yōu)優(yōu)勢，，可適適當(dāng)給給予關(guān)關(guān)注互聯(lián)網(wǎng)網(wǎng)（電電子商商務(wù)））契合度度流通零售制造@2013北京澤澤佳公公司版版權(quán)所所有Copyright?2013ZejiaConsultingCorporation第24頁互聯(lián)網(wǎng)網(wǎng)行業(yè)業(yè)大數(shù)數(shù)據(jù)需需求分分析網(wǎng)絡(luò)終端設(shè)備網(wǎng)絡(luò)技術(shù)的升級和終端設(shè)備的爆發(fā)，使今天的用戶能夠使用多種設(shè)備、從不同位置、通過多種手段來接入互聯(lián)網(wǎng)，并在這一過程中不斷創(chuàng)造新內(nèi)容在線應(yīng)用和服務(wù)越來越豐富的在線應(yīng)用和服務(wù)，不斷激勵用戶創(chuàng)造和分享信息，尤其是社會化媒體業(yè)務(wù)，帶動圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)飛速增長與各垂直行業(yè)的融合互聯(lián)網(wǎng)作為一個高滲透力的行業(yè)，正在與各垂直行業(yè)發(fā)生深度的融合，原本隱藏于先下的孤島信息，源源不斷的輸入到線上?；ヂ?lián)網(wǎng)網(wǎng)行業(yè)業(yè)擁抱抱大數(shù)數(shù)據(jù)的的關(guān)鍵鍵因素素互聯(lián)網(wǎng)網(wǎng)大數(shù)數(shù)據(jù)技技術(shù)的的應(yīng)用用，會會首先先帶動動社會會化媒媒體、、電子子商務(wù)務(wù)的快快速發(fā)發(fā)展，，其他他的互互聯(lián)網(wǎng)網(wǎng)分支支也會會緊追追其后后，整整個行行業(yè)在在大數(shù)數(shù)據(jù)的的推動動下將將會蓬蓬勃發(fā)發(fā)展。?；ヂ?lián)網(wǎng)網(wǎng)行業(yè)業(yè)對數(shù)數(shù)據(jù)實實時分分析要要求較較高，，例如如廣告告監(jiān)測測、B2C業(yè)務(wù)，，往往往要求求在數(shù)數(shù)秒內(nèi)內(nèi)返回回上億億行數(shù)數(shù)據(jù)的的分析析，從從而達(dá)達(dá)到不不影響響用戶戶體驗驗和快快速準(zhǔn)準(zhǔn)確營營銷的的目的的。目前互互聯(lián)網(wǎng)網(wǎng)企業(yè)業(yè)面對對大數(shù)數(shù)據(jù)，，會普普遍感感覺到到實時時分析析能力力差、、海量量數(shù)據(jù)據(jù)處理理效率率低、、缺少少分析析方法法、分分析軟軟件能能力差差等問問題。?；ヂ?lián)網(wǎng)網(wǎng)行業(yè)業(yè)大數(shù)數(shù)據(jù)分分析面面臨的的主要要問題題@2013北京澤澤佳公公司版版權(quán)所所有Copyright?2013ZejiaConsultingCorporation第25頁互聯(lián)網(wǎng)網(wǎng)行業(yè)業(yè)Hadoop應(yīng)用公司具體應(yīng)用HADOOP在阿里巴巴用于處理商業(yè)數(shù)據(jù)的排序，并將其應(yīng)用于阿里巴巴的ISEARCH搜索引擎，垂直商業(yè)搜索引擎。節(jié)點數(shù)：15臺機(jī)器的構(gòu)成的服務(wù)器集群服務(wù)器配置：8核CPU，16G內(nèi)存，1.4T硬盤容量HADOOP在百度HADOOP主要應(yīng)用日志分析，同時使用它做一些網(wǎng)頁數(shù)據(jù)庫的數(shù)據(jù)挖掘工作。節(jié)點數(shù)：10-500個節(jié)點。周數(shù)據(jù)量：3000TBHADOOP在Facebook主要用于存儲內(nèi)部日志的拷貝，作為一個源用于處理數(shù)據(jù)挖掘和日志統(tǒng)計。主要使用了2個集群：一個由1100臺節(jié)點組成的集群，包括8800核CPU（即每臺機(jī)器8核）,和12000TB的原始存儲(即每臺機(jī)器12T硬盤),一個有300臺節(jié)點組成的集群，包括2400核CPU（即每臺機(jī)器8核），和3000TB的原始存儲(即每臺機(jī)器12T硬盤),由此基礎(chǔ)上開發(fā)了基于SQL語法的項目：HIVEHADOOP在TWITTER使用HADOOP用于存儲微博數(shù)據(jù)，日志文件和許多中間數(shù)據(jù)使用基于HADOOP構(gòu)件的Cloudera'sCDH2系統(tǒng)，存儲壓縮后的數(shù)據(jù)文件（LZO格式）HADOOP在雅虎主要用于支持廣告系統(tǒng)及網(wǎng)頁搜索機(jī)器數(shù)：25000，CPU：8核集群機(jī)器數(shù)：

4000

個節(jié)點

(2*4cpuboxesw4*1TBdisk&16GBRAM)@2013北京澤澤佳公公司版版權(quán)所所有Copyright?2013ZejiaConsultingCorporation第26頁金融行行業(yè)大大數(shù)據(jù)據(jù)需求求分析析金融行行業(yè)大大數(shù)據(jù)據(jù)發(fā)展展分析析IDC研究顯顯示，，數(shù)據(jù)據(jù)是重重要資資產(chǎn)的的理念念已經(jīng)經(jīng)在中中國金金融行行業(yè)形形成共共識，，數(shù)據(jù)據(jù)的真真正價價值在在于能能夠洞洞察企企業(yè)內(nèi)內(nèi)部規(guī)規(guī)律，，數(shù)據(jù)據(jù)的洞洞察力力成為為金融融企業(yè)業(yè)的核核心競競爭力力。在在中國國金融融行業(yè)業(yè)信息息化建建設(shè)中中，與與信息息加工工密切切相關(guān)關(guān)的大大數(shù)據(jù)據(jù)管理理正逐逐漸成成為與與核心心業(yè)務(wù)務(wù)系統(tǒng)統(tǒng)建設(shè)設(shè)、渠渠道建建設(shè)和和前置置建設(shè)設(shè)同等等重要要的領(lǐng)領(lǐng)域。。經(jīng)過多多年的的發(fā)展展與積積累，，目前前中國國的大大型商商業(yè)銀銀行和和保險險公司司的數(shù)數(shù)據(jù)量量已經(jīng)經(jīng)達(dá)到到100TB以上級級別，，并且且非結(jié)結(jié)構(gòu)化化數(shù)據(jù)據(jù)量在在迅速速增長長。金融行行業(yè)大大數(shù)據(jù)據(jù)需求求背景景從未來來幾年年看，，金融融行業(yè)業(yè)在““十二二五””時期期面臨臨發(fā)展展方式式轉(zhuǎn)型型的挑挑戰(zhàn)，，轉(zhuǎn)型型主要要集中中在三三大方方面：：一，，建立立全面面的風(fēng)風(fēng)險管管理體體制，，向嚴(yán)嚴(yán)監(jiān)管管轉(zhuǎn)型型；二二，從從粗放放式管管理向向精細(xì)細(xì)化管管理轉(zhuǎn)轉(zhuǎn)型；；三，，從““利潤潤為中中心””向向“客客戶為為中心心”轉(zhuǎn)轉(zhuǎn)型。。大數(shù)據(jù)據(jù)在加加強(qiáng)風(fēng)風(fēng)險管管控、、精細(xì)細(xì)化管管理、、服務(wù)務(wù)創(chuàng)新新等轉(zhuǎn)轉(zhuǎn)型中中別具具現(xiàn)實實意義義，是是實現(xiàn)現(xiàn)向信信息化化銀行行轉(zhuǎn)型型的重重要推推動力力。金金融行行業(yè)應(yīng)應(yīng)首先先在戰(zhàn)戰(zhàn)略層層面對對大數(shù)數(shù)據(jù)進(jìn)進(jìn)行規(guī)規(guī)劃，，積極極應(yīng)對對大數(shù)數(shù)據(jù)時時代的的挑戰(zhàn)戰(zhàn)，推推進(jìn)并并建立立數(shù)據(jù)據(jù)驅(qū)動動型發(fā)發(fā)展方方式。。@2013北京澤澤佳公公司版版權(quán)所所有Copyright?2013ZejiaConsultingCorporation第27頁摩根大大通基基于Hadoop的大數(shù)數(shù)據(jù)應(yīng)應(yīng)用已經(jīng)開開始使使用Hadoop技術(shù)以以滿足足日益益增多多的用用途，，包括括詐騙騙檢驗驗、IT風(fēng)險管管理和和自助助服務(wù)務(wù)。150PB在線存存儲數(shù)數(shù)據(jù)、、30,000個數(shù)據(jù)據(jù)庫和和35億個用用戶登登錄賬賬號。。Hadoop能夠存存儲大大量非非結(jié)構(gòu)構(gòu)化數(shù)數(shù)據(jù)，，允許許公司司收集集和存存儲Web日志、、交易易數(shù)據(jù)據(jù)和社社交媒媒體數(shù)數(shù)據(jù)。。數(shù)據(jù)被被匯集集至一一個通通用平平臺，，以方方便以以客戶戶為中中心的的數(shù)據(jù)據(jù)挖掘掘與數(shù)數(shù)據(jù)分分析工工具的的使用用。@2013北京澤澤佳公公司版版權(quán)所所有Copyright?2013ZejiaConsultingCorporation第28頁中信銀銀行信信用卡卡中心心基于于Hadoop的大數(shù)數(shù)據(jù)應(yīng)應(yīng)用大數(shù)據(jù)挑戰(zhàn)發(fā)卡量增長迅速：2008年發(fā)卡約500萬張，2010年增加了一倍。業(yè)務(wù)數(shù)據(jù)增長迅速：隨著業(yè)務(wù)的迅猛增長，業(yè)務(wù)數(shù)據(jù)規(guī)模也線性膨脹。數(shù)據(jù)存儲、系統(tǒng)維護(hù)、數(shù)據(jù)有效利用都面臨巨大壓力。需求可擴(kuò)展、高性能的數(shù)據(jù)倉庫解決方案能夠?qū)崿F(xiàn)業(yè)務(wù)數(shù)據(jù)的集中和整合；可以支持多樣化和復(fù)雜化數(shù)據(jù)分析提升信用卡中心的業(yè)務(wù)效率；通過從數(shù)據(jù)倉庫提取數(shù)據(jù)，改進(jìn)和推動有針對性的營銷活動。采用大數(shù)據(jù)方案后價值體現(xiàn)實時的商業(yè)智能可以結(jié)合實時、歷史數(shù)據(jù)進(jìn)行全局分析,風(fēng)險管理部門現(xiàn)在可以每天評估客戶的行為，并決定對客戶的信用額度在同一天進(jìn)行調(diào)整；原有內(nèi)部系統(tǒng)、模型整體性能顯著提高秒級營銷Greenplum數(shù)據(jù)倉庫解決方案提供了統(tǒng)一的客戶視圖，更有針對的進(jìn)行營銷。2011年，中信銀行信用卡中心通過其數(shù)據(jù)庫營銷平臺進(jìn)行了1286個宣傳活動，每個營銷活動配置平均時間從2周縮短到2-3天。EMCGreen-plum未來和和基于于Hadoop的PivotalHD相融合@2013北京澤澤佳公公司版版權(quán)所所有Copyright?2013ZejiaConsultingCorporation第29頁電信行行業(yè)大大數(shù)據(jù)據(jù)需求求分析析隨著互互聯(lián)網(wǎng)網(wǎng)和移移動互互聯(lián)網(wǎng)網(wǎng)的發(fā)發(fā)展，，運營營商的的網(wǎng)絡(luò)絡(luò)將會會更加加繁忙忙，用用于監(jiān)監(jiān)測網(wǎng)網(wǎng)絡(luò)狀狀態(tài)的的信令令數(shù)據(jù)據(jù)也會會快速速增長長。通通過大大數(shù)據(jù)據(jù)的海海量分分布式式存儲儲技術(shù)術(shù)，可可以更更好地地滿足足存儲儲需求求；通通過智智能分分析技技術(shù)，，能夠夠提高高網(wǎng)絡(luò)絡(luò)維護(hù)護(hù)的實實時性性，預(yù)預(yù)測網(wǎng)網(wǎng)絡(luò)流流量峰峰值，，預(yù)警警異常常流量量，有有效防防止網(wǎng)網(wǎng)絡(luò)堵堵塞和和宕機(jī)機(jī)，為為網(wǎng)絡(luò)絡(luò)改造造、優(yōu)優(yōu)化提提供參參考，，從而而提高高網(wǎng)絡(luò)絡(luò)服務(wù)務(wù)質(zhì)量量，提提升用用戶體體驗。。提升升網(wǎng)網(wǎng)絡(luò)絡(luò)服服務(wù)務(wù)質(zhì)質(zhì)量量，，增增強(qiáng)強(qiáng)管管道道智智能能化化客戶戶洞洞察察是是指指在在企企業(yè)業(yè)或或部部門門層層面面對對客客戶戶數(shù)數(shù)據(jù)據(jù)的的全全面面掌掌握握并并在在市市場場營營銷銷、、客客戶戶聯(lián)聯(lián)系系等等環(huán)環(huán)節(jié)節(jié)的的有有效效應(yīng)應(yīng)用用。。通通過過使使用用大數(shù)數(shù)據(jù)據(jù)分析析、、數(shù)數(shù)據(jù)據(jù)挖挖掘掘等等工工具具和和方方法法，，電信信運營營商商能能夠夠整整合合來來自自市市場場部部門門、、銷銷售售部部門門、、服服務(wù)務(wù)部部門門的的數(shù)數(shù)據(jù)據(jù)，，從從各各種種不不同同的的角角度度全全面面了了解解自自己己的的客客戶戶，，對對客客戶戶形形象象進(jìn)進(jìn)行行精精準(zhǔn)準(zhǔn)刻刻畫畫，，以以尋尋找找目目標(biāo)標(biāo)客客戶戶，，制制定定有有針針對對性性的的營營銷銷計計劃劃、、產(chǎn)產(chǎn)品品組組合合或或商商業(yè)業(yè)決決策策，，提提升升客客戶戶價價值值。。判判斷斷客客戶戶對對企企業(yè)業(yè)產(chǎn)產(chǎn)品品、、服服務(wù)務(wù)的的感感知知，，有有針針對對性性地地進(jìn)進(jìn)行行改改進(jìn)進(jìn)和和完完善善。。通通過過情情感感分分析析、、語語義義分分析析等等技技術(shù)術(shù)，，可可以以針針對對客客戶戶的的喜喜好好、、情情緒緒，，進(jìn)進(jìn)行行個個性性化化的的業(yè)業(yè)務(wù)務(wù)推推薦薦更加加精精準(zhǔn)準(zhǔn)地地洞洞察察客戶戶需需求求，，增增強(qiáng)強(qiáng)市場場競競爭爭力力智慧慧城城市市的的發(fā)發(fā)展展以以及及教教育育、、醫(yī)醫(yī)療療、、交交通通、、環(huán)環(huán)境境保保護(hù)護(hù)等等關(guān)關(guān)系系到到國國計計民民生生的的行業(yè)業(yè)，都都具具有有極極大大的的信信息息化化需需求求。。目目前前，，電信信運營營商商針針對對智智慧慧城城市市及及行業(yè)業(yè)信息息化化服服務(wù)務(wù)雖雖然然能能夠夠提提供供一一攬攬子子解解決決方方案案，，但但主主要要還還是是提提供供終終端端和和通通信信管管道道，，行業(yè)業(yè)應(yīng)用用軟軟件件和和系系統(tǒng)統(tǒng)集集成成尚尚需需要要整整合合外外部部的的應(yīng)應(yīng)用用軟軟件件提提供供商商，，對對于于客客戶戶的的價價值值主主要要體體現(xiàn)現(xiàn)在在網(wǎng)網(wǎng)絡(luò)絡(luò)化化、、自自動動化化等等較較低低水水平平。。而而隨隨著著社社會會、、經(jīng)經(jīng)濟(jì)濟(jì)的的發(fā)發(fā)展展，，客客戶戶及及客客戶戶的的客客戶戶對對于于智智能能化化的的要要求求將將逐逐步步強(qiáng)強(qiáng)烈烈，，因因此此運運營營商商如如能能把把大數(shù)數(shù)據(jù)據(jù)技術(shù)術(shù)整整合合到到行業(yè)業(yè)信息息化化方方案案中中，，幫幫助助客客戶戶通通過過數(shù)數(shù)據(jù)據(jù)采采集集、、存存儲儲和和分分析析更更好好地地進(jìn)進(jìn)行行決決策策，，將將能能極極大大提提升升信信息息化化服服務(wù)務(wù)的的價價值值升級級行行業(yè)業(yè)信信息息化化解決決方方案案，，提提升升客戶戶價價值值大數(shù)數(shù)據(jù)據(jù)也有有大大風(fēng)風(fēng)險險，，其其中中之之一一就就是是客客戶戶隱隱私私泄泄露露及及數(shù)數(shù)據(jù)據(jù)安安全全風(fēng)風(fēng)險險。。由由于于大大量量的的數(shù)數(shù)據(jù)據(jù)產(chǎn)產(chǎn)生生、、存存儲儲和和分分析析，，數(shù)數(shù)據(jù)據(jù)保保密密和和隱隱私私問問題題將將在在未未來來幾幾年年內(nèi)內(nèi)成成為為一一個個更更大大的的問問題題，，企企業(yè)業(yè)必必須須提供供數(shù)數(shù)據(jù)據(jù)安安全全服服務(wù)務(wù)，，在在大數(shù)數(shù)據(jù)據(jù)市場場建建立立差差異異化化競競爭爭優(yōu)優(yōu)勢勢@2013北京京澤澤佳佳公公司司版版權(quán)權(quán)所所有有Copyright??2013ZejiaConsultingCorporation第30頁中國國移移動動基基于于Hadoop的大大數(shù)數(shù)據(jù)據(jù)應(yīng)應(yīng)用用在中中國國移移動動““大大云云””產(chǎn)產(chǎn)品品總總體體架架構(gòu)構(gòu)中中，，分分析析型型PaaS產(chǎn)品品底底層層基基于于Hadoop數(shù)據(jù)據(jù)存存儲儲和和分分析析平平臺臺，，在在技技術(shù)術(shù)路路線線方方面面，，選選擇擇數(shù)數(shù)據(jù)據(jù)倉倉庫庫與與Hadoop混搭的方方式，借借鑒關(guān)系系型數(shù)據(jù)據(jù)倉庫在在傳統(tǒng)應(yīng)應(yīng)用支持持方面以以及在復(fù)復(fù)雜查詢詢和分析析方面的的快速響響應(yīng)能力力，同時時也借鑒鑒了Hadoop的非結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)處理能能力以及及存儲的的低成本本。屏蔽蔽Hadoop與數(shù)據(jù)倉倉庫的使使用細(xì)節(jié)節(jié)，讓用用戶在使使用這些些數(shù)據(jù)時時盡量無無感知；；在數(shù)據(jù)據(jù)的ETL采集預(yù)處處理環(huán)節(jié)節(jié)，盡量量采用Hadoop與分布式式ETL的方式，，提高數(shù)數(shù)據(jù)轉(zhuǎn)換換效率，，同時降降低成本本。@2013北京澤佳佳公司版版權(quán)所有有Copyright??2013ZejiaConsultingCorporation第31頁中國聯(lián)通通基于Hadoop的大數(shù)據(jù)據(jù)應(yīng)用中國聯(lián)通通已經(jīng)構(gòu)構(gòu)建了一一個全國國集中的的一級架架構(gòu)海量量數(shù)據(jù)存存儲和查查詢系統(tǒng)統(tǒng)：通信信用戶上上網(wǎng)記錄錄集中查查詢與分分析支撐撐系統(tǒng)，，在集團(tuán)團(tuán)公司進(jìn)進(jìn)行統(tǒng)一一部署，，各個省省分僅僅僅是做數(shù)數(shù)據(jù)的采采集，按按照業(yè)務(wù)務(wù)實時性性將數(shù)據(jù)據(jù)傳送到到集團(tuán)公公司，由由集團(tuán)公公司統(tǒng)一一處理，，全國所所有用戶戶所有上上網(wǎng)記錄錄數(shù)據(jù)都都放北京京數(shù)據(jù)中中心里，，在國內(nèi)內(nèi)電信行業(yè)業(yè)當(dāng)中也是是首創(chuàng)的的方式。。中國聯(lián)通通成功將將大數(shù)據(jù)據(jù)和Hadoop技術(shù)引入入到‘移移動通信信用戶上上網(wǎng)記錄錄集中查查詢與分分析支撐撐系統(tǒng)’’。截止止到目前前已經(jīng)部部署了4.5PB的存儲空空間。其其中，4.5PB的存儲分分布在300個數(shù)據(jù)節(jié)節(jié)點上，，即每個個節(jié)點配配備15TB的存儲空空間。系系統(tǒng)每天天有能力力處理700億條上網(wǎng)網(wǎng)記錄。。@2013北京澤佳佳公司版版權(quán)所有有Copyright??2013ZejiaConsultingCorporation第32頁政府行業(yè)業(yè)大數(shù)據(jù)據(jù)需求分分析1、加強(qiáng)統(tǒng)統(tǒng)籌規(guī)劃劃，優(yōu)化化大數(shù)據(jù)據(jù)形成機(jī)機(jī)制。強(qiáng)強(qiáng)化對大大數(shù)據(jù)建建設(shè)工作作的組織織協(xié)調(diào)，，打破地地區(qū)和部部門數(shù)據(jù)據(jù)壁壘，，實現(xiàn)數(shù)據(jù)資源源聯(lián)合共建、廣廣泛共享享。建立立政府和和社會聯(lián)聯(lián)動的大大數(shù)據(jù)形形成機(jī)制制，以政政府?dāng)?shù)據(jù)據(jù)公開共共享，推推動公共共數(shù)據(jù)資資源的開開發(fā)利用用。2、加強(qiáng)數(shù)數(shù)據(jù)收集集和信息息感知，，提高智智慧城市市感知水水平。加加強(qiáng)政府府部門在在管理和和服務(wù)過過程中對對數(shù)據(jù)的的主動采采集，建建立政府府大數(shù)據(jù)據(jù)庫。鼓鼓勵制造造業(yè)企業(yè)業(yè)和商業(yè)業(yè)機(jī)構(gòu)加加強(qiáng)對生生產(chǎn)經(jīng)營營活動中中的數(shù)據(jù)據(jù)采集，，形成覆覆蓋生產(chǎn)產(chǎn)過程和和商業(yè)各各環(huán)節(jié)各各流程的的數(shù)據(jù)庫庫。推進(jìn)進(jìn)無線識識別技術(shù)術(shù)、傳感感器、無無線網(wǎng)絡(luò)絡(luò)、傳感感網(wǎng)絡(luò)等等新技術(shù)術(shù)的廣泛泛應(yīng)用，，提高數(shù)數(shù)據(jù)采集集的智能能化水平平。3、推進(jìn)大大數(shù)據(jù)應(yīng)應(yīng)用，提提高經(jīng)濟(jì)濟(jì)社會智智慧化水水平。推推進(jìn)政務(wù)務(wù)信息公公開。推推行政府府網(wǎng)上辦辦事，收收集分析析挖掘社社會政務(wù)務(wù)服務(wù)需需求，推推進(jìn)公共共服務(wù)個個性化和和政府決決策智能能化。支支持公共共服務(wù)機(jī)機(jī)構(gòu)和商商業(yè)機(jī)構(gòu)構(gòu)開放與與社會民民生密切切相關(guān)的的公共數(shù)數(shù)據(jù)。推推進(jìn)國民民經(jīng)濟(jì)各各行業(yè)和和企業(yè)數(shù)數(shù)據(jù)開發(fā)發(fā)，發(fā)展展商業(yè)智智能。鼓鼓勵開展展服務(wù)大大眾的大大數(shù)據(jù)應(yīng)應(yīng)用，提提升智慧慧生活品品質(zhì)。@2013北京澤佳佳公司版版權(quán)所有有Copyright??2013ZejiaConsultingCorporation第33頁政府行業(yè)業(yè)大數(shù)據(jù)據(jù)應(yīng)用——智慧城市市2013年1月29日，住房房和城鄉(xiāng)鄉(xiāng)建設(shè)部部公布了了首批９９０個國國家智慧慧城市試試點名單單，試點點城市的的公布標(biāo)標(biāo)志著我我國智慧慧城市發(fā)發(fā)展進(jìn)入入規(guī)模推推廣的階階段。在在目前智智慧城市市的發(fā)展展階段，，主要的的應(yīng)用還還處于對對感知設(shè)設(shè)備傳遞遞的信息息進(jìn)行簡簡單處理理的水平平，充分分認(rèn)識大大數(shù)據(jù)對對于智慧慧城市建建設(shè)的關(guān)關(guān)鍵作用用，對于于避免智智慧城市市建設(shè)中中出現(xiàn)““重感知知，輕智智慧”的的通病具具有重要要意義。。從智慧城城市的體體系結(jié)構(gòu)構(gòu)來看，，由于智智慧城市市的基礎(chǔ)礎(chǔ)在于物物聯(lián)網(wǎng)技技術(shù)，因因此智慧慧城市體體系架構(gòu)構(gòu)和物聯(lián)聯(lián)網(wǎng)的體體系結(jié)構(gòu)構(gòu)相類似似，也可可分為四四層，分分別為感感知層、、傳輸層層、平臺臺層、應(yīng)應(yīng)用層。。智慧城城市相對對于之前前數(shù)字城城市概念念，最大大的區(qū)別別在于對對感知層層獲取的的信息進(jìn)進(jìn)行了智智慧的處處理，因因此也可可以認(rèn)為為智慧城城市是數(shù)數(shù)字城市市的升級級版。由由城市數(shù)數(shù)字化到到城市智智慧化，，關(guān)鍵是是要實現(xiàn)現(xiàn)對數(shù)字字信息的的智慧處處理，其其核心是是大數(shù)據(jù)據(jù)處理技技術(shù)。智慧城市市@2013北京澤佳佳公司版版權(quán)所有有Copyright??2013ZejiaConsultingCorporation第34頁醫(yī)療行業(yè)業(yè)大數(shù)據(jù)據(jù)需求分分析醫(yī)療行業(yè)業(yè)產(chǎn)生的的數(shù)據(jù)量量主要來來自于PACS影像、B超、病理理分析等等業(yè)務(wù)所所產(chǎn)生的的非結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)。人體體不同部部位、不不同?？瓶朴跋竦牡臄?shù)據(jù)文文件大小小不一，，PACS網(wǎng)絡(luò)存儲儲和傳輸輸要采取取不同策策略。面面對大數(shù)數(shù)據(jù)，醫(yī)醫(yī)療行業(yè)業(yè)遇到前前所未有有的挑戰(zhàn)戰(zhàn)和機(jī)遇遇。醫(yī)療行業(yè)業(yè)大數(shù)據(jù)據(jù)應(yīng)用場場景非常常多，右右圖僅以以臨床操操作和研研發(fā)為例例，展示示醫(yī)療行行業(yè)大數(shù)數(shù)據(jù)應(yīng)用用場景。。對于公共共衛(wèi)生部部門，可可以通過過過覆蓋蓋全國的的患者電電子病歷歷數(shù)據(jù)庫庫，快速速檢測傳傳染病，，進(jìn)行全全面的疫疫情監(jiān)測測，并通通過集成成疾病監(jiān)監(jiān)測和響響應(yīng)程序序，快速速進(jìn)行響響應(yīng)。比較效果研究臨床操作臨床決策支持系統(tǒng)醫(yī)療數(shù)據(jù)透明度遠(yuǎn)程病人監(jiān)控研發(fā)預(yù)測建模提高臨床試驗設(shè)計的統(tǒng)計工具和算法疾病模式的分析@2013北京澤佳佳公司版版權(quán)所有有Copyright??2013ZejiaConsultingCorporation