大數(shù)據(jù)處理技術(shù)簡介37

大數(shù)據(jù)處理技術(shù)簡介1234大數(shù)據(jù)處處理相關(guān)關(guān)工具介介紹國內(nèi)相關(guān)關(guān)數(shù)據(jù)處處理平臺臺簡介Storm實時計算算系統(tǒng)簡簡介概念及背背景介紹紹大數(shù)據(jù)概概念1、指的是是所涉及及的資料料量規(guī)模模巨大到到無法通通過目前前主流軟軟件工具具，在合合理的時時間內(nèi)達(dá)達(dá)到擷取取、管理理、處理理并整理理成為幫幫助企業(yè)業(yè)經(jīng)營決決策更積積極目的的的咨詢詢。2、維克托·邁爾-舍恩伯格格以及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時時代》中大數(shù)據(jù)據(jù)指不用用隨機分分析法（（抽樣調(diào)調(diào)查）這這樣的捷捷徑，而而采用所所有數(shù)據(jù)據(jù)進行分分析處理理。3、海量異異構(gòu)的數(shù)數(shù)據(jù)（包包括文本本、圖像像、聲音音等）。。大數(shù)據(jù)的的4V特點：Volume（大量））、Velocity（高速））、Variety（多樣））、Value（價值））近年來，，一種新新的數(shù)據(jù)據(jù)密集型型應(yīng)用已經(jīng)經(jīng)得到了廣廣泛的認(rèn)認(rèn)同，這這些應(yīng)用用的實例例包括：：網(wǎng)絡(luò)監(jiān)監(jiān)控、電電信數(shù)據(jù)據(jù)管理、、Web應(yīng)用、傳傳感檢測測等等。。在這種種數(shù)據(jù)流流模型中中，數(shù)據(jù)據(jù)以大量量、快速速、時變變（可能能是不可可預(yù)知））的數(shù)據(jù)據(jù)流持續(xù)續(xù)到達(dá)，，如何對對海量瞬瞬時流動動數(shù)據(jù)建建模并處處理，產(chǎn)產(chǎn)生了一一些新的的基礎(chǔ)性性研究問問題。大數(shù)據(jù)處理理技術(shù)的的應(yīng)用大數(shù)據(jù)應(yīng)應(yīng)用情景景一（B2C、C2C與金融））：淘寶寶、股票票等即時時交易數(shù)數(shù)據(jù)截至2011年11月，淘寶寶Beltles平臺單日日最大服服務(wù)調(diào)用用量19億。今年淘寶寶雙11QPS::32萬/分鐘2012-01-14報道，鐵鐵道部12306網(wǎng)站連續(xù)續(xù)5天日均點擊擊數(shù)超過過10億次，高峰時時超過14.09億次，導(dǎo)致系系統(tǒng)近乎乎崩潰或或癱瘓。。2009年四月統(tǒng)統(tǒng)計：上上證交易易所新一一代交易易系統(tǒng)峰峰值訂單單處理能能力約80000筆/秒，平均訂訂單時延延比現(xiàn)用用交易系系統(tǒng)縮短30%以上，系統(tǒng)日日雙邊成成交容量量不低于于1.2億筆/日，相當(dāng)當(dāng)于單市市場1.2萬億的日日成交規(guī)規(guī)模。大數(shù)據(jù)應(yīng)應(yīng)用情景景三（社交網(wǎng)絡(luò)絡(luò)）：社社交網(wǎng)絡(luò)絡(luò)即時消消息處理理每秒鐘，，人們發(fā)發(fā)送290萬封電子子郵件。。每分鐘，，人們向向Youtube上傳60個小時的的視頻。。每一天，，人們在在Twitter上發(fā)消息息1.9億條微博博。每一天，，人們在在Twitter上發(fā)出3.44億條消息息。每一天，，人們在在Facebook發(fā)出40億條信息息。大數(shù)據(jù)應(yīng)應(yīng)用情景景三（物聯(lián)聯(lián)網(wǎng)數(shù)據(jù)據(jù)流）：：傳感網(wǎng)網(wǎng)、物聯(lián)聯(lián)網(wǎng)、智智慧城市市數(shù)據(jù)庫

傳感設(shè)備備

服務(wù)器

用戶端程程序

實時數(shù)據(jù)流處理平臺

Internet設(shè)備網(wǎng)PDA決策支持持PC機傳感網(wǎng)、、物聯(lián)網(wǎng)網(wǎng)源源不不斷產(chǎn)生生海量數(shù)數(shù)據(jù)流、、數(shù)據(jù)量量更大，，加上能能更準(zhǔn)確確、更快快地收集集比如位位置、生生活信息息等數(shù)據(jù)據(jù)，對在在線即時時處理提提出了更更高的要要求和挑挑戰(zhàn)。大數(shù)據(jù)應(yīng)應(yīng)用情景景四（數(shù)據(jù)據(jù)流過濾濾）：互互聯(lián)網(wǎng)帶帶寬增長長根據(jù)中國國互聯(lián)網(wǎng)網(wǎng)絡(luò)信息息中心（（CNNIC）的“中中國互聯(lián)聯(lián)網(wǎng)絡(luò)發(fā)發(fā)展?fàn)顩r況統(tǒng)計報報告”調(diào)調(diào)查顯示示，2011年中國的的互聯(lián)網(wǎng)網(wǎng)基礎(chǔ)資資源繼續(xù)續(xù)保持快快速增長長，IP地址、域域名、網(wǎng)網(wǎng)站和網(wǎng)網(wǎng)頁等增增速基本本與網(wǎng)民民增長等等速或超超過網(wǎng)民民的增速速，網(wǎng)絡(luò)絡(luò)國際出出口帶寬寬達(dá)到1,182,261..45Mbps，半年增增長了7.6%%。國內(nèi)外相相關(guān)研究究數(shù)據(jù)流計計算的典典型模式式之一是是不確定定數(shù)據(jù)速速率的數(shù)數(shù)據(jù)流流流入系統(tǒng)統(tǒng)，系統(tǒng)處理能力必須須與數(shù)據(jù)據(jù)流量大大小相匹匹配。Hadoop（MapReduce）框架為為批處理理做了高高度優(yōu)化化，數(shù)據(jù)據(jù)存儲在在分布式式文件系統(tǒng)中，，系統(tǒng)典典型地通通過調(diào)度度批量任任務(wù)來操操作分布布式文件件系統(tǒng)靜靜態(tài)數(shù)據(jù)據(jù)。實時計算算（數(shù)據(jù)驅(qū)驅(qū)動）VS.批處理計計算（任務(wù)驅(qū)驅(qū)動）國內(nèi)外相相關(guān)研究究數(shù)據(jù)流計計算的典典型模式式之一是是不確定定數(shù)據(jù)速速率的數(shù)數(shù)據(jù)流流流入系統(tǒng)統(tǒng)，系統(tǒng)處理理能力必須須與數(shù)據(jù)據(jù)流量大大小相匹匹配。Hadoop（MapReduce）框架為為批處理理做了高高度優(yōu)化化，數(shù)據(jù)據(jù)存儲在在分布式式文件系統(tǒng)中，，系統(tǒng)典典型地通通過調(diào)度度批量任任務(wù)來操操作分布布式文件件系統(tǒng)靜靜態(tài)數(shù)據(jù)據(jù)。實時計算算（數(shù)據(jù)驅(qū)驅(qū)動）VS.批處理計計算（任務(wù)驅(qū)驅(qū)動）應(yīng)用計算模型與通信機制數(shù)據(jù)規(guī)模計算模型普通集群基于消息傳遞的分布式模型TB級/百臺MPI云計算基于文件傳輸?shù)牟⑿杏嬎隳Ｐ蚉B級/千臺MapReduce數(shù)據(jù)流實時云計算基于消息（封裝文件）傳輸?shù)牟⑿杏嬎鉖B級/千臺Online

MapReduce分布式并行計算算系統(tǒng)流水線+并行、可配置、可容錯、彈性可擴擴展、全內(nèi)存、、實時在線處理。第一類方方法，Hadoop改造：[1]YingyiBu等在HadoopMapReduce工作的基基礎(chǔ)上設(shè)設(shè)計了HaLoop，主要克克服了Hadoop進行迭代代計算時時需要設(shè)設(shè)置收斂斂條件以以及每次次迭代均均需要重重新加載載數(shù)據(jù)的的缺點；；[2]伯克利大大學(xué)的TysonCondie等對Hadoop進行改進進，設(shè)計計了HadoopOnlinePrototype((HOP)系統(tǒng)，支支持連續(xù)續(xù)查詢、、事件監(jiān)監(jiān)測以及及流處理理等功能能；[3]Facebook在SIGMOD’’2011上發(fā)表了了利用Hbase/Hadoop進行實時時處理數(shù)數(shù)據(jù)的論論文，通通過一些些實時性性改造，，力圖使使hadoop批處理計計算平臺臺也具備備實時計計算的能能力。[4]Google在新一代代內(nèi)容索索引系統(tǒng)統(tǒng)中放棄棄了MapReduce，替代者者是尚不不為人知知的分布布式數(shù)據(jù)據(jù)處理系系統(tǒng)Percolator，Percolator是一種增增量處理理平臺，，它能持持續(xù)更新新索引系系統(tǒng)，無無需從頭頭重新處處理一遍遍整個系系統(tǒng)。[5]WangLam等開發(fā)了了類似于于Map--reduce框架、專專注于快快速處理理數(shù)據(jù)的的Muppet；第二類方方法，實實時云計計算系統(tǒng)統(tǒng)：[6]MIT等三所高高校的研研究人員員聯(lián)合研研發(fā)了第第二代分分布式流流處理系系統(tǒng)Borealis；[7]Sheheryar

Malik設(shè)計了具具有良好好錯誤容容忍機制制的實時時云計算算系統(tǒng)；；HarmeekSinghBedi申請了實實時云計計算系統(tǒng)統(tǒng)的專利利；[8]BaiduDstream，淘寶寶Beales，F(xiàn)acebookPuma，TwitterStorm，Yahoo！S4[9]2011年組織了了以實時時云計算算和虛擬擬化為主主題的國國際討論論組會RTSOAA（Real-TimeCloudComputingandVirtualization）。[10]]2011年度的HadoopChina大會一個個熱點議議題就是是數(shù)據(jù)流流計算，，在MapReduce計算模型型風(fēng)靡全全球之后后，StreamProcessing將會是下下一個研研究熱點點，無論論是在工工業(yè)界還還是學(xué)術(shù)術(shù)界。實時計算算系統(tǒng)的的改造1234大數(shù)據(jù)處處理相關(guān)關(guān)工具介介紹國內(nèi)相關(guān)關(guān)數(shù)據(jù)處處理平臺臺簡介Storm實時計算算系統(tǒng)簡簡介概念及背背景介紹紹Hadoop家族14開源工具具簡介---批處理HadoopCommon：Hadoop體系最底底層的一一個模塊塊，為Hadoop各子項目目提供各種工具，如如：配置置文件和和日志操操作等。HDFS：是Hadoop的分布式式存儲系系統(tǒng)，同Google的GFS性質(zhì)是一一樣的。MapReduce：是一種種編程模模型，用用于大規(guī)規(guī)模數(shù)據(jù)據(jù)集的并并行運算。Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，提供簡單單的sql查詢功能能，可以以將sql語句轉(zhuǎn)換換為MapReduce任務(wù)進行行運行，十分適合合數(shù)據(jù)倉庫庫的統(tǒng)計分分析。Pig：Pig最大的作作用就是是對MapReduce算法(框架)實現(xiàn)了一一套shell腳本，，類似我我們通常常熟悉的的SQL語句，在在Pig中稱之為為PigLatin。Hbase：一個分布式式、可擴擴展的大大數(shù)據(jù)存存儲。它它提供了了大數(shù)據(jù)據(jù)集上隨隨機和實實時的讀讀/寫訪問，，并針對對了商用用服務(wù)器器集群上上的大型型表格做做出優(yōu)化化——上百億行行，上千千萬列。它是Googlebigtable的一個開開源的實實現(xiàn)。Zookeeper::它是一個針對對大型分分布式系系統(tǒng)的可可靠協(xié)調(diào)調(diào)系統(tǒng)，功能包括：配配置維護護、名字字服務(wù)、、分布布式同步步、組服服務(wù)等。。ZooKeeper的目標(biāo)就就是封裝裝好復(fù)雜雜易出錯錯的關(guān)鍵鍵服務(wù)，，將簡單單易用的的接口和和性能高高效、功功能穩(wěn)定定的系統(tǒng)統(tǒng)提供給給用戶。它是Google的Chubby一個開源源的實現(xiàn)現(xiàn)。開源工具簡簡介---實時計算算國外1：facebookpuma國外2：twitterstorm國外3：yahoo!s4Twitter數(shù)據(jù)處理理分層架架構(gòu)Puma3系統(tǒng)數(shù)據(jù)據(jù)處理通通路Storm數(shù)據(jù)流處處理示意意圖S4數(shù)據(jù)流處處理流程程RealtimeCloudcomputingFacebookPumaTwitter

StormYahoo！S4開發(fā)語言JAVAClojureJAVA高可用機制被動備用上游回放被動備用架構(gòu)均勻架構(gòu)主從架構(gòu)主從架構(gòu)資源利用率低高低恢復(fù)時間短長長開源工具具簡介---全內(nèi)存查查詢Spark是一通用用并行計計算框架架，由UCBerkeley的AMP實驗室開開發(fā)。將中間數(shù)數(shù)據(jù)放到到內(nèi)存中中，對于于迭代運運算效率率比較高高。如：：機器學(xué)學(xué)習(xí)（ML）與hadoop相比提供供了更多多種運算算操作，，并且通通信模型型也是多多樣的，，hadoop僅有DataShuffle。缺點：Spark不適用那那種異步步細(xì)粒度度更新狀狀態(tài)的應(yīng)應(yīng)用，例例如web服務(wù)的存存儲或者者是增量量的web爬蟲和索索引。就就是對于于那種增增量修改改的應(yīng)用用模型，，因為增增量改動動完了，，也就不不用了，，不需要要迭代了了。Druid為分析而而設(shè)計-Druid是為OLAP工作流的的探索性性分析而而構(gòu)建。。它支持持各種filter、aggregator和查詢類類型，并并為添加加新功能能提供了了一個框框架。交互式查查詢-低延遲數(shù)數(shù)據(jù)攝取取架構(gòu)允允許事件件在它們們創(chuàng)建后后毫秒內(nèi)內(nèi)查詢，，完全有可可能在6TB的數(shù)據(jù)集集上實現(xiàn)現(xiàn)秒級查查詢。高可用性性-支持需要要一直在在線的SaaS的實現(xiàn)。。你的數(shù)數(shù)據(jù)在系系統(tǒng)更新新時依然然可用、、可查詢詢。規(guī)模模的擴大大和縮小小不會造造成數(shù)據(jù)據(jù)丟失。。可伸縮-每天處理理數(shù)十億億事件和和TB級數(shù)據(jù)。。Druid被設(shè)計成PB級別。優(yōu)缺點：：Druid對于需要要實時單單一、海海量數(shù)據(jù)據(jù)流攝取取產(chǎn)品非非常適合合。特別別是如果果你面向向無停機機操作時時，如果果你對查查詢查詢詢的靈活活性和原原始數(shù)據(jù)據(jù)訪問要要求，高高于對速速度和無無停機操操作，Druid可能不是很好的解決方案案。1234大數(shù)據(jù)處處理相關(guān)關(guān)工具介介紹國內(nèi)相關(guān)關(guān)數(shù)據(jù)處處理平臺臺簡介Storm實時計算算系統(tǒng)簡簡介概念及背背景介紹紹國內(nèi)相關(guān)關(guān)計算平平臺國內(nèi)1：baidu下一代數(shù)數(shù)據(jù)流系系統(tǒng)DStream百度基礎(chǔ)礎(chǔ)架構(gòu)部部的下一一代規(guī)劃劃中，實實時計算算是重要要的組成成部分。。實時計算算系統(tǒng)和批處理計計算系統(tǒng)統(tǒng)同屬于云云計算這這個大的的范疇，，相互配合合使用。批處理理計算是是MapReduce（Hadoop）、實時時計算是是DStream等。DStream的Release1..0版本在2012年上半年年發(fā)布。。DStream依賴幾個個第三方方系統(tǒng)，，Bigpipe、Zookeeper和HDFS，分別用用于數(shù)據(jù)據(jù)流輸入入輸出和和操作日日志的存存儲、分分布式異異常監(jiān)控控、用戶戶文件存存儲和計計算狀態(tài)態(tài)存儲。。

1、每天有超過30億的店鋪鋪、商品品瀏覽記記錄，10億在線商商品數(shù)，，上千萬萬的成交交、收藏藏和評價價數(shù)據(jù)。2、量子統(tǒng)計、數(shù)數(shù)據(jù)魔方方和淘寶寶指數(shù)。3、Hadoop集群：1500個節(jié)點，，每天有大大約40000個作業(yè)對對1.5PB的原始數(shù)數(shù)據(jù)按照照產(chǎn)品需需求進行行不同的的MapReduce計算。4、Storm集群：處理實實時流數(shù)數(shù)據(jù)。國內(nèi)相關(guān)關(guān)計算平平臺國內(nèi)2：淘寶數(shù)據(jù)分分析平臺臺架構(gòu)數(shù)據(jù)存儲引擎：MySQL的MyISAM引擎統(tǒng)計數(shù)據(jù)據(jù)：10TB（分布在在20個節(jié)點）），每天天6億條的增量節(jié)點類型型劃分：：熱節(jié)點：：SAS硬盤（15000轉(zhuǎn)/分鐘）4.5W/TB冷節(jié)點：：SATA硬盤（7500轉(zhuǎn)/分鐘）1.6W/TB缺點：不不能解決決全屬性性選擇器器問題，，這時NoSql是對其的的有益補補充。Myfox簡介4:300國內(nèi)相關(guān)關(guān)計算平平臺國內(nèi)相關(guān)關(guān)計算平平臺國內(nèi)2：淘寶Beatles實時流式式數(shù)據(jù)分分析平臺臺2010年Beatles開放平臺臺基礎(chǔ)體體系開始始建立，，服務(wù)調(diào)調(diào)用量增增漲到了了9億。截至至2011年11月，單日日最大服服務(wù)調(diào)用用量19億，增量量統(tǒng)計實實時性要要求在2分鐘內(nèi)（（包含數(shù)數(shù)據(jù)分析析和數(shù)據(jù)據(jù)產(chǎn)出，，低峰期期1分鐘，高高峰期1分半），，系統(tǒng)可可用性要要求高于于99.6％目錄1234大數(shù)據(jù)處處理相關(guān)關(guān)工具介介紹國內(nèi)相關(guān)關(guān)數(shù)據(jù)處處理平臺臺簡介Storm實時計算算系統(tǒng)簡簡介概念及背背景介紹紹Storm實時計算系統(tǒng)Storm數(shù)據(jù)流處理引擎擎整體架架構(gòu)主要模塊塊Master--Supervisor-Worker的模塊關(guān)關(guān)系圖控制節(jié)點點啟動Master,,負(fù)責(zé)整個topology執(zhí)行監(jiān)控和任任務(wù)分配配工作節(jié)點點啟動Supervisor，每個Supervisor包含一組組port，每個port可以初始始化一個個Worker，每個Worker執(zhí)行一部部分?jǐn)?shù)據(jù)據(jù)處理程程序工作節(jié)點點啟動Zookeeper,,負(fù)責(zé)topology的協(xié)調(diào)和同同步Nimbus模塊Supervisor模塊步驟1：Supervisor從Zookeeper目錄中下下載Worker執(zhí)行的代代碼步驟2：Supervisor監(jiān)控Worker的執(zhí)行狀狀態(tài)。步驟3：Supervisor向Zookeeper的目錄中中寫入它它所監(jiān)控控的各個個Worker的心跳信信息Worker模塊步驟1：Worker從Zookeeper目錄獲取取Task集合步驟2：Worker建立接收收和發(fā)送送的消息息隊列步驟3：Worker內(nèi)部的每每個Task開始初始始化，準(zhǔn)準(zhǔn)備執(zhí)行行處理程程序和向向Zookeeper發(fā)送心跳跳步驟4：消息隊隊列把Tuple發(fā)送給相相應(yīng)的Task進行處理理，處理理結(jié)果再再傳給消消息隊列列進行下下發(fā)關(guān)鍵技術(shù)術(shù)——并行處理理技術(shù)條件：查查詢由兩個有有狀態(tài)算算子（一一個Join和一個Aggregate）和4個無狀態(tài)態(tài)算子（（兩個Map和兩個Filter）組成。如圖b所示，將將每個算算子都部部署在有有15個節(jié)點的的子集群群，跳數(shù)數(shù)為5，每個節(jié)節(jié)點的扇扇出數(shù)為為15，所以扇出的總總數(shù)就是是155。如圖c所示，將將a所示的查查詢根據(jù)據(jù)有狀態(tài)態(tài)算子進進行劃分分，可以以劃分成成3個子查詢詢，每個個子查詢詢都部署署在30個節(jié)點的的子查詢詢上，由由此可見見，跳數(shù)數(shù)為2，每個節(jié)節(jié)點的扇扇出數(shù)為為302。相關(guān)工作作關(guān)鍵技術(shù)術(shù)——可靠性保保障技術(shù)術(shù)a)主動備份份技術(shù)b)被動備份份技術(shù)c)上游備份份技術(shù)主動備份份技術(shù)：：節(jié)點A產(chǎn)生的元元組同時時發(fā)送給給主節(jié)點點B1和備份節(jié)節(jié)點B2。該容錯錯技術(shù)存在保存副本本的空間間開銷。被動備份份技術(shù)：：將要備份份的算子子的狀態(tài)態(tài)信息周周期的拷拷貝到備備份節(jié)點點。當(dāng)最最后一個個校驗點點出現(xiàn)故故障時，，主節(jié)點點中的所所有元組組并沒有有在備份份節(jié)點中中維護，，那么，，就需要要上游算算子將元元組重新新發(fā)送到到備份節(jié)節(jié)點上，，這會導(dǎo)導(dǎo)致故障障的恢復(fù)復(fù)時間