大數(shù)據(jù)及Hadoo技術簡介

“大”時代的到來

大數(shù)據(jù)及Hadoop技術陳亮anch3or@大數(shù)據(jù)及大數(shù)據(jù)技術大數(shù)據(jù)特點大數(shù)據(jù)產業(yè)及應用

Google的數(shù)據(jù)中心

Hadoop體系結構

大數(shù)據(jù)

Hadoop技術目錄下一代大規(guī)模計算集群的資源管理框架親，隨便聊聊吧。Q&A大數(shù)據(jù)及大數(shù)據(jù)技術大數(shù)據(jù)一系列大規(guī)模、高復雜度的數(shù)據(jù)集合，它的規(guī)模和復雜程度已經無法通過現(xiàn)有的數(shù)據(jù)庫管理工具或是傳統(tǒng)的數(shù)據(jù)處理應用在合理的時間內對其進行獲取、管理、存儲、檢索、分享、傳輸、分析和可視化。/wiki/Big_data大數(shù)據(jù)技術大數(shù)據(jù)技術作為新一代技術和體系架構，將能夠利用較低的成本，通過高速捕獲，發(fā)現(xiàn)并對超大量、眾多類型的數(shù)據(jù)進行分析，以獲得信息的價值

。/prodserv/detail.jsp?id=NTAx

大數(shù)據(jù)特點4VBigData格式多樣來源多樣

響應速度快增長速度快-1秒鐘-18個月

數(shù)據(jù)量大計算量大GB->TB->PB->EB->ZB價值密度低到2020年，全球數(shù)據(jù)將達到35ZB。（IDC數(shù)據(jù)）淘寶2010年部分運營數(shù)據(jù)：每日PV：超過20億次在線商品：8億種每分鐘銷售商品：4.8萬件淘寶雙十一部分技術數(shù)據(jù)：41億次事物/285億次SQL/15TB日志/1931億次內存訪問結構化/半結構化/非結構化文本/音頻/圖片/視頻微博/郵件/機器日志/金融記錄/短信/通話/醫(yī)療設備/物聯(lián)網(wǎng)設備/傳感器/移動設備-沙里淘金-為了發(fā)現(xiàn)金子，要保存全部沙子大數(shù)據(jù)產業(yè)及應用互聯(lián)網(wǎng)金融保險公共管理醫(yī)療衛(wèi)生能源數(shù)字城市

物聯(lián)網(wǎng)重感知智慧城市大數(shù)據(jù)重分析終端設備多樣應用服務豐富行業(yè)融合緊密交通銀行中信銀行平安保險民生銀行醫(yī)療數(shù)據(jù)挖掘臨床決策支持疾病模式分析疫情監(jiān)測相應能源勘探能源利用大數(shù)據(jù)為我們提供了預測未來的能力！電力行業(yè)應用場景環(huán)節(jié)應用場景發(fā)電間歇性電源發(fā)電預測生產經營數(shù)據(jù)分析發(fā)電設備故障分析及預測配煤方案優(yōu)化輸電輸電塔環(huán)境影響分析及預測線損分析及預測輸電塔、線故障分析及預測輸電網(wǎng)規(guī)劃優(yōu)化變電變電設備電磁環(huán)境影響電器設備誤操作分析變電設備故障分析及預測變電運行分析配電電器配電分析配電網(wǎng)絡分析及優(yōu)化配電設備故障分析及預測配電側購電分配分析用電用電負荷分析及預測用電方案優(yōu)化用電模型分析用電用戶行為分析調度電力調度模型分析及優(yōu)化電力調度數(shù)據(jù)網(wǎng)分析數(shù)據(jù)可視化在電力調度中的應用電力調度方式及決策模型分析電力設備故障檢測及預測Google數(shù)據(jù)中心這貨是Google服務器？沒錯，這貨就是Google的服務器！這層機箱殼完全是為了宣傳廣告才裹上的。在機房里就是“裸奔”！CPU插槽：2個Intel/AMD芯片內存插槽：8個硬盤：4塊主板：技嘉內接12伏特電池（專利）Google數(shù)據(jù)中心一個機柜容納1160臺服務器一個數(shù)據(jù)中心由幾十個機柜組成數(shù)據(jù)中心一般都建在郊區(qū)靠近水源的地方Hadoop體系結構Hadoop體系結構——Hadoop

Hadoop項目開發(fā)一套可靠的、可伸縮的、分布式計算的開源軟件系統(tǒng)。HDFS分布式文件系統(tǒng)高容錯主要部署在廉價商業(yè)硬件高可伸縮任意增加、刪除節(jié)點MapReduce

編程模型用于大數(shù)據(jù)并行計算Map過程實現(xiàn)映射Reduce過程實現(xiàn)化簡實現(xiàn)對HDFS上大數(shù)據(jù)的運算Hadoop體系結構——MapReduce單詞計數(shù)問題：輸入：文本文件（PB級）。輸出：統(tǒng)計文本中各個單詞出現(xiàn)的次數(shù)。Map映射過程：Map(Stringkey，Stringvalue)：//key:docname;value:doccontentforeachwordwinvalueEmitIntermediate(w，“1”)；Reduce化簡過程：Reduce(Stringkey，Iteratorvalues)：//key:oneword;values:countlistintresult=0：foreachvinvalues：result+=Parselnt(v)；Emit(AsString(result))；Hadoop體系結構——HBase

HBase是一種分布式的、可擴展的、大數(shù)據(jù)存儲的“NoSQL”數(shù)據(jù)庫。HBase可在廉價PC集群上搭建起大規(guī)模結構化存儲系統(tǒng)。HBase是GoogleBigtable的開源實現(xiàn)。以Bigtable作為數(shù)據(jù)可以在集群上托管有幾億行、幾百萬列的大表。HBase利用HadoopHDFS作為其文件存儲系統(tǒng)。HBase利用MapReduce來處理大數(shù)據(jù)。NoSQL（NoSQL=NotonlySQL），意即“不僅僅是SQL”。HBase是一種非關系型數(shù)據(jù)庫。HBase缺少大多數(shù)關系型數(shù)據(jù)的很多特性，比如列類型、輔助索引、觸發(fā)器和高級查詢語言。Hbase更像是一個數(shù)據(jù)存儲（DataStore）系統(tǒng)，而非數(shù)據(jù)庫（DataBase）系統(tǒng)。Hadoop體系結構——Hive

Hive是建立在Hadoop之上的數(shù)據(jù)倉庫基礎架構，為從分布式存儲中查詢和管理大數(shù)據(jù)提供方便。Hive支持下列特性或方法：方便于數(shù)據(jù)提取、傳輸、裝載的工具（ETL)一種對多樣性數(shù)據(jù)進行結構化的格式化機制從HDFS或是其他，比如Hbase，數(shù)據(jù)存儲系統(tǒng)訪問文件通過MapReduce的擴展查詢機制（HQL)Hive定義了一種簡單的類SQL的查詢語言，HQL。HQL可以使用戶像使用SQL一樣查詢數(shù)據(jù)。并且允許使用MapReduce框架的程序員嵌入其自定義的mapper過程和reducer過程，以完成MapReduce框架內建功能完成不了的復雜分析。Hadoop體系結構——SparkSharkApacheSpark?

isafastandgeneralengineforlarge-scaledataprocessing./SharkisanopensourcedistributedSQLqueryengineforHadoopdata.Itbringsstate-of-the-artperformanceandadvancedanalyticstoHiveusers.數(shù)據(jù)挖掘利器——RRisafreesoftwareenvironmentforstatisticalcomputingandgraphics./下一代大規(guī)模計算集群的資源管理框架Hadoop集群應用1Hadoop集群應用2其他集群應用3Borg:/What-is-Borg-at-GoogleYARN:/developerworks/cn/opensource/os-cn-hadoop-yarn/Mesos:Torca:/thread-29998-1-2.htmlCorona:/hadoop-c