大數(shù)據(jù)技術(shù)分享

大數(shù)據(jù)技術(shù)分享0102數(shù)據(jù)存儲儲/Hbase,MongoDB03數(shù)據(jù)分析析/Hive,,MR,,R04實時計算算/Storm,Spark05數(shù)據(jù)傳輸輸/Sqoop,Kafka演講提綱綱06數(shù)據(jù)采集集/Flume,KafkaDPI大大數(shù)據(jù)架架構(gòu)NoSql數(shù)據(jù)據(jù)庫NoSql

(NotOnlySql)hbaseMongoDBLucene/Solr等Hbase是什什么HBase是ApacheHadoop中的一一個子項項目，Hbase依托托于Hadoop的HDFS作為最最基本存存儲基礎(chǔ)礎(chǔ)單元，，通過使使用hadoop的DFS工工具就可可以看到到這些這這些數(shù)據(jù)據(jù)存儲儲文件夾夾的結(jié)構(gòu)構(gòu),還可可以通過過Map/Reduce的框框架(算算法)對對HBase進進行操作作，如下圖所示：：HRegionServer、HRegion、、Hmemcache、Hlog、、HStore之間的的關(guān)系HBase表中中的數(shù)據(jù)據(jù)與HRegionServer的的分布關(guān)關(guān)系為什么采采用HBase？HBase不不同于一一般的關(guān)關(guān)系數(shù)據(jù)據(jù)庫,它它是一個個適合于于非結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)存儲的的數(shù)據(jù)庫庫.所謂謂非結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)存儲就就是說HBase是基基于列的的而不是是基于行行的模式式，這樣樣方面讀讀寫大數(shù)數(shù)據(jù)的數(shù)據(jù)。hbase是基基于列存存儲，查查詢速度度為秒級級一個數(shù)據(jù)據(jù)行擁有有一個可可選擇的的鍵和任任意數(shù)量量的列。。表是疏疏松的存存儲的，，因此用用戶可以以給行定定義各種種不同的的列什么是列列存儲？？什么是列列存儲？？列存儲儲不同于于傳統(tǒng)的的關(guān)系型型數(shù)據(jù)庫庫，其數(shù)數(shù)據(jù)在表表中是按按行存儲儲的，列列方式所所帶來的的重要好好處之一一就是，，由于查查詢中的的選擇規(guī)規(guī)則是通通過列來來定義的的，因此此整個個數(shù)據(jù)庫庫是自動動索引化化的。按按列存儲儲每個字字段的數(shù)數(shù)據(jù)聚集集存儲，，在查詢詢只需要要少數(shù)幾幾個字段段的時候候，能大大大減少少讀取的的數(shù)據(jù)量量，一個個字段的的數(shù)據(jù)聚聚集存儲儲，那就就更容容易為這這種聚集集存儲設設計更好好的壓縮縮/解壓壓算法。。這張圖圖講述了了傳統(tǒng)的的行存儲儲和列存存儲的區(qū)區(qū)別：MySQL中現(xiàn)現(xiàn)有的表表結(jié)構(gòu)遷移至HBase中的的表結(jié)構(gòu)構(gòu)原來系統(tǒng)統(tǒng)中有2張表blogtable和和comment表，，采用HBase后只只有一張張blogtable表，如如果按照照傳統(tǒng)的的RDBMS的的話，blogtable表表中的列列是固定定的，比比如schema定定義了Author,,Title,,URL,text等等屬性，，上線后后表字段段是不能能動態(tài)增增加的。。但是如如果采用用列存儲儲系統(tǒng)，，比如Hbase，那那么我們們可以定定義blogtable表，，然后定定義info列列族，，User的數(shù)數(shù)據(jù)可以以分為：：info:title,,info:author,,info::url等，，如果后后來你又又想增加加另外的的屬性，，這樣很很方便只只需要info:xxx就就可以以了。對于Rowkey你你可以理理解rowkey為為傳統(tǒng)RDBMS中的的某一個個行的主主鍵，Hbase是不不支持條條件查詢詢以及Orderby等查查詢，因因此Rowkey的的設計就就要根據(jù)據(jù)你系統(tǒng)統(tǒng)的查詢詢需求來來設計了了額。Hbase中中的記錄錄是按照照rowkey來排序序的，這這樣就使使得查詢詢變得非非?？?。。hive簡介Hive是基于于hadoop構(gòu)建的的數(shù)據(jù)倉倉庫基礎(chǔ)礎(chǔ)架構(gòu)，，通過提提供一系系列的工工具，使使得用戶戶能夠方方便的做做數(shù)據(jù)ETL，，數(shù)據(jù)結(jié)結(jié)構(gòu)化，，并針對對存放在在hadoop上的海海量數(shù)據(jù)據(jù)進行查查詢和分分析hive的設計計目標是是：可伸伸縮、可可擴展、、容錯及及輸入格格式松耦耦合。數(shù)據(jù)單元元按照數(shù)據(jù)據(jù)的粒度度大小，，hive數(shù)據(jù)據(jù)可以被被組織成成：1）databases：避避免不不同表產(chǎn)產(chǎn)生命名名沖突的的一種命命名空間間2）tables：具具有相同同scema的的同質(zhì)數(shù)數(shù)據(jù)的集集合partitions：一個個表可以以有一個個或多個個決定數(shù)數(shù)據(jù)如何何存儲的的partitionkeybuckets（或clusters）：：在同一一個partition中的的數(shù)據(jù)可可以根據(jù)據(jù)某個列列的hash值值分為多多個bucket。partition和和bucket并非必必要，但但是它們們能大大大加快數(shù)數(shù)據(jù)的查查詢速度度。數(shù)據(jù)類型型（1）簡簡單類型型：TINYINT-1byteintegerSMALLINT--2byteintegerINT--4byteintegerBIGINT--8byteBOOLEAN-TRUE/FALSEFLOAT--單精精度DOUBLE--雙雙精度STRING--字字符串集集合（2）復復雜類型型：Structs：structs內(nèi)部的的數(shù)據(jù)可可以通過過DOT（.））來存取取，例如如，表中中一列c的類型型為STRUCT{aINT;bINT}}，我們們可以通通過c..a來訪訪問域a。Maps（Key-Value對））：訪問問指定域域可以通通過[''elementname']進進行，例例如，一一個MapM包含了了一個group->>gid的k--v對，，gid的值可可以通過過M[''group'']來獲獲取。Arrays：：array中中的數(shù)據(jù)據(jù)為相同同類型，，例如，，假如arrayA中元素素['a',''b',,'c'']，則則A[1]的值值為'b'。內(nèi)建運算算符和函函數(shù)包括關(guān)系系運算符符(A==B,A!==B,A<B等等））算術(shù)運算算符（A+B,,A**B,A&B,A|B等等等）邏輯運算算符（A&&B,A|B等等等）復雜類型型上的運運算符（（A[n],M[key]],S.x））各種內(nèi)建建函數(shù)。。語言能力力hive查詢語語言提供供基本的的類sql操作作，這些些操作基基于table和partition，包包括：1.使使用where語句過過濾制定定行2.使使用select查找找指定列列3.join兩張table或多張表表4.groupby5.一一個表的的查詢結(jié)結(jié)果存入入另一張張表6.將將一個表表的內(nèi)容容存入本本地目錄錄7.將將查詢結(jié)結(jié)果存儲儲到hdfs上上8.管管理table和partition(creat、drop、alert)9.hive提提供jdbc功功能，方方便從關(guān)關(guān)系型數(shù)數(shù)據(jù)庫中中讀取數(shù)數(shù)據(jù)Hive和普通通數(shù)據(jù)庫庫的區(qū)別別由于Hive采采用了SQL的的查詢語語言HQL，因因此很容容易將Hive理解為為數(shù)據(jù)庫庫。Spark是什什么？參考spark學習..ppt由于Spark是由Scala語言言編寫的的，學習習Spark首首先要有有Scala基基礎(chǔ)Scala的學學習可參參考以下下學習網(wǎng)網(wǎng)站http:///zh..scala--//#/overviewhttp:///twitter.github..io//scala__school/zh_cn/DPI大大數(shù)據(jù)平平臺1Flume日志采集集Flume日志采集集Flume日志采集集大數(shù)據(jù)平平臺CDH5.3UI展現(xiàn)現(xiàn)（報表、、柱狀圖圖、曲線圖等等）存儲(hbase、、mysql))查詢接口口分析(hive、mr)以往項目目架構(gòu)圖圖安徽省公公安廳圖圖云項目目kafka服務務器（收集實實時數(shù)據(jù)據(jù)，轉(zhuǎn)發(fā)）全國緝查查布控數(shù)據(jù)庫（數(shù)據(jù)源源）二次識別別機（圖片