Hive大數(shù)據(jù)技術(shù)原理與實(shí)踐

1、Hive大數(shù)據(jù)技術(shù)原理與實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)2提綱Hive 簡(jiǎn)介Hive 原理與架構(gòu)123HQL3Hive是建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)架構(gòu)提供了一系列工具，可以用來(lái)進(jìn)行數(shù)據(jù)提取轉(zhuǎn)換加載，這是一種 可以存儲(chǔ)、查詢(xún)和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。使用HDFS作為底層存儲(chǔ)使用MapReduce作為執(zhí)行層使用HQL作為查詢(xún)接口Hive簡(jiǎn)介優(yōu)點(diǎn)，海量結(jié)構(gòu)化數(shù)據(jù)分析匯總高可靠性，高容錯(cuò)性將復(fù)雜的MapReduce編寫(xiě)任務(wù)簡(jiǎn)化為SQL語(yǔ)句。大大提升了開(kāi)發(fā)效率靈活的數(shù)據(jù)存儲(chǔ)TextFile， RCFile， ORC， SequenceFile， CSV， Parquest 自定義格式可

2、擴(kuò)充UDF/UDAF/UDTF缺點(diǎn)延遲較高，性能有提升空間不支持事務(wù)類(lèi)操作4Hive提供數(shù)據(jù)提取、轉(zhuǎn)換、加載功能，并可 用類(lèi)似于SQL的語(yǔ)法，對(duì)HDFS海量數(shù)據(jù)庫(kù)中 的數(shù)據(jù)進(jìn)行查詢(xún)統(tǒng)計(jì)等操作。 Hive常用于以 下幾個(gè)方面：數(shù)據(jù)匯總（每天/每周用戶(hù)點(diǎn)擊數(shù)，點(diǎn)擊排行）非實(shí)時(shí)分析（日志分析，統(tǒng)計(jì)分析）數(shù)據(jù)挖掘（用戶(hù)行為分析，興趣分區(qū)，區(qū)域展示）Hive 應(yīng)用場(chǎng)景5提綱Hive 簡(jiǎn)介Hive 原理與架構(gòu)123HQL6MetaStore : 存儲(chǔ)表，列和Partition等 元數(shù)據(jù)，為關(guān)系型數(shù)據(jù)庫(kù)。Driver : 管理HiveQL執(zhí)行的生命周期 并貫穿Hive任務(wù)整個(gè)執(zhí)行期間。 Compiler :

3、 編譯HiveQL并將其轉(zhuǎn)化為 一系列相互依賴(lài)的Map/Reduce任務(wù)。 Optimizer : 優(yōu)化器，分為邏輯優(yōu)化器 和物理優(yōu)化器，分別對(duì)HiveQL生成 的執(zhí)行計(jì)劃和MapReduce任務(wù)進(jìn)行優(yōu) 化。Executor : 按照任務(wù)的依賴(lài)關(guān)系分別 執(zhí)行Map/Reduce任務(wù)。 ThriftServer : 提供thrift接口，作為JDBC和ODBC的服務(wù)端，并將Hive和其他應(yīng)用程序集成起來(lái)。Clients : 包含命令行接口(CLI/Beeline) 和JDBC/ODBC 接口，為用戶(hù)訪(fǎng)問(wèn)提Hive 架構(gòu)7Metastore保存表、分區(qū)、Index、視 圖信息默認(rèn)使用Derby作為

4、數(shù)據(jù)庫(kù) 庫(kù)，缺點(diǎn)是單一session訪(fǎng)問(wèn)可以變更為MySQL或者PostgreSQL等JDO接口的數(shù) 據(jù)庫(kù)HiveServer2改進(jìn)版的HiveServer支持多客戶(hù)端的并發(fā)操作支持用戶(hù)認(rèn)證Hive 架構(gòu)8表Table隸屬數(shù)據(jù)庫(kù)的表每個(gè)表在HDFS有對(duì)應(yīng)的數(shù)據(jù)目錄分區(qū)Partition類(lèi)似于列上的索引對(duì)應(yīng)列值的分區(qū)組合是HDFS的一組嵌套子目錄桶Buckets對(duì)列基于哈希做拆分在分區(qū)子目錄里每個(gè)桶一個(gè)HDFS文件外部表 external table指向已存的HDFS數(shù)據(jù)目錄可創(chuàng)建表和分區(qū) 分區(qū)列就是對(duì)應(yīng)外部目錄的標(biāo)記Hive 數(shù)據(jù)模型9簡(jiǎn)單類(lèi)型Integers:TINYINT, SMALLIN

5、T, INT, BIGINT.Boolean: BOOLEAN.Floating point numbers: FLOAT, DOUBLE .String: STRING.復(fù)合類(lèi)型Structs: a INT; b INT.Maps: Mgroup.Arrays: a, b, c, A1 returns b.Hive 數(shù)據(jù)類(lèi)型10提綱Hive 簡(jiǎn)介Hive 原理與架構(gòu)123HQL11創(chuàng)建表的語(yǔ)句：CREATE EXTERNAL TABLE IF NOT EXISTS table_name(col_name data_type COMMENT col_comment, .) COMMENT ta

6、ble_commentPARTITIONED BY (col_name data_type COMMENT col_comment, .) CLUSTERED BY (col_name, col_name, .) SORTED BY (col_name ASC|DESC, .) INTO num_buckets BUCKETS刪除表Drop Table tablename;刪除一個(gè)內(nèi)部表的同時(shí)會(huì)刪除表的元數(shù)據(jù)和數(shù)據(jù)刪除一個(gè)外部表，只刪除元數(shù)據(jù)而保留數(shù)據(jù)HQL- DDL12增加分區(qū)ADD PARTITIONSALTER TABLE table_name ADD partition_spec LO

7、CATION location1 partition_spec LOCATION location2 其中partition_spec 的格式為：PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, .)例 ：alter table test_partition add partition (dt=2012-03-12) location /tmp/test_hive.txt;刪除分區(qū)DROP PARTITIONALTER TABLE table_name DROP partiti

8、on_spec, partition_spec,.例：alter table test_partition drop partition (dt=2012-03-12)加載數(shù)據(jù)LOAD DATA LOCAL INPATH filepath OVERWRITE INTO TABLE tablename PARTITION(partcol1=val1, partcol2=val2 .)HQL- DML13select語(yǔ)法結(jié)構(gòu)SELECT ALL | DISTINCT select_expr, select_expr, . FROM table_reference WHERE where_condition GROUP BY col_list CLUSTER BY col_list | DISTRIBUTE BY col_list SORT BY col_lis