Hive平臺功能介紹

1、技術(shù)創(chuàng)新，變革未來Hive平臺功能介紹內(nèi)容Hive模式設(shè)計Hive列存儲Hive Join Hive FunctionHive例子Hive模式設(shè)計內(nèi)部表和外部表分區(qū)和分桶序列化/反序列化(SerDe)Hive模式設(shè)計內(nèi)部表和外部表表類型內(nèi)部表外部表語句create tablecreate external table是否移動數(shù)據(jù)到warehouse是否刪除table，是否刪除數(shù)據(jù)是否，僅刪除元數(shù)據(jù)源數(shù)據(jù)本地磁盤數(shù)據(jù)或HDFS 數(shù)據(jù)已經(jīng)在HDFS中存在的 數(shù)據(jù)創(chuàng)建過程和數(shù)據(jù)加載過程分別獨立完成（也可以 在同一個語句中完成， 但數(shù)據(jù)不會移動到數(shù)據(jù) 倉庫）加載數(shù)據(jù)和創(chuàng)建表同時完成Hive模式設(shè)計內(nèi)部

2、表和外部表內(nèi)部表對數(shù)據(jù)擁有所有權(quán)，將內(nèi)部表數(shù)據(jù)保存在 hive.metastore.warehouse.dir目錄下，刪除內(nèi)部表時， 相應(yīng)的數(shù)據(jù)也會被刪除Hive 對外部表的數(shù)據(jù)僅僅擁有使用權(quán)外部表只有一個過程，加載數(shù)據(jù)和創(chuàng)建表同時完成（CREATE EXTERNAL TABLELOCATION），實際數(shù)據(jù)是存儲在LOCATION后面指定的 HDFS 路徑中，并不會 移動到數(shù)據(jù)倉庫目錄中Hive模式設(shè)計內(nèi)部表和外部表create table order(cid string, quantity int, price int) row format delimited fields termin

3、ated by , lines terminated by n stored as textfile;LOAD DATA INPATH /customer_order/order INTO TABLE order;drop table order;create external table order(cid string, quantity int, price int) row format delimited fields terminated by ,lines terminated by n stored as textfile LOCATION /customer_order/or

4、der;drop table order;Hive模式設(shè)計內(nèi)部表和外部表外部表使用場景：導(dǎo)入hdfs中的源數(shù)據(jù)內(nèi)部表使用場景：存放Hive處理的中間表、結(jié)果表如：每天將日志數(shù)據(jù)傳入HDFS，一天一個目錄Hive基于流入的數(shù)據(jù)建立外部表，將每天HDFS上的原始 日志映射到外部表的天分區(qū)中在外部表基礎(chǔ)上做統(tǒng)計分析，使用內(nèi)部表存儲中間表、 結(jié)果表，數(shù)據(jù)通過SELECT+INSERT進入內(nèi)部表Hive模式設(shè)計分區(qū)和分桶Hive通常對數(shù)據(jù)進行全盤掃描，以滿足查詢條件分區(qū)的優(yōu)勢在于利用維度分割數(shù)據(jù)，Hive只加載需要的 數(shù)據(jù)常用的分區(qū)方式：按天、地域分區(qū)占用數(shù)據(jù)表中的一個列名，但并不占用表的實際存 儲空間

5、HDFS不適合存儲大量小文件，理想分區(qū)方案不應(yīng)該導(dǎo)致過多的分區(qū)文件可以用分桶來解決過多小文件的問題Hive模式設(shè)計序列化/反序列化將一條非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成Hive可以識別的記錄對絕對大多數(shù)常用的數(shù)據(jù)格式，Hive官方或者第三方都 提供了相應(yīng)的SerDe，如：RegexSerDe CSVSerde JsonSerde執(zhí)行sql時不再需要關(guān)心如何解析特殊格式的數(shù)據(jù)Hive模式設(shè)計序列化/反序列化/data/messages文件為Json格式JsonSerde讀取messages中的每一條記錄，并解析成Json Object，在代碼中以$表示如“msg_id”=“$.id”，表示id的數(shù)據(jù)內(nèi)容轉(zhuǎn)化成

6、messages表 中的msg_idHive數(shù)據(jù)存儲結(jié)構(gòu)行式存儲 VS 列式存儲Hive數(shù)據(jù)存儲結(jié)構(gòu)行式存儲 VS 列式存儲在線事務(wù)處理（OLTP）側(cè)重于CRUD操作，每次操作都是某幾行記錄，每 次查詢只需從硬盤中加載少量的數(shù)據(jù)行式存儲對這類操作非常有效基于列的存儲對于查詢一整行記錄反而更低效在線分析處理（OLAP）側(cè)重于數(shù)據(jù)分析，更傾向于訪問百萬、千萬甚至上 億條記錄，但是真正需要的數(shù)據(jù)大部分是每行中的某幾列行式存儲會使得花費時間加載大量無效數(shù)據(jù)基于列的存儲，磁盤IO會更高效基于列的存儲，更適合壓縮Hive數(shù)據(jù)存儲結(jié)構(gòu)行式存儲 VS 列式存儲Hive支持的主要數(shù)據(jù)格式Hive數(shù)據(jù)存儲結(jié)構(gòu)行式

7、存儲 VS 列式存儲Parquet是在Hadoop中受到廣泛支持的列式存儲格式支持非常高效的壓縮方法和編碼格式Parquet借鑒DremelHive 語句order by會做全局排序用order by 記得加 limit盡可能用sort by，每個reduce上的結(jié)果有序（即局部有 序）Hive Joinredcue join/shuffle join/common joinmap join/broadcast joinsort merge bucket joinleft semi joinleftouter joinright outer joinfull outer joinHive Jo

8、inJOIN類型優(yōu)點缺點適用場景REDUCE JOIN可以完成各種JOIN操作耗時長，占用 更多網(wǎng)絡(luò)資源任何表大小， 沒有時間要求MAP JOIN可以在map端完成JOIN操作， 執(zhí)行時間短待連接的兩個 表必須有一個 “小表”，“小表” 必須加載內(nèi)存事實表和維表SORT MERGE BUCKET JOIN轉(zhuǎn)換為小表與 小表join，執(zhí)行 時間短，可以 做全連接，幾 乎不受內(nèi)存限 制表必須分桶， 而且桶內(nèi)數(shù)據(jù) 有序兩個大表，提 前分桶排序Hive FunctionWordCount多行轉(zhuǎn)一行一行轉(zhuǎn)多行Hive Function多行轉(zhuǎn)一行Hive Function一行轉(zhuǎn)多行問題內(nèi)部表和外部表有什么區(qū)別Partition和Bucket有什么區(qū)別map join、reduce Join、sort merge bucket join分別適用 于什么場景Hive 例子物流Driver：保存駕駛員的基本信息，字段分別為driverid、firstname、 lastname、emailTimeSheet：保存駕駛員的工作量，字段分別為id、driverid、week、hours、milesHive 例子訂單Date：保存每天所屬的月份、星期、季度等屬性，字段分別為日期、年月、年、月、日、周幾、第幾周、季度、旬、半月Order：保存訂單信