大數(shù)據(jù)理論與實(shí)踐第11講分布式sql引擎inceptor

2345InceptorSQLInceptorPL/SQL23451什么是概用于數(shù)據(jù)倉(cāng)庫(kù)和交互式分析的大數(shù)據(jù)平臺(tái)軟基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)分布式通用SQL引基于Hive和Spark技術(shù)打特Hadoop領(lǐng)域?qū)QL支持最完

Inceptor簡(jiǎn)什么是特支持完整分布式事務(wù)處優(yōu)異的大數(shù)據(jù)處理和分析性 －與ApacheHive提供便捷的SQL、PL/SQL開(kāi)發(fā)調(diào)試輔助工具

Inceptor簡(jiǎn)

Inceptor簡(jiǎn)

Inceptor簡(jiǎn)（JDBC/（JDBC/（SQL/2

Inceptor原WebWebHadoopHadoopInceptorServer計(jì)算引SQL－SQLParser：SQL語(yǔ)法解析－Rule-based&Cost-basedOptimizer－CodeGeneratorPL/SQL－Procedure 過(guò)程解析－ParallelOptimizer

Inceptor原InceptorServer計(jì)算引Transaction －大數(shù)據(jù)量下的高穩(wěn)定計(jì)算資－Executor－Web可視化配

Inceptor原Inceptor元數(shù)元數(shù)據(jù)主要包元數(shù) 在TxSQL（MySQL集群

Inceptor原CLIWeb－HUE：開(kāi)源的ApacheHadoopUI－Polit：星環(huán)打造的輕量級(jí)自助式BI分析工－高效的InceptorSQLIDE－支持主流的關(guān)系數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)，如：Oracle、DB2、MySQL、Hive data、SAP

Inceptor原

Inceptor原數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)是一個(gè)包含若干 名空間和磁 ，類(lèi)似于RDBMS中的數(shù)據(jù)系統(tǒng)會(huì)為每個(gè)數(shù)據(jù)庫(kù)創(chuàng)建一 名=數(shù)據(jù)庫(kù)名通常無(wú)法刪除包含表的數(shù)據(jù)庫(kù)，應(yīng)該先刪除表，再刪除數(shù)據(jù)表表是數(shù)據(jù)管理 的基本對(duì)象，包含若干字段，類(lèi)似于RDBMS中的表的元數(shù) 在Metastore中，表的實(shí)際數(shù) 在HDFS、Holodesk、Hyperbase和Search按所有權(quán)分 中 ③刪除內(nèi)表時(shí)，會(huì)同時(shí)刪除表數(shù)據(jù)，以及Metastore中的元數(shù)表按所有權(quán)分 ③刪除外表時(shí)，不會(huì)刪除表數(shù)據(jù)，但會(huì)刪除Metastore 格式分①系統(tǒng)默認(rèn)的表類(lèi)型，無(wú)壓縮， ①優(yōu)化的列

Inceptor原

Inceptor原表 格式分①由ORC表衍生而來(lái)，繼承了ORC表的所有特性，支持完整CURD（單條和批量Insert、Update②多版本文 －Holodesk ①數(shù) 在Hyperbase上，支持多種索引，以及Insert、Update、－ES原始數(shù)據(jù)和索引數(shù)據(jù) 在ElasticSearch中，支持模糊查詢和全文檢索，適用于綜合搜2.2

Inceptor原分區(qū)目的含義：將表按照某個(gè)或某幾個(gè)字段（分區(qū)鍵）劃分為更小的數(shù)據(jù)分區(qū)數(shù) 于 下的 中，一個(gè)分區(qū)對(duì)應(yīng)一個(gè) 名為“分區(qū)鍵如何選擇分區(qū)－分區(qū)鍵通常高頻出現(xiàn)在SelectWhere－為了避免產(chǎn)生過(guò)多的 CREATECREATETABLEpm.employees( )PARTITIONEDBY(state……2.2

Inceptor原分桶含義：通過(guò)分桶鍵哈希取模（keyhashcode%N）的方式，將表或分區(qū)中的數(shù)據(jù)隨機(jī)、均勻分發(fā)到N個(gè)桶中，桶數(shù)N一般為質(zhì)數(shù)，桶編號(hào)為0,1,…,N-ModMod BucketBucketBucket2.2分桶?

Inceptor原 －桶文件的大小應(yīng)控制在100~200MB之間（ORC表壓縮后 作－提高Join查詢效率：如果兩個(gè)表的Join列都做了分桶，且分桶數(shù)相同或成倍數(shù)，那么相同列值的用2.2讀時(shí)模含義：數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)時(shí) 查數(shù)據(jù)的規(guī)范性，而是在查詢時(shí)再驗(yàn)特

Inceptor原3安裝方TDH部署過(guò)程中，選擇Inceptor服

Inceptor安裝與配 安裝方TDH部署完成后，在TranswarpManager中單獨(dú)添加Inceptor服

Inceptor安裝與配配置方TranswarpManagerInceptor配

Inceptor安裝與配

Inceptor安裝與配Beeline是HiveServer2支持的一個(gè)新命令行 ，它是基于SQLLineCLI的JDBC客戶InceptorServer使用Beeline作為命令行工 中包含Beeline，安裝后即可使先認(rèn)證登錄，然后直接輸入并執(zhí)行SQL語(yǔ)/*無(wú)認(rèn)證#beeline-ujdbc:hive2://<server_ip|eg:beeline-u#beeline-u"jdbc:hive2://<server_ip|hostname>:10000/<database_name>"-n<username>-peg:beeline-u"jdbc:hive2://172.16.140.12:10000/default"-nhive-p#beeline-u"jdbc:hive2://<server_ip|hostname>:10000/<database_name>;eg:beeline-u"jdbc:hive2://172.16.140.12:10000/default;principal=hive/tdh-4InceptorSQLSQL

Inceptor1到1到171'a','a',INTERVAL'10'

InceptorSQL數(shù)據(jù)類(lèi)型：JDBCvs.

InceptorSQL數(shù)據(jù)類(lèi)型：Oraclevs.

InceptorTimestampWithTimestampWithLocalSQL數(shù)據(jù)類(lèi)型：DB2vs.

InceptorSQLDDL數(shù)據(jù)庫(kù)操Create/Drop/Alter/Use/Describe/Show表的基本操Create/Drop/Alter/Truncate/Describe/Show表的高級(jí)操分分函數(shù)操Create/Drop/Describe/Show

InceptorSQLDDL創(chuàng)建數(shù)據(jù)

InceptorCREATECREATEDATABASE[IFNOTEXISTS][COMMENT [WITH刪除數(shù)據(jù)庫(kù)（先刪表后刪庫(kù)('<property_name>'='<property_value>',DROPDROPDATABASE[IFEXISTS]修改數(shù)據(jù)庫(kù)屬ALTERALTERDATABASE<database_name>SETDBPROPERTIES('<property_name>'='<property_value>',列出所有數(shù)據(jù)SHOWSHOW切換數(shù)據(jù)庫(kù)、查看數(shù)據(jù)庫(kù)詳U(kuò)SE<database_name>;USE<database_name>;完整建表語(yǔ)[(<col_name><data_type>[COMMENT ment>'][,<data_type>...])][COMMENT [PARTITIONEDBY(<partition_key><data_type>[COMMENT[,<partition_key><data_type>...])][CLUSTEREDBY(<col_name>[SORTEDBY(<col_name>[ASC|DESC][,<col_name>INTO<num_buckets>[][LOCATION[TBLPROPERTIES('<property_name>'='<property_value>',

Inceptor

Inceptor創(chuàng)建內(nèi)通過(guò)自定義Schema來(lái)創(chuàng)建內(nèi) 在數(shù)據(jù) 下的同名 CREATECREATETABLE[(<col_name><data_type>[,<col_name><data_type>通過(guò)已存在的表或視圖來(lái)創(chuàng)建內(nèi)－ CREATECREATETABLELIKE通過(guò)查詢結(jié)果來(lái)創(chuàng)建內(nèi)－ Schema， 數(shù)CREATETABLEASSELECT創(chuàng)建外創(chuàng)建外表時(shí)，通常要指定數(shù) 位刪除外表

InceptorCREATECREATEEXTERNALTABLE(<col_name><data_type>[,<col_name><data_type>[LOCATION創(chuàng)建臨時(shí)臨時(shí)表僅在當(dāng)前Session可見(jiàn)，Session結(jié)束后即被刪除，且不支持分如果臨時(shí)表和永久表重名，在當(dāng)前Session中該表名指向臨時(shí)表，同名的永久表無(wú)CREATECREATETEMPORARYTABLE(<col_name><data_type>[,<col_name><data_type>4.2SQLDDL

Inceptor刪除對(duì)于內(nèi)表，表的元數(shù)據(jù)和數(shù)據(jù)都會(huì)被刪除；對(duì)于外表，只刪除元DROPDROPTABLE修改/*表重命名ALTERTABLE<table_name>RENAMETO/*修改表屬性ALTERTABLE<table_name>SETTBLPROPERTIES('<property_name>'='<property_value>'...);ALTERTABLE<table_name>SETSERDEPROPERTIES('<property_name>'='<property_value>'...);ALTERTABLE<table_name>SETLOCATION'<new_location>';/*增加、刪除、修改、替換列ALTERTABLE<table_name>ADDCOLUMNS(<col_spec>[,<col_spec>ALTERTABLE<table_name>DROP[COLUMN]ALTERTABLE<table_name>CHANGE<col_name><new_col_name><new_col_type>ALTERTABLE<table_name>RE CECOLUMNS(<col_spec>[,<col_spec>...])4.2SQLDDL

Inceptor清空清空表中的數(shù)TRUNCATETRUNCATETABLE查看表詳DESCRIBEDESCRIBETABLE列出當(dāng)前數(shù)據(jù)庫(kù)的所有SHOWSHOWTABLES4.2SQLDDL

Inceptor分分區(qū)表將數(shù)據(jù)按分區(qū)鍵的鍵 在 的 中 名為“分區(qū)鍵=鍵值Inceptor只支持TEXT表、ORC表、CSV表和Holodesk表的分區(qū)操單值分區(qū)范圍分區(qū)：一個(gè)分區(qū)對(duì)應(yīng)分區(qū)鍵的一個(gè)范圍（區(qū)間AAAAABCCC /inceptor1/user/hive/warehouse/default.db/psn/level=A4.2SQLDDL

Inceptor分區(qū)：?jiǎn)沃捣謩?chuàng)建單值分區(qū)時(shí)，分區(qū)鍵不能和表結(jié)構(gòu)中的列重復(fù)，因?yàn)榉謪^(qū)鍵 在分 名中，區(qū)數(shù)據(jù)中不包含分區(qū)鍵，否則會(huì)造成數(shù)據(jù)冗CREATECREATE[EXTERNAL]TABLE(<col_name><data_type>[,<col_name><data_type>...])PARTITIONEDBY(<partition_key><data_type>,...)[CLUSTEREDBY...][ROWFORMAT[STOREDAS[LOCATION[TBLPROPERTIES('<property_name>'='<property_value>',單值分區(qū)可分為兩4.2SQLDDL分區(qū)：?jiǎn)沃捣謱?shù)據(jù)寫(xiě)入靜態(tài)分

InceptorLOADDATA[LOCAL]INPATH'<path>’[OVERWRITE]INTOTABLEPARTITION(<partition_key>=<partition_value>[,<partition_key>=<partition_value>,INSERTOVERWRITETABLEPARTITION(<partition_key>=<partition_value>[,<partition_key>=<partition_value>,...])SELECT<select_statement>;/*/*追加寫(xiě)入INSERTINTOTABLEPARTITION(<partition_key>=<partition_value>[,<partition_key>=<partition_value>,SELECT4.2SQLDDL分區(qū)：?jiǎn)沃捣謱?shù)據(jù)寫(xiě)入動(dòng)態(tài)分

Inceptor/*/*開(kāi)啟動(dòng)態(tài)分區(qū)支持，并設(shè)置最大分區(qū)數(shù)*/sethive.exec.dynamic.partition=true;setINSERT(OVERWRITE|INTO)TABLEPARTITION([<spk>=<value>,...,]<dpk>,[...,SELECT一張表可同時(shí)被靜態(tài)建表時(shí)動(dòng)態(tài)分區(qū)鍵應(yīng)－因?yàn)镠DFS上的動(dòng)態(tài)分 向單值靜態(tài)分區(qū)寫(xiě)入數(shù)據(jù)時(shí)，沒(méi)有任何機(jī)制保證分區(qū)鍵的正確性，所以用戶必須自己確保據(jù)寫(xiě)入正確的分4.2SQLDDL

Inceptor分區(qū)：?jiǎn)沃捣謱蝹€(gè)分區(qū)大小和分區(qū)數(shù)量控制在合理范圍分區(qū)：添加、刪除、重命名、清空分ALTERALTERTABLE<table_name>ADDPARTITIONALTERTABLE<table_name>DROPPARTITIONALTERTABLE<table_name>PARTITION(<partition_key>=<value>)RENAMETOTRUNCATETABLE<table_name>PARTITION4.2SQLDDL分區(qū)：范圍分每個(gè)分區(qū)對(duì)應(yīng)分區(qū)鍵的一個(gè)區(qū)間，凡是落在指定區(qū)間內(nèi)的記錄都 在對(duì)應(yīng)的分區(qū)各范圍分區(qū)按順序排列，前一個(gè)分區(qū)的最大值即為后一個(gè)分區(qū)的最小創(chuàng)建范圍分

InceptorCREATECREATE[EXTERNAL]TABLE(<col_name><data_type>,<col_name><data_type>,...)PARTITIONEDBYRANGE(<partition_key><data_type>,...)(PARTITION[<partition_name>]VALUESLESSTHAN[PARTITION[<partition_name>]VALUESLESSTHAN]PARTITION[<partition_name>]VALUESLESSTHAN)[ROWFORMAT<row_format>][STOREDAS[LOCATION[TBLPROPERTIES('<property_name>'='<property_value>',4.2SQLDDL

Inceptor分區(qū)：范圍分所有范圍分區(qū)均需手工指定，可在建表時(shí)就添加分區(qū)，也可在建表后通過(guò)AlterTable添加或除分分區(qū)范圍為前閉后開(kāi)區(qū)間[最小值,最大值)，即ValuesLessThan的含可將最后一個(gè)分區(qū)的最大值定義為 MAXVALUE代表分區(qū)鍵的最大支持以InsertInto/Overwrite…Select的形式向范圍分區(qū)中寫(xiě)入數(shù)據(jù)，寫(xiě)入時(shí)無(wú)需像單值靜態(tài)區(qū)一樣指定分區(qū)鍵的值，形式上類(lèi)似于單值動(dòng)態(tài)分區(qū)寫(xiě)不支持將文件直接導(dǎo)入（LoadData）范圍分不支持范圍分區(qū)和單4.2SQLDDL分含義：按分桶鍵哈希取模的方式，將表中數(shù)據(jù)隨機(jī)、均勻地分發(fā)到若干桶文件目的：通過(guò)改變數(shù)據(jù) 分布，提升取樣、Join等特定任務(wù)的執(zhí)行效創(chuàng)建分桶－INTOBUCKETS設(shè)定桶的數(shù)量，SORTEDBY設(shè)定桶內(nèi)排序，默認(rèn)升

InceptorCREATECREATE[EXTERNAL]TABLE(<col_name><data_type>[,<col_name><data_type>[PARTITIONEDBYCLUSTEREDBY[SORTEDBY(<col_name>[ASC|DESC][,<col_name>INTO<num_buckets>BUCKETS[ROWFORMAT<row_format>][STOREDASTEXTFILE|ORC|CSVFILE][LOCATION[TBLPROPERTIES('<property_name>'='<property_value>',4.2SQLDDL

Inceptor分將數(shù)據(jù)寫(xiě)入分桶－寫(xiě)入分桶表只能通過(guò)Insert，而不能通過(guò)Load，因?yàn)長(zhǎng)oad只導(dǎo)入文件，并不－如果分桶鍵和排序鍵不同，且按降序排列，使用DistributebySortby/*開(kāi)啟強(qiáng)制分桶，并設(shè)置Reduce任務(wù)數(shù)為分桶數(shù)set .bucketing=setINSERT(OVERWRITE|INTO)TABLESELECT<select_expression>,<select_expression>,...FROMDISTRIBUTEBY<col_name>SORTBY<col_name>[ASC|DESC][,col_name[ASC|DESC],[CLUSTERBY<col_list>4.2SQLDDL分與分區(qū)鍵不同，分桶鍵必須是表結(jié)構(gòu)中分桶鍵和分桶數(shù)在建表時(shí)確定，不允許更ORC事務(wù)表必須分每個(gè)桶的文件大小應(yīng)在100~200MB之間（ORC表壓縮后的數(shù)據(jù)通常先分區(qū)后分

Inceptor4.2SQLDDL創(chuàng)建、刪除臨時(shí)函Inceptor生命周期有效，并非Session有效，重啟Inceptor后該函數(shù)失

Inceptor/*/*添加jarADDJAR[S]CREATETEMPORARYFUNCTION<function_name>ASDROPTEMPORARYFUNCTION[IFEXISTS]創(chuàng)建、刪除永久函CREATECREATEPERMANENTFUNCTION<function_name>AS[USINGJAR|FILE|ARCHIVE'<file_uri>'[,JAR|FILE|ARCHIVE'<file_uri>']DROPPERMANENTFUNCTION[IFEXISTS]列出所有函數(shù)、查看函數(shù)詳SHOWSHOWDESCRIBEFUNCTION4.3SQL數(shù)據(jù)導(dǎo)－Insert數(shù)據(jù)導(dǎo)出：Insert導(dǎo)查詢SQLDML注意事常見(jiàn)的DML只能用于ORC事務(wù)表、Hyperbase－例如：?jiǎn)涡袛?shù)據(jù)的增刪改操作，InsertvaluesInto、Delete、如果寫(xiě)入普通表，則將指定的文件或查詢結(jié)果放入表對(duì)應(yīng) 中， 不能有如果寫(xiě)入分區(qū)表，則必須將文件放入對(duì)應(yīng)的分

Inceptor4.3SQLDML數(shù)據(jù)預(yù)處要求：文件編碼為UTF-8，\n為換行符處理編－如果是ASCii碼，進(jìn)入外表中文顯示不正

Inceptor#file$filename/*#iconv-fgbk-tutf-8$sourceFile>/*ALTERTABLE<tableName>SETSERDEPROPERTIES('serialization'='GBK');4.3SQLDML數(shù)據(jù)預(yù)處處理?yè)Q行

Inceptor#dos2unix#vim4.3SQLDML

Inceptor將文件導(dǎo)入表或分區(qū)（Load導(dǎo)入將文件中的數(shù)據(jù)導(dǎo)入僅將數(shù)據(jù)文件移動(dòng)到表或分區(qū) 中，不會(huì)對(duì)數(shù)據(jù)進(jìn)行任何處理，如分桶、排不支持動(dòng)態(tài)分區(qū)導(dǎo)不推薦使用Load導(dǎo)入數(shù)據(jù)：在安全模式下的權(quán)限設(shè)置步驟較推薦的數(shù)據(jù)導(dǎo)入方法：創(chuàng)建外表，并將外表Location－<path>是文 路徑，如果標(biāo)注LOCAL，指向本地磁盤(pán)路徑，不標(biāo)則指向HDFS路－<path>既可指向文件也可指 －<path>是HDFS路徑時(shí)，執(zhí)行操作的用戶必須是<path>的Owner，同時(shí)Inceptor用戶必須有讀寫(xiě)LOADDATA[LOCAL]INPATH'<path>’[OVERWRITE]TABLE[PARTITION(<partition_key>=<partition_value>,4.3SQLDML將查詢結(jié)果導(dǎo)入表或分區(qū)（Insert導(dǎo)入單值靜態(tài)分區(qū)導(dǎo)

InceptorINSERTINSERT(OVERWRITE|INTO)TABLEPARTITION(<partition_key>=<partition_value>[,<partition_key>=<partition_value>,SELECT單值動(dòng)態(tài)分區(qū)導(dǎo)－靜態(tài)分區(qū)存在的問(wèn)題是需要手工輸入大量的Insert語(yǔ)/*開(kāi)啟動(dòng)態(tài)分區(qū)支持，并設(shè)置最大分區(qū)數(shù)*/sethive.exec.dynamic.partition=true;setINSERT(OVERWRITE|INTO)TABLEPARTITION([<spk>=<value>,...,]<dpk>,[...,SELECT4.3SQLDML將數(shù)據(jù)導(dǎo)出到本地或HDFS（Insert導(dǎo)出將查詢結(jié)果導(dǎo)出到本 ，可能生成多個(gè)文與導(dǎo)入數(shù)據(jù)不一樣，不能用InsertInto導(dǎo)出數(shù)據(jù)，只能用Insert－標(biāo)注LOCAL代表導(dǎo)出到本地磁盤(pán)，不標(biāo)代表導(dǎo)出到－DIRECTORY指定數(shù)據(jù)導(dǎo)出的文INSERTOVERWRITE[LOCAL]DIRECTORYSELECT[ROWFORMAT:[FIELDSTERMINATEDBYchar[ESCAPEDBYchar]][COLLECTIONITEMSTERMINATEDBYchar][MAPKEYSTERMINATEDBY[LINESTERMINATEDBY[NULLDEFINEDASchar][STOREDAS

Inceptor4.3SQLDMLSelect查過(guò)濾：Where、排序：OrderBy、Sort連接SELECT[ALL|DISTINCT]<select_expression>,<select_expression>,[WHERE<where_condition>][GROUPBY<col_list>][ORDERBY<col_name>[ASC|DESC][,col_name[ASC|DESC],...][CLUSTERBY<col_list>[DISTRIBUTEBY<col_list>][SORTBY<col_name>[ASC|DESC][,col_name[ASC|DESC],...]][LIMIT(M,)N|[OFFSETMROWSFETCHNEXT|FIRST]NROWS

Inceptor4.3SQLDML

Inceptor過(guò)Where：對(duì)全表數(shù)據(jù)進(jìn)行過(guò)濾，即在查詢結(jié)果分組之前，將不符合條件的數(shù)據(jù)過(guò)濾掉，且件中不能包含聚合函Having：對(duì)GroupBy產(chǎn)生的分組進(jìn)行過(guò)濾，即在查詢結(jié)果分組之后，將不符合條件的組過(guò)濾執(zhí)行次序：WhereGroupBySELECT*FROMuser_infoWHEREreg_date< ANDlevel='A'ORlevel='B';SELECT*FROMuser_infoWHEREreg_dateBETWEEN SELECTnameFROMuser_infoWHERElevelIN('A','B','C'',‘D');SELECTnameFROMuser_infoWHERElevelNOTIN('A','B','C'',SELECTname,avg(age)FROMWHEREreg_dateGROUPBYlevelHAVINGBYavg(age)<4.3SQLDML排OrderBy（全局排序

InceptorSELECTSELECT<select_expression>,<select_expression>,FROMORDERBY<col_name>[ASC|DESC][,col_name[ASC|DESC],SortBy（局部排序－當(dāng)啟動(dòng)多個(gè)Reduce任務(wù)時(shí)，OrderBy輸出一個(gè)文件且全局有序，SortBySELECTSELECT<select_expression>,<select_expression>,FROMSORTBY<col_name>[ASC|DESC][,col_name[ASC|DESC],4.3SQLDML分桶與聚－將DistributeBy列值相同的數(shù)據(jù)發(fā)送給同一個(gè)Reduce－通常與SortBy合并使用，實(shí)現(xiàn)先聚合后排序，且DistributeBy必須在SortBy

InceptorSELECTSELECT<select_expression>,<select_expression>,FROM<table_name>DISTRIBUTEBY<col_list>[SORTBY<col_name>[ASC|DESC][,col_name[ASC|DESC],...]Cluster－如果DistributeBy列和SortBy列完全相同，且按升序排列，那么ClusterByDistributeBySortSELECT<select_expression>,<select_expression>,FROMCLUSTERBY4.3SQLDML連接等價(jià)連－ON子句不能包含OR、BETWEEN、

InceptorSELECTSELECT<select_expression>,<select_expression>,FROM<table_