2023學(xué)年完整公開課版Impala架構(gòu)

Impala架構(gòu)介紹Impala架構(gòu)Impala架構(gòu)優(yōu)缺點(diǎn)01

Impala架構(gòu)Impala架構(gòu)Impala，是Cloudera在受到Google的Dremel啟發(fā)下，開發(fā)的實(shí)時(shí)交互SQL大數(shù)據(jù)查詢工具。它沒(méi)有使用緩慢的Hive+MapReduce批處理，而是通過(guò)使用與商用并行關(guān)系數(shù)據(jù)庫(kù)中，類似的分布式查詢引擎，由：QueryPlanner、QueryCoordinator、QueryExecEngine三部分組成。直接從HDFS或HBase中，使用SELECT、JOIN和統(tǒng)計(jì)函數(shù)查詢數(shù)據(jù)，大大降低了延遲。Impala架構(gòu)DataNode運(yùn)行在同一節(jié)點(diǎn)上，由Impalad進(jìn)程表示。一個(gè)datanode對(duì)應(yīng)一個(gè)impalad，它接收客戶端的查詢請(qǐng)求，通過(guò)JNI調(diào)用java前端解釋SQL查詢語(yǔ)句，生成查詢計(jì)劃樹。通過(guò)調(diào)度器把執(zhí)行計(jì)劃分發(fā)給具有相應(yīng)數(shù)據(jù)的其它Impalad進(jìn)行執(zhí)行），讀寫數(shù)據(jù)，并行執(zhí)行查詢；把結(jié)果通過(guò)網(wǎng)絡(luò)流式的傳送回給Coordinator，由Coordinator返回給客戶端。Impalad也與State

Store保持連接，用于確定哪個(gè)Impalad是健康的，可以接受新的工作。在Impalad中啟動(dòng)三個(gè)ThriftServer:beeswax_server（連接客戶端），hs2_server（借用Hive元數(shù)據(jù)），be_server（Impalad內(nèi)部使用）和一個(gè)ImpalaServer服務(wù)。Impala由三個(gè)服務(wù)組成：impalad、statestored、catalogdImpaladImpala架構(gòu)Impala由三個(gè)服務(wù)組成：impalad、statestored、catalogdImpaladStatestored跟蹤集群中的Impalad的健康狀態(tài)及位置信息，由statestored進(jìn)程表示。它通過(guò)創(chuàng)建多個(gè)線程來(lái)處理Impalad的注冊(cè)訂閱和與各Impalad保持心跳連接，各Impalad都會(huì)緩存一份StateStore中的信息。當(dāng)State

Store離線后，因?yàn)镮mpalad有StateStore的緩存仍然可以工作；但會(huì)因?yàn)橛行㊣mpalad失效了，而已緩存數(shù)據(jù)無(wú)法更新，導(dǎo)致把執(zhí)行計(jì)劃分配給了失效的Impalad，導(dǎo)致查詢失敗。Impala架構(gòu)Impala由三個(gè)服務(wù)組成：impalad、statestored、catalogdImpaladStatestoredCatalogdCatalogd作為metadata訪問(wèn)網(wǎng)關(guān)，從HiveMetastore等外部catalog中獲取元數(shù)據(jù)信息，放到impala自己的catalog結(jié)構(gòu)中。impalad執(zhí)行ddl命令時(shí)通過(guò)catalogd由其代為執(zhí)行，該更新則由statestored廣播。Impala通過(guò)詞法分析生成執(zhí)行計(jì)劃，執(zhí)行計(jì)劃表現(xiàn)為一棵完整的執(zhí)行計(jì)劃樹，可以更自然地分發(fā)執(zhí)行計(jì)劃到各個(gè)Impalad執(zhí)行查詢。Impala架構(gòu)第一階段對(duì)sql進(jìn)行解析、分析、優(yōu)化。包括RBO和CBO，統(tǒng)計(jì)信息目前只有表大小和列的NDV，無(wú)histogram。第二階段生成分布式的執(zhí)行計(jì)劃，確定是否要加exchange節(jié)點(diǎn)（是否存在partitioned

join或hashaggregation），選擇joinstrategy（partitionedjoinorbroadcast

join）等，最后以exchange為邊界將計(jì)劃分段（fragment），作為impala的基本運(yùn)行單元。impala的前端負(fù)責(zé)將sql轉(zhuǎn)化成執(zhí)行計(jì)劃（java），包含兩個(gè)階段：?jiǎn)喂?jié)點(diǎn)計(jì)劃生成、并行化和分段。02

優(yōu)缺點(diǎn)優(yōu)缺點(diǎn)優(yōu)點(diǎn)支持SQL查詢，快速查詢大數(shù)據(jù)?？梢詫?duì)已有數(shù)據(jù)進(jìn)行查詢，減少數(shù)據(jù)的加載，轉(zhuǎn)換。多種存儲(chǔ)格式可以選擇（Parquet,Text,Avro,RCFile,SequeenceFile）?？梢耘cHive配合使用。優(yōu)缺點(diǎn)缺點(diǎn)不支持用戶定義