數(shù)據(jù)查詢 優(yōu)秀

數(shù)據(jù)查詢介紹Impala數(shù)據(jù)查詢Impala查詢詳解01

介紹Impala數(shù)據(jù)查詢Impala數(shù)據(jù)查詢Impala的定位，是一種新型的MPP查詢引擎。提到MPP數(shù)據(jù)庫首先想到的可能是GreenPlum：它的每一個節(jié)點完全獨立，節(jié)點直接不共享數(shù)據(jù)，節(jié)點之間的信息傳遞全都通過網(wǎng)絡(luò)實現(xiàn)。Impala是一個MPP計算引擎，它需要處理的數(shù)據(jù)存儲在：HDFS、Hbase或者Kudu之上。這些存儲引擎都是獨立于Impala的，可以稱之為：第三方存儲引擎。Impala使用MPP的思想實現(xiàn)了計算。對于每一個Impala執(zhí)行的SQL，可能同時在多個工作節(jié)點上運行計算，每一個節(jié)點執(zhí)行查詢?nèi)蝿?wù)的一部分。通過網(wǎng)絡(luò)通信傳遞給下一個子任務(wù)，中間數(shù)據(jù)盡可能的不落地（寫磁盤，無論是本地還是第三方存儲引擎）。Impala能夠提供較高性能的查詢服務(wù)，最根本的原因就在于這兩點：Impala數(shù)據(jù)查詢中間數(shù)據(jù)不落地。任務(wù)盡可能并行化。02

Impala查詢詳解系統(tǒng)架構(gòu)下圖中描述了一個SQL查詢的執(zhí)行流程：

查詢實例下面的查詢流程解析，使用一個關(guān)于在線購物系統(tǒng)數(shù)據(jù)作為實例。本查詢實例中包含了三個表，查詢SQL如下：select

t1.goods_id,t1.title,count(1)asbafromitemst1joinitem_orderst2ont1.goods_id=t2.goods_idwheret2.day>='2020-04-29'andt2.day<='2020-05-01'andt1.cat1_idin('438','437','440','381')andt2.order_idin(selectorder_idfromorderswhereorder_statusin('1','2'))group

byt1.goods_id,t1.titlehaving

count(distinctt2.buy_account)>1000orderbybadesclimit30查詢實例使用的三個表如下：需求：查詢2020年五一三天假期中，滿足一定條件購買次數(shù)TOP30的商品，條件為：商品的類目屬于指定四類，商品的訂單狀態(tài)是1、2兩種，并且這三天購買的人數(shù)大于1000。這個查詢是一個典型的OLAP分析查詢，從SQL結(jié)構(gòu)上看，包括了多個join、子查詢、過濾信息和聚合操作。items：商品詳細(xì)信息表，即商品維度表，記錄數(shù)100W左右。item_orders：每日增加的訂單記錄，事實表，每日新增記錄大約為100W。Orders：訂單維度