第8章 Phoenix索引使用

Phoenix索引使用第8章學(xué)習(xí)目標(biāo)1.了解Phoenix二級(jí)索引HBaseContents目錄二級(jí)索引介紹1Phoenix開(kāi)啟二級(jí)索引支持2Phoenix二級(jí)索引38.1二級(jí)索引介紹hbase本身由于三重有序（RowKey字典升序，列族、列字典升序，時(shí)間戳自然降序），能夠使用二分查找，加上布隆過(guò)濾器，能夠較快的找到rowkey的位置。但倘若不通過(guò)RowKey查找數(shù)據(jù)，就必須逐行比較每一行的值，對(duì)于較大的表，全表掃描的代價(jià)是不可接受的。此時(shí)就引入了二級(jí)索引，對(duì)應(yīng)RowKey的一級(jí)索引，其本質(zhì)是倒排索引（建立值與主鍵的關(guān)系）。8.1二級(jí)索引介紹常見(jiàn)索引分為兩種，全局索引和本地索引。8.2

Phoenix開(kāi)啟二級(jí)索引支持1、關(guān)閉HBase服務(wù)stop-hbase.sh2、配置文件中設(shè)置二級(jí)索引支持vim/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml8.2

Phoenix開(kāi)啟二級(jí)索引支持添加如下代碼<property><name>hbase.regionserver.wal.codec</name><value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value></property><property><name>hbase.rpc.timeout</name><value>60000000</value></property><property><name>hbase.client.scanner.timeout.period</name><value>60000000</value></property><property><name>phoenix.query.timeoutMs</name><value>60000000</value></property>8.2

Phoenix開(kāi)啟二級(jí)索引支持3、同步至其他節(jié)點(diǎn)scp/usr/local/soft/hbase-1.4.6/conf/hbase-site.xmlnode1:/usr/local/soft/hbase-1.4.6/conf/hbase-site.xmlscp/usr/local/soft/hbase-1.4.6/conf/hbase-site.xmlnode1:/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml8.2

Phoenix開(kāi)啟二級(jí)索引支持4、修改phoenix目錄下的bin目錄中的hbase-site.xml，添加以下代碼<property><name>hbase.rpc.timeout</name><value>60000000</value></property><property><name>hbase.client.scanner.timeout.period</name><value>60000000</value></property><property><name>phoenix.query.timeoutMs</name><value>60000000</value></property>8.2

Phoenix開(kāi)啟二級(jí)索引支持5、啟動(dòng)HBase，重新進(jìn)入phoenixstart-hbase.shsqlline.pymaster,node1,node28.3.1全局索引

全局索引是默認(rèn)的索引格式，創(chuàng)建全局索引時(shí)，會(huì)在HBase中建立一張新表。也就是說(shuō)索引數(shù)據(jù)和數(shù)據(jù)表是存放在不同的表中的，因此全局索引適用于多讀少寫(xiě)的業(yè)務(wù)場(chǎng)景。

寫(xiě)數(shù)據(jù)的時(shí)候會(huì)消耗大量開(kāi)銷(xiāo)，因?yàn)樗饕硪惨?，而索引表是分布在不同的?shù)據(jù)節(jié)點(diǎn)上的，跨節(jié)點(diǎn)的數(shù)據(jù)傳輸帶來(lái)了較大的性能消耗。8.3.1全局索引這里在Phoenix中新建一張簡(jiǎn)單的信息表，并插入幾條數(shù)據(jù)，數(shù)據(jù)選擇英文，方便后面查看createtablestudent(idvarcharprimarykey,namevarchar,agebigint)column_encoded_bytes=0;upsertintoSTUDENTvalues('001','a',24);upsertintoSTUDENTvalues('002','b',25);upsertintoSTUDENTvalues('003','c',26);8.3.1全局索引這里按照年齡（age）來(lái)建立全局索引createindexage_indexonstudent(age);會(huì)發(fā)現(xiàn)此時(shí)已經(jīng)多了一張表（AGE_INDEX），我們?cè)趦蛇叾即蜷_(kāi)表看一下內(nèi)容8.3.1全局索引我們使用explain（對(duì)當(dāng)前sql語(yǔ)句進(jìn)行解釋?zhuān)?，?lái)查看sql語(yǔ)句是否使用索引首先，按照二級(jí)索引列來(lái)查詢(xún)數(shù)據(jù)，效率就會(huì)得到提升explainselectagefromstudentwhereage=24;8.3.1全局索引但是只如果加上其他列，系統(tǒng)就不會(huì)使用索引explainselect*fromstudentwhereage=24;這時(shí)，可以使用注釋?zhuān)?*+index(表名索引)*/）來(lái)強(qiáng)制要求系統(tǒng)使用索引explainselect/*+INDEX(studentage_index)*/*fromstudentwhereage=24;8.3.1全局索引但是如果是通過(guò)其他條件查詢(xún)，把么無(wú)論如何索引都不會(huì)生效explainselect/*+INDEX(studentage_index)*/*fromstudentwherename='a';刪除索引dropindexAGE_INDEXonSTUDENT;二級(jí)索引允許查詢(xún)條件不為索引列，但是過(guò)濾條件必須為索引字段。8.3.2本地索引本地索引適合寫(xiě)多讀少的場(chǎng)景，或者存儲(chǔ)空間有限的場(chǎng)景。和全局索引一樣，Phoenix也會(huì)在查詢(xún)的時(shí)候自動(dòng)選擇是否使用本地索引。本地索引因?yàn)樗饕龜?shù)據(jù)和原數(shù)據(jù)存儲(chǔ)在同一臺(tái)機(jī)器上，避免網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)拈_(kāi)銷(xiāo)，所以更適合寫(xiě)多的場(chǎng)景。由于無(wú)法提前確定數(shù)據(jù)在哪個(gè)Region上，所以在讀數(shù)據(jù)的時(shí)候，需要檢查每個(gè)Region上的數(shù)據(jù)從而帶來(lái)一些性能損耗。對(duì)于本地索引，查詢(xún)中無(wú)論是否指定hint或者是查詢(xún)的列是否都在索引表中，都會(huì)使用索引表。8.3.2本地索引這里按照年齡（age）來(lái)建立本地索引createlocalindexl_age_indexonstudent(age);會(huì)發(fā)現(xiàn)此時(shí)同樣多了一張表（L_AGE_INDEX），但是HBase中是隱性的，內(nèi)容和全局索引表內(nèi)容一致。實(shí)際索引數(shù)據(jù)存放在原本的表當(dāng)中8.3.2本地索引原表中的索引數(shù)據(jù)，是由索引列和rowkey組合而成8.3.2本地索引使用explain（對(duì)當(dāng)前sql語(yǔ)句進(jìn)行解釋?zhuān)瑏?lái)查看sql語(yǔ)句是否使用索引按照二級(jí)索引列來(lái)查詢(xún)數(shù)據(jù)，效率就會(huì)得到提升explainselectagefromstudentwhereage=24;8.3.2本地索引加上其他列，這里不需要使用注釋?zhuān)到y(tǒng)也會(huì)使用索引explainselect*fromstudentwhereage=