尚學(xué)堂大數(shù)據(jù)直播課后20節(jié)hbase之phonenix

1、Hbase之phonenix(二) 20:30開始好消息！大數(shù)據(jù)線上班將于3月19日正式啟航！火熱報(bào)名中！- 終身免費(fèi)重學(xué)的好方法！- 上課地點(diǎn)時間沒有限制！隨時隨地學(xué)習(xí)！- 老師一對一輔導(dǎo)！電腦遠(yuǎn)程協(xié)助解決問題！大數(shù)據(jù)線下班已于2月26日再次開班！火熱報(bào)名中！- 老師面授課程！傳統(tǒng)式教室教學(xué)已開班多期！學(xué)習(xí)完美就業(yè)！大數(shù)據(jù)周末班將于3月12日再次開班！火熱報(bào)名中！講師：君臨天下Hbase之phonenix篇Hbase的數(shù)據(jù)模型安裝hbase安裝phonenixPhonenix使用Phonenix客戶端使用Hbase之phonenix篇Hadoop生態(tài)系統(tǒng)Hbase之phonenix篇HBas

2、e簡介HBase Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮、實(shí)時讀寫的分布式數(shù)據(jù)庫利用Hadoop HDFS作為其文件存儲系統(tǒng),利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù),利用Zookeeper作為其分布式協(xié)同服務(wù)主要用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)（列存 NoSQL 數(shù)據(jù)庫）Hbase之phonenix篇HBase數(shù)據(jù)模型Row KeyTime StampCF1 n.wwwt6t5t3CF1:q2=val2CF2CF2:q1=val3CF3CF3:q4=val4Hbase之phonenix篇HBase數(shù)據(jù)模型Column Family列

3、族 & qualifier列HBase表中的每個列都?xì)w屬于某個列族，列族必須作為表模式(schema)定義的一部分預(yù)先給出。如 create test, course；列名以列族作為前綴，每個“列族”都可以有多個列成員(column)；如course:math, course:english, 新的列族成員（列）可以隨后按需、動態(tài)加入；權(quán)限控制、存儲以及調(diào)優(yōu)都是在列族層面進(jìn)行的；HBase把同一列族里面的數(shù)據(jù)存儲在同一目錄下，由幾個文件保存。Hbase之phonenix篇HBase數(shù)據(jù)模型Timestamp時間戳在HBase每個cell存儲單元對同一份數(shù)據(jù)有多個版本，根據(jù)唯一的時間戳來區(qū)分每個

4、版本之間的差異，不同版本的數(shù)據(jù)按照時間倒序排序，最新的數(shù)據(jù)版本排在最前面。時間戳的類型是 64位整型。時間戳可以由HBase(在數(shù)據(jù)寫入時自動)賦值，此時時間戳是精確到毫秒的當(dāng)前系統(tǒng)時間。時間戳也可以由客戶顯式賦值，如果應(yīng)用程序要避免數(shù)據(jù)版本沖突，就必須自己生成具有唯一性的時間戳。表中行的鍵是字節(jié)數(shù)組(最大長度是 64KB ) 任何字符串都可以作為鍵；表中的行根據(jù)行的鍵值進(jìn)行排序，數(shù)據(jù)按照Row key的字節(jié)序(byte order)排序存儲；字典序?qū)nt排序的結(jié)果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,9,91,92,93,94,95,96

5、,97,98,99。要保持整形的自然序，行鍵必須用0作左填充所有對表的訪問都要通過鍵通過單個row key訪問通過row key的range全表掃描Hbase之phonenix篇HBase數(shù)據(jù)模型Cell單元格由行和列的坐標(biāo)交叉決定；單元格是有版本的；單元格的內(nèi)容是未解析的字節(jié)數(shù)組；由row key， column( = +)， version 唯一確定的單元。cell中的數(shù)據(jù)是沒有類型的，全部是字節(jié)碼形式存貯。Hbase之phonenix篇HBase數(shù)據(jù)模型ROW KEY決定一行數(shù)據(jù)按照字典順序排序的。Row key只能存儲64k的字節(jié)數(shù)據(jù)Hbase之phonenix篇Hbase安裝本地模式

6、安裝（略）完全分布式安裝：可用的zookeeper集群可用的hdfs集群Hbase之phonenix篇配置regionservers ，主機(jī)名配置backup-masters配置hbase-env.sh配置JAVA_HOME配置HBASE_MANAGERS_ZK=false配置hbase-site.xmlHbase.rootdirZookeeper集群主機(jī)啟用hbase集群：true啟動hbase配置環(huán)境變量export HBASE_HOME=/opt/sxt/soft/hbase-1.1.2export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexpor

7、t PATH=$PATH:$HBASE_HOME/binHbase之phonenix篇配置hbase-site.xmlhbase.rootdirhdfs:/chenkl/hbasehbase.cluster.distributedtruehbase.zookeeper.quorummaster,slave1,slave2Hbase之phonenix篇Hbase的sql查詢引擎Hive，Tez，Impala，Shark/Spark，PhoenixHbase之phonenix篇PhonenixPhoenix查詢引擎會將SQL查詢轉(zhuǎn)換為一個或多個HBase scan，并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)

8、果集。直接使用HBase API、協(xié)同處理器與自定義過濾器，對于簡單查詢來說，其性能量級是毫秒，對于百萬級別的行數(shù)來說，其性能量級是秒Hbase之phonenix篇Phonenix安裝bin/sqlline.py master:2181Hbase之phonenix篇Phonenix使用DDLDMLHbase之phonenix篇CreateCREATE TABLE my_table ( id INTEGER not null primary key desc, date DATE not null,m.db_utilization DECIMAL, i.db_utilization)Hbase之

9、phonenix篇DropDROP TABLE my_schema.my_table;Hbase之phonenix篇AlertALTER TABLE my_schema.my_table ADD d.dept_id char(10) VERSIONS=10ALTER TABLE my_table ADD dept_name char(50), parent_id char(15) null primary keyALTER TABLE my_table DROP COLUMN d.dept_id, parent_id;ALTER VIEW my_view DROP COLUMN new_col

10、;ALTER TABLE my_table SET IMMUTABLE_ROWS=true,DISABLE_WAL=true;Hbase之phonenix篇selectSELECT * FROM TEST LIMIT 1000;SELECT full_name FROM SALES_PERSON WHERE ranking = 5.0UNION ALL SELECT reviewer_name FROM CUSTOMER_REVIEW WHERE score = 8.0Hbase之phonenix篇UpsertUPSERT INTO TEST VALUES(foo,bar,3);UPSERT

11、INTO TEST(NAME,ID) VALUES(foo,123);Hbase之phonenix篇Phonenix直接load數(shù)據(jù)bin/psql.sh master:2181 /opt/sxt/temp/WEB_STAT.sql /opt/sxt/temp/WEB_STAT.csvHbase之phonenix篇Phonenix JDBC和一般的JDBC使用基本相同Hbase之phonenix篇Phonenix spring JDBC org.apache.phoenix phoenix-core 4.3.0 commons-dbcp commons-dbcp 1.4 Hbase之phone

12、nix篇Phonenix spring JDBC Hbase之phonenix篇Phonenix客戶端squirrelHbase之phonenix篇Squirrel安裝使用 Hbase之phonenix篇Phonenix和Hbase分頁HBase利用scan來掃描表，通過startKey,stopKey來確定掃描范圍，在需要進(jìn)行分頁時可以結(jié)合HBase提供的PagefFilter過濾掃描的行數(shù)使scan返回N條數(shù)據(jù)達(dá)到分頁的目的（N為每頁的記數(shù)），此時有以下兩種方案達(dá)可以達(dá)到分頁目的：1. 在得到scan結(jié)果后把上一頁的最后一條數(shù)據(jù)作為scan下一頁時的startKey，但是此時下一頁的數(shù)據(jù)在傳到客戶端時就要排除第一條數(shù)據(jù)了（因?yàn)榈谝粭l的數(shù)據(jù)是上一頁的）2.在每次scan時多查詢一條數(shù)據(jù)（即返回N+1）作為下一頁的startKey以上的方案存有個大前提：HBase的RowKey必須是序列增長（類似1,2,3,）的，否則的話雖然能定位到下一頁的startkey，但是當(dāng)我要查詢上一頁/上N頁時就不能夠定位到此時的startkey了。教學(xué)多重保障1，全套視頻，每天都會給到你2，上課時間沒有限制，隨時隨地學(xué)習(xí)3，每節(jié)隨堂筆記