Hbase二級索引設(shè)計方案ES4

1、 TOC o 1-5 h z HYPERLINK l bookmark0 o Current Document 方案介紹1 HYPERLINK l bookmark4 o Current Document 概述1 HYPERLINK l bookmark6 o Current Document Hbase1 HYPERLINK l bookmark8 o Current Document Elasticsearch1 HYPERLINK l bookmark10 o Current Document Hbase Observer2 HYPERLINK l bookmark12 o Curren

2、t Document 方案目標(biāo)2 HYPERLINK l bookmark14 o Current Document 方案流程3 HYPERLINK l bookmark61 o Current Document ELASTICSEARCH 安裝部署4 HYPERLINK l bookmark16 o Current Document 安裝準(zhǔn)備4服務(wù)器準(zhǔn)備4 HYPERLINK l bookmark20 o Current Document 新建用戶4調(diào)整系統(tǒng)參數(shù)4 HYPERLINK l bookmark36 o Current Document JDK 安裝5 HYPERLINK l bo

3、okmark38 o Current Document ES安裝及配置6 HYPERLINK l bookmark40 o Current Document 解壓縮6配置 6啟動及驗(yàn)證7 HYPERLINK l bookmark44 o Current Document 集群驗(yàn)證8 HYPERLINK l bookmark50 o Current Document Head插件安裝9 HYPERLINK l bookmark52 o Current Document 簡介9 HYPERLINK l bookmark56 o Current Document 安裝 9 HYPERLINK l b

4、ookmark65 o Current Document Marvel插件安裝10 HYPERLINK l bookmark67 o Current Document 簡介10 HYPERLINK l bookmark69 o Current Document 安裝（每個節(jié)點(diǎn)）10 HYPERLINK l bookmark71 o Current Document Kibana 安裝10 HYPERLINK l bookmark73 o Current Document 簡介10 HYPERLINK l bookmark75 o Current Document 安裝11 HYPERLINK

5、l bookmark79 o Current Document 驗(yàn)證12 HYPERLINK l bookmark81 o Current Document IK分詞器安裝（每個節(jié)點(diǎn)安裝）12驗(yàn)證分詞效果13 HYPERLINK l bookmark86 o Current Document 數(shù)據(jù)同步程序配置14 HYPERLINK l bookmark88 o Current Document 多數(shù)據(jù)源的數(shù)據(jù)同步14 HYPERLINK l bookmark90 o Current Document 創(chuàng)建索弓I mapping14 HYPERLINK l bookmark94 o Curre

6、nt Document 編碼實(shí)現(xiàn)16 HYPERLINK l bookmark96 o Current Document Observer 的部署16 HYPERLINK l bookmark98 o Current Document 測試17 HYPERLINK l bookmark100 o Current Document 常見問題匯總18II1方案介紹概述HbaseHbase是運(yùn)行在Hadoop上的NoSQL數(shù)據(jù)庫，它是一個分布式的和可擴(kuò)展的 大數(shù)據(jù)倉庫，也就是說HBase能夠利用HDFS的分布式處理模式，并從Hadoop 的MapReduce程序模型中獲益。除去Hadoop的優(yōu)勢，H

7、Base本身就是十分強(qiáng)大 的數(shù)據(jù)庫，它能夠融合key/value存儲模式帶來實(shí)時查詢的能力，以及通過 MapReduce進(jìn)行離線處理或者批處理的能力。總的來說，Hbase能夠讓你在大量 的數(shù)據(jù)中查詢記錄，也可以從中獲得綜合分析報告。然而，隨著在HBase系統(tǒng)上應(yīng)用的驅(qū)動，人們發(fā)現(xiàn)Global-Rowkey-Indexing 不再滿足應(yīng)用的需求。單一的通過Rowkey檢索數(shù)據(jù)的方式，不再滿足更多應(yīng)用 的需求，由于hbase基于行健有序存儲，在查詢時使用Rowkey十分高效，然后 想要實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫那樣可以隨意組合的多條件查詢、查詢總記錄數(shù)、分頁等 就比較麻煩了，所以需要我們自己來實(shí)現(xiàn)二級索引來

8、滿足業(yè)務(wù)的復(fù)雜查詢，及實(shí) 時檢索。ElasticsearchElasticsearch是一個實(shí)時的分布式搜索和分析引擎。它可以幫助你用前所未 有的速度去處理大規(guī)模數(shù)據(jù)。它可以用于全文搜索，結(jié)構(gòu)化搜索以及分析； Elasticsearch是一個建立在全文搜索引擎Apache Lucene基礎(chǔ)上的搜索引擎，可 以說Lucene是當(dāng)今最先進(jìn)，最高效的全功能開源搜索引擎框架。Elasticsearch并不僅僅是Lucene這么簡單，它不但包括了全文搜索功能，還 可以進(jìn)行以下工作：分布式實(shí)時文件存儲，并將每一個字段都編入索引，使其可以被搜索。實(shí)時分析的分布式搜索引擎?？梢詳U(kuò)展到上百臺服務(wù)器，處理PB級別

9、的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。第1頁共18頁Hbase ObserverHBase 0.92版本后推出了 Coprocessor -協(xié)處理器，一個工作在 Master/RegionServer中的框架，能運(yùn)行用戶的代碼，從而靈活地完成分布式數(shù)據(jù) 處理的任務(wù)。Coprocessor包含兩個組件，一個是EndPoint （類似關(guān)系型數(shù)據(jù)庫的存儲過 程），用以加快特定查詢的響應(yīng)，另一個就是Observer （類似關(guān)系型數(shù)據(jù)庫的觸 發(fā)器）。Observer也分為幾個類型，其中RegionObserver提供了一組表數(shù)據(jù)操作 的鉤子函數(shù)，覆蓋了 Get、Put、Scan、Delete等操作（通常有pre和po

10、st兩種情 況，表示在操作發(fā)生之前或發(fā)生之后），我們可以通過重載這些鉤子函數(shù)，利用 RegionServer實(shí)現(xiàn)特定的數(shù)據(jù)處理需求?；赗egionObserver的鉤子函數(shù)，我們可以覆蓋Put及Delete方法來實(shí)現(xiàn) Hbase和ES直接的數(shù)據(jù)同步。方案目標(biāo)1、實(shí)現(xiàn)對HBase高性能的范圍檢索2、保證數(shù)據(jù)的低冗余3、保持?jǐn)?shù)據(jù)的一致性第2頁共18頁1.3方案流程1、數(shù)據(jù)進(jìn)入HBase時，利用Observer同步進(jìn)入ES索引庫；2、客戶端根據(jù)查詢條件，利用ES提供的Java API對ES發(fā)起查詢請求;3、ES返回符合條件的RowKey；4、客戶端再根據(jù)RowKey去HBase獲取數(shù)據(jù)；5、最后H

11、Base返回結(jié)果集。第3頁共18頁2 ElasticSearch 安裝部署安裝準(zhǔn)備服務(wù)器準(zhǔn)備為搭建ElasticSearch集群，準(zhǔn)備了三臺服務(wù)器，主機(jī)IP分別為：Centos6.5Centos6.5Centos6.5新建用戶ES不支持root用戶啟動，分別登錄服務(wù)器新建es用戶，并把以下安裝包上 傳到/home/es文件夾下：新建用戶并設(shè)置密碼，然后給用戶文件夾所有權(quán)：useradd espasswd eschown es /home/es1、jdk-7u71-linux-x64.tar.gz2、elasticsearch-2.4.4.tar.gz3、kibana-4.6.4-linux-x

12、86_64.tar.gz4、elasticsearch-analysis-ik-1.10.4.zip調(diào)整系統(tǒng)參數(shù)內(nèi)核參數(shù)調(diào)整vim /etc/sysctl.conf#增加下面的內(nèi)容 fs.file-max = 65536第4頁共18頁vm.max map count = 262144#執(zhí)行命令sysctl -p資源參數(shù)調(diào)整vim /etc/security/limits.conf#修改soft nofile 32768hard nofile 65536soft nproc 2048hard nproc 409調(diào)整線程數(shù)vim /etc/security/limits.d/90-nproc.co

13、nf找到如下內(nèi)容：soft nproc 1024#修改為soft nproc 2048JDK安裝登錄es用戶，進(jìn)入/home/es文件夾，解壓JDK安裝包c(diǎn)d /home/estar -zxvf jdk-7u71-linux-x64.tar.gzvim /etc/profile#增加環(huán)境變量export JAVA_HOME=/opt/jdk1.7/jdk1.7.0_71export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/*.jarexport PATH=$JAVA_HOME/bin:$PATH注：ES2.x需要1.7JDK支持，官網(wǎng)下載1.7_71版本JDK。

14、第5頁共18頁ES安裝及配置解壓縮cd /home/estar -zxvf elasticsearch-2.4.4.tar.gz配置vim /home/es/elasticsearch-2.4.4/config/elasticsearch.ymlcluster, name：es-testnode, name ： node-network. hast:iS. 1. 1http, pjrt:pi slavery, z en. p ing. uni cast, hosts:%廣，discovery. teh. mininiLin_inaster_njQdjes :注:集群名稱，各個節(jié)點(diǎn)的值必須一致節(jié)

15、點(diǎn)名稱，各個節(jié)點(diǎn)的值不能一致network.host本機(jī)集群名稱，各個節(jié)點(diǎn)的值必須一致節(jié)點(diǎn)名稱，各個節(jié)點(diǎn)的值不能一致network.host本機(jī)ip地址第6頁共18頁 HYPERLINK http:/http.port http.port提供http鏈接的端口號discovery.zen.ping.unicast.hosts設(shè)置master節(jié)點(diǎn)的初始列表，通過這些節(jié)點(diǎn)自動發(fā)現(xiàn)新加入集群的節(jié)點(diǎn)discovery.zen.minimum_master_nodes設(shè)置這個參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個有master資格的節(jié)點(diǎn)，官方推薦設(shè)置成N/2 + 1，N是集群中master節(jié)點(diǎn)的數(shù)量。#

16、修改ES內(nèi)存vim /home/es/elasticsearch-2.4.4/bin/elasticsearch# ES_HEAP_SIZE=8g注：調(diào)整內(nèi)存大小最好不要超過總資源一半，也不要超過32G啟動及驗(yàn)證cd /home/es/elasticsearch-2.4.4/bin./elasticsearch控制臺啟動./elasticsearch -d #后臺啟動看到如下信息則為啟動成功：第7頁共18頁20L7-ra-Mri4：EL：611LQJI aoH-as-MTiEi；5 Ill 2(nT-03-修門MELE* 111 3oL7-ra-wri4；5i；5a ilij 3017-03-

17、09114:51:53.1L11 5OL7-Ca-T14:E1:53, 111 J 30L7-ra-ffiri4;5L;5i 1L1 ；2UL7-LG-ri4EL：E-3. 1L11 .2(i：7-0t2-DGTJ m EL： ES, 1L1 an；-W-國門aw 忑* 1L2 2UL?-LG-Ltir4:E.L:E.3. 1L2 20L7-ra-Mri4：Bl：5t3L4 iOL7-CG-Wri4;5L;5t 815 20L7-Ca-T14:EL:5 g 聞o. rb p. FlijgirsSerTi-cg q, gnj-. PhisinsSeri；6 a. e. p. Pluii risS

18、erTice o. 6. 20L7-ra-Mri4：EL：611LQJI aoH-as-MTiEi；5 Ill 2(nT-03-修門MELE* 111 3oL7-ra-wri4；5i；5a ilij 3017-03-09114:51:53.1L11 5OL7-Ca-T14:E1:53, 111 J 30L7-ra-ffiri4;5L;5i 1L1 ；2UL7-LG-ri4EL：E-3. 1L11 .2(i：7-0t2-DGTJ m EL： ES, 1L1 an；-W-國門aw 忑* 1L2 2UL?-LG-Ltir4:E.L:E.3. 1L2 20L7-ra-Mri4：Bl：5t3L4 iOL

19、7-CG-Wri4;5L;5t 815 20L7-Ca-T14:EL:5 g 聞o. rb p. FlijgirsSerTi-cg q, gnj-. PhisinsSeriJ0! . Lund.a ddross-G2 (12. 168. 1noda-1；H 口麻-L node-!jiode-L：nnde-1nciifeT；JlOCfe-L： :映梨T：tuotte-l1tninil or ishirig tu a noti-looict or JKia-lLnli-loial a處用各iio(i?-L后、取式 iicde-1) (rH?HEvMRTi?gwMFl 玳uQ (jrioda-1 u

20、bl i sh_addrc- (19Z 163.1. IDE-： 9230 , bajnd_a ddirassc192,163.naife_1 tnoda-U 、r 、 -=- - = fb ,20L7-Ca-KT14i5liEE, 106 】NFQ a. a. h. HttpScrvcrin5；AKl.l2017-03-MT14:5L 困 1&71HFO . E.n.而也：17-03 ：L- ： V- - .-i；-srta 匚 ludre:EerHd Q indices into lu5ter_Ftatj?.10:93002u17-LG-CiT14:EL:&4. 94y 1MF0 a. e

21、. b. BoDteTrapCtiKk anfarcing. bonts-trap chacks5on-ra-D0ri4；si；stobiQnro :im日圾日,口詢即方就日G (192. Ib3. . lUE-1(L92. IhEl 1. lUB：93001, re-sscci： zen-discD-elKttd-as-raaater I Li nodes Joined)o oo oo -u o o o oo n- o -U 而肺麻而涉麗砰講即而證昕昕麗 T- TA TJ T T- TJ TJ Tx T J TJ1q乳水。nacfeleiosesi-Lmnuonla-ided nodule-

22、1anE-erpresslonloaded m加Lel4ns-srcclaaded zoctuLelifig-nusTscJiellaidad nodule-,lang-pimlE-ssJLaaded nadwlejrcolitorlla-ided mduLere-indexlaidad luduLc-,+rari sport -nnttyESjlaaded jBcfeL?工心nspariF虱1聞I laaded iwcttiLe Laesg-mit.rii-st5tsJ在瀏覽器中輸入：http:05:9200/返回如下結(jié)果：najne : lie de-1 ?clu已七日r_n3in巳 :

23、es-test- ?-cluste/imid-, ： 1血七工4匚1國二2處DRJpALEm二version : tnumber : 5. 0. 2build.hash : f6b4951build.date : 2016-11-24T10:07:18.101Zbui1d_ snap shot : false,luc ene _ve r e i on : 6.2.1匕tagline : You Know, for Search1集群驗(yàn)證所有節(jié)點(diǎn)啟動之后，瀏覽器訪問：05:9200/cluster/health?pretty二true如果返回以下結(jié)果說明集群狀態(tài)正常第8頁共18頁 C t? 白田

24、 05:9200/ cluster/health?pretty=true,v c lust e r_najn已:e s-t e stA，? status : green ?: false,vni.uTib er_ of_nudesv : 3?ni.unb er_ of_ data_nu de& : 3?“active_prim：町shards : U?act- i vc_ shar da : 0?u r e 1 o c at. ing_ shar dsv : U?v ini11ali z ing_ shar ds : 07u mas s i gne d_ shar dsv : U?vdelay

25、ed_i.uiassigned_shards” : 0?,vni.uTib er_uf_p ending_t.asks ” : 0?vni.uTiber_uf_in_f 1 ight._fetch : 0?“task_iL：ax_waiting_in_queue_niillisA， : 0?“active_shards_pereent._as_nuiTLber” : 100. UHead插件安裝簡介elasticsearch-head是一個elasticsearch的集群管理工具，通過head可以查看 集群幾乎所有信息，還能進(jìn)行簡單的搜索查詢，觀察自動恢復(fù)的情況等等。安裝cd /home/es

26、/elasticsearch-2.4.4/bin./plugin install mobz/elasticsearch-head重啟 elasticsearch，然后在瀏覽器輸入：http:/ 05:9200/_plugin/head/可以查看顯示效果。如下圖第9頁共18頁。力 192.11.1 04:92Q 0/ plu gir|/head/es-test 集群健康佰：green (0 of 0)Elasticsearch es-test 集群健康佰：green (0 of 0)贏1朝11I做招洌覽其本品iHl亙含查澗+ I奧群整賞建群 摩 I Sort Indices . I View A

27、lias奧群整賞node-1node-2node-2node-3 Marvel插件安裝簡介Marvel插件：在簇中從每個節(jié)點(diǎn)匯集數(shù)據(jù)。這個插件必須每個節(jié)點(diǎn)都得安裝。Marvel是Elasticsearch的管理和監(jiān)控工具，在開發(fā)環(huán)境下免費(fèi)使用。它包含 了一個叫做Sense的交互式控制臺，使用戶方便的通過瀏覽器直接與Elasticsearch 進(jìn)行交互。安裝（每個節(jié)點(diǎn)）cd /home/es/elasticsearch-2.4.4/bin./plugin install license./plugin install marvel-agentKibana 安裝簡介kibana插件提供了 Marv

28、el監(jiān)控的UI界面。kibana是一個與elasticsearch 一起工作的開源的分析和可視化的平臺；可以 查詢、查看并與存儲在elasticsearch索引的數(shù)據(jù)進(jìn)行交互操作；能執(zhí)行高級的數(shù) 據(jù)分析，并能以圖表、表格和地圖的形式查看數(shù)據(jù)；基于瀏覽器的接口使我們能第10頁共18頁夠快速的創(chuàng)建和分享顯示elasticsearch查詢結(jié)果實(shí)時變化的儀表盤。安裝cd /home/es/tar -zxvf kibana-4.6.4-linux-x86 64.tar.gz9200http:/192server. host#修改es9200http:/192server. host#修改es訪問路徑cd

29、 /home/es/kibana-4.6.4-linux-x8664/binvim /home/es/kibana-4.6.4-linux-x86 64/config/kibana.yml#修改server.host，否則遠(yuǎn)程無法訪問安裝Marvel插件./kibana plugin -install elasticsearch/marvel/latest安裝sense插件./kibana plugin -install elastic/sense啟動 kibana./kibana第11頁共18頁2.6.3驗(yàn)證瀏覽器訪問：05:5601/,可以看到Kibana以及他的插件HbjriiJr3*I

30、”5 出 EI Wztuf3cI Qi Md瀏覽器訪問：05:5601/,可以看到Kibana以及他的插件HbjriiJr3*I”5 出, 5-nl FAtCJ ITh iv；nn nrp /hnT= (/cpv? nr :feK. 口二口？ir.三卜,? D5sibl3p ,仃 :ct42017-03-09 16:21:06,E65INFO Lenvn427-255d ordinary cbjest 口匚in二日:與 LtrueL2017 C： 09 LjkCTlLlbTOLi工h h vLi t J-I-X 4. -/ciriri /hfih v- i 1/-KAi-i1 y/Hr. .：

31、ri. xml 2017-03-09 16:21:07,Ell INFO Lik-analyzEre_a5tLC=G；.TcJi-2. 4. 4pl.i5in=/ik/: jntif /IKAJiiiLyzGr. cz 三.send 2017-03-09 16:21:0Sn 1DDEINFO Eik-analyzericL2017 C二 09 13;21;CS, m LlbTO J Llk 一二f二江urd Lm Jreq. 11 j14二:7 1maans-groow.7 lllJF-；7；. IJHI 1 . iJdl.M H Uis. tip- tnfr.la-n 匚R-色、, spin

32、s?_nDdc-J_ lioip cizccd-I V 11 illIl uJLi /LjlIIib/ q1wr1 mfi f 11nm口.，口s“一ict Loading CLLCT-oirydic.Dil- L LucidiliJ I.LL5第12頁共18頁驗(yàn)證分詞效果在head中輸入analyze?analyzer=ik&pretty=true&text=helloworld,中華人民共和國Elasticsedrch %川騎 連接 各心就講座俏；fl-7 爐 如 LL 二：，；：無江十|卜血史記甲 rMtV tokens;tokan: hallDwaridj, nstart_aFfsef

33、; 0*IHtpJ/12 168 1 104 920州_3fi3Jyze?8ri3l2er=i(&pre1Ly=1ruea.1eKi=h&lh POST /endjoffeet; 10r:?ltype: EP4GLl：5H position: 0)1tok時中華人民共炯. sUFt.Qff-Sief： 1， Mend_affger! 1 苞 type: MCN_WORDr poarbon: 1?rtoken: 士己憶口向靖；11, Hend_offeer； 15r typfl： CN_WORDr position: 21tokgnN *中華北的wIT: IL aend_affser: 13. type: CN_WORDr posrbon: J提交誘攣|出證JSON |常讀塘果竹蟠7卜盅直盾矛卜顯示掛項(xiàng)1)rranalyzerr:f-,rik,r; Itokenizer1 : ikir-?* 上-.-mappings Ir : T Irdocir !-t,r_source : enabled: t-ueh2properties :-21 -title! ,rtype: ,rstring-23 -324 Ircontent : 2Irtype : Irstringirj26Analyzer : ik,r匕I28 tcrEate-time ; 29Irt