Elasticsearch介紹與應(yīng)用

1、Elasticsearch 介紹與應(yīng)用mysql檢索的瓶頸 背景：平臺attention檢索，數(shù)量80萬左右 數(shù)據(jù)庫 like %tag% 查詢：接口耗時1s左右 全表掃描，性能極差 前端體驗差Elasticsearch 解決方案 將attention批量導(dǎo)入到ES中存儲 使用ES檢索，接口耗時降到50ms以內(nèi)應(yīng)用：feed庫文章標題檢索(title LIKE %wd% AND vertical_type IN (0,1) AND img_num0 )OR(title LIKE %wd% AND vertical_type IN (14)Elasticsearch介紹 分布式、可擴展、實時的搜

2、索與數(shù)據(jù)分析引擎 Apache Lucene 基礎(chǔ)之上 簡單一致的RESTful API 開源，免費下載，使用，修改 安裝 一、安裝要求 jdk至少需要在1.8.0以上版本 linux的內(nèi)核版本需要在2.6以上 二、安裝 下載 wget 解壓 tar 啟動 ./bin/elasticsearch d 測試 curl http:/localhost:9200/?pretty一些概念 索引(index)：類似于關(guān)系數(shù)據(jù)庫中的一個數(shù)據(jù)庫，一個索引就是一個擁有幾分相似特征的文檔的集合 類型(type)：一個索引中，可以定義一種或多種類型，類似于表 文檔(document)：一個文檔是一個可被索引的基礎(chǔ)

3、信息單元，以JSON格式來表示 分片(shards )：可以將一個索引劃分成多份，這些份就叫做分片，可以水平分割/擴展內(nèi)容容量，進行分布式的、并行的操作，進而提高性能/吞吐量 復(fù)制(replicas)：創(chuàng)建分片的一份或多份拷貝，這些拷貝叫做復(fù)制分片與Elasticsearch交互 curl -X :/:/? -d 集群狀態(tài)curl -XGET localhost:8200/_cluster/health?pretty 計算集群中文檔的數(shù)量 curl -XGET localhost:8200/_count?pretty 插入一條數(shù)據(jù)簡單的GETcurl -XGET localhost:8200/

4、megacorp/employee/1?pretty簡單的搜索 curl -XGET localhost:8200/megacorp/employee/_search?pretty curl -XGET localhost:8200/megacorp/employee/_search?q=last_name:Smith&pretty復(fù)雜點的搜索 搜索姓氏為 Smith 的雇員，并且年齡大于 30 全文檢索多索引，多類型搜索 /_search：在所有的索引中搜索所有的類型 /tag/_search：在 tag 索引中搜索所有的類型 / tag,cat/_search：在 tag 和cat

5、索引中搜索所有的文檔 /t*,c*/_search：在任何以g或者u開頭的索引中搜索所有的類型 / tag /user/_search：在tag索引中搜索user類型 /tag,us/user,op/_search：在tag和us索引中搜索user和op類型 /_all/user,tweet/_search：在所有的索引中搜索user和tweet類型分頁 size顯示應(yīng)該返回的結(jié)果數(shù)量，默認是10 from顯示應(yīng)該跳過的初始結(jié)果數(shù)量，默認是0 每頁展示 5 條，可以用下面方式請求得到 1 到 3 頁的結(jié)果： GET /_search?size=5 GET /_search?size=5&

6、;from=5 GET /_search?size=5&from=10查詢條件組合 must：文檔必須匹配這些條件才能被包含進來。 must_not：文檔必須不 匹配這些條件才能被包含進來。 should：如果滿足這些語句中的任意語句，將增加_score，否則，無任何影響。 filter:必須匹配，但它以不評分、過濾模式來進行。這些語句對評分沒有貢獻，只是根據(jù)過濾標準來排除或包含文檔。 bool: must: match: title: how to make millions , must_not: match: tag: spam , should: match: tag: starred , range: date: gte: 2014-01-01 bool: must: match: title: how to make millions , must