階段總結(jié)使用es工具升級(jí)數(shù)據(jù)接入索引構(gòu)建

【階段總結(jié)】使用ESlogstash-input-jdbc先解壓后安裝logstash-input-jdbcbin/logstash-plugininstalllogstash-input- 下新建cpmysql-connector-java- s/java/logstash/logstash-mysqlselect語句，然后通過logstash-input-jdbc的配置文件方式導(dǎo)入首先配置jdbc.confvimjdbc.confinputstdin}jdbcmysqljdbc_connection_string=>"jdbc_user=>"root"jdbc_password=>"root"jdbc_driver_library=>"/Users/hzllb/ jdbc_driver_class=>"com.mysql.jdbc.Driver"jdbc_paging_enabled=>"true"jdbc_page_size"50000"#sql文件路徑+名稱statement_filepath=> #設(shè) 間隔各字段含義（由左至右）分、時(shí)、天、月、年，全部為*默schedule=>"****}}outputES的IPhosts["localhost:9200"]#索引名稱index=>_type=>IDidid_id=>}stdoutJSONcodec=>}}然后編輯jdbc.sql加入全量查詢的sqlvimjdbc.sqlselectselecta.id,,a.tags,concat(a.latitude,',',a.longitude)asloca_name,a.seller_id,c.remark_scoreasseller_remark_score,c.disabled_flagasseller_disabled_flagfromshopainnerjoincategorybona.category_id=b.idinnerjoinsellerconc.id=a.seller_id全量導(dǎo)入索引完成后我們嘗試使用時(shí)間戳緯度做增量導(dǎo)入，即logstatsh-input-jdbc每隔一定時(shí)間執(zhí)行某條sql，在對(duì)應(yīng)sql內(nèi)加入updated_at的時(shí)間范圍，es中jdbc_connection_stringjdbc_connection_string=>"mysqlinputstdin}jdbcjdbc_default_timezone=>jdbc_driver_library=>jdbc_user=>"root"jdbc_password=>"root"jdbc_driver_class=>"com.mysql.jdbc.Driver"jdbc_paging_enabled=>"true"jdbc_page_size"50000"#sql文件路徑+名稱last_run_metadata_path=> statement_filepath=>"/Users/hzllb/ #設(shè) 間隔各字段含義（由左至右）分、時(shí)、天、月、年，全部為*默schedule=>"****}}outputES的IPhosts["localhost:9200"]#索引名稱index=>_type=>IDidid_id=>}stdoutJSONcodec=>}}//增量sqlselectselecta.id,,a.tags,concat(a.latitude,',',a.longitude)asloca_name,a.seller_id,c.remark_scoreas_name,a.seller_id,c.remark_scoreasseller_remark_score,c.disabled_flagasseller_disabled_flagfromshopainnerjoincategorybona.category_id=b.idinnerjoinsellerconc.id=a.seller_idwherea.updated_at>:sql_last_valueorb.updated_at>:sql_last