




下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
【階段總結(jié)】使用ESlogstash-input-jdbc先解壓后安裝logstash-input-jdbcbin/logstash-plugininstalllogstash-input- 下新建cpmysql-connector-java- s/java/logstash/logstash-mysqlselect語句,然后通過logstash-input-jdbc的配置文件方式導(dǎo)入首先配置jdbc.confvimjdbc.confinputstdin}jdbcmysqljdbc_connection_string=>"jdbc_user=>"root"jdbc_password=>"root"jdbc_driver_library=>"/Users/hzllb/ jdbc_driver_class=>"com.mysql.jdbc.Driver"jdbc_paging_enabled=>"true"jdbc_page_size"50000"#sql文件路徑+名稱statement_filepath=> #設(shè) 間隔各字段含義(由左至右)分、時(shí)、天、月、年,全部為*默schedule=>"****}}outputES的IPhosts["localhost:9200"]#索引名稱index=>_type=>IDidid_id=>}stdoutJSONcodec=>}}然后編輯jdbc.sql加入全量查詢的sqlvimjdbc.sqlselectselecta.id,,a.tags,concat(a.latitude,',',a.longitude)asloca_name,a.seller_id,c.remark_scoreasseller_remark_score,c.disabled_flagasseller_disabled_flagfromshopainnerjoincategorybona.category_id=b.idinnerjoinsellerconc.id=a.seller_id全量導(dǎo)入索引完成后我們嘗試使用時(shí)間戳緯度做增量導(dǎo)入,即logstatsh-input-jdbc每隔一定時(shí)間執(zhí)行某條sql,在對(duì)應(yīng)sql內(nèi)加入updated_at的時(shí)間范圍,es中jdbc_connection_stringjdbc_connection_string=>"mysqlinputstdin}jdbcjdbc_default_timezone=>jdbc_driver_library=>jdbc_user=>"root"jdbc_password=>"root"jdbc_driver_class=>"com.mysql.jdbc.Driver"jdbc_paging_enabled=>"true"jdbc_page_size"50000"#sql文件路徑+名稱last_run_metadata_path=> statement_filepath=>"/Users/hzllb/ #設(shè) 間隔各字段含義(由左至右)分、時(shí)、天、月、年,全部為*默schedule=>"****}}outputES的IPhosts["localhost:9200"]#索引名稱index=>_type=>IDidid_id=>}stdoutJSONcodec=>}}//增量sqlselectselecta.id,,a.tags,concat(a.latitude,',',a.longitude)asloca_name,a.seller_id,c.remark_scoreas_name,a.seller_id,c.remark_scoreasseller_remark_score,c.disabled_flagasseller_disabled_flagfromshopainnerjoincategorybona.category_id=b.idinnerjoinsellerconc.id=a.seller_idwherea.updated_at>:sql_last_valueorb.updated_at>:sql_last
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 茅臺(tái)酒戰(zhàn)略市場(chǎng)規(guī)劃報(bào)告
- 前期接入服務(wù)合同范本模板
- 公租房置換合同范本
- 歷制作合同范本
- 廚房冰箱轉(zhuǎn)讓合同范例
- 食堂托管經(jīng)營合同范本
- 云南公路合同范本
- 獸醫(yī)傳染病學(xué)試題庫含答案
- 醫(yī)療服務(wù)合同范例隱私
- 司機(jī)補(bǔ)充協(xié)議合同范本
- 安全、環(huán)境、職業(yè)健康安全目標(biāo)、指標(biāo)及管理方案
- JJF(皖) 179-2024 氣體渦街流量計(jì)在線校準(zhǔn)規(guī)范
- 2024-2025學(xué)年部編版九年級(jí)上冊(cè)道德與法治綜合檢測(cè)題二
- 《人民代表大會(huì)制度:我國的根本政治制度》導(dǎo)學(xué)案
- 小紅書種草營銷師認(rèn)證考試題附有答案
- 托輥生產(chǎn)項(xiàng)目運(yùn)營管理方案
- AQ/T 2035-2023 金屬非金屬地下礦山供水施救系統(tǒng)建設(shè)規(guī)范(正式版)
- 2024年湖南有色金屬職業(yè)技術(shù)學(xué)院單招職業(yè)適應(yīng)性測(cè)試題庫附答案
- 健身房帶小孩入場(chǎng)免責(zé)協(xié)議
- 2024年安徽醫(yī)學(xué)高等??茖W(xué)校單招職業(yè)適應(yīng)性測(cè)試題庫含答案
- 2023-2024學(xué)年人教版六年級(jí)下冊(cè)《負(fù)數(shù) 百分?jǐn)?shù)(二)》測(cè)試卷附答案解析
評(píng)論
0/150
提交評(píng)論