MySQL資料以全量和增量方式，同步到ES搜尋引擎

知識的廣度來自知識的深度，學習如果不成體系那是多可怕的一件事兒，希望我們在未來的學習道路上堅守初心，不要給自己留下遺憾，以自己喜歡的方式生活，做自己喜歡做的事，寵愛自己，做乙個獨一無二的自己！

二、es客戶端工具

場景描述：mysql資料表以全量和增量的方式向elasticsearch搜尋引擎同步。

1)、配置全文

/usr/local/logstash/sync-config/cicadaes.conf

input 

jdbc 
jdbc 
}filter 
}output 
}if [type] == "log" }}

select

id,user_name username,
user_phone userphone,
create_time createtime,
update_time updatetime
from c_user
where update_time > : sql_last_value

select

id,param_value paramvalue,
request_ip requestip,
create_time createtime,
update_time updatetime
from c_log
where update_time > : sql_last_value

statement_filepath：讀取sql語句位置

schedule ：這裡配置每分鐘執行一次
type ：型別，寫入es的標識
lowercase_column_names ：字段是否轉小寫
record_last_run ：記錄上次執行時間
use_column_value ：使用列的值
tracking_column ：根據寫入es的updatetime欄位區分增量資料
tracking_column_type ：區分的字段型別

document_type ：type名稱，模擬理解表名稱

/usr/local/logstash/bin/logstash  

-f 
/usr/local/logstash/sync-config/cicadaes.conf

2、修改配置

kibana-6.3.2-windows-x86_64\config\kibana.yml

新增配置：

elasticsearch.url: ""

4、訪問位址

mysql全量和增量備份指令碼

全量 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 root master leo cat dbfullbak.sh bin bash use mysqldump to fully backup mysql data bakdir root leo full l...

mysql全量 增量備份指令碼

本篇文章主要講如何使用shell實現mysql全量，增量備份。增量備份在周一 週六凌晨3點，會複製mysql bin.00000 到指定目錄 而全量備份則使用mysqldump將所有的資料庫匯出，每週日凌晨3點執，並會刪除上週留下的mysq bin.00000 然後對mysql的備份操作會保留在ba...

MYSQL增量備份和全量備份指令碼

首先配置下mysql增量備份 server id 1 log bin var log mysql mysql bin.log binlog ignore db sys,mysql,information schema,performance schema 設定日誌格式 binlog format m...