Elasticsearch與Mysql資料同步

2022-05-19 09:22:31 字數 966 閱讀 3187

elasticsearch就是專門用於搜尋的,所以我們會將新增的資料放入elasticsearch中用於搜尋,就有這樣的常見的場景,需要將mysql中的資料同步到elasticsearch中。

mysql資料同步到es型別

mysql資料同步到es中分為兩種,分別是全量同步增量同步全量同步表示第一次建立好es索引之後,將mysql中所有資料一次性匯入到es中。增量同步表示mysql中產生新的資料,這些新的資料報括三種情況,就是新插入mysql中的資料,更新老的資料,刪除的資料,這些資料的變動與新增都要同步到es中。

業界有一些開源方案,開源中介軟體來實現。

1. 基於mysql的binlog日誌訂閱:binlog日誌是mysql用來記錄資料實時的變化。

這裡主要的是binlog同步元件,目前實現的有國內的阿里巴巴開發的canal。

2. 使用go-mysql-elasticsearch。

go-mysql-elasticsearch是一款使用go語言開發的同步資料到es的工具。

go-mysql-elasticsearch也是基於mysql的binlog訂閱,也可以使用使用mysqldump的方式。  

目前還不支援es6.x及以上的版本,也不支援mysql8.x版本,同時該專案目前還不夠穩定,也在開發中。

3. es官方資料收集和同步元件logstash

M檔案與M函式

函式檔案由function語句引導,其基本結構為 function 輸出參數列 函式名 輸入參數列0 注釋說明部分 函式體語句 其中以function開頭的一行為引導行,表示該m檔案是乙個函式。函式名的命名規則與變數名相同。輸入形參為函式的輸入引數,輸出形參為函式的輸出型引數。當輸出從形參多於乙個時...

安裝與配置Elasticsearch

elasticsearch 屬於 elastic 公司,進入該公司的官網 www.elastic.co。在這裡可以清楚啊的看到elastic stack產品的各個元件和功能 gz將解壓後的目錄放到 usr local 中 mv elasticsearch 5.6 3 usr local 由於保護機制...

Elasticsearch 安裝與配置

elasticsearch springboot整合elasticsearch mysql資料匯入到elasticsearch 使用ik分詞器實現搜尋 限制elasticsearch返回的結果集大小 第一步很重要,這裡就是入坑的開始了,到底該安裝哪個版本。最新的是7.0最好不要選最新的,選個接近最新...