canal 從指定binlog日誌檔案及定位中讀取

2021-10-24 16:48:30 字數 803 閱讀 1011

前言…因為我們讀取的mysql資料庫是華為雲例項資料庫,且設定了binlog日誌儲存最多為30分鐘…

在我們的canal 消費端停止時間大於30分鐘後再次啟動,canal或從之前配置檔案中載入binlog讀取位置,但此時該binlog已經不存在了,則會導致報錯以及後續無法繼續讀取監控的資料庫的binlog資訊…

這個時候呢,我們檢視自己設定的某一具體消費端日誌

meta.log (這是binlog讀取日誌)

所在位置:canal服務端/logs/消費端例項/meta.log 例如:/usr/local/canal/logs/test/meta.log

①檢視監控資料庫binlog 資訊

如發現消費端meta.log讀取的binlog不存在或 meta.log不在持續變化,則需要重新設定該例項讀取的binlog位置

②停止canal

③更改canal 消費端配置

配置位置:canal的 conf/消費例項/meta.dat檔案

修改meta.dat 中 binlog讀取偏移量即可

具體數值則根據之前show binary logs; 查出的binlog檔案,自己選擇設定了 position的值不能大於查出binlog的 file_size

④從啟canal

canal指定binlog位點啟動

canal指定binlog位點啟動 1.canal基於集群模式搭建,所用版本為帶有視覺化頁面的canal 1.1.4,包結構如下canal adapter canal admin canal server2.抽取例項主要配置canal server,包結構如下cd canal server binc...

mysql配置開啟binlog與慢查詢日誌功能

錯誤日誌 log err 查詢日誌 log 可選 慢查詢日誌 log slow queries 可選 更新日誌 log update 二進位制日誌 log bin在mysql的安裝目錄下,開啟my.ini win my.cnf linux 在後面加上上面的引數,儲存後重啟mysql服務就行了。1 補...

mysql開啟binlog日誌和慢查詢日誌

1 首先,為什麼要開啟binlog日誌和慢查詢日誌呢?binlog日誌會記錄下資料庫的所以增刪改操作,當不小心刪除 清空資料,或資料庫系統出錯,這時候就可以使用binlog日誌來還原資料庫,簡單來說就是乙個記錄備份的東西 慢查詢日誌 slow query log,這個東西是用來記錄查詢比較慢的sql...