kafka 增加資料目錄並遷移資料到新目錄

2021-09-28 14:21:12 字數 1051 閱讀 2089

kafka log.dirs能夠填寫多個檔案目錄,以逗號分割。

停止kafka broker建立新的目錄,修改log.dirs,新增新增的目錄。

啟動kafka

ps: 新加目錄後,原有的資料並不會被重新分配到新資料目錄裡。新建立的topic會被放入分割槽檔案數最少的磁碟目錄。

如果想要把原有目錄裡的kafka資料遷移到新的目錄,步驟如下

假設原有的資料目錄為dir1,目標資料目錄為dir2

停止kafka broker進入dir1,將需要遷移的topic內容移到dir2下。

修改dir1內的recovery-point-offset-checkpoint,將需要遷移的topic相關的內容,複製到dir2裡的recovery-point-offset-checkpoint檔案內。

dir1replication-offset-checkpoint檔案內容和3一樣處理。

重啟kafka

ps: 如果是剛剛增加的資料目錄,replication-offset-checkpointrecovery-point-offset-checkpoint內容可能是空的,可以在加完資料目錄後,先建立乙個topic,並且replica數為broker個數,讓每個broker的新加的目錄裡,都有這個topic內容。這樣上面的2份檔案就不為空。在這基礎上繼續遷移資料會方便一些。

參考

Mysql之增加資料 INSERT INTO

一 增加單行資料 insert into customers 順序不用和資料表保持一致,插入關係對應即可 last name,first name,birth date,address,city,state,points values smith john 1990 07 07 beijing be...

Mysql 增加資料的幾種方式

mysql 增加資料的幾種方式 set insert into tab name set col 1 value 1 一次性插入多個 insert into tab name col 1,col 2 values value 1a value 1b value 2a value 2b 插入時有主鍵衝...

JDBCTemplate獲取增加資料後的主鍵

spring提供的jdbc操作支援,在對mysql資料庫進行資料增加時獲取增加的主鍵id,會出現錯誤 preparedstatementcallback generated keys not requested.you need to specify statement.return generat...