hbase基於快照的資料遷移

hbase基於快照的資料遷移

前期準備

1.        對於開啟安全認證（kerberos）的集群，首先需要關掉安全認證。

2.        在源集群所有節點/etc/hosts檔案中配置目標集群所有節點的host。

源集群操作

開啟hbase快照

1.   登入ambari檢查hbase-site.xml中的hbase.snapshot.enabled是否設定為true，確認開啟了快照許可。

新建快照

1.        源集群，登陸hbase shell控制台，使用list_snapshot命令，列出所有的快照。會展示出快照名稱，源表，以及建立日期和時間上。

2.        在第1步快照列表中不存在的情況下，執行生成hbase表映象檔案命令

3.        執行「list_snapshots」再次檢視所有的hbase的快照列表，確認新的快照已經生成。

快照複製

1.        源集群，檢視要遷移的hbase表的資料結構，記錄下列族資訊、版本資訊等內容，可從shell控制台檢視，也可以hbase webui中檢視。

2.        從源集群往目標集群拷貝快照（這裡用hdfs使用者）

1)        不覆蓋目標集群同名快照

2)        覆蓋目標集群同名快照

目標集群操作

修改許可權

1.        修改hdfs下hbase資料檔案的許可權（hdfs使用者登入）。

新建表1.        根據舊集群hbase標的describe資訊，在新集群建立同樣的hbase表（必須同名）

create'table_test1',

快照還原表

1.        shell控制台中，執行

disable  』 table_test1』

restore_snapshot  'snap_ table_test1

enable ' table_test1'

2.        通過count命令校驗資料

hbase基於快照的資料遷移

hbase基於快照的資料遷移 1.對於開啟安全認證 kerberos 的集群，首先需要關掉安全認證。2.在源集群所有節點 etc hosts檔案中配置目標集群所有節點的host。1.登入ambari檢查hbase site.xml 中的hbase.snapshot.enabled 是否設定為true...

hbase 資料備份（快照）

snapshot 快照 開啟快照功能，在hbase site.xml檔案中新增如下配置項 hbase.snapshot.enabled true 在hbase shell中使用clone snapshot,delete snapshot,list snapshots,restore snapshot...

hbase資料遷移

說明 網上眾多千篇一律的版本都說要用到乙個add table.rb的檔案，可是我的版本根本hbase下就不存在這個檔案。1.把資料表test從hbase下拷出 hadoop dfs get hbase test 2.檔案放到新集群的系統上。3.檔案拷入新的hadoop集群hbase下 hadoop ...