HBase的資料遷移(含HDFS的資料遷移)

2022-05-07 01:39:09 字數 2335 閱讀 3909

1.啟動兩個hdfs集群

hadoop0,hadoop1,都是偽分布式的集群

2.啟動hadoop3的zookeeper與hbase

注意點:需要開啟yarn服務,因為distcp需要yarn。

3.在hdfs上可以看到hadoop3上有表s1.

4.拷貝hadoop3上的s1到hadoop0

5.刪除在hadoop3中的元資料

6.在hadoop3的hdfs上同樣不再有資料s1

7.重新把資料從hadoop0上遷移到hadoop3上

8.hbase中狀況

9.修復資料

10.使用

1.啟動兩個hdfs集群

hadoop0,hadoop1,都是偽分布式的集群

2.啟動hadoop3的zookeeper與hbase

注意點:需要開啟yarn服務,因為distcp需要yarn。

3.在hdfs上可以看到hadoop3上有表s1.

4.拷貝hadoop3上的s1到hadoop0

5.刪除在hadoop3中的元資料

6.在hadoop3的hdfs上同樣不再有資料s1

7.重新把資料從hadoop0上遷移到hadoop3上

8.hbase中狀況

9.修復資料

10.使用

hbase資料遷移

說明 網上眾多千篇一律的版本都說要用到乙個add table.rb的檔案,可是我的版本根本hbase下就不存在這個檔案。1.把資料表test從hbase下拷出 hadoop dfs get hbase test 2.檔案放到新集群的系統上。3.檔案拷入新的hadoop集群hbase下 hadoop ...

Hbase資料遷移

1.將hbase表資料匯出到hdfs hbase org.apache.hadoop.hbase.mapreduce.driver export tablename data export tablename 2.將hdfs資料獲取到本地 hadoop fs get data export tabl...

Hbase 資料遷移

可以使用 hadoop distcp 命令遷移,目標集群不需要建立表結構 將資料遷移到對應的表目錄下 hadoop distcp hdfs master1 8020 hbase data default tablename hdfs master2 8020 hbase data default t...