hbase資料遷移 利用export import

2021-09-11 02:54:41 字數 803 閱讀 8980

資料匯入方式一:基本資料匯入

第一步:資料從目標集群匯出

hbase org.apache.hadoop.hbase.maprduce.export  表名 /匯出表的hdfs路徑

支援增量匯入 在原有的匯入命令下新增版本號和時間戳

hbase org.apache.hadoop.hbase.maprduce.export  表名 /匯出表的hdfs路徑 版本號 時間起點 時間結束

第二步:將資料從hdfs移動到本地

hadoop fs -get /hfds路徑 /指定本地匯入路徑

第三步:將備份檔案拷貝到新集群的指定目錄

通過hadoop指令上傳到新集群的hfds中  hadoop dfs -put /本地路徑   /集群路徑

第四步:匯入資料到hbase中 

1:在hbase中建立一張一樣的表  create '表名','表結構'

執行hbase匯入命令 hbase org.apache.hadoop.hbase.maprduce.import 建立的表名 /hfds路徑

hbase org.apache.hadoop.hbase.maprduce.import 表名  /hfds路徑

第五步:檢視是否匯入

scan "表名"

資料匯入方式二:大量資料匯入

hbase org.apache.hadoop.hbase.maprduce.export 匯出表名 匯出的hdfs路徑

可能會出現資料匯出占用過多的記憶體,導致namenode節點被殺死。可以通過設定mapred-site.xml中的map和redudce任務記憶體配置進行修改

hbase資料遷移

說明 網上眾多千篇一律的版本都說要用到乙個add table.rb的檔案,可是我的版本根本hbase下就不存在這個檔案。1.把資料表test從hbase下拷出 hadoop dfs get hbase test 2.檔案放到新集群的系統上。3.檔案拷入新的hadoop集群hbase下 hadoop ...

Hbase資料遷移

1.將hbase表資料匯出到hdfs hbase org.apache.hadoop.hbase.mapreduce.driver export tablename data export tablename 2.將hdfs資料獲取到本地 hadoop fs get data export tabl...

Hbase 資料遷移

可以使用 hadoop distcp 命令遷移,目標集群不需要建立表結構 將資料遷移到對應的表目錄下 hadoop distcp hdfs master1 8020 hbase data default tablename hdfs master2 8020 hbase data default t...