集群資料遷移

2021-07-26 20:59:56 字數 825 閱讀 3610

靜態遷移方案(必須在hbase集群停掉的情況下進行)

hadoop distcp

動態遷移方案

三種:replication備份方案

修改hbase-site.xml配置,增加hbase.replication屬性,增加表屬性replication_scope屬性

add_peer

copytable方案

命令:./hbase org.apache.hadoop.hbase.mapreduce.copytable --peer.adr=new cluster  ip:2181:/hbase

注意:拷貝完成不需要重啟機器,就能在新集群中看到該錶

穩定性還有待考慮

export and import 方案

在老集群上執行./hbase org.apache.hadoop.hbase.mapreduce.export test hdfs://old cluster ip:9000/***

在新集群上執行./hbase org.apache.hadoop.hbase.mapreduce.import test hers://new cluster ip:9000/***

注意:一定要寫全路徑,不能寫想對路徑

在import前,一定要在新集群中建好錶

手動方式

從源hbase集群中複製出hbase資料表到本地目錄  hadoop fs -get

目標hbase匯入  hadoop fs -put

修復.meta.表    hbase hbck -fixmeta

重新分配資料到各regionserver   hbase hbck -fixassignments

elaticsearch集群資料遷移

第三方工具遷移或elasticsearch本身快照方式遷移,這裡以第三方工具遷移為例,elaticsearch dump 和esm 兩個。wget tar xf node v10.15.3 linux x64.tar.gz 設定軟連線 ln s node v10.15.3 linux x64 nod...

Elasticsearch集群間資料遷移

一 情況說明 將原來elasticsearch 6.4.2集群的資料遷移至現在的elasticsearch 7.2.0集群,遷移資料量大小在200g資料左右。二 遷移方案 1 使用elasticdump elasticdump是實現不同elasticsearch集群之間索引遷移的工具,基於npm包安...

集群檔案遷移

概述 資料遷移的場景 集群資料整體搬遷 資料的準實時同步 資料的雙備份可用 冷熱集群資料分類儲存 線上的資料和另外乙個冷資料集群 因為一般沒有對資料的隨機插入,所以沒有某個資料內容被修改的情況。上面的兩個情況可通過元資訊比較出來。一般情況下是對資料進行追加。一些判斷的方法 先比較檔案大小。如改變,擷...