theexportandimportcommands were added in hive 0.8.0 (see hive-1918).
replication extensions to theexportandimportcommands were added in hive 1.2.0 (see hive-7973 and hive replication development).
1.生成匯出指令碼
beeline -u 'jdbc:hive2:' -n test-user -p 123456 -e "use bigdata_ods;show tables" | grep 'ods*' | awk '' | awk '' | sed "s/@/'/g" > hive_export.hql
3.執行匯出指令碼
beeline -u 'jdbc:hive2:' -n test-user -p 123456 -f hive_export.hql
hdfs dfs -get /tmp/hive_export/
5.壓縮生成的本地的hive_export資料夾
tar -czvf hive_export.tar.gz hive_export
6.上傳到目標集群並解壓縮
tar -xvzf hive_export.tar.gz
7.上傳到目標集群的hdfs目錄中
hdfs dfs -put hive_export /tmp/hive_export
8.構造匯入指令碼
cp hive_export.sql hive_import.sql
sed -i 's/export table/import table/g' hive_import.sql
sed -i 's/ to / from /g' hive_import.sql
9.hive新建目標資料庫
create database bigdata_ods;
10.執行匯入指令碼，匯入資料
beeline -u 'jdbc:hive2:' -n test-user -p 123456 -f hive_import.hql
Elasticsearch集群間資料遷移
一 情況說明 將原來elasticsearch 6.4.2集群的資料遷移至現在的elasticsearch 7.2.0集群，遷移資料量大小在200g資料左右。二 遷移方案 1 使用elasticdump elasticdump是實現不同elasticsearch集群之間索引遷移的工具，基於npm包安...
集群之間資料的遷移
場景 舊集群的資料要遷移到新集群上面 hadoop distcp option hdfs master ip 8020 hive warehouse db tab name hdfs master ip 8020 hive warehouse db tab name option的內容可以hadoo...
TFS集群間資料遷移任務總結
來自 最近幾天在做乙個集群間資料遷移的任務，要做的事很簡單，就是給定乙個任務檔案，檔案中每一行對應乙個source dest形式的遷移任務 source和dest均為檔名 任務數在千萬級別。要做的事情其實很簡單，讀取每一行，解析出source和dest，並根據給定的集群資訊從源集群讀取source，...