場景：舊集群的資料要遷移到新集群上面
hadoop distcp [option] hdfs://master_ip:8020/hive/warehouse/***.db/tab_name hdfs://master_ip:8020/hive/warehouse/***.db/tab_name
option的內容可以hadoop distcp回車就可以檢視幫助了，這裡不用多解釋了吧。
master_ip：填集群master的ip
tab_name：天要遷移表的名字
路徑要保證正確，如果你不知道表的路徑可以用desc formatted db_name.tab_name來看。location就是正確的路徑，把test01換成master_ip:port即可。
例如：
hive> desc formatted aidemo.ac_ref;
ok# col_name data_type comment
pkg_name string
label string
# detailed table information
database: aidemo
owner: hchou
createtime: wed jun 07 15:34:35 cst 2017
lastaccesstime: unknown
protect mode: none
retention: 0
location: hdfs://test01/hive/warehouse/aidemo.db/ac_ref
table type: managed_table
table parameters:
transient_lastddltime 1496820875
# storage information
serde library: org.apache.hadoop.hive.serde2.lazy.lazy******serde
inputformat: org.apache.hadoop.mapred.textinputformat
outputformat: org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat
compressed: no
num buckets: -1
bucket columns:
sort columns:
storage desc params:
field.delim \t
serialization.format \t
time taken: 0.078 seconds, fetched: 28 row(s)
Elasticsearch集群間資料遷移
一 情況說明 將原來elasticsearch 6.4.2集群的資料遷移至現在的elasticsearch 7.2.0集群，遷移資料量大小在200g資料左右。二 遷移方案 1 使用elasticdump elasticdump是實現不同elasticsearch集群之間索引遷移的工具，基於npm包安...
hive集群間資料遷移，export import
theexportandimportcommands were added in hive 0.8.0 see hive 1918 replication extensions to theexportandimportcommands were added in hive 1.2.0 see hi...
TFS集群間資料遷移任務總結
來自 最近幾天在做乙個集群間資料遷移的任務，要做的事很簡單，就是給定乙個任務檔案，檔案中每一行對應乙個source dest形式的遷移任務 source和dest均為檔名 任務數在千萬級別。要做的事情其實很簡單，讀取每一行，解析出source和dest，並根據給定的集群資訊從源集群讀取source，...