Hadoop集群間資料拷貝distcp使用

2021-09-18 06:55:43 字數 990 閱讀 7951

distcp是hadoop集群間拷貝工具,使用mapreduce的方式,進行大資料在集群的拷貝,不同於簡單的資料copy,distcp會校驗資料,穩定傳輸,最後進行拷貝結果統計,彙總拷貝狀態,如拷貝成功的檔案數、大小等

基本命令:hadoop distcp -option src dst

關於distcp拷貝覆蓋:

src = hdfs://nn1:8020/target/first

dst = hdfs://nn2:8020/target/first

hadoop distcp hdfs://nn1:8020/target/first hdfs://nn2:8020/target/first

如果 src路徑的字尾,跟dst的字尾一樣,那麼這樣表示,將src的first中內容,拷貝到dst的first中,

如果在dst的target下,沒有first目錄,那麼會在dst中新建first目錄,並將src中的first目錄,複製到dst的first中

但是如果dst的first已經存在,那會認為,將 src的first,移動到dst的first中,所以最後的效果就是:

hdfs://nn2:8020/target/first/first

理解起來就是,命令是把p1/a 拷貝到 p2/, 現在寫成了 copy p1/a p2/a

如果p2/a 不存在,那就是理解成,把p1/a 拷貝到 p2/a中,並且新建p2/a

但是如果 p2/a 存在,那是理解成把p1/a 拷貝到 p2/a下,最後就是變成 p2/a/a

所以為了避免該語言出問題,

可以寫成 p1/a ,p2/ , 那目的就是將 p1/a 考到p2下。不管p2下有沒有a,這樣就不會出現 p2/a/a 這樣的現象

update 更新

if -update is used, 會將目的目錄中,對對比源目的中,檔案大小和內容不同的檔案進行更新

-overwrite 覆蓋

if -overwrite is used, 直接覆蓋目的目錄的對應檔案。

Hadoop集群間資料拷貝

有時候,我們需要做hadoop集群遷移時,要把大量儲存在hadoop集群上的資料也一併遷移過去。有2種方法可以使用 1.old hadoop cluster old local disks transmission new local disks new hadoop cluster 2.old h...

Hadoop集群間資料拷貝distcp使用

distcp是hadoop集群間拷貝工具,使用mapreduce的方式,進行大資料在集群的拷貝,不同於簡單的資料copy,distcp會校驗資料,穩定傳輸,最後進行拷貝結果統計,彙總拷貝狀態,如拷貝成功的檔案數 大小等 基本命令 hadoop distcp option src dst 關於dist...

hadoop 不同集群之間資料拷貝

hadoop不同集群之間資料拷貝,拷貝時兩個集群要用active namenode去拷貝,datanode是不具備拷貝功能的,所以當我們把資料拿到hdfs路徑上時,要去判斷當前集群哪個主節點是active的,所以大致步驟為 資料落到hdfs上 beeline u jdbc hive2 e inser...