Hadoop之HDFS Shell的常用命令的使用

2021-10-04 05:08:14 字數 1970 閱讀 9188

操作命令是以「hdfs dfs」開頭的命令。通過這些命令，使用者可以完成hdfs檔案的複製、刪除和查詢的操作。shell命令一般格式如下：

hdfs dfs
命令： hdfs dfs -mkdir [-p] 

hdfs dfs -mkdir /mydir  #新建資料夾/mydir


hdfs dfs -mkdir -p /yourdir/dir1 # 新建資料夾/yourdir/mydir
命令：hdfs dfs -ls [-d][-h][-r]

例：列出根目錄下的檔案或目錄：hdfs dfs -ls /

命令：hdfs dfs -touchz

例：在mydir目錄下建立大小為0的空檔案input.txt

hdfs dfs -touchz /mydir/input.txt
命令：hdfs dfs -put [-f][-p]

或 hdfs dfs -copyfromlocal[-f][-p][-l]

例：將本地的data.txt 上傳到hdfs的/mydir下

hdfs dfs -put data.txt /mydir


或者hdfs dfs -copyfromlocal data.txt /mydir
命令： hdfs dfs -movefromlocal 

hdfs dfs -movefromlocal data.txt /mydir
命令：hdfs dfs -get [-p]

或 hdfs dfs -copytolocal [-p][-ignorecrc][crc] 

hdfs dfs -get /mydir/data.txt  .


/local_data.txt


hdfs dfs -copytolocal /mydir/data3.txt .


/
命令：

hdfs dfs -cat/text[-ignorecrc]

hdfs dfs -tail [-f]

例：檢視/mydir/data.txt

hdfs dfs -cat /mydir/data.txt
例：將根目錄下的data1.tx追加到/mydir/data.txt中

命令：hdfs dfs -rm [-f][-r]

例，刪除hdfs中的/mydir/data.txt檔案

hdfs dfs -rm /mydir/data.txt
命令：hdfs dfs -du [-s][-h]

例：顯示hdfs主月錄中input資料夾下所有檔案的大小。命令如下。

hdfs dfs -du /mydir
命令: hdfs dfs -cp [-f] [-p | -p[topax]]

例：將hdfs中的 /mydir/data.txt 複製為 /mydir/data_copy.txt

hdfs dfs -cp /mydir/data.txt /mydir/data_copy.txt
命令：hdfs dfs -mv

例：將hdfs中的 /mydir/data1.txt 移動 (也可理解為改名)為/mydir/data0.txt

hdfs dfs -mv  /mydir/data1.txt  /mydir/data0.txt
命令: hdfs dfs -getmerge [-nl] 

hdfs dfs -getmerge /mydir merge.txt

Hadoop學習之安裝Hadoop

1.用xftp工具將hadoop 2.7.2.tar.gz匯入到opt目錄下面的software資料夾 2.進入到hadoop安裝包路徑下 cd opt software 3.解壓安裝檔案到 opt module下面 tar zxvf hadoop 2.7.2.tar.gz c opt module...

hadoop之hadoop基礎介紹

hadoop是什麼？是乙個分布式基礎架構，主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本？apache clourdera hortonworks hadoop優勢？高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別？hdfs hadoop distributed...

Hadoop學習筆記之Hadoop簡介

apache hadoop 是乙個開源的 可靠的 靈活的 分布式的計算系統 來自官網 主要受google 三篇 的啟發 gfs mapreduce bigtable hadoop 海量資料的儲存 hdfs hadoop distributed file system 海量資料的分析 mapreduc...