HDFS常用的檔案操作命令

2021-08-17 09:08:52 字數 2305 閱讀 5818

檔案操作

ls 命令

# 檢視hdfs根目錄

hdfs dfs -ls /

# 檢視hdfs其它目錄(/user/zhang)

hdfs dfs -ls /user/zhang

du 命令

hdfs dfs -du /user/zhang

# 將位元組自動轉化成單位

hdfs dfs -du -h /user/zhang

df 命令

# 檢視根目錄磁碟空間

hdfs dfs -df /

put 命令

# 將client node中的notice.txt檔案 put 到hdfs的/user/zhang資料夾中

hdfs dfs -put notice.txt /user/zhang

# 如果檔案存在,可以使用-f引數進行覆蓋

hdfs dfs -put -f notice.txt /user/zhang

get 命令

# 獲取hdfs中的/user/zhang/test/readme.txt.gz檔案,到client node當前目錄

hdfs dfs -get /user/zhang/test/readme.txt.gz

和copytolocal命令一樣

copyfromlocal 命令

# 這個命令和put作用相同

hdfs dfs -copyfromlocal license.txt /user/zhang

如果存在lcense.txt檔案,要進行覆蓋,加上-f引數,和put命令一樣

copytolocal 命令

# 複製hdfs的/user/zhang/test/readme.txt檔案到client node當前目錄

hdfs dfs -copytolocal /user/zhang/test/readme.txt

# 如果需要複製到指定目錄

hdfs dfs -copytolocal /user/zhang/test/readme.txt /指定目錄

cp 命令

# 將/user/zhang/notice.txt 複製到 /user/zhang/test目錄

hdfs dfs -cp /user/zhang/notice.txt /user/zhang/test

mkdir命令

# 建立乙個abc目錄

hdfs dfs -mkdir /user/zhang/abc

rm命令

# 刪除/user/zhang/notice.txt檔案

hdfs dfs -rm /user/zhang/notice.txt

# 刪除/user/zhang/abc目錄

hdfs dfs -rm -r /user/zhang/abc

rmdir 命令

# 刪除/user/zhang/demo目錄

hdfs dfs rmdir /user/zhang/demo

cat 命令

# 檢視檔案

hdfs dfs -cat /user/zhang/test/readme.txt

tail 命令

hdfs dfs -tail /user/zhang/test/readme.txt
movefromlocal 命令

同copyfromlocal命令

movetolocal 命令

同copytolocal命令

mv 命令

同cp命令

mv 重新命名

hdfs dfs -mv /user/zhang/test /user/zhang/test2

常用hdfs檔案操作

hadoop fs genericopitions ls 顯示目標路徑當前目錄下的所有檔案 lsr 遞迴顯示目標路徑下的所有目錄及檔案 深度優先 du 以位元組為單位顯示目錄中所有檔案的大小,或該檔案的大小 如果path為檔案 dus 以位元組為單位顯示目標檔案大小 用於檢視資料夾大小 count ...

Hadoop之HDFS常用檔案操作命令

hadoop fs cmd args hadoop fs ls dir hadoop fs ls r dir 列出hdfs檔案系統所有的目錄和檔案hadoop fs put hdfs file的父目錄一定要存在,否則命令不會執行 hadoop fs put hdfs dir 一定要存在,否則命令不會...

hdfs常用檔案命令

為了每次執行hadoop的時候,不必須要前者加上hadoop的安裝的絕對路徑,要做的事情就是將其安裝路徑加入到path中,這樣就可以直接執行hadoop命令。如下 vim etc profile中加入一句 export hadoop install home hadoopcluster hadoop...