HDFS 常用shell命令

2021-07-27 19:56:37 字數 1676 閱讀 6495

fs( file system)shell 命令格式:

bin/hadoop fs [ cmd]

當使用hdfs(distributed file system),等價使用如下命令格式

bin/hdfs dfs [ cmd ]

< localsrc > … < dst>

可同時上傳多個檔案到hdfs裡面

2hdfs dfs -caturi [uri …]

檢視檔案內容

3 hdfs dfs -chgrp [-r] group uri [uri …]

修改檔案所屬組

4 hdfs dfs -chmod [-r] < mode[,mode]… | octalmode> uri [uri …]

修改檔案許可權

5 hdfs dfs -chown [-r] [owner][:[group]] uri [uri ]

修改檔案所有者,檔案所屬組,其他使用者的讀、寫、執行許可權

6 hdfs dfs -copyfromlocal uri

複製檔案到hdfs

7 hdfs dfs -copytolocal [-ignorecrc] [-crc] uri

複製檔案到本地

8 hdfs dfs -count [-q]

統計檔案及資料夾數目

9 hdfs dfs -cp [-f] uri [uri …]

hadoop hdfs 檔案系統間的檔案複製

10 hdfs dfs -du [-s] [-h] uri [uri …]

統計目錄下的檔案及大小

11 hdfs dfs -dus

彙總目錄下的檔案總大小

12 hdfs dfs -expunge

清空**站,檔案被刪除時,它首先會移到臨時目錄.trash/中,當超過延遲時間之後,檔案才會被永久刪除

13 hdfs dfs -get [-ignorecrc] [-crc]

14 hdfs dfs -getfacl [-r]

檢視acl (訪問許可權組擁有者)

15 hdfs dfs -getmerge [addnl]

16 hdfs dfs -ls

檢視目錄

17 hdfs dfs -lsr

迴圈列出目錄、子目錄及檔案資訊

18 hdfs dfs -mkdir [-p]

建立空白資料夾

19 dfs -movefromlocal

剪下檔案到hdfs

20 hdfs dfs -movetolocal [-crc]

剪下檔案到本地

21 hdfs dfs -mv uri [uri …]

剪下hdfs檔案

22 hdfs dfs -put …

上傳檔案

23 hdfs dfs -rm [-skiptrash] uri [uri …]

刪除檔案/空白資料夾

24 hdfs dfs -rmr [-skiptrash] uri [uri …]

遞迴刪除 刪除檔案及資料夾下的所有檔案

hdfs常用shell命令

1.sh hadoop fs put soft offlineprocess custom.xml user oozie 將 soft offlineprocess 下的custom.xml 檔案,拷貝到hdfs的 user oozie 目錄下。2.sh hadoop rmr user oozie ...

hdfs常用shell命令

基於ubuntu下hadoop偽分布式操作指令。將hdfs檔案系統下所有檔案以級聯的形式顯示出來。hdfs dfs ls r 一次性建立乙個 資料夾。hdfs dfs mkdir p folder1 folder2 folder3在folder1 folder2 folder3目錄下建立乙個temp...

HDFS常用shell命令

1 檢視所有命令 hdfs dfs 2 檢視某目錄下檔案列表 hdfs dfs ls tmp hdfs dfs cat tmp index.html 4 在hdfs 中建立job 目錄 hdfs dfs mkdir tmp info 遞迴建立目錄 hdfs dfs mkdir p tmp work ...