HDFS命令參考

2021-09-03 07:00:16 字數 2090 閱讀 3773

在$hadoop_home/bin/hadoop fs裡有更多的命令,/bin/hdfs dfs 可以列出所有可以在fs shell系統上執行的命令。此$hadoop_home/bin/hadoop fs -help命令會顯示簡短的用法。

所有表的操作如下所示,以下是使用引數的一般方式:

「 」 means any file or directory name. 「

…」 means one or more file or directory names. 「」 means any filename. 「」 and 「」 are path names in a directed operation. 「」 and 「」 are paths as above, but on the local file system.

所有其他檔案和路徑名是指hdfs內部的物件。

1.ls

列出路徑所指的目錄中的內容,顯示出了名稱,許可權,擁有者,大小和修改日期的每個條目。

2.lsr

行為型別於-ls,但遞迴顯示路徑的所有子目錄項。

3.du

顯示磁碟使用率,以位元組為單位,對所有的檔案,這些檔案匹配的路徑,檔名報告使用完整的hdfs協議字首。

4.dus

顯示磁碟的使用率,類似於-du但列印路徑中的所有檔案/目錄的磁碟使用情況的摘要。

5.mv

通過移動表示src到dest,在hdfs的檔案或者目錄。

6.cp

在hdfs複製確定src中的檔案或目錄到dest

7.rm

刪除檔案或者路徑標識的空目錄。

8.rmr

刪除路徑標識的檔案或目錄,遞迴刪除所有子條目(例如,檔案或路徑的子目錄)

9. put

從本地localsrc檔案系統中的dfs標識檔案或目錄內複製到dest。

10. copyfromlocal

等同於-put

11. movefromlocal

從標識 localsrc本地檔案系統中的檔案或目錄中hdfs複製到dest,然後刪除本地副本上成功。

12. get [-crc]

拷貝標識 src 來確定localdest本地檔案系統路徑hdfs檔案或目錄。

13. getmerge

檢索匹配的路徑的src hdfs中的所有檔案,並將它們複製合併檔案到標識localdest本地檔案系統中。

14. cat

顯示在標準輸出檔名的內容。

15. copytolocal

等同於 -get

16. movetolocal

工作方式類似於-get,但刪除hdfs複製成功。

17. mkdir

在建立乙個hdfs命名的目錄路徑。

建立任何父目錄的路徑丟失(例如,命令mkdir-p在linux中)。

18. setrep [-r] [-w] rep

設定標識路徑代表檔案的目標檔案複製因子。 (實際的複製因子會向著隨著時間的推移目標移動)

19. touchz

建立在路徑包含當前時間作為時間戳的檔案。失敗如果檔案已經存在於路徑,除非檔案已經大小為0。

20. test -[ezd]

返回1,如果路徑存在;長度為零;或者是乙個目錄,否則為0。

21. stat [format]

列印有關的路徑資訊。格式是接受塊檔案大小(%b),檔名(%n),塊大小(%o),複製(%r)和修改日期(%y,%y)的字串。

22. tail [-f]

顯示在標準輸出檔案的最後1kb。

23. chmod [-r] mode,mode,… …

變化符合路徑標識的乙個或多個物件關聯的檔案許可權…遞迴執行變更與r.模式是3位八進位制模式,或+/-。假設如果沒有指定範圍,則不適用umask。

24. chown [-r] [owner][:[group]] …

設定擁有使用者和/或組標識路徑的檔案或目錄…設定所有者遞迴,如果指定-r。

25. chgrp [-r] group …

設定所屬組標識路徑的檔案或目錄…設定組遞迴,如果指定-r。

26. help

返回使用上面列出的命令之一資訊。必須省略了』-』 字元在cmd。

HDFS的命令參考

除介紹的命令外,還有許多bin hadoop.dfs命令,以上介紹的只是幫助你開始使用hdfs,執行bin hadoop dfs不帶任何引數會列出所有fsshell系統提供的命令,當你遇到問題時執行bin hadoop dfs help commandname會顯示這個命令的用法。下面是所有命令的介...

HDFS命令筆記

環境 hadoop 2.7 1 上傳檔案 上傳tem下的檔案到 hdfs中的 lcy路徑 上傳檔案的路徑必須是hdfs有訪問許可權的 上傳到的檔案路徑必須是hdfs能夠寫入的 sudo u hdfs hdfs put tem y lcy 2 檢視檔案 檢視hdfs下的檔案 路徑為 lcy yarn ...

hdfs命令學習

hdfs dfs put a.txt b.txta.txt在本地,b.txt是要傳到的hdfs路徑。hdfs dfs get wordcountout part 0000 tmp outputhdfs提供了很多shell命令來實現訪問檔案系統的功能,hadoop自帶的shell指令碼叫hadoop。...