HDFS 常用 shell 命令

2021-10-08 17:34:15 字數 1771 閱讀 5282

# 顯示當前目錄結構

hadoop fs -ls

# 遞迴顯示當前目錄結構

hadoop fs -ls -r

# 顯示根目錄下內容

hadoop fs -ls /

# 建立目錄

hadoop fs -mkdir

# 遞迴建立目錄

hadoop fs -mkdir -p

# 刪除檔案

hadoop fs -rm

# 遞迴刪除目錄和檔案

hadoop fs -rm -r

# 二選一執行即可

hadoop fs -put [localsrc]

[dst]

hadoop fs - copyfromlocal [localsrc]

[dst]

# 二選一執行即可

hadoop fs -get [dst]

[localsrc]

hadoop fs -copytolocal [dst]

[localsrc]

# 二選一執行即可

hadoop fs -text

hadoop fs -cat

hadoop fs -tail  

# 和linux下一樣,會持續監聽檔案內容變化 並顯示檔案的最後一千位元組

hadoop fs -tail -f

hadoop fs -cp [src]

[dst]

hadoop fs -mv [src]

[dst]

hadoop fs -du  
hadoop fs -getmerge

hadoop fs -getmerge -nl /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml

hadoop fs -df -h /
hadoop fs -setrep [-r]

[-w]

# 示例

hadoop fs -setrep -w 3 /user/hadoop/dir1

# 許可權控制和linux上使用方式一致

# 變更檔案或目錄的所屬群組。 使用者必須是檔案的所有者或超級使用者。

hadoop fs -chgrp [-r] group uri [uri ...]

# 修改檔案或目錄的訪問許可權 使用者必須是檔案的所有者或超級使用者。

hadoop fs -chmod [-r]

... | octalmode> uri [uri ...]

# 修改檔案的擁有者 使用者必須是超級使用者。

hadoop fs -chown [-r]

[owner]

[:[group]

] uri [uri ]

hadoop fs -test - [defsz]  uri
可選選項:

# 示例

hadoop fs -test -e filename

HDFS 常用shell命令

fs file system shell 命令格式 bin hadoop fs cmd 當使用hdfs distributed file system 等價使用如下命令格式 bin hdfs dfs cmd localsrc dst 可同時上傳多個檔案到hdfs裡面 2hdfs dfs caturi...

hdfs常用shell命令

1.sh hadoop fs put soft offlineprocess custom.xml user oozie 將 soft offlineprocess 下的custom.xml 檔案,拷貝到hdfs的 user oozie 目錄下。2.sh hadoop rmr user oozie ...

hdfs常用shell命令

基於ubuntu下hadoop偽分布式操作指令。將hdfs檔案系統下所有檔案以級聯的形式顯示出來。hdfs dfs ls r 一次性建立乙個 資料夾。hdfs dfs mkdir p folder1 folder2 folder3在folder1 folder2 folder3目錄下建立乙個temp...