hadoop HDFS常用命令

2022-08-11 11:42:08 字數 4245 閱讀 3541

hdfs提供

shell

命令列客戶端,使用方法如下:

[-cat [-ignorecrc] ...]

[-checksum ...]

[-chgrp [-r] group path...]

[-chmod [-r] path...]

[-chown [-r] [owner][:[group]] path...]

[-copyfromlocal [-f] [-p] ... ]

[-copytolocal [-p] [-ignorecrc] [-crc] ... ]

[-count [-q] ...]

[-cp [-f] [-p] ... ]

[-createsnapshot ]

[-deletesnapshot ]

[-df [-h] [...]]

[-du [-s] [-h] ...]

[-expunge]

[-get [-p] [-ignorecrc] [-crc] ... ]

[-getfacl [-r] ]

[-getmerge [-nl] ]

[-help [cmd ...]]

[-ls [-d] [-h] [-r] [...]]

[-mkdir [-p] ...]

[-movefromlocal ... ]

[-movetolocal ]

[-mv ... ]

[-put [-f] [-p] ... ]

[-renamesnapshot ]

[-rm [-f] [-r|-r] [-skiptrash] ...]

[-rmdir [--ignore-fail-on-non-empty] ...]

[-setfacl [-r] [ ]|[--set ]]

[-setrep [-r] [-w] ...]

[-stat [format] ...]

[-tail [-f] ]

[-test -[defsz] ]

[-text [-ignorecrc] ...]

[-touchz ...]

[-usage [cmd ...]]

-help             

功能:輸出這個命令引數手冊

-ls

功能:顯示目錄資訊

示例:

hadoop fs -ls hdfs://hadoop-server01:9000/

備註:這些引數中,所有的hdfs

路徑都可以簡寫

-->

hadoop fs -ls /   等同於上一條命令的效果

-mkdir

功能:在hdfs

上建立目錄

示例:hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd

-movefromlocal

功能:從本地剪下貼上到hdfs

示例:hadoop  fs  - movefromlocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd

-movetolocal

功能:從hdfs

剪下貼上到本地

示例:hadoop  fs  - movetolocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt

功能:追加乙個檔案到已經存在的檔案末尾

示例:可以簡寫為:

h-cat

功能:顯示檔案內容

示例:hadoop fs -cat  /hello.txt

-tail

功能:顯示乙個檔案的末尾

示例:hadoop  fs  -tail  /weblog/access_log.1

-text

功能:以字元形式列印乙個檔案的內容

示例:hadoop  fs  -text  /weblog/access_log.1

-chgrp

-chmod

-chown

功能:linux

檔案系統中的用法一樣,對檔案所屬許可權

示例:hadoop  fs  -chmod  666  /hello.txt

hadoop

fs  -chown  someuser:somegrp   /hello.txt

-copyfromlocal

功能:從本地檔案系統中拷貝檔案到hdfs

路徑去示例:hadoop  fs  -copyfromlocal  ./jdk.tar.gz  /aaa/

-copytolocal

功能:從hdfs

拷貝到本地

示例:hadoop fs -copytolocal /aaa/jdk.tar.gz

-cp

功能:從hdfs

的乙個路徑拷貝

hdfs

的另乙個路徑

示例:

hadoop

fs-cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

-mv

功能:在hdfs

目錄中移動檔案

示例:

hadoopfs-

mv/aaa/jdk.tar.gz  /

-get

功能:等同於copytolocal

,就是從

hdfs

示例:hadoop fs -get  /aaa/jdk.tar.gz

-getmerge

示例:比如hdfs

的目錄

/aaa/

下有多個檔案

:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

-put

功能:等同於copyfromlocal

示例:hadoopfs-

put/aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

-rm

功能:刪除檔案或資料夾

示例:hadoop fs -rm -r /aaa/bbb/

-rmdir

功能:刪除空目錄

示例:hadoop  fs  -rmdir   /aaa/bbb/ccc

-df

功能:統計檔案系統的可用空間資訊

示例:h

adoop

fs-df

-h /

-du

功能:統計資料夾的大小資訊

示例:hadoop  fs  -du  -s  -h /aaa/*

-count

功能:統計乙個指定目錄下的檔案節點數量

示例:hadoop fs -count /aaa/

-setrep

功能:設定hdfs

中檔案的副本數量

示例:hadoop fs -setrep 3 /aaa/jdk.tar.gz

這裡設定的副本數只是記錄在

namenode

的元資料中,是否真的會有這麼多副本,還得看

datanode

的數

hadoop hdfs常用命令

1.hadoop fs 檢視hadoop hdfs支援的所有命令 2.hadoop fs ls 列出目錄及檔案資訊 3.hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 4.hadoop fs put test.txt user sunlightcs 將本地檔案系統的test.txt複製到...

hadoop hdfs 常用命令

size large hadoop常用命令 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案...

Hadoop hdfs常用命令

model host2 hadoop dfs ls deprecated use of this script to execute hdfs command is deprecated.instead use the hdfs command for it.found 3 items drwx m...