Hadoop之hdfs命令列客戶端的常用操作命令

2021-09-08 02:46:16 字數 3177 閱讀 3614

檢視hdfs中的目錄資訊

hadoop fs -ls /hdfs路徑

hadoop fs -ls /

建立資料夾

hadoop fs -mkdir /hdfs路徑

hadoop fs -mkdir /aaa

移動檔案或重新命名

hadoop fs -mkdir /hdfs路徑 /hdfs路徑

hadoop fs -mv /aaa /bbb

上傳檔案到hdfs中

hadoop fs -put /本地檔案  /hdfs路徑

hadoop fs -put /root/anaconda-ks.cfg /

hadoop fs -copyfromlocal /本地檔案 /hdfs路徑 ## copyfromlocal等價於 put

hadoop fs -movefromlocal /本地檔案 /hdfs路徑 ## 從本地移動到hdfs中

hadoop fs -get /hdfs中的路徑   /本地磁碟目錄

hadoop fs -copytolocal /hdfs中的路徑 /本地磁碟路徑 ## 跟get等價

hadoop fs -movetolocal /hdfs路徑 /本地路徑 ## 從hdfs中移動到本地

刪除hdfs中的檔案或資料夾

hadoop fs -rm -r /aaa
檢視hdfs中的文字檔案內容

hadoop fs -cat /demo.txt

hadoop fs -tail -f /demo.txt

追加內容到已存在的檔案

修改檔案的許可權

hadoop fs -chown user:group /aaa

hadoop fs -chmod 700 /aaa

複製hdfs中的檔案到hdfs的另乙個目錄

hadoop fs -cp /hdfs路徑_1  /hdfs路徑_2
檢視空間

hadoop fs -df /
補充:hdfs命令列客戶端的所有命令列表

usage: hadoop fs [generic options]

[-cat [-ignorecrc] ...]

[-checksum ...]

[-chgrp [-r] group path...]

[-chmod [-r] path...]

[-chown [-r] [owner][:[group]] path...]

[-copyfromlocal [-f] [-p] [-l] [-d] ... ]

[-copytolocal [-f] [-p] [-ignorecrc] [-crc] ... ]

[-count [-q] [-h] [-v] [-t ] [-u] [-x] ...]

[-cp [-f] [-p | -p[topax]] [-d] ... ]

[-createsnapshot ]

[-deletesnapshot ]

[-df [-h] [...]]

[-du [-s] [-h] [-x] ...]

[-expunge]

[-find ... ...]

[-get [-f] [-p] [-ignorecrc] [-crc] ... ]

[-getfacl [-r] ]

[-getfattr [-r] [-e en] ]

[-getmerge [-nl] [-skip-empty-file] ]

[-help [cmd ...]]

[-ls [-c] [-d] [-h] [-q] [-r] [-t] [-s] [-r] [-u] [...]]

[-mkdir [-p] ...]

[-movefromlocal ... ]

[-movetolocal ]

[-mv ... ]

[-put [-f] [-p] [-l] [-d] ... ]

[-renamesnapshot ]

[-rm [-f] [-r|-r] [-skiptrash] [-safely] ...]

[-rmdir [--ignore-fail-on-non-empty] ...]

[-setfacl [-r] [ ]|[--set ]]

[-setfattr ]

[-setrep [-r] [-w] ...]

[-stat [format] ...]

[-tail [-f] ]

[-test -[defsz] ]

[-text [-ignorecrc] ...]

[-touchz ...]

[-truncate [-w] ...]

[-usage [cmd ...]]

hdfs的客戶端有多種形式:

1、網頁形式

2、命令列形式

3、客戶端在**執行,沒有約束,只要執行客戶端的機器能夠跟hdfs集群聯網

檔案的切塊大小和儲存的副本數量,都是由客戶端決定!

所謂的由客戶端決定,是通過配置引數來定的

hdfs的客戶端會讀以下兩個引數,來決定切塊大小、副本數量:

切塊大小的引數: dfs.blocksize

副本數量的引數: dfs.replication

>

>

dfs.blocksizename

>

>

64mvalue

>

property

>

>

>

dfs.replicationname

>

>

2value

>

property

>

HDFS的shell 命令列客戶端 操作

cat ignorecrc checksum chgrp r group path.chmod r path.chown r owner group path.copyfromlocal f p copytolocal p ignorecrc crc count q cp f p createsna...

HDFS的命令列客戶端常用命令

1.檢視hdfs中的目錄資訊 hadoop fs ls hdfs路徑 2.上傳檔案到hdfs中 hadoop fs put 本地檔案 aaa 本地檔案 hdfs路徑 copyfromlocal等價於 put hadoop fs movefromlocal 本地檔案 hdfs路徑 跟copyfroml...

常用 HDFS的Shell 命令列客戶端 操作

2 常用命令 hadoop 安裝目錄 bin 目錄下的 hadoop 指令碼是最基礎的集群管理指令碼,使用者可以通過該指令碼完成各種功能,如 hdfs 檔案管理 mapreduce 作業管理等。hadoop fs mkdir user test 建立hdfs目錄 user test hadoop f...