hdfs 指令 HDFS命令列操作

2021-10-12 13:23:01 字數 2787 閱讀 1918

本節將講解hdfs中,常見的命令列操作。hdfs與我們傳統的檔案系統類似,都可以儲存檔案,檢視檔案的內容,刪除檔案,並且檔案也有著許可權的概念。事實上,hdfs也借鑑了linux檔案系統的目錄樹結構和許可權系統。

一、基本操作

1、建立目錄hadoop fs -mkdir /hdfs #在根目錄下建立hdfs資料夾

2、檢視目錄》hadoop fs -ls / #列出跟目錄下的檔案列表

drwxr-xr-x   - root supergroup          0 2016-03-05 00:06 /hdfs

3、級聯建立目錄》hadoop fs -mkdir -p /hdfs/d1/d2

4、級聯列出目錄》hadoop fs -ls -r /

drwxr-xr-x   - root supergroup          0 2016-03-05 00:10 /hdfs

drwxr-xr-x   - root supergroup          0 2016-03-05 00:10 /hdfs/d1

drwxr-xr-x   - root supergroup          0 2016-03-05 00:10 /hdfs/d1/d2

5、上傳本地檔案到hdfs>echo "hello hdfs" >>local.txt

>hadoop fs -put local.txt /hdfs/d1/d2

6、檢視hdfs中檔案的內容》hadoop fs -cat /hdfs/d1/d2/local.txt

hello hdfs

8、刪除hdfs檔案》hadoop fs -rm /hdfs/d1/d2/local.txt

deleted /hdfs/d1/d2/local.txt

9、刪除hdfs中目錄》hadoop fs -rmdir /hdfs/d1/d2

10、修改檔案的許可權》hadoop fs -ls /hdfs

drwxr-xr-x   - root supergroup          0 2016-03-05 00:21 /hdfs/d1 #注意檔案的許可權

>hadoop fs -chmod 777 /hdfs/d1

drwxrwxrwx   - root supergroup          0 2016-03-05 00:21 /hdfs/d1 #修改後

11、修改檔案所屬的使用者》hadoop fs -chown admin /hdfs/d1 #修改檔案所屬使用者為admin

>hadoop fs -ls /hdfs

drwxrwxrwx   - admin supergroup          0 2016-03-05 00:21 /hdfs/d1

12、修改檔案的使用者組》hadoop fs -chgrp admin /hdfs/d1

>hadoop fs -ls /hdfs

drwxrwxrwx   - admin admin          0 2016-03-05 00:21 /hdfs/d1

由於hdfs的操作的命令很多,我們目前就以上比較常見的操作進行講解。

二、hdfs檔案操作的所有命令

檢視方式 hadoop fs[root@iz28csbxcf3z ~]# hadoop fs

usage: hadoop fs [generic options]

[-cat [-ignorecrc]  ...]

[-checksum  ...]

[-chgrp [-r] group path...]

[-chmod [-r]  path...]

[-chown [-r] [owner][:[group]] path...]

[-copyfromlocal [-f] [-p] [-l]  ... ]

[-copytolocal [-p] [-ignorecrc] [-crc]  ... ]

[-count [-q] [-h]  ...]

[-cp [-f] [-p | -p[topax]]  ... ]

[-createsnapshot  ]

[-deletesnapshot  ]

[-df [-h] [ ...]]

[-du [-s] [-h]  ...]

[-expunge]

[-get [-p] [-ignorecrc] [-crc]  ... ]

[-getfacl [-r] ]

[-getfattr [-r]  [-e en] ]

[-getmerge [-nl]  ]

[-help [cmd ...]]

[-ls [-d] [-h] [-r] [ ...]]

[-mkdir [-p]  ...]

[-movefromlocal  ... ]

[-movetolocal  ]

[-mv  ... ]

[-put [-f] [-p] [-l]  ... ]

[-renamesnapshot   ]

[-rm [-f] [-r|-r] [-skiptrash]  ...]

[-rmdir [--ignore-fail-on-non-empty] 

[-setfacl [-r] [  ]|[--set  ]]

[-setfattr  ]

[-setrep [-r] [-w]   ...]

[-stat [format]  ...]

[-tail [-f] ]

[-test -[defsz] ]

[-text [-ignorecrc]  ...]

[-touchz  ...]

[-usage [cmd ...]]

HDFS命令列操作

1 基本語法 bin hadoop fs 具體命令2 常用操作 1 help 輸出這個命令引數 bin hdfs dfs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p aaa bbb ccc ddd 4 m...

HDFS檔案操作 命令列

haddop fs ls 查詢目錄 hadoop fs mkdir test 在根目錄下建立乙個目錄test hadoop fs put test.txt test 將本地的test.txt檔案上傳到hdfs根目錄下的test資料夾中去 hadoop fs copyfromlocal test.tx...

5 命令列操作HDFS

hadoop fs 具體命令 hadoop fs cat ignorecrc checksum chgrp r group path.chmod r path.chown r owner group path.copyfromlocal f p l d copytolocal f p ignorec...