HDFS常用Shell命令

2021-10-07 12:13:37 字數 1938 閱讀 6631

1、-ls: 顯示目錄資訊

hadoop fs -ls /
2、-mkdir：在hdfs上建立目錄

hadoop fs -mkdir -p /demo/test
3、-movefromlocal：從本地剪下貼上到hdfs

hadoop fs  -movefromlocal  a.txt  /demo/test/a.txt

5、-cat：顯示檔案內容

hadoop fs -


cat/demo/test/b.txt
6、-chgrp 、-chmod、-chown：linux檔案系統中的用法一樣，修改檔案所屬許可權

hadoop fs  -chmod  777  /demo/test/b.txt
7、copyfromlocal：從本地檔案系統中拷貝檔案到hdfs路徑去

hadoop fs -copyfromlocal b.txt /demo/test/b.txt
8、-copytolocal：從hdfs拷貝到本地

hadoop fs -copytolocal /demo/test/b.txt /address
9、從hdfs的乙個路徑拷貝到hdfs的另乙個路徑

hadoop fs -


cp/demo/test/b.txt /demo/test2/b.txt
10、-mv：在hdfs目錄中移動檔案

hadoop fs -


mv/demo/test/b.txt /demo/test2/b.txt
hadoop fs -get /demo/test/b.txt /address
hadoop fs -getmerge /user/test/*


/address
13、-put：等同於copyfromlocal

hadoop fs -put .


/zaiyiqi.txt /user/atguigu/test/
14、-tail：顯示乙個檔案的末尾

hadoop fs -tail /demo/test2/b.txt
15、-rm：刪除檔案或資料夾

hadoop fs -


rm/demo/test2/b.txt
16、-rmdir：刪除空目錄

hadoop fs -mkdir /test
17、-du統計資料夾的大小資訊

hadoop fs -du -s -h /user/atguigu/test


2.7 k /user/atguigu/test


hadoop fs -du -h /user/atguigu/test


1.3 k /user/atguigu/test/readme.txt


15 /user/atguigu/test/jinlian.txt


1.4 k /user/atguigu/test/zaiyiqi.txt
18、-setrep：設定hdfs中檔案的副本數量

hadoop fs -setrep 10 /demo/test2/b.txt
這裡設定的副本數只是記錄在namenode的元資料中，是否真的會有這麼多副本，還得看datanode的數量。副本數達到相應數量的前提是裝置數達到相應的數量。

19、-help：輸出這個命令引數

hadoop fs -help rm

HDFS 常用shell命令

fs file system shell 命令格式 bin hadoop fs cmd 當使用hdfs distributed file system 等價使用如下命令格式 bin hdfs dfs cmd localsrc dst 可同時上傳多個檔案到hdfs裡面 2hdfs dfs caturi...

hdfs常用shell命令

1.sh hadoop fs put soft offlineprocess custom.xml user oozie 將 soft offlineprocess 下的custom.xml 檔案，拷貝到hdfs的 user oozie 目錄下。2.sh hadoop rmr user oozie ...

hdfs常用shell命令

基於ubuntu下hadoop偽分布式操作指令。將hdfs檔案系統下所有檔案以級聯的形式顯示出來。hdfs dfs ls r 一次性建立乙個 資料夾。hdfs dfs mkdir p folder1 folder2 folder3在folder1 folder2 folder3目錄下建立乙個temp...