尚矽谷hadoop 3 8 HDFS命令列操作

2021-09-25 13:45:42 字數 1643 閱讀 8671

前提條件:開啟集群,jps檢視是否開啟成功

1.檢視ls的幫助文件

hadoop fs -help ls

2.檢視檔案目錄資訊

hadoop fs ls 

3.在hdfs上建立目錄

hadoop fs mkdir /user/linuxprobe/output 

4.把本地的資料剪下到hdfs上

hadoop fs -movefromlocal xiaoxiong.txt /user/linuxprobe/output

5.從hdfs上剪下到本地(沒用,無此命令)

hadoop fs -movetolocal /user/linuxprobe/input/anpengjin.txt  ./

6.追加檔案內容到hdfs上的檔案中去(執行出錯,目前還不知道原因)

7.檢視檔案內容

hadoop fs -cat /user/linuxprobe/input/anpengjin.txt

8.顯示乙個檔案的末尾

hadoop fs -tail /user/linuxprobe/input/anpengjin.txt

9.以字串形式列印乙個檔案的內容

hadoop fs -text /user/linuxprobe/input/anpengjin.txt

下面的命令和linux大同小異

10.改變檔案許可權

hadoop fs chown linuxprobe:linuxprobge anpengjin.txt

11.從本地檔案複製到hdfs檔案系統上

hadoop fs -copyfromlocal anpengjin.txt /user/linuxprobe/input

12.從hdfs上覆制到本地

hadoop fs -copytolocal /user/linuxprobe/input/anpengjin.txt  ./

13.從hdfs的乙個路徑拷貝到hdfs的另乙個路徑

hadoop fs cp /user/linuxprobe/input/anpengjin.txt  /user/linuxprobe/output

14.在hdfs上移動檔案

hadoop fs mv /user/linuxprobe/input/anpengjin.txt  /user/linuxprobe/output

hadoop fs -getmerage /user/linuxprobe/*.txt ./ljx  將以txt結尾的檔案合併成乙個放到本地目錄並命名為ljx

17.-put >等同於copyfromlocal

18.-rm >刪除檔案或資料夾

19.-rmdir >刪除空目錄

20.-df >統計檔案中的可用空間資訊

21.-du >統計資料夾的大小資訊

22.-count >統計乙個指定目錄的深度和數量

第乙個數:深度,第二個數:總共的檔案數量

23.設定hdfs檔案中的副本數量

hadoop fs -setrep 2 /user/linuxprobe/input/anpengjin.txt

這裡設定的副本數只是記錄在namenode的元資料中,是否真的會有這麼多副本,還得看datanode的數量。因為目前只有3臺裝置,最多也就3個副本,只有節點數的增加到10台時,副本數才能達到10。

Hadoop操作HDFS命令

hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...

Hadoop操作HDFS命令

hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...

Hadoop操作HDFS命令

hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...