hadoop常用操作命令

2022-09-20 02:45:11 字數 2606 閱讀 8065

1.列出根目錄下所有的目錄或檔案

hadoop dfs -ls /

2.列出/user目錄下的所有目錄和檔案

hadoop  dfs  -ls  /user

3.列出/user目錄及其子目錄下的所有檔案(謹慎使用)

hadoop dfs -ls -r /user

4.建立/soft目錄

hadoop dfs -mkdir /soft

5.建立多級目錄

6.將本地的wordcount.jar檔案上傳到/wordcount目錄下

hadoop dfs -put wordcount.jar /wordcount

7.

hadoop dfs -get /words.txt 

8.將/stu/students.txt檔案拷貝到本地

hadoop dfs -copytolocal /stu/students.txt

9.將word.txt檔案拷貝到/wordcount/input/目錄

hadoop dfs -copyfromlocal word.txt /wordcount/input 

10.將word.txt檔案從本地移動到/wordcount/input/目錄下

hadoop dfs -movefromlocal word.txt /wordcount/input/

11.將/stu/students.txt拷貝乙份為/stu/students.txt.bak

hadoop dfs -cp /stu/students.txt /stu/students.txt.bak 

12.將/flume/tailout/目錄下的子目錄或檔案都拷貝到/logs目錄(如果此目錄不存在會建立)下

hadoop dfs -cp /flume/tailout/ /logs 

13.將/word.txt檔案重新命名為/words.txt

hadoop dfs -mv /word.txt /words.txt

14.將/words.txt檔案移動到/wordcount/input/目錄下

hadoop dfs -mv /words.txt /wordcount/input/

15.將/ws目錄以及子目錄和檔案都刪除(謹慎使用)

hadoop dfs -rm -r /ws 

16.刪除以"xbs-"開頭的目錄及其子目錄

hadoop dfs -rm -r /xbs-*

17.將/wordcount/output2/目錄下的a.txt檔案刪除

hadoop dfs -rm /wordcount/output2/a.txt 

18.將/wordcount/input/目錄下面的所有檔案都刪除

hadoop dfs -rm /wordcount/input/*

19.檢視hdfs集群的磁碟空間使用情況

hadoop dfs -df -h 

20.檢視/word.txt檔案的內容

hadoop dfs -cat /word.txt 

21.將name.txt檔案中的內容新增到/wordcount/input/words.txt檔案中

22.動態檢視/wordcount/input/words.txt檔案的內容

hadoop dfs -tail -f /wordcount/input/words.txt

23.統計/flume目錄總大小

hadoop dfs -du -s -h /flume

24.分別統計/flume目錄下各個子目錄(或檔案)大小

hadoop dfs -du -s -h /flume/*

25.執行jar包中的程式

//hadoop jar + 要執行的jar包 + 要執行的類 + 輸入目錄 + 輸出目錄

hadoop jar wordcount.jar com.xuebusi.hadoop.mr.wordcountdriver /wordcount/input

/wordcount/out

26.檢視hdfs集群狀態

hdfs

dfsadmin -report

view code

view code

hadoop常用操作命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...

Hadoop 檔案操作常用的命令

hdfs fsck files blocks 列出檔案系統中各個檔案由哪些塊組成 hadoop fs ls 列出hdfs檔案的所有檔案,不遞迴目錄 hadoop fs lsr hadoop fs ls r 規範寫法 遞迴檢視指定目錄下的所有內容 hadoop fs cp dir01 1.txt di...

Hadoop 常用操作

使用url的方式讀取乙個檔案內容,需要設定乙個handler工廠,這個工廠只能設定一次 static public void test1 throws ioexception br.close 使用hadoop的filesystem讀取檔案 public void test2 throws ioex...