hadoop常用命令

2021-07-04 01:47:52 字數 1665 閱讀 1734

假設hadoop的安裝目錄hadoop_home為/home/admin/hadoop。

1.進入hadoop_home目錄。

2.執行sh bin/start-all.sh

1.進入hadoop_home目錄。

2.執行sh bin/stop-all.sh

hadoop使用的是hdfs,能夠實現的功能和我們使用的磁碟系統類似。並且支援萬用字元,如*。

檢視hdfs中/user/admin/aaron目錄下的檔案。

1.進入hadoop_home目錄。

2.執行sh bin/hadoop fs -ls /user/admin/aaron

這樣,我們就找到了hdfs中/user/admin/aaron目錄下的檔案了。

我們也可以列出hdfs中/user/admin/aaron目錄下的所有檔案(包括子目錄下的檔案)。

1.進入hadoop_home目錄。

2.執行sh bin/hadoop fs -lsr /user/admin/aaron

檢視hdfs中/user/admin/aaron目錄下再新建乙個叫做newdir的新目錄。

1.進入hadoop_home目錄。

2.執行sh bin/hadoop fs -mkdir /user/admin/aaron/newdir

刪除hdfs中/user/admin/aaron目錄下乙個名叫needdelete的檔案

1.進入hadoop_home目錄。

2.執行sh bin/hadoop fs -rm /user/admin/aaron/needdelete

刪除hdfs中/user/admin/aaron目錄以及該目錄下的所有檔案

1.進入hadoop_home目錄。

2.執行sh bin/hadoop fs -rmr /user/admin/aaron

上傳乙個本機/home/admin/newfile的檔案到hdfs中/user/admin/aaron目錄下

1.進入hadoop_home目錄。

2.執行sh bin/hadoop fs –put /home/admin/newfile /user/admin/aaron/

1.進入hadoop_home目錄。

2.執行sh bin/hadoop fs –get /user/admin/aaron/newfile /home/admin/newfile

我們可以直接在hdfs中直接檢視檔案,功能與類是cat類似

檢視hdfs中/user/admin/aaron目錄下的newfile檔案

1.進入hadoop_home目錄。

2.執行sh bin/hadoop fs –cat /home/admin/newfile

原則上說,hadoop所有的mapreduce job都是乙個jar包。

執行乙個/home/admin/hadoop/job.jar的mapreduce job

1.進入hadoop_home目錄。

2.執行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobmainclass] [jobargs]

假設job_id為:job_201005310937_0053

1.進入hadoop_home目錄。

2.執行sh bin/hadoop job -kill job_201005310937_0053

hadoop 常用命令

啟動hadoop 進入hadoop home目錄。執行sh bin start all.sh 或者是在hadoop 的目錄下能看到他的bin目錄 執行 bin start all.sh 關閉hadoop 進入hadoop home目錄。執行sh bin stop all.sh 同上。1 檢視指定目錄...

hadoop常用命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...

hadoop常用命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...