HADOOP基本操作命令

**：

1、啟動hadoop

sh bin/start-all.sh

2、關閉hadoop

sh bin/stop-all.sh

3、檢視檔案列表

檢視hdfs中/user/admin/aaron目錄下的檔案。

sh bin/hadoop fs -ls /user/admin/aaron

我們也可以列出hdfs中/user/admin/aaron目錄下的所有檔案（包括子目錄下的檔案）。

sh bin/hadoop fs -lsr /user/admin/aaron

4、建立檔案目錄

檢視hdfs中/user/admin/aaron目錄下再新建乙個叫做newdir的新目錄。

sh bin/hadoop fs -mkdir /user/admin/aaron/newdir

5、刪除檔案

刪除hdfs中/user/admin/aaron目錄下乙個名叫needdelete的檔案

sh bin/hadoop fs -rm /user/admin/aaron/needdelete

刪除hdfs中/user/admin/aaron目錄以及該目錄下的所有檔案

sh bin/hadoop fs -rmr /user/admin/aaron

6、上傳檔案

上傳乙個本機/home/admin/newfile的檔案到hdfs中/user/admin/aaron目錄下

sh bin/hadoop fs –put /home/admin/newfile /user/admin/aaron/

sh bin/hadoop fs –get /user/admin/aaron/newfile /home/admin/newfile

8、檢視檔案

我們可以直接在hdfs中直接檢視檔案，功能與類是cat類似，檢視hdfs中/user/admin/aaron目錄下的newfile檔案

sh bin/hadoop fs –cat /home/admin/newfile

9、mapreduce job操作

提交mapreduce job：原則上說，hadoop所有的mapreduce job都是乙個jar包。

執行乙個/home/admin/hadoop/job.jar的mapreduce job

sh bin/hadoop jar /home/admin/hadoop/job.jar [jobmainclass] [jobargs]

殺死某個正在執行的job，假設job_id為：job_201005310937_0053

sh bin/hadoop job -kill job_201005310937_0053

10、更多hadoop的命令

sh bin/hadoop

usage: hadoop [--config confdir] command where command is one of: namenode -format format the dfs filesystem secondarynamenode run the dfs secondary namenode namenode run the dfs namenode datanode run a dfs datanode dfsadmin run a dfs admin client fsck run a dfs filesystem checking utility fs run a generic filesystem user client balancer run a cluster balancing utility jobtracker run the mapreduce job tracker node pipes run a pipes job tasktracker run a mapreduce task tracker node job manipulate mapreduce jobs queue get information regarding jobqueues version print the version jar run a jar file distcp copy file or directories recursively archive -archivename name * create a hadoop archive daemonlog get/set the log level for each daemon or classname run the class named classname

most commands print help when invoked w/o parameters.

HADOOP基本操作命令

HADOOP基本操作命令

Hadoop基本操作命令

HADOOP基本操作命令

相關推薦