hadoop基本操作命令
hadoop
基本操作命令
在這篇文章中，我們預設認為
hadoop
環境已經由運維人員配置好直接可以使用。
假設hadoop
的安裝目錄
hadoop_home
為/home/admin/hadoop
。1.
進入hadoop_home
目錄。
2.
執行sh bin/start-all.sh
1.
進入hadoop_home
目錄。
2.
執行sh bin/stop-all.sh
hadoop
使用的是
hdfs
，能夠實現的功能和我們使用的磁碟系統類似。並且支援萬用字元，如*。
檢視hdfs
中/user/admin/aaron
目錄下的檔案。
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop fs -ls /user/admin/aaron
這樣，我們就找到了
hdfs
中/user/admin/aaron
目錄下的檔案了。
我們也可以列出
hdfs
中/user/admin/aaron
目錄下的所有檔案（包括子目錄下的檔案）。
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop fs -lsr /user/admin/aaron
檢視hdfs
中/user/admin/aaron
目錄下再新建乙個叫做
newdir
的新目錄。
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop fs -mkdir /user/admin/aaron/newdir
刪除hdfs
中/user/admin/aaron
目錄下乙個名叫
needdelete
的檔案
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop fs -rm /user/admin/aaron/needdelete
刪除hdfs
中/user/admin/aaron
目錄以及該目錄下的所有檔案
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop fs -rmr /user/admin/aaron
上傳乙個本機
/home/admin/newfile
的檔案到
hdfs
中/user/admin/aaron
目錄下
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop fs –put /home/admin/newfile /user/admin/aaron/
hdfs
中/user/admin/aaron
目錄下的
newfile
檔案到本機
/home/admin/newfile中
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop fs –get /user/admin/aaron/newfile /home/admin/newfile
我們可以直接在
hdfs
中直接檢視檔案，功能與類是
cat類似
檢視hdfs
中/user/admin/aaron
目錄下的
newfile檔案
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop fs –cat /home/admin/newfile
原則上說，
hadoop
所有的mapreduce job
都是乙個
jar包。
執行乙個
/home/admin/hadoop/job.jar
的mapreduce job
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobmainclass] [jobargs]
假設job_id
為：job_201005310937_0053
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop job -kill job_201005310937_0053
上面介紹的這些
hadoop
1.
進入hadoop_home
目錄。
2.
執行sh bin/hadoop
usage: hadoop [--config confdir] command
where command is one of:
namenode -format format the dfs filesystem
secondarynamenode run the dfs secondary namenode
namenode run the dfs namenode
datanode run a dfs datanode
dfsadmin run a dfs admin client
fsck run a dfs filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
jobtracker run the mapreduce job tracker node
pipes run a pipes job
tasktracker run a mapreduce task tracker node
job manipulate mapreduce jobs
queue get information regarding jobqueues
version print the version
jar run a jar file
distcp copy file or directories recursively
archive -archivename name * create a hadoop archive
daemonlog get/set the log level for each daemon
orclassname run the class named classname
most commands print help when invoked w/o parameters.
hadoop基本操作命令
HADOOP基本操作命令
在這篇文章中，我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
Hadoop基本操作命令
在這篇文章中，我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...
HADOOP基本操作命令
在這篇文章中，我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...