hadoop入門操作命令

2021-07-03 17:20:49 字數 3194 閱讀 9430

**:

在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。

假設hadoop的安裝目錄hadoop_home為/home/admin/hadoop。

1.         進入hadoop_home目錄。

2.         執行sh bin/start-all.sh

1.         進入hadoop_home目錄。

2.         執行sh bin/stop-all.sh

hadoop使用的是hdfs,能夠實現的功能和我們使用的磁碟系統類似。並且支援萬用字元,如*。

檢視hdfs中/user/admin/aaron目錄下的檔案。

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop fs -ls /user/admin/aaron

這樣,我們就找到了hdfs中/user/admin/aaron目錄下的檔案了。

我們也可以列出hdfs中/user/admin/aaron目錄下的所有檔案(包括子目錄下的檔案)。

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop fs -lsr /user/admin/aaron

檢視hdfs中/user/admin/aaron目錄下再新建乙個叫做newdir的新目錄。

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop fs -mkdir /user/admin/aaron/newdir

刪除hdfs中/user/admin/aaron目錄下乙個名叫needdelete的檔案

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop fs -rm /user/admin/aaron/needdelete

刪除hdfs中/user/admin/aaron目錄以及該目錄下的所有檔案

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop fs -rmr /user/admin/aaron

上傳乙個本機/home/admin/newfile的檔案到hdfs中/user/admin/aaron目錄下

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop fs –put /home/admin/newfile /user/admin/aaron/

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop fs –get /user/admin/aaron/newfile /home/admin/newfile

我們可以直接在hdfs中直接檢視檔案,功能與類是cat類似

檢視hdfs中/user/admin/aaron目錄下的newfile檔案

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop fs –cat /home/admin/newfile

原則上說,hadoop所有的mapreduce job都是乙個jar包。

執行乙個/home/admin/hadoop/job.jar的mapreduce job

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobmainclass] [jobargs]

假設job_id為:job_201005310937_0053

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop job -kill job_201005310937_0053

1.         進入hadoop_home目錄。

2.         執行sh bin/hadoop

usage: hadoop [--config confdir] command

where command is one of:

namenode -format     format the dfs filesystem

secondarynamenode    run the dfs secondary namenode

namenode             run the dfs namenode

datanode             run a dfs datanode

dfsadmin             run a dfs admin client

fsck                 run a dfs filesystem checking utility

fs                   run a generic filesystem user client

balancer             run a cluster balancing utility

jobtracker           run the mapreduce job tracker node

pipes                run a pipes job

tasktracker          run a mapreduce task tracker node

job                  manipulate mapreduce jobs

queue                get information regarding jobqueues

version              print the version

jar run a jar file

distcp copy file or directories recursively

archive -archivename name * create a hadoop archive

daemonlog            get/set the log level for each daemon

orclassname            run the class named classname

most commands print help when invoked w/o parameters.

HADOOP基本操作命令

在這篇文章中,我們預設認為hadoop環境已經由運維人員配置好直接可以使用。假設hadoop的安裝目錄hadoop home為 home admin hadoop。1.進入hadoop home目錄。2.執行sh bin start all.sh 1.進入hadoop home目錄。2.執行sh b...

Hadoop操作HDFS命令

hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...

Hadoop操作HDFS命令

hadoop操作hdfs命令如下所示 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的...