Hadoop二 Hadoop常用命令

2021-09-02 08:55:51 字數 818 閱讀 2787

以hadoop執行hadoop自帶的wordcount為例,

hadoop指令碼位於/home/hadoop/hadoop-2.5.2/bin/hadoop,需要說明的是,這些命令的使用必須在hadoop已經執行的情況下才能執行

列出hdfs檔案系統的第一級檔案和第一級目錄,如:

hadoop@hadoop-inspiron-3521:~/hadoop-2.5.2/bin$ ./hadoop fs -ls

found 5 items

drwxr-xr-x - hadoop supergroup 0 2014-11-24 23:13 quasimontecarlo_1416841948675_1031539484

drwxr-xr-x - hadoop supergroup 0 2014-11-23 10:37 input

drwxr-xr-x - hadoop supergroup 0 2014-11-23 09:54 out

drwxr-xr-x - hadoop supergroup 0 2014-11-23 10:44 out1

drwxr-xr-x - hadoop supergroup 0 2014-11-23 10:38 output

其中input目錄是上傳文字的目錄(文字中包含了要統計的單詞),out,out1和output是輸出目錄,

列出input目錄下的所有內容

hdfs dfs -du -h -s 目錄

可以用於檢視指定目錄占用的空間

Hadoop(二)Hadoop集群搭建

準備好三颱centos系統,配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映,修改 etc hosts,...

Hadoop常用配置

這裡是瀏覽hadoop當前版本號的預設配置檔案,其他版本號,要另外去官網找。其中第乙個方法找到預設的配置是最好的,因為每個屬性都有說明,可以直接使用。另外,core site.xml是全域性配置,hdfs site.xml和mapred site.xml分別是hdfs和mapred的區域性配置。hd...

常用hadoop命令

使用hadoopdfs shell命令 使用方法 hadoop fs copyfromlocal uri 除了限定源路徑是乙個本地檔案外,和put命令相似。使用方法 hadoop fs copytolocal ignorecrc crc uri 除了限定目標路徑是乙個本地檔案外,和get命令類似。其...