hadoop常用的操作命令:
- - ls
使用方法：hadoop fs -ls [-h] [-r]
功能：顯示檔案、目錄資訊。
示例：hadoop fs -ls /user/hadoop/file1
- - mkdir
使用方法：hadoop fs -mkdir [-p]
功能：在 hdfs 上建立目錄，-p 表示會建立路徑中的各級父目錄。
示例：hadoop fs -mkdir –p /user/hadoop/dir1
- - put
使用方法：hadoop fs -put [-f] [-p] [ -|.. ].
功能：將單個 src 或多個 srcs 從本地檔案系統複製到目標檔案系統。
-p：保留訪問和修改時間，所有權和許可權。
-f：覆蓋目的地（如果已經存在）
示例：hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
- - get
使用方法：hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]
功能：將檔案複製到本地檔案系統。
示例：hadoop fs -get
hdfs://host:port/user/hadoop/file
localfile
功能：追加乙個檔案到已經存在的檔案末尾
示例：- - cat
使用方法：hadoop fs -cat [-ignorecrc] uri [uri ...]
功能：顯示檔案內容到 stdout
示例：hadoop fs -cat /hadoop/hadoopfile
- - tail
使用方法：hadoop fs -tail [-f] uri
功能：將檔案的最後一千位元組內容顯示到 stdout。
-f 選項將在檔案增長時輸出附加資料。
示例：hadoop fs -tail /hadoop/hadoopfile
- - chgrp
使用方法：hadoop fs -chgrp [-r] group uri [uri ...]
功能：更改檔案組的關聯。使用者必須是檔案的所有者，否則是超級使用者。
-r 將使改變在目錄結構下遞迴進行。
示例：hadoop fs -chgrp othergroup /hadoop/hadoopfile
- -c c hmod
功能：改變檔案的許可權。使用-r 將使改變在目錄結構下遞迴進行。
示例：hadoop fs -chmod 666 /hadoop/hadoopfile
- -c c hown
功能：改變檔案的擁有者。使用-r 將使改變在目錄結構下遞迴進行。
示例：hadoop fs -chown someuser:somegrp /hadoop/hadoopfile
- - copyfromlocal
使用方法：hadoop fs -copyfromlocal uri
功能：從本地檔案系統中拷貝檔案到 hdfs 路徑去
示例：hadoop fs -copyfromlocal /root/1.txt /
- - copytolocal
功能：從 hdfs 拷貝到本地
示例：hadoop fs -copytolocal /aaa/jdk.tar.gz
- - cp
功能：從 hdfs 的乙個路徑拷貝 hdfs 的另乙個路徑
示例：
hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
- - mv
功能：在 hdfs 目錄中移動檔案
示例：
hadoop fs -mv /aaa/jdk.tar.gz /
- - getmerge
示例：比如 hdfs 的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum
- - rm
功能：刪除指定的檔案。只刪除非空目錄和檔案。-r 遞迴刪除。
示例：hadoop fs -rm -r /aaa/bbb/
- - df
功能：統計檔案系統的可用空間資訊
示例：hadoop fs -df -h /
- - du
功能：顯示目錄中所有檔案大小，當只指定乙個檔案時，顯示此檔案的大小。
hadoop fs [generic options] -du [-s] [-h] ...
示例：hadoop fs -du /user/hadoop/dir1
- - setrep
功能：改變乙個檔案的副本係數。-r 選項用於遞迴改變目錄下所有檔案的副本
係數。示例：
hadoop fs -setrep -w 3 -r /user/hadoop/dir1
輸入錯誤在hadoop上會有一定的提示
Hadoop 1 x HDFS常見Shell命令
1 常見命令 a 檢視檔案 hadoop fs lsr 根目錄下有哪些檔案 b 建立檔案目錄 hadoop fs mkdir opt data c 上傳檔案到指定目錄 hadoop fs put 原始檔 目錄 d 檢視檔案1 hadoop fs cat原始檔 e 檢視檔案2 hadoop fs te...
Hadoop的shell常用操作
1.啟動 關閉hadoop集群 2.檢視hdfs上的檔案和目錄 hadoop fs ls r 3.在hdfs上建立資料夾 hadoop fs mkdir p test name4.上傳檔案 hadoop fs put source 本地檔案路徑 dest hdfs路徑 hadoop fs get s...
Hadoop與HBase的一些特殊操作命令
hadoop與 hbase 的一些特殊操作命令 1.將hbase 資料庫中的表匯出到 hdfs 中的命令 hbase org.apache.hadoop.hbase.mapreduce.export 2.載入匯出的資料回到hbase 的命令 hbase org.apache.hadoop.hbase...