HDFS Shell 常用命令

2021-07-09 09:07:25 字數 1550 閱讀 5463

hadoop fs -cmd [-opt] arg1 arg2 …

關於path:

hdfs: hdfs://namenodehost + absolutepath 簡寫 absolutepath

本地:file:// + absolutepath 簡寫 absolutepath 或者相對路徑 relatepath

hadoop fs -mkdir -p /user/master   //【遞迴】新建資料夾

hadoop fs -touchz /user/master/test.txt //新建空檔案

hadoop fs -put localfile1 localfile2 /user/master //上傳檔案到路徑

hadoop fs -copyfromlocal [-f] localfile1 /user/master/file1 //【覆蓋】複製本地檔案到hdfs

hadoop fs -ls [-r] [-h] [-s] [-r] /user //【遞迴】【人類可識別】【按檔案大小排序】【反向排序】列出指定目錄下的檔案(夾)

hadoop fs -cat /user/master/test.txt //列出檔案內容

hadoop fs -text /user/master/test //列出檔案內容(若是壓縮檔案先解壓縮)

hadoop fs -tail /user/master/log

//顯示檔案最後1kb

hadoop fs -tail -f /user/master/log

//顯示動態檔案最後1kb

hadoop fs -rm [-r] /user/master/test.txt //【遞迴】刪除檔案

hadoop fs -test -e path //path是否存在(exist)

hadoop fs -test -d path //是否是目錄(directory)

hadoop fs -test -f path //是否是檔案(file)

hadoop fs -test -s path //路徑下是否為空

hadoop fs -test -z path //檔案是否為空(zero)

hadoop fs -count [-h] //【人類可識別】計算目標路徑下(包含子路徑)資料夾個數,檔案個數,總大小

hadoop fs -df [-h] /user/master //【人類可識別】列出hdfs空間使用情況

hadoop fs -du [-s] [-h] /user //【summary】【人類可識別】列出目標路徑下檔案(夾)大小

hadoop fs -chgrp [-r] /user/master //【遞迴】更改使用者組

hadoop fs -chmod [-r] 777 /user/master //【遞迴】更改檔案(夾)許可權

hadoop fs -chown [-r] own[:grp] /user/master //【遞迴】修改檔案(夾)所有者

hadoop fs -help

ls//檢視命令幫助文件

Hadoop之HDFS Shell的常用命令的使用

操作命令是以 hdfs dfs 開頭的命令。通過這些命令,使用者可以完成hdfs檔案的複製 刪除和查詢的操作。shell命令一般格式如下 hdfs dfs命令 hdfs dfs mkdir p hdfs dfs mkdir mydir 新建資料夾 mydir hdfs dfs mkdir p you...

docker常用命令 Docker 常用命令筆錄

格式docker run 選項 映象 命令 引數.示例docker run it rm ubuntu 16.04 bash 示例解釋 it 這是兩個引數,乙個是 i,表示互動式操作,乙個是 t表示終端 rm 這個引數是說容器退出後隨之將其刪除 ubuntu 16.04 這是指用ubuntu 16.0...

常用命令 Git 常用命令大全

安裝教程可參照 廖雪峰老師的安裝教程。git config 在git中,使用git config 命令來配置 git 的配置檔案,git配置級別主要有3類 1 倉庫級別 local 本地 git 倉庫級別配置檔案,作用於當前倉庫。優先順序最高 2 使用者級別 global,全域性配置檔案,作用於所有...