HDFS常用命令

2021-09-02 04:04:52 字數 2817 閱讀 6444

[size=medium] hdfs 常用的檔案操作命令

1.-cat

使用方法:hadoop fs -cat uri

說明:將路徑指定的檔案輸出到螢幕

示例: hadoop fs -cat hdfs://host1:port1/file

hadoop fs -cat file:///file3

2.-copyfromlocal

使用方法:hadoop fs -copyfromlocal uri

說明: 將本地檔案複製到 hdfs 中。

3.copytolocal

使用方法:hadoop fs -copytolocal uri

說明: 將乙個檔案從 hdfs 系統中複製到本地檔案

4.-cp

使用方法:hadoop fs -cp uri

說明:將檔案從源路徑複製到目標路徑。這個命令可以複製多個源路徑,但是目標路徑必須

是乙個目錄

示例: hadoop fs -cp /user/file /uesr/files

hadoop fs -cp /user/file1 /user/files /user/dir

5.-du

使用方法:hadoop fs -du uri

說明: 顯示目錄中所有檔案大小,或者指定乙個檔案時,顯示此檔案大小

示例: hadoop fs -du /user/dir1

hadoop fs -du hdfs://host:port/user/file

6.-dus

使用方法:hadoop fs -dus

說明: 顯示目標檔案大小

7.-expunge

使用方法:hadoop fs -expunge

說明: 用於清空**站

8.-get

使用方法:hadoop fs -get

說明:複製檔案到本地檔案系統。

示例: hadoop fs -get /user/file localfile

hadoop fs -get hdfs://host:port/file localfile

9.-ls

使用方法:hadoop fs -ls

說明:瀏覽本地檔案,並按如下格式返回檔案資訊

檔名《副本數》 檔案大小 修改日期 許可權 使用者 id/組 id

如果瀏覽的是乙個木瀆,則返回其子檔案的乙個列表,資訊如下:

目錄名修改日期 修改時間 許可權 使用者 id/組 id

示例: hadoop fs -ls /user/file

hadoop fs -ls hdfs://host:port/user/dir

10.-lsr

使用方法:hadoop fs -lsr

說明: 遞迴第查閱檔案內容

11.-mkdir

使用方法:hadoop fs -mkdir

說明: 建立對應的檔案目錄,並直接建立相應的父目錄

示例: hadoop fs -mkdir /user/dir1/dir2/dir3/file

hadoop fs -mkdir hdfs://host:port/user/dir

12.-mv

使用方法:hadoop fs -mv uri

說明: 將原始檔移動到目標路徑,這目標路徑可以有多個,不允許在不同檔案系統移動。

示例: hadoop fs -mv /user/file1 /user/file2

hadoop fs -mv hdfs://host:port/file1 hdfs://host:prot/file2

13.-put

使用方法:hadoop fs -put

說明: 從本地檔案系統複製單個或多個源路徑到目標檔案系統。

示例: hadoop fs -put localfile /user/file

hadoop fs -put localfile hdfs://host:port/user/file

14.-rm

使用方法: hadoop fs -rm uri

說明:刪除指定的檔案,且要求非空的目錄和檔案。

示例: hadoop fs -rm hdfs://host:port/file

15.-rmr

使用方法: hadoop fs -rmr uri

說明:遞迴地刪除指定檔案中的空目錄。

16.-setrep

使用方法: hadoop fs -setrep [r]

說明: 改變乙個副本複製份數

示例: hadoop fs -setrep -w 3 -r /user/file

17.-test

使用方法:hadoop fs -test -[ezd] uri

說明: 使用 e z d 對檔案進行檢查

-e 檢查檔案是否存在,若存在返回值為 0;

-z 檢查檔案是否為 0 位元組,如果是則返回 0;

-d 檢查路徑是否為目錄,如果是則返回 1,否則返回 0

18.-text

使用方法:hadoop fs -text

說明:將原始檔輸出為文字格式,執行的格式是 zip 以及 text 類

以上是 hdfs 中使用命令列對 hdfs 中檔案進行操作,與一般操作命令類似,例如我們

將某乙個檔案從本地的檔案系統複製到 hdfs 中。可以通過執行以下命令進行操作:

$ hadoop fs -copyfromlocal /user/localfile.txt sample.txt

此部分**通過呼叫命令 fs,指定執行指令碼命令-copyfromlocal,將本地文 localfile.txt

複製到執行在 localhost 上的 hdfs 檔案系統中。[/size]

HDFS常用命令

選項名稱 使用格式 含義 ls ls 路徑 檢視指定路徑的當前目錄結構 lsr lsr 路徑 遞迴檢視指定路徑的目錄結構 du du 路徑 統計目錄下個檔案大小 dus dus 路徑 匯 計目錄下檔案 夾 大小 count count q 路徑 統計檔案 夾 數量 mv mv 源路徑 目的路徑 移動...

hdfs常用命令

hdfs檔案的相關操作主要使用hadoop fs hadoop dfs hdfs dfs 命令,以下對最常用的相關命令進行簡要說明。hadoop fs ls 顯示當前目錄結構,ls r 遞迴顯示目錄結構 hadoop fs mkdir 建立目錄 hadoop fs rm 刪除檔案,rm r 遞迴刪除...

Hdfs常用命令

1 列出hdfs下的所有檔案 hdfs dfs ls 例如,檢視ptc growt 件夾下的所有檔案 hdfs dfs ls user ptc growth 2 檢視某一檔案的內容 hdfs dfs text 例如 hdfs dfs text user ptc growth platc wx log...