Hadoop hdfs dfs常用命令的使用

2022-07-17 05:36:10 字數 2676 閱讀 3412

用法

建立目錄

usage:hdfs dfs -mkdir [-p] < paths>

選項:-p

很像unix mkdir -p,沿路徑建立父目錄。

檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間

usage:hdfs dfs -ls [-r] < args>

選項:-r

遞迴地顯示子目錄下的內容

將本地檔案或目錄上傳到hdfs中的路徑

將檔案或目錄從hdfs中的路徑拷貝到本地檔案路徑

usage:hdfs dfs -get [-ignorecrc] [-crc] < src> < localdst>

選項:-ignorecrc選項複製crc校驗失敗的檔案。

-crc選項複製檔案和crc。

顯示給定目錄中包含的檔案和目錄的大小或檔案的長度,用位元組大小表示,檔名用完整的hdfs協議字首表示,以防它只是乙個檔案。

usage:hdfs dfs -du [-s] [-h] uri [uri …]

選項:-s選項將顯示檔案長度的彙總摘要,而不是單個檔案。

-h選項將以「人類可讀」的方式格式化檔案大小(例如64.0m而不是67108864)

在hdfs檔案系統中,將檔案或目錄從hdfs的源路徑移動到目標路徑。不允許跨檔案系統移動檔案。

在hdfs檔案系統中,將檔案或目錄複製到目標路徑下

usage:hdfs dfs -cp [-f] [-p | -p [topax] ] uri [ uri …] < dest>

選項:-f選項覆蓋已經存在的目標。

-p選項將保留檔案屬性[topx](時間戳,所有權,許可權,acl,xattr)。如果指定了-p且沒有arg,則保留時間戳,所有權和許可權。如果指定了-pa,則還保留許可權,因為acl是一組超級許可權。確定是否保留原始命名空間擴充套件屬性與-p標誌無關。

從本地複製檔案到hdfs檔案系統(與-put命令相似)

usage: hdfs dfs -copyfromlocal < localsrc> uri

選項:如果目標已存在,則-f選項將覆蓋目標。

複製hdfs檔案系統中的檔案到本地 (與-get命令相似)

顯示檔案內容到標準輸出上。

usage:hdfs dfs -cat uri [uri …]

usage: hdfs dfs -text

獲取原始檔並以文字格式輸出檔案。允許的格式為zip和textrecordinputstream。

建立乙個零長度的檔案。

顯示檔案所佔塊數(%b),檔名(%n),塊大小(%n),複製數(%r),修改時間(%y%y)。

usage:hdfs dfs -stat uri [uri …]

顯示檔案的最後1kb內容到標準輸出

usage:hdfs dfs -tail [-f] uri

選項:-f選項將在檔案增長時輸出附加資料,如在unix中一樣。

統計與指定檔案模式匹配的路徑下的目錄,檔案和位元組數

usage: hdfs dfs -count [-q] [-h] < paths>

將源目錄和目標檔案作為輸入,並將src中的檔案連線到目標本地檔案(把兩個檔案的內容合併起來)

usage:hdfs dfs -getmerge < src> < localdst> [addnl]

注:合併後的檔案位於當前目錄,不在hdfs中,是本地檔案

從hdfs上過濾包含某個字元的行內容

usage:hdfs dfs -cat < srcpath> | grep 過濾字段

**: 

Hadoop hdfs dfs常用命令的使用

建立目錄 usage hdfs dfs mkdir p paths 選項 p 很像unix mkdir p,沿路徑建立父目錄。ls 檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間 usage hdfs dfs ls r args 選項 r 遞迴地顯示子目錄下的內容 將本地檔案或目錄上傳到h...

Hadoop hdfs dfs常用命令的使用

hadoop fs generic options cat ignorecrc 檢視 checksum v 校驗和 資料完整性校驗 chgrp r group path.修改所屬組 change group r表示遞迴 chmod r path.修改許可權 change mode r表示遞迴 cho...

Hadoop hdfs dfs常用命令的使用

用法 建立目錄 usage hdfs dfs mkdir p paths 選項 p 很像unix mkdir p,沿路徑建立父目錄。ls檢視目錄下內容,包括檔名,許可權,所有者,大小和修改時間 usage hdfs dfs ls r args 選項 r 遞迴地顯示子目錄下的內容 將本地檔案或目錄上傳...