常用hdfs檔案操作

2022-08-18 20:15:14 字數 1569 閱讀 1112

hadoop fs [genericopitions]

[-ls ]  //顯示目標路徑當前目錄下的所有檔案

[-lsr ]  //遞迴顯示目標路徑下的所有目錄及檔案(深度優先)

[-du ]  //以位元組為單位顯示目錄中所有檔案的大小,或該檔案的大小(如果path為檔案)

[-dus ]  //以位元組為單位顯示目標檔案大小(用於檢視資料夾大小)

[-count [-q] ]  //將目錄的大小、包含檔案(包括檔案)個數的資訊輸出到螢幕(標準stdout)

[-mv ]  //把檔案或目錄移動到目標路徑,這個命令允許同時移動多個檔案,但是只允許移動到乙個目標路徑中,引數中的最有乙個資料夾即為目標路徑

[-cp ]  //複製檔案或目錄到目標路徑,這個命令允許同時複製多個檔案,如果複製多個檔案,目標路徑必須是資料夾

[-rm [-skiptrash] ]  //刪除檔案,這個命令不能刪除資料夾

[-rmr [-skiptrash] ]  //刪除資料夾及其下的所有檔案

[-expunge]

[-put ... ]  //從本地檔案系統上傳檔案到hdfs中

[-copyfromlocal ... ]  //與put相同

[-movefromlocal ... ]  //與put相同,但是檔案上傳之後會從本地檔案系統中移除

[-getmerge [addnl]]  //將源目錄中的所有檔案進行排序並寫入目標檔案中,檔案之間以換行符分隔

[-cat ]  //在終端顯示(標準輸出stdout)檔案中的內容,類似linux系統中的cat

[-text ]

[-copytolocal [-ignorecrc] [-crc] ] //與get相同

[-movetolocal [-crc] ]

[-mkidr ]  //建立資料夾

[-setrep [-r] [-w] ]  //改變乙個檔案的副本個數。引數-r可以遞迴地對該目錄下的所有檔案做統一操作

[-touchz ]  //類似linux中的touch,建立乙個空檔案

[-test -[ezd] ]  //將原始檔輸出為文字格式顯示到終端上,通過這個命令可以檢視textrecordinputstream(sequencefile等)或zip檔案

[-stat [format] ]  //以指定格式返回路徑的資訊

[-tail [-f] ]  //在終端上顯示(標準輸出stdout)檔案的最後1kb內容。-f選項的行為與linux中一致,會持續監測先新增到檔案中的內容,這在檢視日誌檔案時會顯得非常方便。

[-chmod [-r] path...]  //改變檔案的許可權,只有檔案的所有者或者是超級使用者才能使用這個命令。-r可以遞迴地改變資料夾內的所有檔案的許可權

[-chown [-r] [owner] [:[group] path...]]  //改變檔案的擁有者,-r可以遞迴地改變資料夾內所有檔案的擁有者。同樣,這個命令只有超級使用者才能使用

[-chgrp [-r] group path...]  //改變檔案所屬的組,-r可以遞迴地改變資料夾內所有檔案所屬的組。這個命令必須是超級使用者才能使用

[-help [cmd]]  //這是命令的幫助資訊

HDFS常用的檔案操作命令

檔案操作 ls 命令 檢視hdfs根目錄 hdfs dfs ls 檢視hdfs其它目錄 user zhang hdfs dfs ls user zhangdu 命令 hdfs dfs du user zhang 將位元組自動轉化成單位 hdfs dfs du h user zhangdf 命令 檢視...

Hdfs常用操作

本文記錄一下hdfs的一些常用指令 如果我們想要上傳檔案到hdfs,可以執行如下指令 hadoop dfs put 本地檔案的路徑 hdfs的路徑例如 hadoop dfs put home spark hadoop datasource inte ce access log 20160829 da...

HDFS常用操作

命令格式 hdfs dfs mkdir 舉例 在hdfs上已有資料夾data下面簡歷乙個新的資料夾zuo hdfs dfs mkdir data zuo 命令格式 hdfs dfs ls 列出檔案路徑下的檔案 hdfs dfs ls a 列出檔案路徑下所有的檔案,包括隱藏檔案 hdfs dfs ls...