hadoop hdfs檔案操作命令

2021-10-03 11:14:18 字數 1445 閱讀 8492

建立hdfs資料夾

#建立資料夾ethan

hadoop fs -mkdir /user/recsys/ethan

授權hdfs檔案

#改變檔案許可權

hadoop fs -chmod a+r /user/recsys/ethan/test.txt

檢視hdfs檔案/資料夾

#檢視資料夾ethan下的所有檔案目錄

haddop fs -ls /user/recsys/ethan

#檢視ethan資料夾下test.txt檔案內容

hadoop fs -cat /user/recsys/ethan/test.txt

#顯示檔案test.txt大小

hadoop fs -du /user/recsys/ethan/test.txt

#顯示資料夾ethan大小

hadoop fs -du -s /user/recsys/ethan

上傳hdfs檔案

#上傳檔案test.txt到ethan目錄下,2種方法效果一樣

hadoop fs -put test.txt /user/rescys/ethan/

hadoop fs -copyfromlocal text.txt /user/rescys/ethan/

#將ethan資料夾下的test.txt傳輸到本地,2種方法效果一樣

hadoop fs -get /user/recsys/ethan/test.txt

hadoop fs -gettolocal /user/recsys/ethan/test.txt

刪除hdfs檔案/資料夾

#刪除檔案test.txt

hadoop fs -rm /user/recsys/ethan/test.txt

#刪除資料夾a

hadoop fs -rm -r /user/recsys/ethan/a

複製hdfs檔案

#將a資料夾下的test.txt檔案複製到資料夾b

hadoop fs -cp /user/recsys/ethan/a/test.txt /user/recsys/ethan/b

移動hdfs檔案

#將a資料夾下的test.txt檔案移動到b資料夾下

hadoop fs -mv /user/recsys/ethan/a/test.txt /user/recsys/ethan/b

hadoop HDFS常用檔案操作命令

hdfs dfs 與 hadoop fs 效果一樣 1.put從本地載入檔案到hdfs 基本語法 localfile hdfs file hdfs file的父目錄一定要存在,否則命令不會執行 localfileordir hdfs dir hdfs dir 一定要存在,否則命令不會執行 從鍵盤讀取...

Hadoop HDFS常用檔案操作命令

呼叫檔案系統 fs shell命令應用 bin hadoop fs 的形式。可以將hadoop的bin目錄配置環境變數 所有的的fs shell命令使用uri路徑作為引數.uri格式是scheme 許可權 路徑。對hdfs檔案系統,方案是hdfs,對本地檔案系統,scheme是file。其中sche...

hadoop HDFS常用檔案操作命令

1 hadoop fs cmd args 1.ls 列出hdfs檔案系統根目錄下的目錄和檔案 1hadoop fs ls dir 1hadoop fs ls r dir 列出hdfs檔案系統所有的目錄和檔案 2.put hadoop fs put hdfs file的父目錄一定要存在,否則命令不會執...