Hadoop hdfs檔案操作常用命令

2021-10-03 12:35:17 字數 2172 閱讀 8875

hadoop  fs  -操作命令  -引數

-ls #顯示目錄資訊

-->hadoop fs -ls hdfs://hadoop-server-00:9000/

這些引數中,所有的hdfs路徑都可以簡寫

-->hadoop fs -ls / 等同於上一條命令的效果

-copyfromlocal #從本地檔案系統中拷貝檔案到hdfs路徑去

-->hadoop fs -copyfromlocal ./jdk.tar.gz /aaa/

-copytolocal #從hdfs拷貝到本地

-->hadoop fs -copytolocal /aaa/jdk.tar.gz

-put #等同於copyfromlocal

--> 比如hdfs的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

-movefromlocal #從本地移動到hdfs

-movetolocal #從hdfs移動到本地

-cp #從hdfs的乙個路徑拷貝hdfs的另乙個路徑

-->hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-mv #在hdfs目錄中移動檔案

-mkdir #在hdfs上建立目錄

-->hadoop fs -mkdir -p /aaa/bbb/cc/dd

-rm #刪除檔案或資料夾

--> hadoop fs -rm -r /aaa/bbb/

-rmdir #刪除空目錄

-cat ---顯示檔案內容

-->hadoop fs -cat /hello.txt

可以簡寫為:

-chgrp

-chmod

-chown

上面三個跟linux中的用法一樣

-->hadoop fs -chmod 666 /hello.txt

-count #統計乙個指定目錄下的檔案節點數量

-->hadoop fs -count /aaa/

-createsnapshot

-deletesnapshot

-renamesnapshot

以上三個用來操作hdfs檔案系統目錄資訊快照

-->hadoop fs -createsnapshot /

-df #統計檔案系統的可用空間資訊

-du

-->hadoop fs -df -h /

-->hadoop fs -du -s -h /aaa/*

-help #輸出這個命令引數手冊

-setrep #設定hdfs中檔案的副本數量

-->hadoop fs -setrep 3 /aaa/jdk.tar.gz

-stat #顯示乙個檔案或資料夾的元資訊

-tail #顯示乙個檔案的末尾

-text #以字元形式列印乙個檔案的內容

hadoop hdfs檔案操作命令

建立hdfs資料夾 建立資料夾ethan hadoop fs mkdir user recsys ethan授權hdfs檔案 改變檔案許可權 hadoop fs chmod a r user recsys ethan test.txt檢視hdfs檔案 資料夾 檢視資料夾ethan下的所有檔案目錄 h...

hadoop HDFS常用檔案操作命令

hdfs dfs 與 hadoop fs 效果一樣 1.put從本地載入檔案到hdfs 基本語法 localfile hdfs file hdfs file的父目錄一定要存在,否則命令不會執行 localfileordir hdfs dir hdfs dir 一定要存在,否則命令不會執行 從鍵盤讀取...

Hadoop HDFS常用檔案操作命令

呼叫檔案系統 fs shell命令應用 bin hadoop fs 的形式。可以將hadoop的bin目錄配置環境變數 所有的的fs shell命令使用uri路徑作為引數.uri格式是scheme 許可權 路徑。對hdfs檔案系統,方案是hdfs,對本地檔案系統,scheme是file。其中sche...