hadoop的HDFS常用命令總結

2021-09-26 04:30:38 字數 1458 閱讀 2738

(注意:以下指的本地是:lunix虛擬機器的)

//檢視根目錄下的檔案列表

hdfs dfs -ls /

//遞迴檢視根目錄下的檔案列表

hdfs dfs -ls -r /

//上傳本地檔案到hdfs的根目錄

hdfs dfs -put /export/data/logs/log.txt /

//在hdfs上建立單級目錄

hdfs dfs -mkdir /mylogs

//在hdfs上建立多級目錄

hdfs dfs -mkdir -p /mylogs/log

//將檔案從本地剪下到hdfs的mylogs上

hdfs dfs -movefromlocal a.txt /mylogs

hdfs dfs -get /mylogs/a.txt ./

//從hdfs上將mylogs下的a.txt檔案剪下到mylogs2的目錄下(hdfs之間的剪下)

hdfs dfs -mv /mylogs/a.txt /mylogs2

//從hdfs上刪除乙個檔案

hdfs dfs -rm /mylogs/a.txt

//從hdfs上遞迴刪除乙個檔案目錄

hdfs dfs -rm -r /mylogs

//從hdfs上覆制檔案到另乙個目錄下

hdfs dfs -cp /mylogs/a.txt /mylogs2

//從hdfs上覆制檔案a.txt到另乙個目錄下的檔案b.txt

hdfs dfs -cp /mylogs/a.txt /mylogs2/b.txt

//從hdfs上覆制檔案a.txt到另乙個目錄下的檔案b.txt(深度拷貝)

hdfs dfs -cp -p /mylogs/a.txt /mylogs2/b.txt

//從hdfs上檢視檔案內容

hdfs dfs -cat /mylogs/a.txt

//從hdfs上修改某個檔案的許可權

hdfs dfs -chmod 777 /mylogs/a.sh

//從hdfs上修改某個檔案目錄下的許可權(-r)

hdfs dfs -chmod -r 777 /mylogs

//將本地的1.txt 和2.txt合併到hdfs的1_2.txt中
以上基本上是hdfs的常用的操作命令了

hadoop集群 HDFS常用命令

1.準備工作 1 啟動hadoop集群 方便後續的測試 lmy hadoop102 hadoop 3.1.3 sbin start dfs.sh lmy hadoop103 hadoop 3.1.3 sbin start yarn.sh 2 help 輸出這個命令引數 lmy hadoop102 h...

Hadoop中HDFS的常用命令

hadoop常用命令 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案系統的test.txt...

hadoop的hdfs檔案常用命令操作

在工作中最常用的就是使用hdfs提供的命令 使用hadoop fs help 就能顯示出所有的命令,並將其引數和用途顯示出來。hadoop命令可以直接當做是shell命令,其結果也可以使用shell命令進行操作,比如使用awk進行一些簡單的統計。將hadoop fs help的結果顯示出來的所有命令...