hadoop,HDFS常用Shell操作

2021-07-15 03:23:44 字數 1375 閱讀 2564

(1)列出檔案目錄:hadoop fs -ls 目錄路徑

檢視hdfs根目錄下的目錄:hadoop fs -ls /

遞迴檢視hdfs根目錄下的目錄:hadoop fs -lsr /

(2)在hdfs中建立資料夾:hadoop fs -mkdir 資料夾名稱

在根目錄下建立乙個名稱為di的資料夾:

(3)上傳檔案到hdfs中:hadoop fs -put 本地源路徑 目標存放路徑

將本地系統中的乙個log檔案上傳到di資料夾中:hadoop fs -put test.log /di

*ps:我們通過hadoop shell上傳的檔案是存放在datanode的block(資料塊)中的,通過linux shell是看不到檔案的,只能看到block。因此,可以用一句話來描述hdfs:把客戶端的大檔案存放在很多節點的資料塊中。

(5)直接在hdfs中檢視某個檔案:hadoop fs -text(-cat) 檔案存放路徑

在hdfs檢視剛剛上傳的test.log檔案:hadoop fs -text /di/test.log

(6)刪除在hdfs中的某個檔案(夾):hadoop fs -rm(r) 檔案存放路徑

刪除剛剛上傳的test.log檔案:hadoop fs -rm /di/test.log

刪除hdfs中的di資料夾:hadoop fs -rmr /di

(7)善用help命令求幫助:hadoop fs -help 命令

檢視ls命令的幫助:hadoop fs -help ls

oracle培訓

hadoop HDFS常用檔案操作命令

hdfs dfs 與 hadoop fs 效果一樣 1.put從本地載入檔案到hdfs 基本語法 localfile hdfs file hdfs file的父目錄一定要存在,否則命令不會執行 localfileordir hdfs dir hdfs dir 一定要存在,否則命令不會執行 從鍵盤讀取...

hadoop hdfs常用命令

1.hadoop fs 檢視hadoop hdfs支援的所有命令 2.hadoop fs ls 列出目錄及檔案資訊 3.hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 4.hadoop fs put test.txt user sunlightcs 將本地檔案系統的test.txt複製到...

hadoop hdfs 常用命令

size large hadoop常用命令 hadoop fs 檢視hadoop hdfs支援的所有命令 hadoop fs ls 列出目錄及檔案資訊 hadoop fs lsr 迴圈列出目錄 子目錄及檔案資訊 hadoop fs put test.txt user sunlightcs 將本地檔案...