HDFS命令列檔案操作

2021-07-11 07:26:12 字數 1428 閱讀 9842

hadoop檔案操作命令形式為

hadoop fs -cmd

說明:cmd是具體的檔案操作命令,是一組數目可變的引數。

hadoop最常用的檔案操作命令,包括新增檔案和目錄、獲取檔案、刪除檔案等。

1 新增檔案和目錄

hdfs有乙個預設工作目錄/usr/$user,其中$user是你的登入使用者名稱,作者的使用者名稱是root。該目錄不能自動建立,需要執行mkdir命令建立。

hadoop fs -mkdir  /usr/root

使用hadoop的命令put將本地檔案readme.txt送到hdfs。

hadoop fs -put readme.txt  .

注意上面這個命令最後乙個引數是句點(.),這意味著把本地檔案放入到預設的工作目錄,該命令等價於:

hadoop fs -put readme.txt     /user/root

使用hadoop的ls命令,即

hadoop fs -ls

2 獲取檔案

獲取檔案包含兩層意思,一是hdfs從本地檔案中獲取檔案,即前面介紹的新增檔案;二是本地檔案從hdfs中獲取檔案,可以使用hadoop的get命令。

例如若本地檔案沒有readme.txt檔案,需要從hdfs中取回,可以執行如下命令。

hadoop fs -get  readme.txt  .

或者hadoop fs -get readme.txt  /usr/root/readme.txt

3 刪除檔案

hadoop刪除檔案命令為rm。例如要刪除從本地檔案上傳的readme.txt,可以執行如下命令。

hadoop  fs -rm  readme.txt

4 檢索檔案

檢索檔案即查閱hdfs中的檔案內容,可以使用hadoop中的cat命令。例如要查閱readme.txt的內容,可以執行如下命令。

hadoop fs -cat readme.txt

另外,hadoop的cat命令的輸出也可以使用管道傳遞給unix 命令的head:

hadoop fs -cat readme.txt | head

hadoop也支援tail命令檢視最後一千位元組。例如要查閱readme.txt最後一千個位元組,可以執行如下命令。

hadoop fs -tail readme.txt

5查閱幫助

查閱hadoop命令幫助,可以讓我們很好地掌握和使用hadoop的 命令。我們可以執行hadoop fs 獲取所用版本hadoop的乙個完整命令列別,也可以使用help來顯示某個具體命令的用法及簡短描述。

例如,要了解ls命令,可執行如下命令。

hadoop  fs -help ls

HDFS命令列檔案操作

hadoop檔案操作命令形式為 hadoop fs cmd 說明 cmd是具體的檔案操作命令,是一組數目可變的引數。hadoop最常用的檔案操作命令,包括新增檔案和目錄 獲取檔案 刪除檔案等。1 新增檔案和目錄 hdfs有乙個預設工作目錄 usr user,其中 user是你的登入使用者名稱,作者的...

HDFS檔案操作 命令列

haddop fs ls 查詢目錄 hadoop fs mkdir test 在根目錄下建立乙個目錄test hadoop fs put test.txt test 將本地的test.txt檔案上傳到hdfs根目錄下的test資料夾中去 hadoop fs copyfromlocal test.tx...

HDFS命令列操作

1 基本語法 bin hadoop fs 具體命令2 常用操作 1 help 輸出這個命令引數 bin hdfs dfs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p aaa bbb ccc ddd 4 m...