第三章 熟悉常用HDFS操作

2022-06-04 23:45:11 字數 2201 閱讀 4353

1.在本地linux檔案系統的「/home/hadoop/」目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.

2.在本地檢視檔案位置(ls)

3.在本地顯示檔案內容

cd /usr/local/hadoop

touch test1.txt

cat test1.txt

4.使用命令把本地檔案系統中的「txt」上傳到hdfs中的當前使用者目錄的input目錄下。

./sbin/start-dfs.sh

./bin/hdfs dfs -mkdir -p /user/hadoop

./bin/hdfs dfs -mkdir input

./bin/hdfs dfs -put ./hello.txt input

5.檢視hdfs中的檔案(-ls)

./bin/hdfs dfs -ls input

6.顯示hdfs中該的檔案內容

./bin/hdfs dfs -cat input/hello.txt

7.刪除本地的txt檔案並檢視目錄

./bin/hdfs dfs -rm -ls input/hello.txt

./bin/hdfs dfs -get input/test.txt ~/rm.txt

9.從hdfs中刪除txt並檢視目錄

./bin/hdfs dfs -rm -ls input/rm.txt

二、1.向hdfs中上傳任意文字檔案,如果指定的檔案在hdfs中已經存在,由使用者指定是追加到原有檔案末尾還是覆蓋原有的檔案;

hadoop fs -put /home/hadoop/test.txt /usr/local/hadoop

hadoop fs -test -e /usr/local/hadoop/test.txt

if $(hadoop fs -test -e /home/hadoop/hello.txt); 

then $(hadoop fs -copytolocal /usr/local/hadoop/hello.txt/home/hadoop/hello.txt);

else $(hadoop fs -copytolocal /usr/local/hadoop/hello.txt/home/hadoop/hello2.txt); fi

3.將hdfs中指定檔案的內容輸出到終端中;

hadoop fs -cat /usr/local/hadoop/test.txt

4.顯示hdfs中指定的檔案的讀寫許可權、大小、建立時間、路徑等資訊;

hdfs dfs -ls -h hello.txt

5.給定hdfs中某乙個目錄,輸出該目錄下的所有檔案的讀寫許可權、大小、建立時間、路徑等資訊,如果該檔案是目錄,則遞迴輸出該目錄下所有檔案相關資訊;

hdfs dfs -ls -r -h /user/hadoop

6.提供乙個hdfs內的檔案的路徑,對該檔案進行建立和刪除操作。如果檔案所在目錄不存在,則自動建立目錄;

if $(hadoop dfs -test -d /usr/local/hadoop/test); then $(hadoop dfs -touch /usr/local/hadoop/test/test1.txt); else $(hadoop dfs -mkdir -p /usr/local/hadoop/test && hadoop dfs -touch /usr/local/hadoop/test/test1.txt); fi

7.提供乙個hdfs的目錄的路徑,對該目錄進行建立和刪除操作。建立目錄時,如果目錄檔案所在目錄不存在則自動建立相應目錄;刪除目錄時,由使用者指定當該目錄不為空時是否還刪除該目錄;

./hdfs dfs -rmr home/jinlong/hadoop/

8.向hdfs中指定的檔案追加內容,由使用者指定內容追加到原有檔案的開頭或結尾;

9.刪除hdfs中指定的檔案;

hadoop fs -rm /usr/local/hadoop/test.txt

10.刪除hdfs中指定的目錄,由使用者指定目錄中如果存在檔案時是否刪除目錄;

hadoop fs -rmr /usr/local/hadoop

第三章 熟悉常用的HDFS操作

一 hadoop提供的shell命令完成相同任務 在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.在本地檢視檔案位置 ls 在本地顯示檔案內容 使用命令把本地檔案系統中的 txt 上傳到hdfs中的當前使用者目錄的input目錄下。檢視hdfs...

第三章 熟悉常用的HDFS操作

程式設計實現以下指定功能,並利用hadoop提供的shell命令完成相同任務 在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.在本地檢視檔案位置 ls 在本地顯示檔案內容 使用命令把本地檔案系統中的 txt 上傳到hdfs中的當前使用者目錄的i...

第三章 熟悉常用的HDFS操作

程式設計實現以下指定功能,並利用hadoop提供的shell命令完成相同任務 1.在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.cd usr local hadoop touch flie.txt gedit file.txt 2.在本地檢視...