最新Hadoop Shell完全講解

2022-03-28 05:37:27 字數 4081 閱讀 4978

功能:將乙個或多個原始檔系統的內容追加至目標檔案系統

2、cat

功能:將指定uri下的檔案內容輸出至stdout(在控制台列印)

使用方法:hadoop fs -cat uri

hadoop fs -cat /flume/web_output/part-r-00000

3、chgrp

功能:改變檔案所屬的組,使用-r將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超級使用者。

使用方法:hadoop fs -chgrp [-r] group uri

hadoop fs -chgrp -r hadoop /flume

4、chmod

功能:改變檔案的許可權,使用-r將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超級使用者

使用方法:hadoop fs -chmod [-r] uri [uri …]

hadoop fs -chmod -r  777  /flume

5、chown

功能:改變檔案的擁有者,使用-r使改變在目錄結構下遞迴進行。命令的使用者必須是超級使用者。

使用方法:hadoop fs -chown [-r] [owner]   [ :[group]]  uri 

hadoop fs -chown -r hadoop_mapreduce:hadoop /flume

6、copyfromlocal

功能:和put命令的用法類似,除了原始檔只能是本地,從linux檔案系統或者其他檔案系統拷貝檔案至hdfs檔案系統

使用方法:hadoop fs -copyfromlocal uri(localremote)

7、copytolocal

功能:和get方法相似,除了目標檔案僅限於本地檔案,將hdfs檔案系統的檔案拷貝至linux檔案系統或者其他檔案系統

使用方法:hadoop fs -copytolocal [-ignorecrc] [-crc] uri

8、count

功能:根據指定的檔案樣式去匹配路徑下的目錄、檔案、位元組並做統計。

使用方法: hadoop fs -count [-q]

hadoop fs -count hdfs: hdfs:

hadooo fs -count -q hdfs:

9、cp

功能:將檔案從源路徑複製到目標路徑,允許多個源路徑,目標路徑只能有乙個

使用方法:hadoop fs -cp uri...

10、du

功能:顯示目錄中所有檔案的大小,或者當只指定乙個檔案時,顯示此檔案的大小。如果指定乙個目錄,則顯示出該目錄下所有檔案/資料夾的大小

使用方法:hadoop fs -dus

功能:清空**站。請參考hdfs設計文件以獲取更多關於**站特性的資訊。

使用方法:hadoop fs -expunge

功能:複製檔案到本地檔案系統。可用-ignorecrc選項複製crc校驗失敗的檔案。使用-crc選項複製檔案以及crc資訊。

14、getfacl

功能:顯示檔案和目錄的訪問控制列表(acl)。如果乙個目錄有乙個預設的acl,那麼getfacl也顯示預設的acl。

使用方法:hadoop fs -getfacl [-r]

hadop fs -getfacl -r /flume

功能:接受乙個源目錄和乙個目標檔案作為輸入,並且將源目錄中所有的檔案連線成本地目標檔案。addnl是可選的,用於指定在每個檔案結尾新增乙個換行符。

使用方法:hadoop fs -getmerge [addnl]

功能:如果是檔案,則按照如下格式返回檔案資訊:

檔名 《副本數》 檔案大小 修改日期 修改時間 許可權 使用者id 組id 

如果是目錄,則返回它直接子檔案的乙個列表,就像在unix中一樣。目錄返回列表的資訊如下:

目錄名 修改日期 修改時間 許可權 使用者id 組id 

使用方法:hadoop fs -ls

hadoop fs -ls /user/hadoop 

17、lsr

功能:ls命令的遞迴版本。類似於unix中的ls -r。

使用方法:hadoop fs -lsr

hadoop fs -lsr /flume

18、mkdir

功能:接受路徑指定的uri作為引數,建立這些目錄。其行為類似於unix的mkdir -p,它會建立路徑中的各級父目錄。

使用方法:hadoop fs -mkdir [-p]

hadoop fs -mkdir /a/b/c

功能:和put方法類似,從本地移動檔案到hdfs

使用方法:hadoop fs -movefromlocal

hadoop fs -movefromlocal /usr/local/* /user/flume/

20、movetolocal

功能:將hdfs檔案移動到本地檔案系統

使用方法:hadoop fs -movetolocal [-crc]

hadoop fs -movetolocal -crc /user/hadoop_hdfs/* /usr/local/

功能:將檔案從源路徑移動到目標路徑。這個命令允許有多個源路徑,此時目標路徑必須是乙個目錄。不允許在不同的檔案系統間移動檔案。

使用方法:hadoop fs -mv uri [uri …]

hadoop fs -mv /user/flume /user/hadoop

功能:從本地檔案系統中複製單個或多個源路徑到目標檔案系統。也支援從標準輸入中讀取輸入寫入目標檔案系統。

使用方法:hadoop fs -put ...

hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

23、rm

功能:刪除指定的檔案。只刪除非空目錄和檔案。請參考rmr命令了解遞迴刪除。

使用方法:hadoop fs -rm uri [uri …]

hadoop fs -rm /flume

使用方法:hadoop fs -rmr uri [uri …]

hadoop fs -rmr /flume

功能:改變乙個檔案的副本係數。-r選項用於遞迴改變目錄下所有檔案的副本係數。

使用方法:  hadoop fs -setrep [-r] [-w]

hadoop fs -setrep  -r -w 3 /user/flume

功能:返回指定路徑的統計資訊。

使用方法:hadoop fs -stat uri [uri …]

hadoop fs -stat/flume

27、tail

功能:將檔案尾部1k位元組的內容輸出到stdout。支援-f選項,行為和unix中一致。

使用方法:hadoop fs -tail [-f] uri

hadoop fs -tail /flume

功能:測試檢查目錄或者檔案是否存在

使用方法:hadoop fs -test -[ezd] uri

選項:-e 檢查檔案是否存在。如果存在則返回0。

-z 檢查檔案是否是0位元組。如果是則返回0。 

-d 如果路徑是個目錄,則返回1,否則返回0。

功能:原始檔和輸出檔案為文字格式。允許的格式是zip和textrecordinputstream。

使用方法:hadoop fs -text

功能:建立乙個0位元組的空檔案。

使用方法:hadoop fs -touchz uri [uri …] 

hadoop -touchz pathname

Hadoop Shell命令字典

1.chmod與chown的區別是什麼?2.cat將路徑指定檔案的內容輸出到 3.cp能否是不同之間複製?4.hdfs如何檢視檔案大小?5.hdfs如何合併檔案?6.如何顯示當前路徑下的所有資料夾和檔案 7.rm刪除檔案失敗的原因什麼?8.如何檢視檔案的建立時間 9.檢視檔案命令的內容有哪些?能否說...

最新python3完全零基礎入門(目前最新)

課程內容 計算機基礎常識 python語言概覽 安裝與執行 python 變數 資料型別及儲存 python 常用資料型別概覽 數值與字串 列表list 字典表dict 與元組 tuple 檔案與型別彙總 語句 表示式與if分支 迴圈語句 迭代函式定義與引數 函式與lambda表示式 函式應用與工具...

Hadoop shell常用命令

cat 使用方法 hadoop fs cat uri uri 將路徑指定檔案的內容輸出到stdout。示例 hadoop fs cat hdfs host1 port1 file1 hdfs host2 port2 file2 hadoop fs cat file file3 user hadoop...