Hadoop fs 命令詳解

2022-08-02 07:21:08 字數 708 閱讀 7873

參考文件:

1. 環境:hadoop-2.6.0

-ls 顯示當前目錄結構

-ls -r 遞迴顯示目錄結構

-du 統計目錄下檔案大小 ;  -du -s 彙總目錄下檔案大小,單位位元組  ; -du -h ,顯示目錄下各個檔案的大小。-du -s -h  /user/hive/warehouse/table_test ,彙總該錶所佔據的儲存空間,顯示單位。

-rm -f -r 遞迴刪除目錄檔案

-cp -f 複製檔案 source destination

-mv 移動檔案或目錄

-mkdir 建立目錄

-put -f 上傳檔案

3. hadoop fs ,hadoop dfs ,hdfs dfs 都可以進行操作。 hadoop fs 的使用面最廣,可以操作所有的檔案系統; hadoop dfs ,hdfs dfs 只能操作 hdfs相關的檔案。【linux 目錄環境】

5. hadoop fs -du  /user/hive/warehouse/ods  |sort -r -n -k 1 |awk ''  |head -20   -- 查詢指定目錄下儲存量最大的top20

------------------------傳送門------------------------

hadoop fs 部分命令詳解

1,hadoop fs fs local 宣告hadoop使用的檔案系統,如果不宣告的話,使用當前配置檔案配置的,按如下順序查詢 hadoop jar裡的hadoop default.xml hadoop conf dir下的hadoop default.xml hadoop conf dir下的h...

hadoop fs 命令使用

有道筆記 hadoop fs 命令 1.hadoop jar裡的hadoop default xml 2.hadoop conf dir下的hadoop default xml 3.hadoop conf dir下的hadoop site xml。使用local代表將本地檔案系統作為hadoop的d...

hadoop fs 命令使用

1.hadoop jar裡的hadoop default xml 2.hadoop conf dir下的hadoop default xml 3.hadoop conf dir下的hadoop site xml。使用local代表將本地檔案系統作為hadoop的dfs。4.如果傳遞uri做引數,那麼...