有道筆記-hadoop fs 命令
1. hadoop jar裡的hadoop-default
.xml
2.$hadoop_conf_dir下的hadoop-default
.xml
3.$hadoop_conf_dir下的hadoop-site
.xml。使用local代表將本地檔案系統作為hadoop的dfs。
4. 如果傳遞uri做引數，那麼就是特定的檔案系統作為dfs。
1. hadoop fs –fs [local | system
uri>
]：列出在指定目錄下的檔案內容，支援pattern匹配。輸出格式如filename(full path) n>
size. 其中n代表replica的個數，size代表大小（單位bytes）。
2. hadoop fs –ls
遞迴列出匹配pattern的檔案資訊，類似ls，只不過遞迴列出所有子目錄資訊。
3. hadoop fs –lsr
：列出匹配pattern的指定的檔案系統空間總量（單位bytes），等價於unix下的針對目錄的du –sb
/*和針對檔案的du –b
，輸出格式如name(full path) size(in bytes)。
4. hadoop fs –du
等價於-du，輸出格式也相同，只不過等價於unix的du -sb。
5. hadoop fs –dus
將制定格式的檔案 move到指定的目標位置。當src為多個檔案時，dst必須是個目錄。
6. hadoop fs –mv
拷貝檔案到目標位置，當src為多個檔案時，dst必須是個目錄。
7. hadoop fs –cp
刪除匹配pattern的指定檔案，等價於unix下的rm
8. hadoop fs –rm [-skiptrash]
遞迴刪掉所有的檔案和目錄，等價於unix下的rm –rf
9. hadoop fs –rmr [skiptrash]
等價於unix的rm –rfi
10. hadoop fs –rmi [skiptrash]
從本地系統拷貝檔案到dfs
11. hadoop fs –put
… 等價於-put
12. hadoop fs –copyfromlocal
… 等同於-put，只不過原始檔在拷貝後被刪除
13. hadoop fs –movefromlocal
… 從dfs拷貝檔案到本地檔案系統，檔案匹配pattern，若是多個檔案，則dst必須是目錄
14. hadoop fs –get [-ignorecrc] [-crc]
顧名思義，從dfs拷貝多個檔案、合併排序為乙個檔案到本地檔案系統
15. hadoop fs –getmerge
輸出檔案內容
16. hadoop fs –cat
等價於-get
17. hadoop fs –copytolocal [-ignorecrc] [-crc]
在指定位置建立目錄
18. hadoop fs –mkdir
設定檔案的備份級別，-r標誌控制是否遞迴設定子目錄及檔案
19. hadoop fs –setrep [-r] [-w]
修改檔案的許可權，-r標記遞迴修改。mode為a+r,g-w,+rwx等，octalmode為755這樣
20. hadoop fs –chmod [-r]
path…
修改檔案的所有者和組。-r表示遞迴
21. hadoop fs -chown [-r] [owner][:[group]] path…
等價於-chown … :group …
22. hadoop fs -chgrp [-r] group path…
計數檔案個數及所佔空間的詳情，輸出**的列的含義依次為：dir_count,file_count,content_size,file_name或者如果加了-q的話，還會列出quota,remaining_quota,space_quota,remaining_space_quota
23. hadoop fs –count[-q]
hadoop fs 命令使用
1.hadoop jar裡的hadoop default xml 2.hadoop conf dir下的hadoop default xml 3.hadoop conf dir下的hadoop site xml。使用local代表將本地檔案系統作為hadoop的dfs。4.如果傳遞uri做引數，那麼...
Hadoop fs 命令詳解
參考文件 1.環境 hadoop 2.6.0 ls 顯示當前目錄結構 ls r 遞迴顯示目錄結構 du 統計目錄下檔案大小 du s 彙總目錄下檔案大小,單位位元組 du h 顯示目錄下各個檔案的大小。du s h user hive warehouse table test 彙總該錶所佔據的儲存空...
Hadoop基礎 hadoop fs 命令
1，hadoop fs fs local 宣告hadoop使用的檔案系統，如果不宣告的話，使用當前配置檔案配置的，按如下順序查詢 hadoop jar裡的hadoop default.xml hadoop conf dir下的hadoop default.xml hadoop conf dir下的h...