在hdfs的學習中，除了筆者第一篇的api操作之外，同樣的，hdfs的shell操作也是必須要掌握的。下面，筆者就整理出了一些常用的shell命名，希望能夠給讀者帶來些許幫助。
在剛開始學習hdfs的時候，大家可以通過hadoop fs這個命令，來檢視hdfs的所有命令，然後就會全部顯示出來，如下圖所示：
下面，筆者就挑選一些進行說明：
將指定的檔案內容輸出到另乙個指定的檔案中：
改變檔案的許可權。
方法一：通過數字來改變許可權：
方法二：通過加減與r、w、x來改變許可權：
說明：
（1）檔案的許可權有10個字段，可以分為4個部分，如下圖所示：
第一部分：檔案型別（一共5中檔案型別：「-」是普通檔案，「d」是目錄檔案，「l」是鏈結檔案，「b/c」是裝置檔案，「p」是管道檔案）；
第二部分：檔案所有者擁有的許可權
第三部分：檔案所有者所在的組擁有的許可權
第四部分：其他使用者的許可權
（2）操作許可權分為讀操作（r）、寫操作（w）、可執行操作（x）；
（3）如果用數字來表示，r代表4，w代表2，x代表1，根據你要修改的許可權進行計算即可。
改變檔案的擁有者。
將檔案從源路徑複製到目標路徑。
顯示目錄中所有檔案的大小，或者指定某個檔案顯示其大小。
顯示檔案的大小。
與du的作用有一些微小的區別：
在檢視某個目錄下所有檔案的大小時，du是將各個檔案的大小列出來，而dus會將目錄中所有的檔案大小進行求和。但針對於檢視某個檔案的大小，二者無差別。
清空**站。
將集群中的檔案複製到linux本地。
（1）如果是檔案，則按照如下格式返回檔案資訊：
檔案許可權 副本個數 檔案擁有者 組 檔案大小 檢視時間 檔名
（2）如果是目錄，則返回它直接子檔案的乙個列表：
ls命令的遞迴版本。
建立目錄。
將檔案從源路徑移動到目標路徑。
mv和cp的區別：
1.cp可將乙個檔案複製到本目錄或其他目錄；而mv還可以進行重新命名；
2.cp只複製內容；而mv除了複製內容，還複製索引節點。
建立檔案。
刪除指定檔案，之刪除非空目錄和檔案。
delete的遞迴版本。
修改檔案的副本個數。
返回指定路徑的統計資訊。
將檔案尾部1k位元組的內容進行輸出
-e:檢查檔案是否存在
-z:檢查檔案是否是0位元組
-d:檢查是否為目錄
將原始檔輸出為文字格式。
建立乙個0位元組的空檔案。
其他shell補充：
報告hdfs的基本統計情況：hadoop dfsadmin -report
檢查整個檔案系統的健康狀況： hadoop fsck /
負載均衡：start-balancer.sh
檢視主節點狀態：hdfs haadmin -getservicestate namenode
手動切換主節點狀態：hdfs haadmin -transitiontoactive --forcemanual namenode
HDFS 常用shell命令
fs file system shell 命令格式 bin hadoop fs cmd 當使用hdfs distributed file system 等價使用如下命令格式 bin hdfs dfs cmd localsrc dst 可同時上傳多個檔案到hdfs裡面 2hdfs dfs caturi...
hdfs常用shell命令
1.sh hadoop fs put soft offlineprocess custom.xml user oozie 將 soft offlineprocess 下的custom.xml 檔案，拷貝到hdfs的 user oozie 目錄下。2.sh hadoop rmr user oozie ...
hdfs常用shell命令
基於ubuntu下hadoop偽分布式操作指令。將hdfs檔案系統下所有檔案以級聯的形式顯示出來。hdfs dfs ls r 一次性建立乙個 資料夾。hdfs dfs mkdir p folder1 folder2 folder3在folder1 folder2 folder3目錄下建立乙個temp...