hadoop HDFS常用檔案操作命令

1

hadoop fs-cmd < args >

1. ls　　列出hdfs檔案系統根目錄下的目錄和檔案

1hadoop fs-ls/dir

1hadoop fs-ls-r/dir--列出hdfs檔案系統所有的目錄和檔案

2.put

hadoop fs -put   --hdfs file的父目錄一定要存在，否則命令不會執行

hadoop fs -put --hdfs dir 一定要存在，否則命令不會執行

hadoop fs -put - --從鍵盤讀取輸入到hdfs file中，按ctrl+d結束輸入，hdfs file不能存在，否則命令不會執行

hadoop fs -get --local file不能和 hdfs file名字不能相同，否則會提示檔案已存在，沒有重名的檔案會複製到本地

hadoop fs -get < hdfs file or dir > ... < local  dir >

拷貝多個檔案或目錄到本地時，本地要為資料夾路徑
注意：如果使用者不是root， local 路徑要為使用者資料夾下的路徑，否則會出現許可權問題，

hadoop fs -rm < hdfs file > ...

hadoop fs -rm -r < hdfs dir>...

hadoop fs -mkdir  --只能一級一級的建目錄，父目錄不存在的話使用這個命令會報錯

hadoop fs -mkdir -p --所建立的目錄如果父目錄不存在就建立該父目錄

hadoop fs -cp 

-- 目標檔案不能存在，否則命令不能執行，相當於給檔案重新命名並儲存，原始檔還存在

hadoop fs -cp --目標資料夾要存在，否則命令不能執行

hadoop fs -mv

hadoop fs -mv  < hdfs file or dir >...  < hdfs dir >

源路徑有多個時，目標路徑必須為目錄，且必須存在。注意：跨檔案系統的移動（local到hdfs或者反過來）都是不允許的

hadoop fs -count --統計hdfs對應路徑下的目錄個數，檔案個數，檔案總計大小

hadoop fs -text < hdsf file>

將文字檔案或某些格式的非文字檔案通過文字格式輸出

hadoop fs -cat /*

hadoop fs -cat /user/hive/back/hs_ods/clientinfo/* >clientinfo.txt
-- 將檔案儲存到local 檔案

mr的執行依賴資料位址，如果資料位址不存在，則會報錯

12. 在開啟的結果中搜尋

hadoop dfs -cat /user/hive/warehouse/fundmarket/* |grep '華夏'

hadoop HDFS常用檔案操作命令

hdfs dfs 與 hadoop fs 效果一樣 1.put從本地載入檔案到hdfs 基本語法 localfile hdfs file hdfs file的父目錄一定要存在，否則命令不會執行 localfileordir hdfs dir hdfs dir 一定要存在，否則命令不會執行 從鍵盤讀取...

Hadoop HDFS常用檔案操作命令

呼叫檔案系統 fs shell命令應用 bin hadoop fs 的形式。可以將hadoop的bin目錄配置環境變數 所有的的fs shell命令使用uri路徑作為引數.uri格式是scheme 許可權 路徑。對hdfs檔案系統，方案是hdfs，對本地檔案系統，scheme是file。其中sche...

hadoop hdfs 檔案優點

隨著網際網路資料規模的不斷增大，對檔案儲存系統提出了更高的要求，需要更大的容量 更好的效能以及更高安全性的檔案儲存系統，與傳統分布式檔案系統一樣，hdfs分布式檔案系統也是通過計算機網路與節點相連，但也有優於傳統分布式檔案系統的優點。1.支援超大檔案 hdfs分布式檔案系統具有很大的資料集，可以儲存...