hadoop HDFS常用檔案操作命令

hdfs dfs 與 hadoop fs 效果一樣

1.put從本地載入檔案到hdfs

基本語法：

<localfile > < hdfs file >

hdfs file的父目錄一定要存在，否則命令不會執行

<localfileordir >...< hdfs dir >

hdfs dir 一定要存在，否則命令不會執行

從鍵盤讀取輸入到hdfs file中，按ctrl+d結束輸入，hdfs file不能存在，否則命令不會執行

自己試驗：

上傳到指定目錄

hdfs dfs -put mxdai_baiqishi_risk_parse.py hdfs:///user/hive/lib/

2.rm刪除檔案，-rm -r 遞迴刪除目錄和檔案

基本語法：

hadoop fs -rm< hdfsfile> ...

hadoop fs -rm-r < hdfsdir>...

自己試驗：

刪除原始檔案

hdfs dfs -rm hdfs:///user/hive/lib/mxdai_baiqishi_risk_parse.py

3.get從hdfs匯出檔案到本地

< hdfs file > <localfileordir>

local file不能和 hdfs file名字不能相同，否則會提示檔案已存在，沒有重名的檔案會複製到本地

< hdfs fileordir > ... <localdir >

拷貝多個檔案或目錄到本地時，本地要為資料夾路徑

注意：如果使用者不是root， local 路徑要為使用者資料夾下的路徑，否則會出現許可權問題，

自己試驗：

copy檔案到自己目錄：

hdfs dfs -get hdfs:///user/hive/lib/sab_risk_parse.py 

4.-text檢視檔案內容

hadoop fs -text hdfs:///user/hive/warehouse/tmp.db/zsh_test1/topicdate=2018-09-04/* | less

hdfs dfs -rm hdfs:///user/hive/lib/sab_risk_parse.py

hdfs dfs -put sab_risk_parse.py hdfs:///user/hive/lib/

hdfs dfs -rm /user/hive/lib/mxdai_baiqishi_risk_parse.py

hdfs dfs -ls /user/hive/lib

hdfs dfs -put /home/s?????.zhao/mxdai_baiqishi_risk_parse.py /user/hive/lib

ref: 

1. 

Hadoop HDFS常用檔案操作命令

呼叫檔案系統 fs shell命令應用 bin hadoop fs 的形式。可以將hadoop的bin目錄配置環境變數 所有的的fs shell命令使用uri路徑作為引數.uri格式是scheme 許可權 路徑。對hdfs檔案系統，方案是hdfs，對本地檔案系統，scheme是file。其中sche...

hadoop HDFS常用檔案操作命令

1 hadoop fs cmd args 1.ls 列出hdfs檔案系統根目錄下的目錄和檔案 1hadoop fs ls dir 1hadoop fs ls r dir 列出hdfs檔案系統所有的目錄和檔案 2.put hadoop fs put hdfs file的父目錄一定要存在，否則命令不會執...

hadoop hdfs 檔案優點

隨著網際網路資料規模的不斷增大，對檔案儲存系統提出了更高的要求，需要更大的容量 更好的效能以及更高安全性的檔案儲存系統，與傳統分布式檔案系統一樣，hdfs分布式檔案系統也是通過計算機網路與節點相連，但也有優於傳統分布式檔案系統的優點。1.支援超大檔案 hdfs分布式檔案系統具有很大的資料集，可以儲存...