hadoop 檔案系統shell命令

2022-08-03 16:48:14 字數 988 閱讀 5228

總體來說,hadoop的shell命令非常像linux系統的shell命令,這非常有利於熟悉linux的開發人員快速熟悉hadoop

啟動hdfs

./start-dfs.sh

檢視hdfs根目錄檔案

hadoop fs -ls hdfs:

也可以通過下面的命令

hadoop fs -ls /

上傳檔案

hadoop fs -copyfromlocal /root/install.log /in.log

檢視檔案數量

hadoop fs -count /

hadoop fs -get /in.log /home/ii.log

檢視檔案,以展開檢視

hadoop fs -get /in.log /home/ii.log

檢視檔案以顯示大小

hadoop fs -ls -r -h /

建立資料夾

hadoop fs -mkdir /itcast0106

刪除檔案

hadoop fs -rm /jdk

刪除目錄

hadoop fs -rmr /itcast0106

檢視檔案內容末尾

hadoop fs -tail /in.log

更改檔案執行許可權

hadoop fs -chmod a+x /in.log

遞迴改變資料夾檔案許可權(-r)

hadoop fs -chmod -r -x /wcount

更改所屬使用者、使用者組

hadoop fs -chown supergroup /in.log

更改所屬組為root

hadoop fs -chgrp root /in.log

遞迴更改資料夾使用者組、root

hadoop fs -chown -r supergroup:root /wcount

在hadoop 2.0之後,將出hdfs dfs -ls -r /  等相關的命令

Hadoop 檔案系統(HDFS)

磁碟傳輸速率100m s,定址時間10ms,讓定址時間是傳輸時間的1 所以塊的大小為 100 0.01s 100m s 100m 128m 在 hdfs default.xml 中搜尋dfs.blocksize,可以修改大小 檔案上傳 檢查檔案block的狀態 由上可見,狀態是健康的 啟動所有資料節...

hadoop獲取檔案系統介面

hadoop提供了許多檔案系統的介面,使用者可以使用url方案選取合適的檔案系統來實現互動。fs.localfilesystem 客戶端校驗和本地檔案系統hdfs.distributionfilesystem hadoop分布式檔案系統hdfs.hftpfilesystem 支援http通過唯讀的方...

HADOOP檔案系統API練習

合併本地檔案流到hdfs上 public static void write in.close out.close catch ioexception e 增刪改查 public static void hdfstest 列出根目錄下所有檔案和目錄 filestatus files hdfs.lis...