HDFS命令筆記

2021-08-01 08:09:32 字數 1139 閱讀 9301

環境:hadoop 2.7

1 上傳檔案

上傳tem下的檔案到 hdfs中的/lcy路徑   上傳檔案的路徑必須是hdfs有訪問許可權的   上傳到的檔案路徑必須是hdfs能夠寫入的

sudo -u hdfs hdfs -put /tem/y* /lcy

2 檢視檔案

檢視hdfs下的檔案 路徑為 /lcy/yarn-site.xml

hdfs dfs -cat /lcy/yarn-site.xml

hdfs dfs -get /lcy/test.txt /root/lcy

4刪除檔案

刪除檔案test5.txt 必須使用有讀寫許可權的使用者進行刪除操作

sudo -u hdfs hdfs dfs -rm -r /lcy/test5.txt

返回17/05/19 08:40:15 info fs.trashpolicydefault: namenode trash configuration: deletion interval = 360 minutes, emptier interval = 0 minutes.

moved: 'hdfs://master:8020/lcy/test5.txt' to trash at: hdfs://master:8020/user/hdfs/.trash/current

刪除的檔案預設放入**站我設定的時間間隔為360分鐘後預設徹底刪除檔案,可以再core-site.xml檔案中配置放入**站後清空的時間間隔,hadoop預設的時間為0分鐘

配置如下

fs.trash.interval

360

配置完之後重啟hdfs生效

5 記憶體快取池

檢視(listpools  p要大寫)

hdfs cacheadmin -listpools

新增test快取池 必須用可以寫入的使用者

sudo -u hdfs hdfs cacheadmin -addpool test

向快取池新增檔案(必須是hdfs內的檔案)

sudo -u hdfs hdfs cacheadmin -adddirective -path /lcy/* -pool test

檢視快取池檔案

hdfs cacheadmin -listdirectives -pool test

hdfs命令學習

hdfs dfs put a.txt b.txta.txt在本地,b.txt是要傳到的hdfs路徑。hdfs dfs get wordcountout part 0000 tmp outputhdfs提供了很多shell命令來實現訪問檔案系統的功能,hadoop自帶的shell指令碼叫hadoop。...

HDFS命令參考

在 hadoop home bin hadoop fs裡有更多的命令,bin hdfs dfs 可以列出所有可以在fs shell系統上執行的命令。此 hadoop home bin hadoop fs help命令會顯示簡短的用法。所有表的操作如下所示,以下是使用引數的一般方式 means any...

HDFS檔案命令

hadoop fs genericopitions ls 顯示目標路徑當前目錄下的所有檔案 lsr 遞迴顯示目標路徑下的所有目錄及檔案 深度優先 du 以位元組為單位顯示目錄中所有檔案的大小,或該檔案的大小 如果 path 為檔案 dus 以位元組為單位顯示目標檔案大小 用於檢視資料夾大小 coun...