大資料 hdfs 檔案限額配置 小記

2021-09-29 08:25:10 字數 661 閱讀 8161

hdfs檔案限額配置允許我們以檔案大小或者檔案個數來限制某個目錄下上傳的檔案數量或者檔案的內容總量

hdfs dfs -mkdir -p /user/root/lisi   //建立hdfs資料夾

hdfs dfsadmin -setquota 50 lisi //給該資料夾下面設定最多上傳49個檔案,還有乙個檔案是lisi自己

hdfs dfsadmin -clrquota /user/root/lisi //清除檔案數量限制

hdfs dfsadmin -setspacequota 50m /user/root/lisi  //限制空間大小為50m

(上傳超過50m的檔案上去,會提示檔案超過限額)

hdfs dfsadmin -clrspacequota /user/root/lisi //清除空間限額

(當清除空間大小限額後,則可以上傳)

HDFS檔案限額配置

hdfs上的配額管理針對的是某個目錄而不是某個使用者,新增配額管理可以更好地管理檔案系統。配額管理可分為檔案數量限額和目錄空間大小限額,可以通過以下命令檢視耨個目錄的配額資訊。檢視配額資訊 hdfs dfs count q h dir0 none inf none inf 1 0 0 dir0 qu...

HDFS的高階命令使用 檔案限額配置 4

相信看過小菌之前的部落格 hdfs的shell常用命令大全 的小夥伴們,肯定對於hdfs的shell常用命令已經不滿足了,那麼這篇部落格,小菌為大家帶來的是hdfs的高階命令使用 檔案限額配置!首先讓我們來看看這個命令的作用吧 我們可以從上述知道hdfs限額配置可以從檔案數量限額和空間大小限額兩個方...

獲取hdfs (大資料)HDFS

hdfs 是 hadoop 的分布式檔案系統,主要用於離線的大檔案資料資料儲存。hdfs 架構 hdfs 其實與作業系統的檔案系統類似,hdfs 主要有兩種角色,乙個是 namenode 檔案索引 另乙個是 datanode 儲存資料 namenode 主要負責記錄乙個檔案的儲存元資料 例如 檔名 ...