hdfs上的配額管理針對的是某個目錄而不是某個使用者，新增配額管理可以更好地管理檔案系統。配額管理可分為檔案數量限額和目錄空間大小限額，可以通過以下命令檢視耨個目錄的配額資訊。
#檢視配額資訊
hdfs dfs -count -q -h /dir0
none inf none inf 1 0 0 /dir0
quota remaining_quata space_quota space_quota_rem dir_count file_count content_size
# 配額資訊解讀
quota：檔案數配額，（如果沒有配額，則顯示為none，空間配額同理）
remaining_quata：剩餘的檔案數配額（剩餘能建立的目錄和檔案數量，如果沒有配額，則顯示為inf）
space_quota：空間配額（限制磁碟占用大小）
space_quota_rem：剩餘可以用的磁碟空間
file_count/file_count：檔案/目錄數
content_size：邏輯空間大小，不計副本因素
#建立hdfs資料夾
hdfs dfs -mkdir -p /dir0
# 給該資料夾下面設定多上傳兩個檔案，發現只能 上傳乙個檔案，因為目錄本身也算乙個
hdfs dfsadmin -setquota 2 /dir0
# 清空檔案配額
dfsadmin -clrquota /dir0
# 限制空間大小4kb
hdfs dfsadmin -setspacequota 4k /user/root/dir
hdfs dfs -put a.txt /dir0
# 發現會報錯
20/09/23 00:06:05 warn hdfs.dfsclient: datastreamer exception
org.apache.hadoop.hdfs.protocol.dsquotaexceededexception: the diskspace quota of /dir0 is exceeded: quota
= 4096 b = 4 kb but diskspace consumed = 402653184 b = 384 mb
# 大概意思就是配額空間的大小最低就是要上傳檔案大小的三倍，因為hdfs乙個塊就是128mb，所以要求最低是128*3=384mb
# 生成2m的檔案，可以通過引數調大小
dd if=/dev/zero of=1.txt bs=1m count=2
大資料 hdfs 檔案限額配置 小記
hdfs檔案限額配置允許我們以檔案大小或者檔案個數來限制某個目錄下上傳的檔案數量或者檔案的內容總量 hdfs dfs mkdir p user root lisi 建立hdfs資料夾 hdfs dfsadmin setquota 50 lisi 給該資料夾下面設定最多上傳49個檔案，還有乙個檔案是l...
HDFS的高階命令使用 檔案限額配置 4
相信看過小菌之前的部落格 hdfs的shell常用命令大全 的小夥伴們,肯定對於hdfs的shell常用命令已經不滿足了,那麼這篇部落格,小菌為大家帶來的是hdfs的高階命令使用 檔案限額配置！首先讓我們來看看這個命令的作用吧 我們可以從上述知道hdfs限額配置可以從檔案數量限額和空間大小限額兩個方...
合併 hdfs 檔案
待研究，只做儲存 將hdfs中不同目錄下面的資料合在一起，並存放在指定的目錄中，示例如 sqoop merge new data test p1 person onto test p2 person target dir test merged jar file opt data sqoop per...