hdfs配額Quota的增刪查

2021-10-04 00:17:45 字數 1881 閱讀 6521

hdfs允許管理員為每乙個使用者和每乙個資料夾設定配額:命名配額和空間配額。

name quota

該目錄下的名字數量做硬性限制,為資料夾下的數量作出的限制,超過限制則會報錯:quota exceed,最大值配額:long.max_valus。新建立的資料夾沒有分配quota。

space quota

設定乙個資料夾的大小,如果超過則塊寫入會失敗(副本也算)。最大的配額:long.max_value。配額設定為0還是執行檔案建立,但是不能向檔案中寫入塊。資料夾不使用主機檔案系統不計算在空間配額裡面,主機檔案系統用來記錄檔案源資料的資料不算在配額中。

設定命名配額,即資料夾的個數

[bdp@host66 ~]$hdfs dfsadmin -setquota 9999 /user/hive/warehouse/wid_bigdata_1049.db

設定空間配額,即分配空間的儲存的大小

[bdp@host66 ~]$hdfs dfsadmin -setspacequota 10g /user/hive/warehouse/wid_bigdata_1049.db

[bdp@host66 ~]$hadoop fs -count -q /user/hive/warehouse/wid_bigdata_1049.db

none             inf      5368709120      5360480480           50          641            2742880 /user/hive/warehouse/wid_bigdata_1049.db

引數說明:

hadoop fs -count -q ...

查詢結果顯示的引數為:資料夾的限額 剩餘檔案的限額 資料夾的空間限額 資料夾的可用空間(加上多個副本的) 資料夾下檔案的大小 當前資料夾下的檔案個數 資料夾下的檔案所佔的空間大小(不計算副本的個數)

其他引數說明:

hadoop fs -count -q [-h] [-v] [-t [逗號分隔的儲存型別列表]] 《目錄》 ... 《目錄》

-q選項,會報告每個目錄設定的配額,以及剩餘配額(查詢出來的結果不包括副本的)。 如果目錄沒有設定配額,會報告none和inf。

-h選項以人類可讀格式顯示大小。

-v選項顯示標題行。

-t選項顯示每個儲存型別配額集以及每個目錄的剩餘可用配額。

更詳細的展示命令如下:

[bdp@host66 ~]$hadoop fs -count -q -h -v /user/hive/warehouse/wid_bigdata_1049.db

quota       rem_quota     space_quota rem_space_quota    dir_count   file_count       content_size pathname

none             inf             5 g           5.0 g           50          641              2.6 m /user/hive/warehouse/wid_bigdata_1049.db

清除命名配額

[bdp@host66 ~]$hadoop dfsadmin -clrquota /user/hive/warehouse/wid_bigdata_1049.db

清除空間配額

[bdp@host66 ~]$hadoop dfsadmin -clrspacequota /user/hive/warehouse/wid_bigdata_1049.db

zkCli 工具 增刪查改 與 配額quota

zkcli 是 zookeeper 原生的與 zk服務群連線的客戶端的程式。1.使用zkcli.sh連線server sh zkcli.sh timeout 2000 server 10.202.4.22 2181 退出zkcli客戶端 quit 2.zkcli 下的增刪查改指令 與 配額 quot...

的增刪查改 MySQL定義庫表,增刪查改

mysql sql語言 ddl語句 資料庫定義語言 資料庫,表,檢視,索引,儲存過程 dml語句 資料庫操縱語言 插入資料insert,刪除資料delete,更新資料update dql語句 資料庫查詢語言 查詢資料select dcl 語句 資料庫控制語言 例如控制使用者的訪問許可權grant,r...

delphi adoquery的增刪查改

delphi adoquery查詢 插入 刪除 修改 查詢記錄 procedure tform1.button1click sender tobject begin adoquery.close adoquery.sql.clear adoquery.sql.add select from your...