hdfs的特殊使用命令

2021-10-25 18:00:16 字數 1562 閱讀 1245

目標:掌握hdfs對目錄如何進行限制。
hdfs dfs -mkdir -p /user/root/lisi #建立hdfs資料夾

hdfs dfsadmin -setquota 2 lisi # 給該資料夾下面設定最多上傳兩個檔案,上傳檔案,發現只能上傳乙個檔案

hdfs dfsadmin -clrquota /user/root/lisi # 清除檔案數量限制

hdfs dfsadmin -setspacequota 4k /user/root/lisi # 限制空間大小4kb

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

#上傳超過4kb的檔案大小上去提示檔案超過限額

hdfs dfsadmin -clrspacequota /user/root/lisi #清除空間限額

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

#重新上傳成功

檢視hdfs檔案限額數量

目標:掌握什麼是hdfs的安全模式,以及安全模式的作用

安全模式是hdfs所處的一種特殊狀態,在這種狀態下,檔案系統只接受讀資料請求,而不接受刪除、修改等變更請求。在namenode主節點啟動時,hdfs首先進入安全模式,datanode在啟動的時候會向namenode匯報可用的block等狀態,當整個系統達到安全標準時,hdfs自動離開安全模式。

如果hdfs處於安全模式下,則檔案block不能進行任何的副本複製操作,因此達到最小的副本數量要求是基於datanode啟動時的狀態來判定的,啟動時不會再做任何複製(從而達到最小副本數量要求),hdfs集群剛啟動的時候,預設30s鐘的時間是處於安全期的,只有過了30s之後,集群脫離了安全期,然後才可以對集群進行操作

hdfs的檔案許可權機制與linux系統的檔案許可權機制類似

r:read w:write x:execute 許可權x對於檔案表示忽略,對於資料夾表示是否有許可權訪問其內容

如果linux系統使用者zhangsan使用hadoop命令建立乙個檔案,那麼這個檔案在hdfs當中的owner就是zhangsan

hdfs檔案許可權的目的,防止好人做錯事,而不是阻止壞人做壞事。hdfs相信你告訴我你是誰,你就是誰

HDFS的常用命令

hdfs 命令仍然是圍繞類似linux 上面的shell 命令來進行講解,核心為 增 刪 改 查 相比shell 命令,需要以hadoop fs 進行開頭,在hadoop2.0 以後變成hdfs dfs,但相容舊版本,如僅僅輸入hadoop fs 或hdfs dfs 命令,將顯示hdfs 所有命令集...

hdfs的常用命令

檢視檔案大小 hdfs dfs du s h hbase data clzx opr rm mktgroupinterest info 檢視最後5行 hdfs dfs cat user hive warehouse clzxdb.db rm contact result extract sn 000...

HDFS常用命令

選項名稱 使用格式 含義 ls ls 路徑 檢視指定路徑的當前目錄結構 lsr lsr 路徑 遞迴檢視指定路徑的目錄結構 du du 路徑 統計目錄下個檔案大小 dus dus 路徑 匯 計目錄下檔案 夾 大小 count count q 路徑 統計檔案 夾 數量 mv mv 源路徑 目的路徑 移動...