HDFS的安全模式

2021-09-26 09:06:38 字數 630 閱讀 9713

安全模式是hdfs的一種工作狀態,處於安全模式的狀態下,只向客戶端提供檔案的唯讀檢視,不接受對命名空間的修改;同時名字節點也不會進行資料塊的複製或者刪除,如副本數量小於正常水平。

namenode啟動時,首先將fsimage載入記憶體,並執行編輯日誌中的操作。一旦檔案系統元資料建立成功,便會建立乙個空的編輯日誌。此時namenode開始監聽rpc和http請求。但是此時namenode處於安全模式,只能接受客戶端的讀請求。

在安全模式下,各個datanode會向namenode傳送自身的資料塊列表,當namenode有足夠的資料塊資訊後,便在30s後退出安全模式。若namenode發現資料節點過少會啟動資料塊複製過程。

當hadoop的namenode節點啟動時,會進入安全模式階段。在此階段,datanode會向namenode上傳它們資料塊的列表,讓namenode得到塊的位置資訊,並對每個檔案對應的資料塊副本進行統計。當最小副本條件滿足時,即一定比例的資料塊都達到最小副本數,系統就會退出安全模式,而這需要一定的延遲時間。當最小副本條件未達到要求時,就會對副本數不足的資料塊安排datanode進行複製,直到達到最小副本數。而在安全模式下,系統會處於唯讀狀態,namenode不會處理任何塊的複製和刪除命令。

在啟動乙個剛剛格式化的hdfs時不會進入安全模式,因為沒有資料塊。

HDFS的安全模式

目標 掌握什麼是 hdfs的安全模式,以及安全模式的作用 安全模式是hdfs所處的一種特殊狀態,在這種狀態下,檔案系統只接受讀資料請求,而不接受刪除 修改等變更請求。在namenode主節點啟動時,hdfs首先進入安全模式,datanode在啟動的時候會向namenode匯報可用的block等狀態,...

hdfs的安全模式

安全模式是hdfs所處的一種特殊狀態,在這種狀態下,檔案系統只接受讀資料請求,而不接受刪除 修改等變更請求。在namenode主節點啟動時,hdfs首先進入安全模式,datanode在啟動的時候會 向namenode匯報可用的block等狀態,當整個系統達到安全標準時,hdfs自動離開安全模式。如果...

HDFS集群安全模式

hdfs處於安全模式的情況 namenode啟動時,首先將映象檔案 fsimage 載入記憶體,並執行編輯日誌 edits 中的各項操作。一旦在記憶體中成功建立檔案系統元資料的映象,則建立乙個空的編輯日誌。此時,namenode開始監聽datanode請求。這個過程期間,namenode一直執行在安...