HDFS組成部分及作用

2021-09-28 13:55:54 字數 1202 閱讀 1856

一、組成部分

1. client客戶端

2. namenode主節點

3. secondarynamenode 理解為:(namenode 的備份,屬於冷備份)

二、各部分的作用

client

client:發布命令,集群操作,監聽(獲取集群的執行狀態),分塊(邏輯分塊:之規定的最大沒有規定最小即使有兩個不滿64m(hadoop2.0是128m)也不可以進行合併)。

namenode

namenode:管理集群,接收datenode的心跳並通過心跳給datenode傳送指令,以及獲取bolck的元資料的資訊和確認datenode是否宕機。

secondarynamenode:沒半個小時以httpget方式獲取namenode的fsimage+edits,然後將fsimage和edits進行本地合併生成fsimage_ckpt,然後將fsimage_ckpt傳送到namenode中,替換原先的fsimage,當然在httpget形式遠端拉取複製檔案的同時在namenode裡會先生成乙個edits_new檔案,目的是為了防止在合併的半小時內的資料丟失。

datenode

datenode:用來儲存資料block 檔案,注意:同乙個機器不應儲存同乙個block塊副本,乙個機架也不應該儲存相同的副本。

三、相關知識點

機架感知:找檔案時遵循就近原則。

冷備份:會間隔一段時間進行備份。熱備份:時時備份

資料放在那裡又namenode決定

乙個資料塊在datenode是以檔案的形式進行儲存,包括兩個檔案:a.資料本身b.元資料 包括了資料塊的長度,資料塊的校驗和,以及時間戳。

datenode 啟動後向namenode進行註冊,當註冊通過後會週期性的向namenode上報所有的塊資訊

安全模式:hdfs啟動後會先啟動namenode,這個時候只有主節點沒有從節點,但是元資料是存在的,我們可以看見檔案列表,可以建立、刪除、移動或者重新命名檔案,但是就是不可以修改檔案的內容。

hdfs許可權的目的:是阻止好人做壞事,而不是阻止壞人做壞事。

namenode和datenode 之間用的心跳都是rpc協議是tcp的上層,這樣的協議會保證資料不丟失。而然http協議特點就是使用快速方便,不等人。

hdfs是不允許大量小的檔案進行儲存,因為這樣不僅佔記憶體(日誌量會變得巨大),又消耗block的記憶體空間,導致降低系統效能。

方法組成部分

public static void main string args 訪問許可權修飾符 public protected private 預設 什麼都不寫 普通修飾符 static final abstract 返回值型別 有返回值型別 所有的資料型別都可以充當返回值型別 無返回值型別 void ...

XML組成部分

格式 注意 和xml 不能有空格 結尾 屬性列表 standalone 是否獨立。大多數不設定,了解 結合css的展示資料 標籤名稱自定義 規則 不能以數字標點符號開始 不能以字母xml xml xml.都不行 開始 不能包含空格 名稱中可以有 字母 數字 其他字元 id屬性值唯一 id表示乙個標籤...

url組成部分

1.協議部分 該url的協議部分為 http 這代表網頁使用的是http協議。在internet中可以使用多種協議,如http,ftp等等本例中使用的是http協議。在 http 後面的 為分隔符 3.埠部分 跟在網域名稱後面的是埠,網域名稱和埠之間使用 作為分隔符。埠不是乙個url必須的部分,如果...