Hadoop的冷備 熱備

2021-10-04 09:22:19 字數 858 閱讀 5984

冷備份:hadoop1.x :namenode(主) secondarynamenode(從)

在hadoop1.x中,secondarynamenode會按照時間閾值(比如24小時)或者edits日誌大小閾值(比如1g),週期性的將fsimage和edits合併成新的fsimage並替換,然後將最新的fsimage推送給namenode,減少 namenode 啟動時間;

非實時merge,一旦namenode掛了,可能會導致元資料丟失;

熱備份:hadoop2.x:active namenode(主) standby namenode(從)

在hadoop2.x中採用主從架構,這個動作是由standby namenode來完成;一旦active namenode掛掉,standby namenode會實時同步前者的fsimage,並將merge後的新fsimage檔案替換前者中舊的fsimage檔案;

實時merge,一旦前者掛了,後者能夠馬上頂上,不會出現元資料丟失;

熱備的切換,需要zookeeper的協助,具體步驟參考:

fsimage檔案:是hdfs檔案系統存於硬碟中的元資料檢查點(即全量),裡面記錄了自最後一次檢查點之前hdfs檔案系統中所有目錄和檔案的序列化資訊;

edits log檔案:儲存了自最後一次檢查點之後所有針對hdfs檔案系統的操作(即增量),比如:增加檔案、重新命名檔案、刪除目錄等等。

在namenode啟動時候,會先將fsimage中的檔案系統元資料資訊載入到記憶體,然後根據eidts中的記錄將記憶體中的元資料同步至最新狀態;所以,這兩個檔案一旦損壞或丟失,將導致整個hdfs檔案系統不可用。

oracle 冷備和熱備指令碼

指令碼放在 u01 scripts coldscr mikecold.sql 在資料庫執行時可以執行此指令碼來冷備。set feedback off set heading off set verify off set trimspool off set echo off settime offse...

mysql 冷備 Mysql資料冷備操作方法

定期的備份可使我們資料庫崩潰造成的損失大大降低。在mysql中進行資料備份的方法有兩種,一種是使用mysqldump程式,第二種是使用mysqlhotcopy cp tar或cpio等打包程式直接拷貝資料庫檔案。mysqldump程式備份資料庫較慢,但它生成的文字檔案便於移植。使用mysqlhotc...

雙機熱備 雙機熱備軟體哪個好?雙機熱備軟體推薦

伺服器維護和管理是企業健康穩定運營的一項重要工作,而雙機熱備可以提供伺服器的高可用性。但是成熟好用的雙機熱備軟體有哪些呢?下面就給大家推薦幾款。微軟mscs mscs microsoft cluster service 實際上是微軟自帶的,不過要在server版本中才有。其群集服務充當後端群集,可以...