hbase可靠性
在facebook通常會出現這樣乙個情況，選擇乙個潛在滿足需求的技術堆疊，然後不停的去優化。對於facebook來說，可靠性尤為重要，而當下我們使用hbase需求面臨的挑戰是單主機失敗、機架級故障以及密集儲存之間的細微差別。解決這些方法的途徑之一就是使用主從設定，在兩個集群之間做非同步更新。然而，這樣做的話，我們需要面對集群級別的故障轉移，如此主從故障轉移將會花費數分鐘的時間，而非同步操作毫無疑問會帶來資料丟失，hydrabase幫我們解決了這一問題。
hbase基礎
在了解hydrabase之前，首先解釋一些hbase的基礎概念。在hbase中，資料是物理共享的，也就是所說的regions。regions通過region伺服器管理，每個region伺服器會負責乙個或以上的region。當資料被新增到hbase，它首先會被寫到乙個write-ahead log（wal），即hlog。一旦寫入，這個資料會被儲存到乙個記憶體memstore中。一旦資料超過了某個閾值，它們就被持久化到磁碟。隨著memstore持久化到磁碟的hfiles數量增多，hbase會將幾個小的檔案合到一些大的檔案中，來減少讀的開銷，這就是所謂的壓縮。
當某個region伺服器發生故障，這個伺服器負責的所有region都會轉移到另乙個伺服器，執行故障轉移。鑑於hbase故障轉移中的實現方式，這將需要做wal的分割和複製，這將大大的延長故障轉移的時間。
hydrabase相關
上文所說正是hydrabase與之最大的區別，取代region都只被單一的region伺服器控制，在hydrabase中，每個region可以被一群region伺服器控制。當某個region伺服器發生故障，備用的region伺服器會立刻接手服務它所控制的region，這些備用的region伺服器可能橫跨不同的機架甚至是資料中心，通過不同的故障域來提供高可用。控制每個region的伺服器會形成乙個quorum，每個quorum都有1個負責region伺服器來處理來自客戶端的讀和寫請求。hydrabase使用raft一致協議來保證跨quorum的一致性，每個quorum都使用2f+1，hydrabase可以承受f級故障。region server通過同步寫入wal來保障一致性，但是只有一部分的region server需要完全的寫入來保證一致性。
quorum中的成員只存在active或witness兩個模式，active模式成員會寫入到hdfs，期間會執行資料持久化和壓縮。witness成員只會參與複製wal，但是在負責region伺服器失敗時可以立刻使用。
hydrabase部署模型
hydrabase部署
在這個情況下，hydrabase的部署跨越了3個資料中心，quorum的大小為5。通過這樣的設定，負責region server可以轉移到該區域的任何乙個成員。如果只是圖1中的active leader失敗，同乙個資料中心的witness follower將取而代之，客戶端的請求將給它傳送。如果丟失的是整個資料中心，見第二張圖，第二個資料中心的active follower會取而代之，鑑於資料中心2的region server仍然可以給hdfs中寫資料，因此即使是資料中心1不可見，資料仍然可以訪問。
圖1
圖2
hydrabase的另乙個好處是有效的解耦邏輯和物理備份，此外，因為不需要分割日誌，故障轉移將會很快速的執行，hydrabase能將facebook全年的宕機時間縮減到不到5分鐘。facebook目前正在測試hydrabase，並計畫在生產集群中逐步開始部署。
原文發布時間為：2023年06月10日
谷歌Facebook明日將參與下一代網際網路測試
北京時間6月8日訊息，據國外 報道，歷時24小時的下一代網際網路測試 全球ipv6日 world ipv6 day 測試 將於明日開始實施，谷歌和facebook等網路巨頭將會參與此次大型測試活動，屆時可能會有一小部分網際網路使用者無法訪問他們最喜愛的網 站。實施此次大型試驗的原因是網際網路協議，即...
XR，下一代搜尋
我們未來會陸續推出一系列文章，而本篇則是開宗明義的第一章，希望能藉此機會和更多開發者互相交流對搜尋 xr的理解，以及對其未來發展的看法 xr，下一代網際網路 我們認為，xr是下一代網際網路的核心要素，也是手機之後的下一代終端裝置，原因有以下兩點 首先，ar vr更符合人類的認知方式，因為我們每個人都...
XR，下一代搜尋
我們未來會陸續推出一系列文章，而本篇則是開宗明義的第一章，希望能藉此機會和更多開發者互相交流對搜尋 xr的理解，以及對其未來發展的看法 xr，下一代網際網路 我們認為，xr是下一代網際網路的核心要素，也是手機之後的下一代終端裝置，原因有以下兩點 首先，ar vr更符合人類的認知方式，因為我們每個人都...