Hadoop學習 HDFS資料備份與放置策略

2021-06-17 15:01:58 字數 2603 閱讀 5021

hadoop

hdfs

資料備份

放置策略

目錄(?)

[+]

對於分布式檔案系統來說,為了保證資料的高可用性和系統容錯能力,往往會把同一資料塊在多個節點上進行備份,那麼如何分配這些複製資料的位置,不同的檔案系統會有不同的策略。

在介紹hdfs之前,先簡單了解一些其它檔案系統的放置策略:

對於不同的資料備份,需要放到不同的節點上面,一種直觀的想法就是利用hash函式,這樣可以把每個備份id對應到乙個雜湊值,然後再將這個雜湊值與某個節點對應起來,就完成了乙個資料備份的分配。這樣做在時間複雜度上只有o(1),所以是極好的。但是很多雜湊函式有乙個問題,就是不穩定。這裡所謂的不穩定是指,當節點個數發生變化的時候,原來被分配到節點k上的資料備份可能就會被分配到另乙個節點上。舉個例子,常用的雜湊函式為:hash(x) = x % n,其中n為節點個數,x為備份id,這樣當集群中節點出現故障或者擴充套件新的節點時,原來的計算的雜湊值幾乎全都變了,那麼對於整個系統中的資料訪問來說,無疑是乙個災難,因為訪問位置全都得改變,並且需要重新遷移資料。

那麼有沒有可能在n變化的侯,原有資料備份的雜湊值不改變呢?這就是一致性雜湊的優勢所在。

一致性雜湊的原理可以這麼理解:原來雜湊是用x%n,現在是用x%s且n%s,這裡的s表示雜湊函式本身可以表示的雜湊值範圍,比如它的範圍是0~2^32 - 1,那麼s=2^32。見下圖:

如果按照圖1這種分配方式,一旦出現data nodes個數變化的情況,原來的分配位置幾乎都得改變(例如使用取模的雜湊函式);

圖2展示的方式,如果選取的雜湊函式取值範圍在0到2^32 - 1之間(hash range),那麼我們可以同時把data blocks和data nodes同時雜湊到這個範圍裡面,這些nodes會把hash range劃分為若干區域,規定每個node儲存與其相鄰的前乙個區域中的blocks,從而完成資料的分配。這種方式的好處在於,即使出現data nodes數量變化的情況,也不會影響其它nodes和blocls的位置情況,最多是在被刪除節點或者新增節點的附近進行調整,比如將原有區域中的blocks進一步劃分或者合併。

細心的讀者可能會發現,圖2展示的方式中,三個nodes將hash range分為了4個區域,顯然不方便分配,所以提出一致性雜湊環的概念,即將hash range的首位相連,然後在乙個環路上面進行劃分,n個nodes一定能夠劃分出n個區域,然後讓每個node儲存前乙個相鄰區域即可。

一致性雜湊環很好地解決了資料分配與集群擴充套件的問題,但是它還有乙個效能的瓶頸,那就是需要乙個中心節點負責儲存整個集群的元資料資訊,對新增的資料進行分配,在使用者查詢時提供資料分布的位置。這些工作處理的效能直接影響整個系統的處理速度,而且可能還會帶來spof。一種可行的辦法是對這些中心節點進行備份,或者乾脆用乙個分布式hash表代替乙個中心節點,雖然能夠避免spof,但是隨之而來的又是資訊同步和一致性維護等問題。

上圖簡單說明了ceph資料放置的過程,對於需要儲存的物件,首先雜湊到place group,然後再通過crush演算法找到需要存放資料的具體osd。crush在執行過程中還是需要一些全域性資訊的,這些資訊在被稱作分層集群對映(hierarchical cluster map),這些資訊主要是用來描述集群的組成和搭建,它們存放在一些monitors的節點上面。對於每個storage client和osd而言,它們可以利用hierarchical cluster map、放置規則等資訊計算資料的位置。相比與原來中心節點的策略,crush的計算負擔分發給了每個osd。

關於crush的詳細介紹,可以參考**:crush: controlled, scalable, decentralized placement of replicated data

對於hdfs而言,由namenode負責這個集群的資料備份和分配,在分配過程中,主要考慮下面兩個因素:

這兩個因素看起來是有些相互矛盾的:想要保證資料安全,那麼就盡量把資料備份到多台節點上,但是就需要向多個節點傳輸資料;想要減少網路傳輸開銷,那麼就盡可能把資料備份到乙個節點內部或者乙個機架內部,因為系統內部的資料傳輸速度會遠大於網路傳輸的速度。

上圖展示了hdfs中namenode和datanode的角色,namenode中儲存了所有資料備份的位置資訊。

上圖展示了hdfs中的rack(機架)概念,乙個rack內部資料傳輸速度遠大於rack之間的傳輸。對於每個資料備份,比如a要放在rack1中,在寫入hdfs時首先會在rack1中建立乙個備份,同時在另乙個rack2中也建立乙個備份。這樣做在一定程度上兼顧了資料安全和網路傳輸的開銷。

hadoop學習筆記(HDFS)

hdfs的設計基礎與目標 1 硬體錯誤是常態,因此需要冗餘。2 為大資料而生,流式讀寫,批量讀取而非隨機讀寫。擅長資料分析而不是事務處理。3 大規模資料集。4 一次寫多次讀邏輯設計,即一旦寫入,只能讀,不能修改。5 程式才用 資料就近 原則分配節點執行。hdfs的可靠性 冗餘副本策略 機架策略 心跳...

hadoop學習 HDFS詳細學習

1 hdfs概念 hadoop distributed file system,簡稱hdfs,是乙個分布式檔案系統。hdfs是高容錯性的,可以部署在低成本的硬體之上,hdfs提供高吞吐量地對應用程式資料訪問,它適合大資料集的應用程式。2 hdfs 設計目標 hdfs不適合做什麼 儲存小檔案 大量隨機...

Hadoop學習 HDFS資料儲存和刪除

hdfs中的資料都是分塊儲存的,預設塊大小為64m,這個值可以從hdfs配置檔案中更改dfs.blocksize。這樣分快處理的好處是可以增加讀取資料的吞吐量,因為可以同時從讀取檔案的不同分塊。在客戶端想hdfs寫資料的過程中,主要分為下面幾個過程 客戶端將資料快取到本地的乙個臨時檔案中 當這個本地...