GFS的系統架構

2021-09-06 06:16:43 字數 1274 閱讀 1732

劉鵬《雲計算(第二版)》

①~⑤是控制流,⑥是資料流

client: 應用程式的訪問介面

master(主伺服器):管理節點,在邏輯上只有乙個,儲存系統的元資料(metadata,描述資料的資料),負責整個檔案系統的管理。

chunk server(資料庫伺服器):負責具體的儲存工作。資料以檔案的形式儲存在chunk server上。

架構設計成這樣的好處是:

1、client和master之間只有控制流(①~⑤),沒有資料流,因此降低了master的負載 (因為控制流只需傳送指令和狀態,資料量小)

2、client與chunk server之間直接傳輸資料流,同時由於檔案被分成多個chunk進行分布式儲存,因此client可以同時並行訪問多個chunk server,從而讓系統的i/o並行度提高

gfs的特點:

1、採用中心伺服器模式

好處是:(1)可以方便的增加chunk server

(2)master可以掌握系統內所有chunk server的情況,方便進行負載均衡

(3)不存在元資料的一致性問題(因為只有乙個中心server,所以雲資料也只有乙份)

2、不快取資料(沒有系統cache)

好處是:(1)檔案操作大部分是流式讀寫,不存在大量重複的讀寫,因此即使使用cache對系統效能的提高也不大

(2)chunk server上的資料儲存在本地檔案系統上(linux file system),若真的出現頻繁訪問,那麼本地檔案系統的cache也可以支援

(3)若建立系統cache,那麼cache中的資料與chunk server中的資料的一致性很難保證

思考:

gfs採用中心伺服器的模式,該模式的最大優點是便於管理,因為中心伺服器可以獲知所有子伺服器的狀態,因而可以很方便的得知各個子伺服器的負載狀況等。但是這一模式也有乙個比較致命的缺點,那就是單點故障。當單點故障發生在中心伺服器時,將導致整個系統的不可用。

不過,按照上述描述,gfs的中心伺服器只是邏輯上是乙個,因此可以想象,其實gfs的manster還是有後備機制的,因此gfs比較像偽集中式管理

對Google的GFS檔案系統的拙見

你好!這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章,了解一下markdown的基本語法知識。全新的介面設計,將會帶來全新的寫作體驗 在創作中心設定你喜愛的 高亮樣式,markdown將 片顯示選擇的高亮樣式進行展示 全新的ka...

GFS的粗淺認知

google檔案系統gfs google設計gfs的動機 為了滿足google迅速增長的資料處理需求,需要乙個支援海量儲存的檔案系統 購置昂貴的分布式檔案系統與硬體。為什麼不使用當時現存的檔案系統?因為 google設計gfs的動機是設計與google應用和負載相符的檔案系統 gfs的假設與目標 硬...

linux環境下使用GFS檔案系統

gfs檔案系統其實是乙個網路日誌檔案系統,通常被用作多台計算機共享同一儲存裝置。由於gfs是日誌檔案系統,所以,如果將其應用到單獨的一台計算機上,即完全等同於 本地日誌檔案系統,享受日誌檔案系統帶來的好處。本文便向各位簡介gfs檔案系統在linux環境下的使用。gfs檔案系統1 編譯核心回答一大串的...