MFS分布式檔案系統實戰(1) 基礎知識

2021-10-07 07:49:59 字數 1856 閱讀 7133

moosefs是乙個具有容錯性的網路分布式檔案系統。它把資料分散存放在多個物理伺服器上,而呈現給使用者的則是乙個統一的資源

常規特徵

對標準的檔案操作來說,mfs用起來跟其它的類unix系統類似

1、分層次的結構(目錄樹)

2、儲存posix檔案屬性(許可權、最後訪問和修改時間)

3、支援特殊檔案(塊和字元裝置、管道以及套接字)

4、符號連線和硬連線

5、對檔案系統的訪問可以通過ip位址和(或者)密碼進行限制

獨有特徵

1、高可靠(資料的多個拷貝被儲存在不同的計算機上)

2、通過附加新的計算機或者硬碟可以實現容量的動態擴充套件

3、刪除的檔案可以根據乙個可配置的時間週期進行保留(乙個檔案系統級別的**站)

4、不受訪問和寫入影響的檔案連貫快照

(1)分布式原理

分布式檔案系統就是把一些分散在多台計算機上的共享資料夾,集合到乙個共享資料夾內,

使用者要訪問這些資料夾的時候,只要開啟乙個資料夾,就可以的看到所有鏈結到此資料夾內的共享資料夾。

(2)mfs原理

mfs是乙個具有容錯性的網路分布式檔案系統,它把資料分散存放在多個物理伺服器上,而呈現給使用者的則是乙個統一的資源。

客戶端向元資料伺服器發出讀請求

元資料伺服器把所需資料存放的位置(chunk server的ip位址和chunk編號)告知客戶端

客戶端向已知的chunk server請求傳送資料

chunk server向客戶端傳送資料

客戶端向元資料伺服器傳送寫入請求

元資料伺服器與chunk server進行互動,但元資料伺服器只在某些伺服器建立新的分塊chunks,

建立成功後由hunk servers告知元資料伺服器操作成功

元資料伺服器告知客戶端,可以在哪個chunk server的哪些chunks寫入資料

客戶端向指定的chunk server寫入資料

該chunk server與其他chunk server進行資料同步,同步成功後chunk server告知客戶端資料寫入成功

客戶端告知元資料伺服器本次寫入完畢

MFS分布式檔案系統簡介

注意 mfs特性 moosefs是乙個分布式儲存的框架,其具有如下特性 可能的瓶頸 master 本身的效能瓶頸。mfs 系統 master 存在單點故障如何解決?moosefs drbd heartbeat 來保證 master 單點問題?不過在使用過程中不可能完全不關機和間歇性的網路中斷 體系架...

mfs分布式檔案系統介紹 01

mfs分布式檔案系統就是把一些分散在多台計算機上的共享資料夾,集合到乙個共享資料夾內,使用者要訪問這些資料夾的時候,只要開啟乙個資料夾就可以的看到所有鏈結到此資料夾內的共享資料夾。元資料伺服器 master 在整個體系中負責管理檔案系統,維護元資料,目前不支援高可用。元資料日誌伺服器 metalog...

分布式檔案系統 基礎

分布式檔案系統 distributed file system 是指檔案系統管理的物理儲存資源不一定直接連線在本地節點上,而是通過計算機網路與節點相連。分布式檔案系統的設計基於客戶機伺服器模式。乙個典型的網路可能包括多個供多使用者訪問的伺服器。另外,對等特性允許一些系統扮演客戶機和伺服器的雙重角色。...