分布式網路檔案系統 MooseFS

2021-08-20 20:04:57 字數 1000 閱讀 1457

moosefs是乙個具備冗餘容錯功能的分布式網路檔案系統,它將資料分別存放在多個物理伺服器或單獨磁碟或分割槽上,確保乙份資料有多個備份副本。對於訪問的客戶端或者使用者來說,整個分布式網路檔案系統集群看起來就像乙個資源一樣。從其對檔案操作的情況看,moosefs就相當於乙個類unix檔案系統:。

1、mfs是乙個分層的目錄樹結構

2、儲存支援posix標準的檔案屬性(許可權,最後訪問和修改時間)

4、支援基於ip位址和密碼的方式訪問檔案系統

談及moosefs的應用場景,其實就是去談分布式檔案系統的應用場景。

1、大規模高併發的資料儲存及訪問(小檔案、大檔案),tfs適合小檔案(<1m)

2、大規模的資料處理,如日誌分析

管理伺服器 master server 負責所有資料儲存伺服器的資料儲存管理,響應客戶端檔案的讀寫請求,收回檔案空間以及恢復檔案,多儲存節點之間的檔案複製。

元資料日誌伺服器 metalogger server,對 master server  伺服器的變化日誌檔案進行備份,changelog_ml.*.mfs 是備份檔案的型別,當 master server 出現故障時替換其繼續工作,避免 master server 的單點故障導致分布式檔案系統的不能正常執行。

資料儲存伺服器chunkserver,服從 master server 的安排,定期向 master server 傳送自己的狀態資訊,除此之外,還能向客戶提供資料儲存空間,能夠向客戶傳輸資料。

通過 fuse 核心介面掛載到資料儲存伺服器上,在客戶端看來使用資料儲存伺服器上的檔案系統和使用本地unix檔案系統是一樣的。

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...

分布式檔案系統

缺點是檔案路徑是一致的,只能用於嵌入式檔案的儲存,沒有辦法作為系統請求檔案的儲存,不過對於web2.0可以從設計層面進行一些改善,將使用者的資料互動更多地方在伺服器端,而不是資料庫中,比如使用者的文章就在 com yyy裡面,但是這又帶來一些新的問題,檔案同步負載均衡等問題。現在著眼於將自製的web...