開源分布式檔案系統

2021-09-06 03:44:04 字數 2027 閱讀 8361

mogilefs乙個開源的分布式檔案系統

1.應用層——沒有特殊的元件要求

2.無單點失敗——mogilefs啟動的三個元件(儲存節點、***、跟蹤用的資料庫),均可執行在多個 機器上,因此沒有單點失敗。(你也可以將***和儲存節點執行在同一臺機器上,這樣你就沒有必要用4臺機器)推薦至少兩台機器。

3.自動的檔案複製——檔案是基於他們的「類」,檔案可以自動的在多個儲存節點上覆制,這是為了盡量少的複製,才使用「類」的。加入你有的站點有 三份jpeg的拷貝,但實際只有1or2份拷貝,那麼mogile可以重新建立遺失的拷貝數。用這種辦法,mogilefs(不做raid)可以節約 在磁碟,否則你將儲存同樣的拷貝多份,完全沒有必要。

4.「比raid好多了」——在乙個非儲存區域網路的raid(non-san raid)的建立中,磁碟是冗餘的,但主機不是,如果你整個機器壞了,那麼檔案也將不能訪問。 mogilefs在不同的機器之間進行檔案複製,因此檔案始終是可用的。

5.傳輸中立,無特殊協議——mogilefs客戶端可以通過nfs或http來和mogilefs的儲存節點來通訊,但首先需要告知***一下。

6.簡單的命名空間——檔案通過乙個給定的key來確定,是乙個全域性的命名空間。你可以自己生成多個命名空間,只要你願意,但是這樣可能在同一mogilefs中,會造成衝突key。

7.不用共享任何東西——mogilefs不需要依靠昂貴的san來共享磁碟,每個機器只用維護好自己的磁碟。

8.不需要raid——在mogilefs中的磁碟可以是做了raid的也可以是沒有,如果是為了安全性著想的話raid沒有必要買了,因為mogilefs已經提供了。

9.不會碰到檔案系統本身的不可知情況——在mogilefs中的儲存節點的磁碟可以被格式化成多種格(ext3,reiserfs等等)。mogilesfs會做自己內部目錄的雜湊,所以它不會碰到檔案系統本身的一些限制,比如乙個目錄中的最大檔案數。你可以放心的使用。

fastfds和mogilefs的對比

fastdfs設計時借鑑了mogilefs的一些思路。fastdfs是乙個完善的分布式檔案儲存系統,通過客戶端api對檔案進行讀寫。可以說,mogilefs的所有功能特性fastdfs都具備,mogilefs**:

另外,相對於mogilefs,fastdfs具有如下特點和優勢:

1. fastdfs完善程度較高,不需要二次開發即可直接使用;

2. 和mogilefs相比,fastdfs裁減了跟蹤用的資料庫,只有兩個角色:tracker和storage。fastdfs的架構既簡化了系統,同時也消除了效能瓶頸;

3. 在系統中增加任何角色的伺服器都很容易:增加tracker伺服器時,只需要修改storage和client的配置檔案(增加一行tracker配置);增加storage伺服器時,通常不需要修改任何配置檔案,系統會自動將該卷中已有檔案複製到該伺服器;

4. fastdfs比mogilefs更高效。表現在如下幾個方面:

1)參見上面的第2點,fastdfs和mogilefs相比,沒有檔案索引資料庫,fastdfs整體效能更高;

2)從採用的開發語言上看,fastdfs比mogilefs更底層、更高效。fastdfs用c語言編寫,**量不到2萬行,沒有依賴其他開源軟體或程式包,安裝和部署特別簡潔;而mogilefs用perl編寫;

3)fastdfs直接使用socket通訊方式,相對於mogilefs的http方式,效率更高。並且fastdfs使用sendfile傳輸檔案,採用了記憶體零拷貝,系統開銷更小,檔案傳輸效率更高。

5. fastdfs有著詳細的設計和使用文件,而mogilefs的文件相對比較缺乏。

6. fastdfs的日誌記錄非常詳細,系統執行時發生的任何錯誤資訊都會記錄到日誌檔案中,當出現問題時方便管理員定位錯誤所在。

7. fastdfs還對檔案附加屬性(即meta data,如檔案大小、寬度、高度等)進行訪問,應用不需要使用資料庫來儲存這些資訊。

8. fastdfs從v1.14開始支援相同檔案內容只儲存乙份,這樣可以節省儲存空間,提高檔案訪問效能。

分享 開源分布式檔案系統 amp 檔案系統

global red hat global file system redhat併購 http www.redhat.com gfs lustre lustre file system sun併購 http www.lustre.org pvfs parallel virtual file syst...

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...