乙個輕量級的分布式檔案儲存FASTDFS

2021-08-25 21:14:20 字數 1084 閱讀 7680

國人做的用c語言寫的輕量級的分布式檔案儲存,只有 tracker和storage 節點。沒有使用資料庫。

作者做的和mogilefs的對比

fastdfs設計時借鑑了mogilefs的一些思路。fastdfs是乙個完善的分布式檔案儲存系統,通過客戶端api對檔案進行讀寫。可以說,mogilefs的所有功能特性fastdfs都具備,mogilefs**:

另外,相對於mogilefs,fastdfs具有如下特點和優勢:

1. fastdfs完善程度較高,不需要二次開發即可直接使用;

2. 和mogilefs相比,fastdfs裁減了跟蹤用的資料庫,只有兩個角色:tracker和storage。fastdfs的架構既簡化了系統,同時也消除了效能瓶頸;

3. 在系統中增加任何角色的伺服器都很容易:增加tracker伺服器時,只需要修改storage和client的配置檔案(增加一行tracker配置);增加storage伺服器時,通常不需要修改任何配置檔案,系統會自動將該卷中已有檔案複製到該伺服器;

4. fastdfs比mogilefs更高效。表現在如下幾個方面:

1)參見上面的第2點,fastdfs和mogilefs相比,沒有檔案索引資料庫,fastdfs整體效能更高;

2)從採用的開發語言上看,fastdfs比mogilefs更底層、更高效。fastdfs用c語言編寫,**量不到2萬行,沒有依賴其他開源軟體或程式包,安裝和部署特別簡潔;而mogilefs用perl編寫;

3)fastdfs直接使用socket通訊方式,相對於mogilefs的http方式,效率更高。並且fastdfs使用sendfile傳輸檔案,採用了記憶體零拷貝,系統開銷更小,檔案傳輸效率更高。

5. fastdfs有著詳細的設計和使用文件,而mogilefs的文件相對比較缺乏。

6. fastdfs的日誌記錄非常詳細,系統執行時發生的任何錯誤資訊都會記錄到日誌檔案中,當出現問題時方便管理員定位錯誤所在。

7. fastdfs還對檔案附加屬性(即meta data,如檔案大小、寬度、高度等)進行訪問,應用不需要使用資料庫來儲存這些資訊。

popularity: 43% [?]

輕量級分布式檔案系統fastDFS

fastdfs的結構比較簡單,主要由client tracker server和storage server三部分組成。client通過tracker server得到storage server的資訊,然後直接與storage server通訊訪問檔案,避免了tracker server成為瓶頸。...

理解 Ceph 乙個開源的分布式儲存平台

ceph是乙個軟體分布式儲存平台,可執行在商用硬體上。為了了解ceph的執行效率,我們首先要弄清什麼是商用硬體。商用電腦是由多個硬體 商提供的硬體組裝而成的,商們開發這些硬體是基於同乙個開放標準的。與超級微型計算機相比,商品電腦的成本更低,並且它的開放標準能減少眾多硬體提供商提供的硬體差異性。cep...

peewee 乙個輕量級的ORM 四

class database last insert id cursor,model parameters return type 最後乙個插入的記錄的那行的主鍵,不一定非得叫 id rows affected cursor return type 受影響的行數 create table model...