輕量級分布式檔案系統fastDFS

2021-07-25 07:35:15 字數 1022 閱讀 4965

fastdfs的結構比較簡單,主要由client、tracker server和storage server三部分組成。client通過tracker server得到storage server的資訊,然後直接與storage server通訊訪問檔案,避免了tracker server成為瓶頸。容易構建集群和解決高併發,高可用問題。

tracker server

tracker server類似於gfs中的master或tfs中的name server,但與他們很不同的一點是,tracker server的主要作用是負載均衡和排程,而不負責檔案索引和對映。tracker server在記憶體中記錄分組和storage server的狀態等資訊,不記錄檔案索引資訊,其占用的記憶體量也很少。tracker server可以只有乙個,也可以有多個組成tracker cluster,這樣的好處是可以提高對使用者的響應能力和增加容災性,此時各tracker server相互對等,冗餘備份,由應用端來輪流選擇進行訪問。

storage server

storage server直接利用os的檔案系統儲存檔案。fastdfs不會對檔案進行分塊儲存,客戶端上傳的檔案和storage server上的檔案一一對應。

關於storage server的同步,不同volume的storage server之間不會相互通訊,同volume內的storage server之間會相互連線進行檔案同步。檔案同步採用push方式,接受更新操作的檔案稱為原始檔,其所在server稱為源伺服器,其它檔案稱為備份檔案,其它server稱為目標伺服器。當檔案更新操作發生時,源伺服器向目標伺服器發起同步,對所有備份檔案進行更新。當有新storage server加入本volume時,由已有的一台 storage server將其上的所有檔案同步給該新增伺服器。具體的同步實現在storage server中由專門執行緒根據binlog進行,binlog記錄了檔案上傳、刪除等更新操作。為了最大程度地避免相互影響以及出於系統簡潔性考慮,storage server對同volume內除自己以外的每台伺服器都會啟動乙個執行緒來負責檔案同步。

fastdfs 集群構建:

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...

分布式檔案系統

缺點是檔案路徑是一致的,只能用於嵌入式檔案的儲存,沒有辦法作為系統請求檔案的儲存,不過對於web2.0可以從設計層面進行一些改善,將使用者的資料互動更多地方在伺服器端,而不是資料庫中,比如使用者的文章就在 com yyy裡面,但是這又帶來一些新的問題,檔案同步負載均衡等問題。現在著眼於將自製的web...