分布式檔案儲存 FastDFS

2021-09-29 21:13:18 字數 1506 閱讀 5602

7、 fastdfs 和其他檔案儲存的簡單對比

寫操作:客戶端先是訪問tracker伺服器,由tracker伺服器幫我們尋找要寫入的卷(volume 一對主從備份為乙個卷,裡面可以有多台伺服器),然後返回可操作的storage server,這時客戶端訪問返回的storage server 進行寫操作

讀操作:如果在知道具體的要讀取檔案所在的位址時,我們可以直接跳過tracker伺服器,直接從storage server讀取,效率更高,但我們要是不知道伺服器的ip、埠之類的路徑,我們還要先找tracker server。

1、client 詢問 tracker 上傳到的 storage,不需要附加引數;

2、tracker 返回一台可用的 storage;

3、client 直接和 storage 通訊完成檔案上傳

tracker server:跟蹤伺服器,主要做排程工作,在訪問上起負載均衡的作用。記錄 storage server 的狀態,是連線 client 和 storage server 的樞紐。storage server:儲存伺服器,檔案和 meta data 都儲存到儲存伺服器上group:組,也稱為卷。同組內伺服器上的檔案是完全相同的

檔案標識:包括兩部分:組名和檔名(包含路徑)

比如:d:file/text.txt,這裡的d就是卷(組),而file/text.txt就是檔名

meta data:檔案相關屬性,鍵值對(key value pair)方式,如:width=1024,heigth=768

同一組內的 storage server 之間是對等的,檔案上傳、刪除等操作可以在任意一台 storage server 上進行,不像redis有主從模式。

檔案同步只在同組內的 storage server 之間進行,採用 push 方式,即源伺服器同步給目標伺服器;

源頭資料才需要同步,備份資料不需要再次同步,否則就構成環路了,這裡說的也就是增量更新;

上述第二條規則有個例外,就是新增加一台storage server時,由已有的一台storage server 將已有的所有資料(包括源頭資料和備份資料)同步給該新增伺服器,這裡採用的其實同步中的全量更新。

6.1、tracker server 目錄

6.2、storage server 目錄

7.1fastdfs 和集中儲存方式對比

7.2fastdfs 和 mogilefs 對比

FastDFS分布式檔案儲存

儲存能力是提供給上層業務系統以實現檔案訪問服務,這個儲存能力為xdfs,即可擴充套件的分布式檔案系統,實現的原理是封裝了第三方的分布式儲存系統實現的。目前封裝的第三方分布式系統包括fastdfs hadoop的hdfs,所提供的儲存介面如下 1 檔案上傳 2 檔案斷點上傳 5 檔案刪除 6 獲取檔案...

FastDFS分布式檔案儲存系統

負載均衡和排程,通過tracker server 在文上傳的時候可以根據一些策略找到storage server提供檔案上傳服務,可以將tracker 稱為追蹤伺服器或排程伺服器 檔案儲存,客戶端上傳的檔案最終儲存在storage 伺服器,storage server沒有實現自己的檔案系統而是利用作...

FastDFS分布式儲存檔案系統

本次模擬單節點tracker伺服器以及兩台storage伺服器,建立之前必須確保伺服器之間都能相互ping通以及關閉防火牆 或者開放tracker伺服器與storage伺服器中配置檔案裡涉及的埠 安裝gcc環境 yum install y gcc c 建立存放目錄並進入該目錄 mkdir p opt...