FastDFS分布式檔案管理系統

2021-10-01 14:45:54 字數 1247 閱讀 1602

1. dubbo跟fastdfs的結構很相似

首先storage先將資訊註冊到tracker中去,然後使用者開始訪問專案上傳檔案,接著從tracker中看哪些tracker可用,將可用的tracker返回,根據返回的storage找可用的storage實現檔案管理,假如第一次傳給group1組伺服器的192.11伺服器,它會立刻將192.11的資料同步到192.12,這個叫做冗餘備份,也是一種熔災機制,當其中有一台伺服器拓機了,在其他的伺服器上也儲存著丟失的資料

2. fastdfs體系結構

tracker server 作用是負載均衡和排程,通過 tracker server 在檔案上傳時可以根據一些策略找到storage server 提供檔案上傳服務。可以將 tracker 稱為追蹤伺服器或排程伺服器。storage server 作用是檔案儲存,客戶端上傳的檔案最終儲存在 storage 伺服器上,storageserver 沒有實現自己的檔案系統而是利用作業系統的檔案系統來管理檔案。可以將storage稱為儲存伺服器。

3. 上傳流程

客戶端上傳檔案後儲存伺服器將檔案 id 返回給客戶端,此檔案 id 用於以後訪問該檔案的索引資訊。檔案索引資訊包括:組名,虛擬磁碟路徑,資料兩級目錄,檔名。

組名:檔案上傳後所在的 storage 組名稱,在檔案上傳成功後storage 伺服器返回,需要客戶端自行儲存。

虛擬磁碟路徑:storage 配置的虛擬路徑,與磁碟選項store_path*對應。如果配置了store_path0 則是 m00,如果配置了 store_path1 則是 m01,以此類推。

資料兩級目錄:storage 伺服器在每個虛擬磁碟路徑下建立的兩級目錄,用於儲存資料檔案。

FastDFS分布式檔案管理系統集群

2臺tracker跟蹤伺服器 192.168.1.101 192.168.1.102 4臺storage儲存伺服器 192.168.1.201 192.168.1.202 192.168.1.203 192.168.1.204 yum y groupinstall development tools...

分布式檔案儲存 FastDFS

7 fastdfs 和其他檔案儲存的簡單對比 寫操作 客戶端先是訪問tracker伺服器,由tracker伺服器幫我們尋找要寫入的卷 volume 一對主從備份為乙個卷,裡面可以有多台伺服器 然後返回可操作的storage server,這時客戶端訪問返回的storage server 進行寫操作 ...

FastDFS分布式檔案儲存

儲存能力是提供給上層業務系統以實現檔案訪問服務,這個儲存能力為xdfs,即可擴充套件的分布式檔案系統,實現的原理是封裝了第三方的分布式儲存系統實現的。目前封裝的第三方分布式系統包括fastdfs hadoop的hdfs,所提供的儲存介面如下 1 檔案上傳 2 檔案斷點上傳 5 檔案刪除 6 獲取檔案...