分布式檔案系統 集群檔案系統 並行檔案系統

2021-06-01 08:37:55 字數 963 閱讀 7896

分布式檔案系統

自然地,「分布式」是重點,它是相對與本地檔案系統而言的。分布式檔案系統通常指c/s架構或網路檔案系統,使用者資料沒有直接連線到本地主機,而是儲存在遠端儲存伺服器上。nfs/cifs是最為常見的分布式檔案系統,這就是我們說的nas系統。分布式檔案系統中,儲存伺服器的節點數可能是1個(如傳統nas),也可以有多個(如集群nas)。對於單個節點的分布式檔案系統來說,存在單點故障和效能瓶頸問題。除了nas以外,典型的分布式檔案系統還有afs,以及下面將要介紹的集群檔案系統(如lustre, glusterfs, pvfs2等)。 

集群檔案系統

並行檔案系統

這種檔案系統能夠支援並行應用,比如mpi。在並行檔案系統環境下,所有客戶端可以在同一時間併發讀寫同乙個檔案。併發讀,大部分檔案系統都能夠實現。併發寫實現起來要複雜許多,既要保證資料一致性,又要最大限度提高並行性,因此在鎖機制方面需要特別設計,如細粒度的位元組鎖。通常san共享檔案系統都是並行檔案系統,如gpfs、stornext、gfs、bwfs,集群檔案系統大多也是並行檔案系統,如lustre, panasas等。 

如何區分這三種檔案系統?

區分這三者的重點是「分布式」、「集群」、「並行」三個字首關鍵字。簡單來說,非本地直連的、通過網路連線的,這種為分布式檔案系統;分布式檔案系統中,伺服器節點由多個組成的,這種為集群檔案系統;支援並行應用(如mpi)的,這種為並行檔案系統。在上面所舉的例子中也可以看出,這三個概念之間具有重疊之處,比如lustre,它既是分布式檔案系統,也是集群和並行檔案系統。但是,它們也有不同之處。集群檔案系統是分布式檔案系統,但反之則不成立,比如nas、afs。san檔案系統是並行檔案系統,但可能不是集群檔案系統,如stornext。gfs、hdfs之類,它們是集群檔案系統,但可能不是並行檔案系統。實際中,三者概念搞理清後,分析清楚檔案系統的特徵,應該還是容易正確地為其劃分類別的。

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...

分布式檔案系統

缺點是檔案路徑是一致的,只能用於嵌入式檔案的儲存,沒有辦法作為系統請求檔案的儲存,不過對於web2.0可以從設計層面進行一些改善,將使用者的資料互動更多地方在伺服器端,而不是資料庫中,比如使用者的文章就在 com yyy裡面,但是這又帶來一些新的問題,檔案同步負載均衡等問題。現在著眼於將自製的web...