如何區分分布式 集群 並行檔案系統?

2021-08-25 19:51:56 字數 1060 閱讀 2366

分布式檔案系統、集群檔案系統、並行檔案系統,這三種概念很容易混淆,實際中大家也經常不加區分地使用。總是有人問起這三者的區別和聯絡,其實它們之間在概念上的確有交叉重疊的地方,但是也存在顯著不同之處。

分布式檔案系統

自然地,「分布式」是重點,它是相對與本地檔案系統而言的。分布式檔案系統通常指c/s架構或網路檔案系統,使用者資料沒有直接連線到本地主機,而是儲存在遠端儲存伺服器上。nfs/cifs是最為常見的分布式檔案系統,這就是我們說的nas系統。分布式檔案系統中,儲存伺服器的節點數可能是1個(如傳統nas),也可以有多個(如集群nas)。對於單個節點的分布式檔案系統來說,存在單點故障和效能瓶頸問題。除了nas以外,典型的分布式檔案系統還有afs,以及下面將要介紹的集群檔案系統(如lustre, glusterfs, pvfs2等)。

集群檔案系統

並行檔案系統

這種檔案系統能夠支援並行應用,比如mpi。在並行檔案系統環境下,所有客戶端可以在同一時間併發讀寫同乙個檔案。併發讀,大部分檔案系統都能夠實現。併發寫實現起來要複雜許多,既要保證資料一致性,又要最大限度提高並行性,因此在鎖機制方面需要特別設計,如細粒度的位元組鎖。通常san共享檔案系統都是並行檔案系統,如gpfs、stornext、gfs、bwfs,集群檔案系統大多也是並行檔案系統,如lustre, panasas等。

如何區分?

區分這三者的重點是「分布式」、「集群」、「並行」三個字首關鍵字。簡單來說,非本地直連的、通過網路連線的,這種為分布式檔案系統;分布式檔案系統中,伺服器節點由多個組成的,這種為集群檔案系統;支援並行應用(如mpi)的,這種為並行檔案系統。在上面所舉的例子中也可以看出,這三個概念之間具有重疊之處,比如lustre,它既是分布式檔案系統,也是集群和並行檔案系統。但是,它們也有不同之處。集群檔案系統是分布式檔案系統,但反之則不成立,比如nas、afs。san檔案系統是並行檔案系統,但可能不是集群檔案系統,如stornext。gfs、hdfs之類,它們是集群檔案系統,但可能不是並行檔案系統。實際中,三者概念搞理清後,分析清楚檔案系統的特徵,應該還是容易正確地為其劃分類別的。

分布式檔案系統 集群檔案系統 並行檔案系統

分布式檔案系統 自然地,分布式 是重點,它是相對與本地檔案系統而言的。分布式檔案系統通常指c s架構或網路檔案系統,使用者資料沒有直接連線到本地主機,而是儲存在遠端儲存伺服器上。nfs cifs是最為常見的分布式檔案系統,這就是我們說的nas系統。分布式檔案系統中,儲存伺服器的節點數可能是1個 如傳...

GFS分布式檔案系統集群 理論

glusterfs簡介 rdma 負責資料傳輸 glusterfs的特點 vfs linux系統核心通過vfs api收到請求並處理 fuse vfs 將資料遞交給fuse核心檔案系統,fuse 檔案系統則是將資料通過 dev fuse裝置檔案遞交給了glusterfs client端 gluste...

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...