StarFS講堂 什麼才是並行檔案系統?

2021-10-25 08:33:07 字數 1502 閱讀 1662

檔案系統是作業系統用於明確儲存裝置上檔案的方法和資料結構,即在儲存裝置上組織檔案的方法,是平常最常見、最簡單的使用儲存的方式。

並行檔案系統是檔案系統一種,常用於高效能計算領域,能支援資料的並行讀寫。並行檔案系統能很好的支援平行計算,支援平行計算的大規模資料讀寫。

平行計算或稱平行計算是相對於序列計算來說的。它是一種一次可執行多個指令的演算法,目的是提高計算速度,及通過擴大問題求解規模,解決大型而複雜的計算問題。所謂平行計算可分為時間上的並行和空間上的並行。時間上的並行就是指流水線技術,而空間上的並行則是指用多個處理器併發的執行計算。

客戶端寫入的資料能同時寫到所有的硬碟上:在客戶端上,資料被切片,並且被同時寫入到所有節點的硬碟上;

支援位元組粒度的鎖:系統支援對乙個檔案的某一段(位元組粒度)進行修改並且加鎖,同時此檔案的另外段落也能同時被修改。這樣使得大量的計算可以同時的進行適合mpi的計算;

專有客戶端:一般的檔案系統訪問協議,比如nfs、cifs都是序列的,資料是針對一點對一點傳輸的。並且檔案系統具有專有的儲存訪問協議,資料的一點對多點方式;

常見集群nas採用nfs和cifs此類序列的儲存訪問協議,資料需要先寫到集群的乙個節點上,再從此節點傳輸到別的節點上。(比如常見的華為n9000,dell的isilon等)。

並行檔案系統利用客戶端協議直接將資料在客戶端切片,同時寫入到所有節點的硬碟上,無需中轉大大提高了讀寫效率。

starfs是乙個效能為中心,圍繞簡單易用、易安裝以及易管理而設計的領先並行檔案系統。

starfs採用集群架構設定,系統支援無上限的擴充套件,理論上能擴充套件到eb級別,單一集群承載上萬台伺服器。整個系統能提供上百gb/s的吞吐頻寬。

客戶端快取

配置客戶端磁碟快取後,客戶端從後端儲存節點(storage node)讀取到的資料同時也被快取到客戶端本地快取磁碟,當該資料被重複訪問時,無需通過網路向儲存節點(storage node)傳送請求,只需本地讀取即可完成訪問,同時,starfs客戶端支援多個本地快取盤的併發訪問,因此可大幅提公升客戶端讀取效能.

多級快取機制

starfs支援n+m糾刪碼(n=2,4,8,16 m=1~4)在保證系統高併發讀寫的前提下,還能通過糾刪碼保證節點級的冗餘。能保證系統在資料安全性、高併發讀寫、高空間利用率三者皆得。

什麼才是unsigned

c語言中提供了很多整數型別 整型 主要區別在於它們取值範圍的大小。int代表有符號的整數,也就是說,用int宣告的變數可以是正數也可以是負數,也可以是零,但是只能是整數。比如 int a 3 int b 0 int c 5 以上這些都是合法的。int的取值範圍因機器而異,一般而言,在較舊的pc上,i...

什麼才是好工作

我有個有趣的觀察,外企公司多的是25 35歲的白領,40歲以上的員工很少,二三十歲的外企員工是意氣風發的,但外企公司40歲附近的經理人是很尷尬的。我見過的40歲附近的外企經理人大多在一直跳槽,最後大多跳到民企,比方說,唐駿。外企員工的成功很大程度上是公司的成功,並非個人的成功,西門子的確比國美大,但...

學習!什麼才是學習?

原帖 一 看書 買一堆書,有空看看。看書,這是典型的假學習。看書看不懂還在看,就是假學習,欺騙自己,安慰自己正在學習而已。專業書都寫得很好,但大都是寫給已經懂的人看的。看書的最大作用就是證明自己看書是學不到東西的,然後只有尋找其他途徑。建議 把書合上,想一想,你想學的東西東西到底是要幹什麼用的,要掌...