使用指令碼構建分布式檔案系統

2022-05-02 21:00:09 字數 451 閱讀 7839

上周末adc,@明儼 主持tfs開源主題的討論,居然有tfs外部使用者到現場諮詢使用過程中的問題,感覺這些小公司維護大系統挺不容易的,尤其是在對內部實現不清楚的情況下。期間有人分享自己公司的做法,存檔案的時候,存到多個server上,然後把檔案跟server的對應關係記錄到文件(不能丟,方便查詢),當出現異常時,人工介入拷貝檔案以增加檔案副本數,然後更新檔案跟server的對應關係;做法看起來很土,但對於小公司來說,只要維護者能「不厭其煩」,這也不失為乙個好辦法,畢竟一切在自己的掌握中。

於是我想創業公司在需要儲存大量檔案時,能否考慮利用指令碼構建一套儲存方案,這樣做的好處是使用指令碼,學習成本低,研發成本低,並且自主研發,可控性強,相比上面提到的人工方案,利用指令碼可以自動化處理很多情況,降低人工介入頻度。具體需要考慮的點如下:

上述很多功能點只需要很少的指令碼**就能完成,在初期也不需要特別完善,運維過程中再不斷改善,沒準最後會演化成一套很好的解決方案。

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...

分布式檔案系統

缺點是檔案路徑是一致的,只能用於嵌入式檔案的儲存,沒有辦法作為系統請求檔案的儲存,不過對於web2.0可以從設計層面進行一些改善,將使用者的資料互動更多地方在伺服器端,而不是資料庫中,比如使用者的文章就在 com yyy裡面,但是這又帶來一些新的問題,檔案同步負載均衡等問題。現在著眼於將自製的web...