安裝分布式檔案系統的一點心得

2021-06-18 04:47:20 字數 980 閱讀 3547

由於工作需要,我曾經多次安裝配置過一些開源的分布式檔案系統,涉及的節點也超過10台較好配置的物理機,並進行了效能測試。 涉及的分布式檔案系統有moosefs,glusterfs,ceph和最常見的hdfs,

從剛開始安裝配置的一頭霧水到現在 安裝配置相對比較熟練,這個過程中有些小感悟,希望對新手有些小幫助:

一,巨集觀上的把握

在安裝系統前,首先要弄清楚這樣乙個問題,我的分布式系統涉及哪些程序(元件)?基本功能是什麼?分別執行在哪些節點上?事前最好能夠寫個簡單的文件描述一下拓撲圖。

二,依賴庫的問題

最好用源**安裝,原始碼安裝有很多好處,例如,刪除起來很容易,可以方便指定安裝位置。用哪些系統自帶的命令安裝經常會帶來混亂,第一是版本問題,第二會經常安裝一些多餘的東西。

三,庫的路徑問題

有時明明已經安裝某個依賴庫,但是編譯目標**是總是提示無法找到依賴庫。這時可以考慮從以下幾個方面查詢問題:

(1)確定依賴庫應該是動態庫還是靜態庫?可以檢視目標**的編譯提示資訊,configure 時是否應該加上選項--enable-shared

(2)用pkg_config_path環境變數指定依賴庫路徑,

(3)在~/.profile 配置檔案中指定編譯時需要查詢的額外標頭檔案和依賴庫,

四,許可權問題

在安裝的過程中,能夠不用root就不用root,根據目標程式需要而建立特定的使用者名稱,

五,配置問題

配置主要涉及:

a 主機名,ip位址,埠號

b 日誌檔案的路徑,資料儲存的路徑,

c 一些timeout相關的引數,例如間隔多少時間幹一次啥

d 系統資源的使用,分配各某個元件的最大使用記憶體,最大開啟檔案數,最大網路連線數

e 最後最重要的許可權問題,某個程序對ip和埠的過濾,對客戶端使用者訪問許可權的控制等。

六,關於troubleshooting

七,後記

多加強基礎知識的學習,例如網路,作業系統,指令碼等,都會極大的幫助你解決困難

分布式檔案系統FastDFS的安裝(一)

1.什麼是分布式檔案系統 分布式檔案系統 distributed file system 是指檔案系統管理的物理儲存資源不一定直接連線在本地節點上,而是通過計算機網路與節點相連。通俗來講 傳統檔案系統管理的檔案就儲存在本機。分布式檔案系統管理的檔案儲存在很多機器,這些機器通過網路連線,要被統一管理。...

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...