MooseFS 3 0部署筆記 1 原創

2021-09-02 16:05:31 字數 2509 閱讀 6992

寫在前面,避免看到的人踩坑。moosefs目前單個檔案至少64k,就算你的報文只有1個位元組那麼大,moosefs還是會把你存成64k的檔案。所以對小檔案的儲存,空間是非常浪費的。

最近公司準備實施分布式檔案系統,去年我們有同事嘗試過使用fastdfs和hdfs。從使用情況看,hdfs更適合大檔案(本人暫時沒深入了解), fastdfs 壓測不是很穩定(也許是我們沒設定好)。最近有空研究了一下分布式檔案系統,發現mfs在國內應用比較普遍,安裝也比較方便,初步壓測了一下(沒有深入研究效能優化),100k的檔案寫達到 300-400個/s。使用mfs的另乙個非常大的好處是,支援posix標準,原先的應用系統能做到平滑遷移,同時運維人員也無需其他額外的工具就能像使用linux作業系統一樣讀寫檔案,查詢檔案。相比fastdfs,運維難度將明顯降低。最新版本是mfs3.x, 以下是mfs3.0的部署筆記。

1 準備好機器:

master server: 192.168.3.127

cgi server: 192.168.3.127

metalogger server: 192.168.3.131

chunk servers: 192.168.3.142

192.168.3.143

clients: 192.168.3.140

關閉所有機器的防火牆。 service iptables stop

2. 在master servers, chunk servers 和 clients機器中對映網域名稱。

echo 192.168.3.127 mfsmaster >> /etc/hosts

echo 192.168.3.131 mfsmaster >> /etc/hosts

所有命令必須是正常stop ,如 mfsmaster stop。否則可能導致服務無法啟動,需要恢復。

啟動順序:

matser---metalogger---chunker---client.

關閉順序:

client---chunker---metalogger---master

2) 登入linux伺服器,檢視作業系統版本。 命令:cat /etc/issue

2)解壓,將對應版本的檔案

moosefs-master-3.0.79-1.rhsysv.x86_64.rpm

moosefs-cgi-3.0.79-1.rhsysv.x86_64.rpm

moosefs-cgiserv-3.0.79-1.rhsysv.x86_64.rpm

拷貝到 usr/local/moosefs下

4. 安裝master server(192.168.3.127)

1)rpm –ivh moosefs-master-3.0.79-1.rhsysv.x86_64.rpm

2)確認在 /etc/mfs 下生成了相關的配置檔案 (mf***ports.cfg, mfsmaster.cfg 等)

3)設定自動啟動, 建立 /etc/default/moosefs-master, 輸入 mfsmaster_enable=true

4) 更改許可權chown -r mfs:mfs /var/lib/mfs

5)service moosefs - master start

6) 使用 mfsmaster start 可忽略(3,4,5)

5. 安裝監控(192.168.3.127)

1)rpm –ivh moosefs-cgi-3.0.79-1.rhsysv.x86_64.rpm

rpm –ivh moosefs-cgiserv-3.0.79-1.rhsysv.x86_64.rpm

如果裝錯,解除安裝(rpm -e --allmatches --nodeps moosefs-master-3.0.79-1.rhsysv.x86_64)

2)啟動監控:mfscgiserv start

3)檢視監控:

6.安裝客戶端(192.168.3.127)

1)rpm -ivh moosefs-cli-3.0.79-1.rhsysv.x86_64.rpm

7.安裝chunkserver(192.168.3.141-143)

1) rpm -ivh moosefs-chunkserver-3.0.79-1.rhsysv.x86_64.rpm

2) 修改配置, vi /etc/mfs/mfshdd.cfg

將其中的 /mnt/hd1 的注釋去掉,為trunk指定掛載目錄

3)建立目錄

mkdir /mnt/hd1

chown -r mfs:mfs /mnt/hd1

4) 啟動服務

mfschunkserver start

8.安裝使用者使用client(192.168.3.140)

rpm -ivh moosefs-client-3.0.79-1.rhsysv.x86_64.rpm

mkdir -p /mnt/mfs

mfsmount /mnt/mfs -h mfsmaster

驗證: mkdir -p /mnt/mfs/data1

copy *.rpm /mnt/mfs/data1

MooseFS 3 0部署筆記 4 原創

此文接 部署筆記3 介紹mfs高可用中的keepalived的部署.keepalived 安裝 2.tar xzvf keepalived 1.2.23.tar.gz 可用命令檢視相關元件的版本 rpm qa grep x rpm ivh libcom err devel 1.41.12 11.el...

Zabbix3 0部署最佳實踐

zabbix3 整個web 介面做了乙個全新的設計。更多新特性當前字幕檢視 筆者qq 572891887 linux架構 471443208 root linux node1 cat etc redhat release 檢視系統版本 centos linux release 7.2.1511 co...

WSS 3 0部署備忘 三

1 關於搜尋功能 2 安裝了wss 3.0 有安裝了search server 2008 折騰了一通後,解除安裝了search server 2008,結果 wss3.0 也沒得用了 悲催 3 顯而易見,支援表單身份驗證的外部站點是不支援爬網的 4 關於搜尋的乙個問題 如果只採用表單認證的方式,你會...