MooseFs的使用與操作

2021-09-21 04:20:32 字數 3300 閱讀 6590

1:系統掛載

客戶端可以利用mfsmount掛載mfs與輔助的mfsmeta檔案系統。

mfs檔案系統是正規的mfs掛載系統,裡面包含了所有的mfs儲存的檔案與目錄。

mfsmeta檔案系統是mfs提供用於輔助的檔案系統,相當與windows的**站。

分配作業系統掛載許可權(類似nfs的exports檔案):

在mfsmaster上配置:

12

3

4

5

# vi mf***ports.cfg

# allow everything but "meta".

192.168.1.0/24/       rw,alldirs,maproot=0

# allow "meta".

192.168.1.0/24.       rw

在客戶端掛載:

12

# /usr/local/mfs/bin/mfsmount /mnt/mfs -h mfsmaster

# /usr/local/mfs/bin/mfsmount -m /mnt/mfsmeta/ -h mfsmaster

檢視掛載資訊:

二:**站操作(trash bin

在mfs掛載點刪除乙個檔案,在mfsmeta掛載點可以找到:

恢復刪除的檔案:在**站中找到要恢復的檔案,把該檔案移動到」undel」目錄,檔案就可在mfs檔案系統中恢復:

檢視trashtime:

# /usr/local/mfs/bin/mfsgettrashtime trashtest

trashtest: 86400

預設刪除檔案存放**站的時間為86400秒=1天。

設定trashtime:

若把時間設定為0,則檔案直接刪除,不進入**站:

#/usr/local/mfs/bin/mfssettrashtime 0 trashtest

三:設定目標的拷貝份數

檢視goal:

# /usr/local/mfs/bin/mfsgetgoal trashtest

trashtest: 1

設定goal:

根據測試:goal number<=chunkserver number

目錄設定與檔案設定操作一致,給目錄設定goal,之後在該目錄下建立的檔案將會繼承該goal,但不會影響到已經存在的檔案。

若要使該命令遞迴到目錄下的所有檔案,新增-r引數:

四:詳細檢視mfs的檔案與目錄:

檢視檔案的實際拷貝份數:

mfscheckfile可檢視copy數:

# /usr/local/mfs/bin/mfscheckfile testdir/testfile

mfsfileinfo可檢視具體的copy位置

檢視目錄樹的內容摘要:

上述內容摘要顯示了目錄、檔案及chunks 的數目,還有整個目錄占用磁碟空間的情況。

length -檔案大小的總和

size –塊長度總和

realsize –磁碟空間的使用包括所有的拷貝

使用moosefs的利與弊

我在工作中需要把生產環境的使用者訪問日誌儲存到資料處理伺服器,並備份起來。一開始的做法是由人工來均衡資料處理伺服器的空間使用,但是隨著伺服器資料量的增加,人工的管理將變得很困難,一方面是存在單點故障的問題,如果一台資料處理伺服器掛了,上面的資料可能會丟失 另一方面,為了均衡各伺服器間的空間使用,需要...

安裝MooseFS學習的Linux命令

1 增加使用者組 groupadd mfs 2 增加使用者 useradd g mfs mfs 第乙個mfs 指定使用者組 3 檢視埠占用情況 netstat lnp 4 關閉防火牆 即時生效 service iptables stop 重啟後永久生效 chkconfig iptables off ...

sqoop操作與使用

sqoop只要安裝到集群中的一台節點就可以了 1.上傳sqoop到節點中 2.安裝和配置 在新增sqoop到環境變數到 etc profile中 將資料庫連線驅動拷貝到 sqoop home lib裡 3.使用 第一類 資料庫中的資料匯入到hdfs上 sqoop import connect jdb...