基於分布式儲存的檔案系統4k對齊寫優化

2021-10-10 22:23:51 字數 843 閱讀 9838

測試工具:vdbench

磁碟型別:iscsi initiator、target(tgtd)

檔案系統:xfs

後端磁碟的io粒度是4k,實際生產環境中發現有許多512位元組的資料寫到儲存後端,512位元組的寫觸發寫懲罰,需要先補齊4k然後再寫下去。

解決該問題有幾種方法:

方法1:設定lun的物理扇區大小

當將乙個卷對映到lun時預設的物理扇區是512位元組:

加lun時通過--blocksize 4096 引數指定物理扇區為4k,就可以保證lun之下收到的請求不會小於4k。

方法2:設定xfs檔案系統過的扇區大小

xfs檔案系統預設的扇區大小是512位元組:

xfs產生的元資料會按照最小扇區的粒度寫入後端儲存,xfs初始化時加上:-s 4096 指定扇區大小。再跑檔案讀寫發到後端儲存的就是4k整數倍的元資料或者日誌。另外在說一下ext4,如果ext4預設使用了惰性初始化,在惰性初始化期間也會產生很多512位元組的寫到後端儲存。

方法3:設定virtio 磁碟的扇區大小

lun對映到虛機中預設塊大小是512位元組:sector size (logical/physical): 512 bytes / 512 bytes

可以在xml檔案裡面加入 ,對映到虛機裡的盤塊大小就變成了4096:sector size (logical/physical): 512 bytes / 4096 bytes

FastDFS分布式儲存檔案系統

本次模擬單節點tracker伺服器以及兩台storage伺服器,建立之前必須確保伺服器之間都能相互ping通以及關閉防火牆 或者開放tracker伺服器與storage伺服器中配置檔案裡涉及的埠 安裝gcc環境 yum install y gcc c 建立存放目錄並進入該目錄 mkdir p opt...

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...