HDFS Balance調優引數設定

2021-09-10 08:18:14 字數 1139 閱讀 9714

問題背景與現象

當hdfs集群各個datanode儲存的資料不均衡時,需要使用hdfs balance功能,調整相關引數可以提公升balance效能。

操作步驟

修改如下引數:

dfs.datanode.max.transfer.threads = 8192   

dfs.namenode.replication.max-streams=20

dfs.datanode.balance.max.concurrent.moves=30

1. dfs.datanode.max.transfer.threads

修改dfs.datanode.max.transfer.threads=4096 (如果執行hbase的話建議為16384),

指定用於在datanode間傳輸block資料的最大執行緒數,老版本的對應引數為dfs.datanode.max.xcievers。

預設:16384-----是否可以繼續調大

2. dfs.datanode.balance.bandwidthpersec

修改dfs.datanode.balance.bandwidthpersec=52428800,指定datanode用於balancer的頻寬為50mb,

這個根據情況而定,如果交換機效能好點的,完全可以設定100mb,單位是byte,

如果機器的網絡卡和交換機的頻寬有限,可以適當降低該速度,比如10mb,預設是1048576(1mb)。

hdfs dfsadmin-setbalancerbandwidth 52428800

3. dfs.balancer.block-move.timeout

以毫秒為單位移動的最大時間。如果這個設定大於0,平衡器將停止等待乙個塊移動完成。在典型的集群中,3到5分鐘的超時是合理的。

如果超時發生在很大比例的塊移動中,則需要增加。它也可能是太多的工作被分派,並且許多節點的頻寬總是超過頻寬限制。

在這種情況下,可能需要調整其他平衡器引數。預設情況下,它是禁用的。

4. dfs.balancer.max-no-move-interval

如果這個指定的時間量已經過去,並且沒有乙個塊被移出源datanode,那麼將會有更多的努力在當前的平衡迭代中移出這個datanode的塊。

--------------------- 

MySQL引數調優

l 通用類 key buffer size 含義 用於索引塊的緩衝區大小,增加它可得到更好處理的索引 對所有讀和多重寫 影響 對於myisam 表的影響不是很大,myisam 會使用系統的快取來儲存資料,所以大量使用 myisam 表的機器記憶體很快就會耗盡。但是,如果你將該值設得過大 例如,大於總...

mysql引數調優

l max connect errors max connect errors預設值為10,也即mysqld執行緒沒重新啟動過,一台物理伺服器只要連線 異常中斷累計超過10次,就再也無法連線上mysqld服務,為此建議大家設定此值至少大於等於10w 若異常中斷累計超過引數設定的值,有二種解決辦法,執...

mysql引數調優

優化之前我們需要知道什麼 業務相關的情況 mysql相關的配置 伺服器上需要關注那些 作業系統版本 是否為穩定版 cpu 網絡卡節電模式 建議資料庫應用的伺服器,關閉節電模式 伺服器numa設定 raid卡快取 磁碟排程策略 write back 回寫 宕機的話cache中資料,如果沒有刷入磁碟,可...