hdfs balancer均衡器使用

2021-08-03 06:50:27 字數 689 閱讀 2864

簡介

hadoop的hdfs集群非常容易出現機器與機器之間磁碟利用率不平衡的情況,比如集群中添

加新的資料節點。當hdfs出現不平衡狀況的時候,將引發很多問題,比如mr程式無法很好

地利用本地計算的優勢,機器之間無法達到更好的網路頻寬使用率,機器磁碟無法利用等

等。可見,保證hdfs中的資料平衡是非常重要的。

在hadoop中,包含乙個balancer程式,通過執行這個程式,可以使得hdfs集群達到乙個平

衡的狀態

step1: balancer command

hdfs balance

>bin/start-balancer.sh -threshold 15

>bin/stop-balancer.sh

>各個datanode儲存不均勻時使用

-不同機器之間

-同機器不同磁碟之間無法通過這種方法balance

> dfs.balance.bandwidthpersec(限制balance頻寬)

影響hadoop balance工具的幾個引數:

dfs.balance.bandwidthpersec  預設設定:1048576(1 m/s),引數含義:設定balance工具在執行中所能占用的頻寬,設定的過大可能會造成mapred執行緩慢

源自:

負載均衡器

負載均衡器f5 負載均衡是高可用網路基礎架構的關鍵元件,通常用於將工作負載分布到多個伺服器來提高 應用 資料庫或其他服務的效能和可靠性。負載均衡器可以處理什麼樣的請求?負載均衡器的管理員能主要為下面四種主要型別的請求設定 規則 負載均衡器如何選擇要 的後端伺服器?負載均衡器一般根據兩個因素來決定要將...

負載均衡器簡介

負載均衡器可以根據實際的響應時間制定優先順序交付決策,從而實現高效能 智慧型化流量管理,達到最佳的伺服器群效能。採用第七層應用控制還可以減少通訊高峰期的錯誤訊息,因為差錯控制和流量管理技術可以偵測到一些錯誤資訊,並透明地將會話重定向到另乙個伺服器,使使用者順利地進行使用。例如,伺服器 a不可用或者資...

LVS負載均衡器

lvs是乙個開源的軟體,可以實現linux平台下的簡單負載均衡。lvs是linux virtual server的縮寫,意思是linux虛擬伺服器。優點 1 開源,免費 2 在網上能找到一些相關技術資源 3 具有軟體負載均衡的一些優點 缺點 1 具有開源產品常有的缺點,最核心的就是沒有可靠的支援服務...