HBase集群調優

2021-09-24 07:49:49 字數 457 閱讀 9982

2.5.2.1. zookeeper.session.timeout

這個預設值是3分鐘。這意味著一旦乙個server宕掉了,master至少需要3分鐘才能察覺到宕機,開始恢復。你可能希望將這個超時調短,這樣master就能更快的察覺到了。在你調這個值之前,你需要確認你的jvm的gc引數,否則乙個長時間的gc操作就可能導致超時。(當乙個regionserver在執行乙個長時間的gc的時候,你可能想要重啟並恢復它).

要想改變這個配置,可以編輯 hbase-site.xml, 將配置部署到全部集群,然後重啟。

我們之所以把這個值調的很高,是因為我們不想一天到晚在論壇裡回答新手的問題。「為什麼我在執行乙個大規模資料匯入的時候region server死掉啦」,通常這樣的問題是因為長時間的gc操作引起的,他們的jvm沒有調優。我們是這樣想的,如果乙個人對hbase不很熟悉,不能期望他知道所有,打擊他的自信心。等到他逐漸熟悉了,他就可以自己調這個引數了。

HBASE引數調優

zookeeper.session.timeout預設值 3分鐘 180000ms 說明 regionserver與zookeeper間的連線超時時間。當超時時間到後,reigonserver會被zookeeper從rs集群清單中移除,hmaster收到移除通知後,會對這台server負責的regi...

Kafka 集群調優

kafka 集群搭建鏈結 單個 kafka伺服器足以滿足本地開發或 poc要求,使用集群的最大好處是可以跨伺服器進行負載均衡,再則就是可以使用複製功能來避免因單點故障造成的資料丟失。在維護 kafka 或底層系統時,使用集群可以確保為客戶端提供高可用性。乙個 kafka 需要多少個 broker取決...

HBase 系統調優指南

本篇面試內容劃重點 bloomfilter 預分割槽 資料傾斜 rowkey 設計。hbase 雖然沒有字段資訊也沒有型別的限制,但是建表的時候還是有很多需要注意的地方的,合理地配置表資訊可以使你寫的程式更高效地使用 hbase bloomfilter 布隆過濾器 預設值為 none,布隆過濾器的作...