Kafka學習筆記 如何估算 kafka集群規模

2021-10-01 16:04:25 字數 832 閱讀 4072

假設頻寬是 1gbps,即每秒處理 1gb 的資料.

假設每台 kafka 伺服器都是安裝在專屬的機器上,也就是說每台 kafka 機器上沒有混布其他服務。

通常情況下你只能假設 kafka 會用到 70% 的頻寬資源,因為總要為其他應用或程序留一些資源。

根據實際使用經驗,超過 70% 的閾值就有網路丟包的可能性了,故 70% 的設定是乙個比較合理的值,

也就是說單台 kafka 伺服器最多也就能使用大約 700mb 的頻寬資源。

這是它能使用的最大頻寬資源,你不能讓 kafka 伺服器常規性使用這麼多資源,

故通常要再額外預留出 2/3 的資源,即單台伺服器使用頻寬 700mb / 3  ≈  240mbps。

需要提示的是,這裡的 2/3 其實是相當保守的,你可以結合你自己機器的使用情況酌情減少此值。

有了 240mbps,我們就可以計算 1 小時內處理 1tb 資料所需的伺服器數量了。

根據這個目標,我們每秒需要處理 2336mb 的資料,除以 240,約等於 10 臺伺服器。

1024*1024/3600*8 = 2330mb  [注意是小b]

如果訊息還需要額外複製兩份,那麼總的伺服器台數還要乘以 3,即 30 臺。

補充:

千兆網絡卡的傳輸速率是1gbps ,換算成 mb 為 125mb/s 

原文引用:

kafka核心技術與實戰 - 胡夕

學習筆記 Kafka

kafka kafka把資料往磁碟上寫,但是在磁碟上存它的讀寫速度比記憶體快,這個依賴於預讀和後寫功能,但是這個預讀和後寫必須是按照順序的方式,若沒有順序的方式優化的話,不存在什麼預讀和後寫。特點 訊息持久化 能落到磁碟 通過o 1 的磁碟資料結構提供資料的持久化 高吞吐量 分布式 擴充套件能力強 ...

Kafka學習筆記

1.1簡介 apache kafka 是分布式發布 訂閱訊息系統 訊息中介軟體 它最初由 linkedin 公司開發,之後成為 apache 專案的一部分。kafka 是一種快速 可擴充套件的 設計內在就是分布式的,分割槽的和可複製的提交日誌服務。apache kafka 與傳統訊息系統相比,有以下...

kafka學習筆記

1.1 kafka的特性 controller在zookeeper註冊watch zookeeper管理kakfabroker集群。所有的kafkabroker節點一起去zookeeper上註冊乙個臨時節點,只有乙個能成功,成功註冊的節點稱之為 kafkabrokercontroller,其餘的稱之...