kafka訊息只能在一台伺服器消費的問題解決過程

2021-09-19 15:18:57 字數 542 閱讀 9493

場景:

kafka消費端應用部署在兩台機器上,其中一台能消費到生產端發出的kafka訊息,另一台伺服器接收不到任何訊息。

解決過程:

一、從消費端啟動日誌中找出所有消費端線程

二、分析啟動日誌

我們知道kafka的乙個partition 只能讓乙個消費者執行緒消費,那麼排在最後的消費端線程肯定消費不到訊息,因為只有2個partition已經分別被前兩個消費執行緒消費了,如果前兩個消費執行緒和最後乙個消費執行緒分別位於兩台不同的機器上,則有一台機器消費不到kafka訊息,問題就是出自這裡。

三、修改kafka消費執行緒生產相關的**

public void startconsumer()
int consumerthreadnum = partitionnum / servernum != 0 ? partitionnum / servernum : 1;

通過上面的**控制每個伺服器應用上的消費執行緒數,保證每個應用不會生產過多無效的消費執行緒。

從一台伺服器向另一台伺服器拷貝檔案

使用scp命令 scp就是secure copy,scp在主機複製檔案。他使用ssh作為資料傳輸。而且用同樣認證和安全性。scp將在認證中請求輸入密碼所有的檔案可能需要伺服器和使用者的特別描述來指明檔案將被複製到 從某台伺服器。而兩個遠端登入的伺服器間的檔案複製是允許的。scp命令選項 1 強制sc...

我是一台伺服器

我是一台伺服器,待在某家半死不活的資料中心裡,混日子。聽那些上了年歲的前輩講,很久很久以前,我所在的這家資料中心也是行業翹楚。先進的裝置 一流的人才 瘋狂的市場推廣讓它大出風頭,優厚的待遇和輕鬆的環境也成為了同行羨慕的物件。那時候,前台的妹子都月薪上萬了 前輩一邊這麼說,一邊擦去嘴角留下的哈喇子,一...

人人都需要一台伺服器

自打上次bcb版聚時,tr老大談起他家裡整了一台伺服器的事後,令狐也心癢想整這麼個東東,我則是把自己的一台閒置電腦弄成伺服器用。但是我們這些解決方案都不夠好 比如成本高,耗電大,穩定性差。所以我設想了一種專用解決方案 用整合主機板,最好是筆記本主機板,耗電會省一些。用筆記本專用cpu,也是為了省電。...