開發 kafka的一次小坑

2021-07-14 15:33:28 字數 291 閱讀 7062

在kafka中進行生產消費,預設kafka有幾種生產消費的訊息

1.kafka如果不指定key進行生產,會按照kafka自帶的一直性演算法 根據 message的一致性hash演算法去進行判斷,然後會按照一批一批的資訊去傳送到每個partition上面,這樣會造成熱點問題。

單個監聽partition的執行緒有效能問題,可能單個執行緒需要處理很多的資料

2、kafka去指定key進行生產,會根據這個key進行一致性hash,然後根據hash值去處理,分配,這樣不會造成熱點問題,但是分配的資料可能不會很均勻

血的教訓

記Ansible的一次坑

兩台虛擬機器 a 主機名為ansible b 主機名為web 當a執行ansible web m shell a echo 時 結果為ansible,當執行ansible web m shell a echo 結果卻為ansible只是換了個引號結果卻不相同。這是因為ansible的工作過程如下 書...

記一次react hooks的坑!!!

直接上一段 1 react.useeffect 5 我們在都知道在hooks元件解除安裝的時候需要傳遞乙個函式,解除安裝時候會執行這個狀態,上面的 我們本意是想在!show時候就返回,不繼續執行了,但是react框架在編譯時候錯誤把null當成func進行解析了,但是他又不符合react返回函式的機...

記一次jenkins的坑

由於公司的gitlab是內網,外網無法訪問,所以jenkins只能部署在windos本機上.中間出現乙個問題,就是jenkins使用ssh無法上傳檔案到linxu上 故而jar包根本不會上傳到linxu上導致部署失敗 讓我這樣做.然後 然後把下面的命令複製進去 echo 開始上傳檔案 pscp r ...