kafka遇到的坑

2021-10-04 19:32:52 字數 935 閱讀 8716

場景:在我們自己的伺服器上安裝好單機kafka_2.11-0.11.0.2後,讓另一家公司往我們的kafka的topic上推數,因為我們兩家的的linux伺服器都是在雲上,所以需要做網路對映讓他們的伺服器能夠訪問我們的伺服器,能ping通也能telnet埠9092。但是那家公司死活把數推不過來。總是報這麼個錯:the executionexception occured : {}.

後重啟kakfa修改的才會生效

正確的配置:advertised.listeners=plaintext://kafkahost:9092

以前導致以上報錯的配置:advertised.listeners=plaintext://我方內網實際ip:9092

在我方的linux伺服器上的/etc/hosts檔案下新增一行:

我方內網實際ip kafkahost

在那家公司的linux伺服器上的/etc/hosts檔案中新增一行:

我方對映給這家公司的ip kafkahost

做完以上操作後在**裡寫bootstrapservers, "kafkahost:9092"或者bootstrapservers, "我方對映給這家公司的ip:9092"都可以執行成功

​​ 當手動設定從指定的偏移量消費資料的時候,有時候指定的偏移量超出範圍會報這個錯:

我用sparkstream連線的kafka,手動提交偏移量,儲存到zk中,我的分割槽0消費到儲存到zk中是20了,但是kafka中偏移量被另乙個程式修改為起止是21了,所以消費不到報了個這個錯誤:

關於Kafka的那些坑

進來使用了kafka訊息佇列,喜憂參半。細數一下,踩過的坑。1 最好不要用windows伺服器去搞,當然像本人這樣被迫使用的,就硬著頭皮搞。windows伺服器搭建kafka,首先先例少。其次穩定性,個人感覺要比linux或者mac上差遠了。windows上,停止kafka後,在啟動需要刪掉log。...

joda time遇到的坑

system.out.println datetime.parse 2015092408 datetimeformat.forpattern yyyymmddhh getmillis system.out.println datetime.parse 2015092408 datetime form...

Spring Websocket 遇到的坑

1 跨域問題 經查閱官方文件springwebsocket 4.1.5版本前預設支援跨域訪問,之後的版本預設不支援跨域,需要設定 setallowedorigins override public void registerwebsockethandlers websockethandlerregi...