CDH6 2 1安裝Kafka出現的問題

2021-10-01 10:10:09 字數 1798 閱讀 3367

根據以往在cdh安裝元件的經驗，應該是非常easy的，沒想到…

這裡我選擇了五颱broker，其他的不需要填寫，在啟動的時候報錯：

在網上搜了一圈，大概說是因為集群中broker預設都為0！！！我們必須得手動改為唯一的。

於是我把這五颱服務的broker id分別改為0、1、2、3、4,並且發現預設的，zookeeper連線竟然是：

zookeeper.connect=localhost:2181
我的zookeeper在其他三颱節點上面安裝，於是手動將這五颱伺服器的zookeeper都配置了：

zookeeper.connect=master01:2181,master02:2181,master03:2181
然後重新安裝

又是到了啟動的這一步報錯：

kafka.common.inconsistentbrokeridexception: configured broker.id 1258 doesn't match stored broker.id 1186 in meta.properties. if you moved your data, make sure your configured broker.id matches. if you intend to create a new broker, you should remove all data in your data directories (log.dirs).


at kafka.server.kafkaserver.getbrokeridandofflinedirs(kafkaserver.scala:686)


at kafka.server.kafkaserver.startup(kafkaserver.scala:209)


at kafka.server.kafkaserverstartable.startup(kafkaserverstartable.scala:42)


at kafka.kafka$.main(kafka.scala:75)


at com.cloudera.kafka.wrap.kafka$.runmain(kafka.scala:102)


at com.cloudera.kafka.wrap.kafka$.main(kafka.scala:94)


at com.cloudera.kafka.wrap.kafka.main(kafka.scala)
大概意思是broker.id改了之後，這個時候和meta.properties配置檔案中就不對應了，必須得一一對應才可以。

那麼這個檔案在哪呢？搜了一下，都說是看config下的server.properties，中的：

log.dirs=/tmp/kafka-logs
這裡指定的哪就是哪…可把我坑慘了，我/tmp目錄下根本就沒有這個kafka-logs檔案，擦。

經過一番查詢，原來是在：

CDH解除安裝kafka重新安裝出現的問題

乙個不爽就把kafka暴力刪除了，但是因為沒有刪除乾淨，導致在cdh內重新安裝的時候出現錯誤，記錄一下，估計很少有人遇到 解除安裝重新安裝kafka出現分配失敗，缺少json檔案的錯誤，重啟電腦，切換cloudera scm使用者，執行刪除命令rm rf kafka 3.1.0 1.3.1.0.p0...

安裝Docker Toolbox後出現的問題

在安裝了hyper v的windows上安裝docker工具箱出現下面錯誤 在windows上安裝docker是乙個相當簡單和直接的過程。這裡有很好的文件。然而，如果你已經安裝了hyper v像我一樣，說明將不會開箱即用。如果你嘗試啟動docker quickstart終端，你會得到以下錯誤資訊 問...

centos 安裝NVIDIA顯示卡出現的問題

用了這兩行命令 echo blacklist nouveau etc modprobe.d blacklist.conf dracut boot initramfs uname r img uname r force 這個方法還是謹慎操作！我不清楚為什麼要搞這兩步，每次搞完都無法登入系統，只能從re...