因為我用的是cdh5.
16.2的版本，其中官網上沒有對應的kafka版本，其中版本的確定是通過spark
(1.6
.0)確定scala
(2.11
)版本，然後再找到kafka（kafka_2.11-
2.0.0）版本
tar -zvxf kafka_2.11-
2.0.0
.tgz
ln -s kafka_2.11-
2.0.0 kafka
cd kafka/config
vi server.properties
broker.id=
0host.name=data001
port=
9092
log.dir=
zookeeper.connect=data001:
2181
,data001:
2182
,data001:
2183
----
----
----
-------
cp server.properties server-
1.properties
cp server.properties server-
2.properties
----
----
----
----
vi server-
1.properties
broker.id=
1port=
9093
log.dir=1--
----
----
----
----
----
----
--vi server-
2.properties
broker.id=
2port=
9094
log.dir=
2mkdir logs logs-
1 logs-
2
kafka依賴於zookeeper,所以必須先啟動zookeeper，前面一篇文章中已經寫道
./kafka-server-start.sh .
./config/server.properties
./kafka-server-start.sh .
./config/server-
1.properties
./kafka-server-start.sh .
./config/server-
2.properties
====
====
=看到： info [kafkaserver id=
1] started (kafka.server.kafkaserver)
info [kafkaserver id=
2] started (kafka.server.kafkaserver)
info [kafkaserver id=
3] started (kafka.server.kafkaserver)
started 表示啟動成功
Kafka知識點總結
kafka是一種高吞吐量的分布式發布訂閱訊息系統，它可以處理消費者規模的 中的所有動作流資料。這種動作 網頁瀏覽，搜尋和其他使用者的行動 是在現代網路上的許多社會功能的乙個關鍵因素。這些資料通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。對於像hadoop一樣的日誌資料和離線分析系統，但又要求...
Kafka知識點總結
下圖所體現出來的知識點 紅色字型表示隱藏知識點 1 kafka生態系統四大角色 生產者 producer kafka集群 broker 消費者 consumer zookeeper。2 每個消費者都必須屬於乙個消費組，乙個組內的消費者可以有多個。3 乙個topic 主題 可以有1到多個partiti...
kafka知識點梳理
發布 訂閱模式 broker.id 0 logs.dir opt kafka logs zookeeper.connect hadoop102 2181,hadoop103 2181 kafka producer.sh 生產者 kafka console consumer.sh topic firs...