流量分析系統 kafka集群部署

storm上游資料來源之kakfa

安裝前的準備工作（zk集群已經部署完畢）

 關閉防火牆 
chkconfig iptables off && setenforce 0 建立工作目錄並賦權
mkdir -p /export/servers
chmod 755 -r /export

3.2解壓安裝包

tar -zxvf /export/software/kafka_2.11-0.8.2.2.tgz -c /export/servers/

cd /export/servers/

ln -s kafka_2.11-0.8.2.2 kafka

3.3修改配置檔案

cp   /export/servers/kafka/config/server.properties

/export/servers/kafka/config/server.properties.bak

vi  /export/servers/kafka/config/server.properties

輸入以下內容：

（提前建立好mkdir -p /export/servers/logs/kafka）

#broker的全域性唯一編號，不能重複

broker.id=1 #每台機器遞增
#用來監聽鏈結的埠，producer或consumer將在此埠建立連線
port=9092#處理網路請求的執行緒數量
num.network.threads=3#用來處理磁碟io的執行緒數量
num.io.threads=8#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400#接受套接字的緩衝區大小
socket.receive.buffer.bytes=102400#請求套接字的緩衝區大小
socket.request.max.bytes=104857600#kafka執行日誌存放的路徑，需要提前建立好
log.dirs=/export/servers/logs/
kafka
#topic在當前broker上的分片個數
num.partitions=2#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1#segment檔案保留的最長時間，超時將被刪除
log.retention.hours=168#滾動生成新的segment檔案的最大時間
log.roll.hours=168#日誌檔案中每個segment的大小，預設為1g
log.segment.bytes=1073741824#週期性檢查檔案大小的時間
log.retention.check.interval.ms=300000#日誌清理是否開啟
log.cleaner.enable=true
#broker需要使用zookeeper儲存meta資料
zookeeper.connect=192.168.32.201:2181,192.168.32.202:2181,192.168.32.203:2181
#zookeeper鏈結超時時間
zookeeper.connection.timeout.ms=6000#partion buffer中，訊息的條數達到閾值，將觸發flush到磁碟
log.flush.interval.messages=10000#訊息buffer的時間，達到閾值，將觸發flush到磁碟
log.flush.interval.ms=3000#刪除topic需要server.properties中設定delete.topic.enable=true否則只是標記刪除
delete.topic.enable=true
#此處的host.name為本機ip(重要),如果不改,則客戶端會丟擲:producer connection to localhost:9092host.name=kafka01
advertised.host.name=192.168.32.201 #每台機子都要做相應修改

scp -r /export/servers/kafka_2.11-0.8.2.2 kafka02:/export/servers

然後分別在各機器上建立軟連

cd /export/servers/

ln -s kafka_2.11-0.8.2.2 kafka

3.5依次修改配置檔案

依次修改各伺服器上配置檔案的的broker.id，分別是1,2，3不得重複。

host.name 改成自己的

advertised.host.name 改成自己的

配置環境變數

export kafka_home=/export/servers/kafka

export path=$path:$kafka_home/bin

source /etc/profile

啟動集群各個節點啟動zookeeper

各個節點啟動集群

#啟動nohup kafka-server-start.sh /export/servers/kafka/config/server.properties &

#停止kafka-server-stop.sh

流量分析作用

1 流量的趨勢能夠預知 的發展前景 2 流量分析可以反應使用者黏度 吸引了很多 使用者訪問。但是，通過流量分析發現，使用者停留的時間非常短，重複訪問使用者不多，使用者平均瀏覽的頁面也少，這樣的 使用者黏度不夠，有流量但是沒有忠實的使用者，一旦有其它可替代 使用者隨時可能流失。這樣的 如果不採取有效的...

Kafka 集群部署

kafka是乙個分布式訊息佇列，需要依賴zookeeper，請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...

kafka集群部署

一台伺服器上可以啟動多個broker例項，或者將broker部署到多台伺服器上，以下以172.16.50.21集群為例，多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper，如果環境中沒有zoo...