Kafka從SQL Server資料庫同步資料

前提：已安裝 vmware station，linux(centos)，xshell，xftp，zookeeper，kafka

一、安裝confluent的connector

開始安裝：

（1）解壓至$kafka_home/connector 資料夾下，$kafka_home本人的是/usr/local/kafka：

小插曲：xftp上傳錯誤（無許可權），退回上級目錄，chmod 777 connector，給connector資料夾設定寫入許可權

解壓：tar -xzvf confluent-5.1.0-2.11.tar.gz

（2）配置connector

檔案位置：$kafka_home/config/connect-distributed.properties（單機模式檔案為connect-standalone.properties）

修改：vi connect-distributed.properties或vi connect-standalone.properties，按a進行插入，按esc輸入:wq儲存修改退出

（3）建立topic

首先啟動zookeeper，kafka，否則無法建立。

cd /usr/local/kafka_2.10-0.10.2.1/

cd bin

bin/kafka-topics.sh --zookeeper hserver1:2181/kafka --create --topic connect-offsets --replication-factor 2 --partitions 12

bin/kafka-topics.sh --zookeeper hserver1:2181/kafka --create --topic connect-configs --replication-factor 2 --partitions 1 

bin/kafka-topics.sh --zookeeper hserver1:2181/kafka --create --topic connect-status --replication-factor 2 --partitions 6

小插曲：若zk為單機模式，建立topic語句為：

./kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic connect-offsets --replication-factor 1 --partitions 12

./kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic connect-configs --replication-factor 1 --partitions 1

./kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic connect-status --replication-factor 1 --partitions 6

connect-standalone.properties改為replication.factor 1

./connect-distributed.sh config/connect-distributed.properties（分布式）

./connect-distributed.sh -daemon config/connect-distributed.properties

或./connect-standalone.sh config/connect-standalone.properties（單機）

./connect-standalone.sh -daemon config/connect-standalone.properties

（5）sql server準備，開啟change tracking

Kafka消費者 從Kafka讀取資料

目錄 前言 1 kafkaconsumer概念 1.1 消費者和消費者群組 1.2 消費者群組和分割槽再均衡 2 建立kafka消費者 3 訂閱主題 4 輪詢 5 消費者的配置 6 提交和偏移量 7 再均衡 8 從特定偏移量處開始處理記錄 9 如何退出 10 反序列化器 應用程式使用 kafkaco...

從flume到kafka，日誌收集

實時日誌分析 本篇文章主要測試 從flume到kafka的日誌收集，storm日誌分析，學習中！flume 配置檔案 collector collector.sources cs collector.sinks ck hbasesink collector.channels cc hbasechan...

Kafka 從Consumer消費能力低下談起

近期在生產環境發下日誌入庫延遲，導致很多準實時的監控圖表獲取不到資訊，這問題以前沒有出現過，可能跟最近業務量上公升有關，畢竟日均小兩億的平台了。梳理系統架構發現，日誌是快取在kafka中，由乙個後台程序task從kafka中消費，存放到資料庫中的，日誌入庫延遲，跟task關係很大。由於之前對kafk...