MirrorMaker kafka跨集群同步方案

以下內容是我之前配置的集群同步方案。

指令碼路徑

/usr/local/kafka/bin/kafka-mirror-maker.sh

consumer.properties

bootstrap.servers=10.255.30.152:9092

group.id=mirrorgrouptest

auto.offset.reset=earliest

partition.assignment.strategy=org.apache.kafka.clients.consumer.roundrobinassignor

bootstrap.servers=10.255.30.132:9092 compression.type=none retries=3

nohup bin/kafka-mirror-maker.sh --consumer.config mirrormaker/consumer.properties --producer.config mirrormaker/producer.properties --whitelist ' test' &

/usr/local/kafka/config/tools-log4j.properties

需要注意的問題：

consumer.properties （10.255.30.152:9092） 需要同步的訊息源集群

producer.properties （10.255.30.132:9092） 為訊息目標集群

結果：訊息寫入10.255.30.152:9092 集群， 此時訊息會被複製到目標集群10.255.30.132:9092。

惠惠街 每天千款優惠劵秒殺

Elasticsearch 跨集群同步

zsearch是目前公司內最大的elasticsearch服務平台，隨著業務的深入，越來越多的關鍵鏈路使用者對資料的可用性和容災能力提出更高的需求，而在這塊領域 社群一直沒有完整的解決策略，原生的 snapshot and restore 只能做快照的恢復，不能做到實時同步 業內主流的佇列分發模式 ...

使用Spark跨集群同步Hive資料

本文適用有入門spark基礎的同學，一些最基礎知識不再贅述 通過閱讀本文即可掌握使用spark跨集群同步hive資料的技巧！眾所周知，業界比較成熟的同步資料工具是sqoop，它是連線關係型資料庫和hadoop的橋梁 比較常用的場景是從mysql等rdb同步到hive hbase或者將hive hba...

集群時間同步

實現方案 1.確認服務端ntp已安裝 root node91 rpm qa grep ntp ntp 2.修改ntp配置檔案 root node91 vi etc ntp.conf 修改內容如下 a 授權本網段所有機器可以從這台機器上查詢和同步時間 restrict mask 255.255.255...