Cassandra與Kafka的整合

2022-01-09 23:26:56 字數 1089 閱讀 6008

cassandra和kafka經常一起用於微服務架構中。本文將介紹幾種cassandra和kafka常見的整合模式。

簡介

如果您的開發團隊樂於接納微服務架構的優點,那麼您就會了解到,kafka針對不變事件(immutable events)的永續性日誌,能夠使微服務以獨立且非同步的方式執行。

在某些情況下,微服務需要訪問如apache cassandra™ 這樣的資料記錄系統。

apache kafka展現出的許多分布式系統價值,與cassandra相同——如可擴充套件性和高度可用性。

因此,cassandra和kafka是兩個互補性較強的技術。

作為事件結構的kafka

把kafka看作是微服務之間的事件結構。

乙個服務從kafka流中消費事件,並對事件進行計算,要麼產生新的kafka事件,要麼把資料寫入到cassandra,要麼兩者兼有。

此外,服務也可以使用cassandra的資料作為事件處理的一部分。

作為kafka資料池的cassandra

cassandra經常與kafka一起用於長期儲存和服務應用api。datastax kafka聯結器可以將資料從kafka topics自動獲取到cassandra表中。

kafka與cdc

反之亦然——在您的集群中啟用cdc(資料捕獲更改),可以讓您從cassandra中流式傳輸出資料。借助外掛程式,使用kafka connect框架從cassandra執行資料捕獲更改。目前,我們正在研究如何簡化這一流程。

Cassandra與mycat的特點分析比較

目前考慮的分布式資料系統架構主要是cassandra 以及由阿里開發的基於 mysql 的mycat 我們先來比較 cassandra 與mycat 兩種資料庫集群技術的特點。cassandra是由一些平等的資料儲存結點組成的集群,而 mycat 是普通主從 mysql 集群的擴充,形成了多個主從的...

Cassandra 基本操作

嘗試乙個新的軟體 跑通乙個簡單的demo是必須的,下面的教程是我見到的最簡單的乙個,特地無恥的抄襲一下,時間略久了。啟動cassandra之後,我們可以用cassandra的命令列來執行cassandra的基本操作 先啟動cassandra cli 連線到cassandra服務 test clust...

Cassandra學習總結

一.cassandra簡介 cassandra是一套高度可擴充套件 最終一致 分布式的結構化鍵值儲存系統。cassandra由一堆資料庫節點共同構成的乙個分布式網路服務,對cassandra 的乙個寫操作,會被複製到其他節點上去,對cassandra的讀操作,也會被路由到某個節點上面去讀取。對於乙個...