應該選擇哪種kafka

2021-10-01 12:06:01 字數 1197 閱讀 6112

我們上一節談了kafka當前的定位問題,kafka不再是乙個單純的訊息引擎系統,而是能夠實現精確一次(exactly-once)語義處理的實時流平台。我們到目前為止所說的kafka都是apache kafka。kafka是apache社群的乙個頂級專案,如果我們把視角從流處理平台擴充套件到流處理生態圈,kafka其實還有很長的路要走,畢竟是半路出家轉型成流處理平台的。前面我們提到過kafka streams元件,正是它提供了kafka實時處理流資料的能力。但是其實還有乙個重要的元件沒有提及,那就是kafka connect。

我們在評估流處理平台的時候,框架本身的效能、所提供操作運算元(operator)的豐富程度固然是重要的評判指標,但是框架與上下游互動的能力也是非常重要的。能夠與之進行資料傳輸的外部系統越多,圍繞它打造的生態圈就越牢固,因而也就有更多的人願意去使用它,從而形成正向反饋,不斷地促進該生態圈的發展。就kafka而言,kafka connect通過乙個個具體的聯結器(connector),串聯起上下游的外部系統。

整個kafka生態圈如下圖所示,值得注意的是,這張圖的外部系統只是kafka connect元件支援的一部分而已。目前還有乙個可喜的趨勢是使用kafka connect元件的使用者越來越多,相信在未來會有越來越多的人開發自己的聯結器。

說了這麼多,可能會有人好奇這跟這一節的主題有什麼關係呢?其實清晰地了解kafka的發展脈絡和生態圈現狀,對於我們選擇合適的kafka版本大有裨益。下面我們就進入今天的主題—如何選擇kafka版本。

咦?kafka不是乙個開源框架嗎?什麼叫有幾種kafka,實際上,kafka的確有好幾種kafka啊?實際上,kafka的確有好幾種,這裡我不是指它的版本,而是指存在多個組織或者公司發布的不同kafka。就像linux的發行版,有ubuntu、centos等等,雖說kafka沒有發行版的概念,但姑且可以這樣的近似的認為市面上的確存在著多個kafka"發行版"。當然用發行版這個詞只是為了這裡方便解釋,但是發行版這個詞在kafka生態圈非常陌生,以後聊天時不要用發行版這個詞。下面我們就看看kafka都有哪些"發行版"

okay,說完了目前市面上的這些kafka,我們來對比一下它們的優勢和劣勢

總結一下,我們今天討論了不同的kafka"發行版"以及它們的優缺點,根據這些優缺點,我們可以有針對性地根據實際看需求選擇合適的kafka。最後我們回顧一下今天的內容:

**:

企業應該選擇哪種區塊鏈

隨著探索如何把區塊鏈應用在各種場景,許多人就想到,也許不需要全世界的人共同參與,也不需要挖礦,我們只需要用到區塊鏈的可信任 可追溯特性,通過較少節點達到拜占庭將軍容錯,於是私有鏈就誕生了。但私有鏈仍是中心化的,難以維持去中心化的優勢。因此又有了為企業聯盟而生的聯盟鏈 consortium block...

你應該選擇哪種樹莓派?

言歸正傳,如果你想擁有乙個樹莓派,但不知道應該買哪個型號。或許你希望為你的教學活動或你的孩子買乙個,但面對這麼多的選擇,卻不知道應該買哪個才是正確的決定。關於選擇乙個新的樹莓派,我有三個主要的標準 成本 不能只考慮樹莓派板的成本,還需要考慮到你使用它時外圍附件的成本。在美國,樹莓派的成本區間是從 5...

你應該選擇哪種樹莓派?

言歸正傳,如果你想擁有乙個樹莓派,但不知道應該買哪個型號。或許你希望為你的教學活動或你的孩子買乙個,但面對這麼多的選擇,卻不知道應該買哪個才是正確的決定。關於選擇乙個新的樹莓派,我有三個主要的標準 成本 不能只考慮樹莓派板的成本,還需要考慮到你使用它時外圍附件的成本。在美國,樹莓派的成本區間是從 5...