Kafka基本部分(一)

2021-10-08 12:22:43 字數 857 閱讀 9393

apache kafka是乙個分布式的發布-訂閱系統,能夠支援海量資料的資料傳遞。在離線和實時的訊息處理業務系統中,kafka都有廣泛的應用。kafka將訊息持久化到硬碟中,並對訊息建立了備份保證了資料的安全。kafka保證了較高的處理速度的同時,又保證了資料的零丟失。

高吞吐量、低延遲

kafka每秒可以處理幾十萬條訊息,但是延遲最低只有幾毫秒。每個主題可以分為多個分割槽,消費組可以對分割槽進行消費操作。

可擴充套件性

kafka集群支援熱擴充套件

持久化、可靠性

訊息可以被持久化到本地磁碟,並且支援資料備份以防止資料丟失。

容錯性允許集群中的節點失敗(若副本的數量為n,則允許n-1個節點失敗)

高併發支援數千個客戶端同時進行讀寫操作

日誌收集

公司可以用kafka收集各種服務的log,通過kafka以統一介面服務的形式開放給各種consumer進行消費。例如hadoop,hbase,solr等

訊息系統

解耦生產者、消費者、快取訊息等

使用者活動跟蹤

運營指標

記錄運營監控資料

流失處理

spark streaming和storm

可伸縮性

kafka集群支援在執行期間進行擴充套件或者收縮(可以新增或者刪除**),並且不會宕機

可以擴充套件乙個kafka主題,來包含更多的分割槽。由於乙個分割槽無法擴充套件到多個**,所以他的容量用以收到**磁碟空間的限制。

容錯性和可靠性

kafka的設計方式使某個**的故障能夠被集群中的其他**檢測到。由於每個主題都可以在**上覆制,所以集群可以在不中斷服務的情況下從此類故障中恢復並繼續執行。

吞吐量**能夠以非常快的速度進行資料儲存和資料檢索。

git 基本部分用法記錄

檢視本地分支 git branch 檢視遠端分支 git branch r 檢視全部分支 git branch a git branch 命令例子參考 git fetch 命令例子參考 取回origin主機的master分支。git fetch origin master 取回遠端主機的更新以後,可...

記事本部分功能

namespace 記事本 編輯欄 private void 撤銷toolstripmenuitem click object sender,eventargs e 撤銷 private void 剪下toolstripmenuitem click object sender,eventargs e...

shell 指令碼部分變數含義

傳遞到指令碼的引數個數 以乙個單字串顯示所有向指令碼傳遞的引數。與位置變數不同,此選項引數可超過9個 指令碼執行的當前程序i d號 後台執行的最後乙個程序的程序i d號 與 相同,但是使用時加引號,並在引號中返回每個引數 顯示s h e l l使用的當前選項,與s e t命令功能相同 顯示最後命令的...