kafka很好地代替了傳統的message broker（訊息**）。message broker可以用於各種場合（如將資料生成器與資料處理解耦，緩衝區未處理的訊息）。與大多數訊息系統相比，kafka擁有更好的吞吐量、內建分割槽、具有複製和容錯的功能，這使它成為乙個非常理想的大型訊息處理應用。根據我們的經驗，通常訊息傳遞使用較低的吞吐量，但可能要求較低的端到端延遲，kafka提供了強大的永續性來滿足這一要求。在這方面kafka可以與傳統的訊息傳遞系統（activemq和rabbitmq）相媲美。
kafka的初始化將使用者活動跟蹤管道重建為一組實時發布-訂閱源，這意味著**活動（瀏覽**、搜尋、其他操作）被發布到中心topic，其中每個活動型別中有乙個topic。這些訂閱源提供了一系列用例，包括實時處理、實時監視、對載入到hadoop或離線資料倉儲系統的資料進行離線處理和報告。每個使用者瀏覽頁面時都聲稱了許多活動資訊，因此活動跟蹤的資料量通常非常大。
kafka通常用於監控資料。這涉及到分布式應用程式中彙總資料，然後生成可操作的資料集中資料來源。
許多人使用kafka來代替日誌聚合解決方案。日誌聚合系統通常從伺服器收集服務日誌檔案，並將其置於乙個中心系統（可能是檔案伺服器或hdfs）進行處理。kafka從這些日誌檔案中提取資訊，並將其抽象為乙個更加清晰的訊息流。這樣可以實現更低的延遲處理而且易於支援多個資料來源及分布式資料的消耗。與scribe或flume等以日誌為中心的系統相比，kafka具備同樣出色的性
Kafka學習筆記 Kafka原理與使用詳解
kafka 是乙個訊息系統，原本開發自 linkedin，用作 linkedin 的活動流 activity stream 和運營資料處理管道 pipeline 的基礎。現在它已被多家公司作為多種型別的資料管道和訊息系統使用。活動流資料是幾乎所有站點在對其 使用情況做報表時都要用到的資料中最常規的部...
學習筆記 Kafka
kafka kafka把資料往磁碟上寫，但是在磁碟上存它的讀寫速度比記憶體快，這個依賴於預讀和後寫功能，但是這個預讀和後寫必須是按照順序的方式，若沒有順序的方式優化的話，不存在什麼預讀和後寫。特點 訊息持久化 能落到磁碟 通過o 1 的磁碟資料結構提供資料的持久化 高吞吐量 分布式 擴充套件能力強 ...
Kafka學習筆記
1.1簡介 apache kafka 是分布式發布 訂閱訊息系統 訊息中介軟體 它最初由 linkedin 公司開發，之後成為 apache 專案的一部分。kafka 是一種快速 可擴充套件的 設計內在就是分布式的，分割槽的和可複製的提交日誌服務。apache kafka 與傳統訊息系統相比，有以下...