kafka筆記N0 4Kafka應用場景

2021-08-18 12:43:34 字數 584 閱讀 6244

訊息 kafka更好的替換傳統的訊息系統。kafka有更好的吞吐量,內建分割槽,副本和故障轉移。

**活動追蹤

使用者活動的追蹤,**的活動(網頁瀏覽,搜尋或其他使用者的操作資訊)發布到不同的話題中心,這些訊息可實時處理,實時監測,也可載入到hadoop或離線處理倉庫。

指標 kafka也常常用於檢測資料。分布式應用程式生成的統計書記集中聚合。

日誌聚合

使用kafka代替乙個日誌聚合的解決方案。

流處理

kafka訊息處理包含多個階段。其中原始資料輸入是從kafka主題消費的,然後彙總,豐富,或者以其他方式轉化為新主題。

事件採集

事件採集是一種應用程式的設計風格,其中狀態的變化根據事件順序記錄下來,kafka支援這種非常大的儲存日誌資料場景。

提交日誌

kafka可以作為一種分布式的外部提交日誌,日誌幫助節點之間複製資料,並作為失敗節點來恢復資料重新同步,kafka的日誌壓縮功能很好的支援這種用法。這種用法類似於bookeeper專案。

Kafka學習筆記 Kafka環境搭建

1.將kafka的tar包上傳到測試環境,解壓到 opt software,配置環境變數 kafka home opt software kafka 2.11 1.1.0 path kafka home bin scala home bin path export kafka home export...

KAFKA筆記 部署

基於scala 2.11 kafka版本 0.10.0.1 zookeeper scala kafka 1 zookeeper部署 1.1 解壓 root hadoop001 software tar zxvf zookeeper 3.4.10.tar.gz1.2 建立軟連線 root hadoop...

學習筆記 Kafka

kafka kafka把資料往磁碟上寫,但是在磁碟上存它的讀寫速度比記憶體快,這個依賴於預讀和後寫功能,但是這個預讀和後寫必須是按照順序的方式,若沒有順序的方式優化的話,不存在什麼預讀和後寫。特點 訊息持久化 能落到磁碟 通過o 1 的磁碟資料結構提供資料的持久化 高吞吐量 分布式 擴充套件能力強 ...