任務3 03 Kafka入門 訊息佇列

2021-10-14 04:30:55 字數 499 閱讀 4617

非同步:約定時間,兩天後再來取,我自己做我自己的事情,不耽誤。

使用訊息佇列的好處:

1、解耦。(關鍵好處)

2、可恢復性。系統一部分失效之後,不會影響到整個系統。

3、緩衝。主要解決生產大於消費的問題。使用者比較少,伺服器是乙個1000臺的集群,這時候就不需要訊息佇列了,直連也可以解決。

如果使用者很多,每天產生的請求很多,這時候mq就能夠其關鍵作用。

4、靈活性&峰值處理能力。

訊息佇列是分布式的,可以動態增減機器,中間的訊息佇列可以在雙11這個特殊時間段加機器,過了這個時間之後,就可以卸掉機器。

這個是訊息佇列的好處,因為kafka也是乙個訊息佇列,所以這也是kafka的好處。

Kafka入坑指南

kafka是為大資料而生的訊息中介軟體,以其百萬級tps的吞吐量名聲大噪,迅速成為大資料領域的寵兒,在資料採集 傳輸 儲存的過程中發揮著舉足輕重的作用,而storm,spark,flink等大資料流處理或批處理平台都有kafka的相關外掛程式支援。本著為開源做貢獻的原則,在學習kafka的同時也參與...

flume實現kafka的實時訊息入hdfs

1 這裡先啟動hdfs,並在hdfs儲存路徑中新建乙個目錄 flume 準備存放flume收集的kafka訊息。sbin start dfs.sh2 然後啟動kafka服務,並建立乙個topic flume data 然後還可以啟動乙個生產者控制台,準備往flume data這個topic中生產訊息...

任務1 01 Kafka入門 課程介紹

kafka的本質是乙個mq訊息佇列。kafka應用面比較廣,是乙個中介軟體 a和b系統需要通訊,不會直接連線,中間有個中介軟體進行對接。kafka比flume複雜一點。kafka需要搭建集群,但是flume不需要 其次,kafka需要依賴zk,flume不需要。什麼是訊息佇列?kafka是做什麼的?...