工作中對於kafka的簡單理解

2021-09-28 12:45:12 字數 377 閱讀 7962

topic: 01

2...

kafka裡面的資料儲存時間應該是可以配置的,  比如可以儲存幾天。partition 指 0,1,2 ...

kafka裡面還有乙個offset用於記錄消費了當前的kafka的資料記錄,下次消費就從offset的下乙個接著消費,offset的值可以儲存在乙個redis中。

一般應該用多執行緒來消費kafka中的乙個topic的資料。比如乙個執行緒消費乙個partition,

可以通過擴充套件topic的分割槽來減少kafka中資料的積壓。

比如topic中有10萬條資料,乙個分割槽一萬條,開10個分割槽,每個分割槽1000條資料。通過多執行緒來消費這些資料。

首先是一些概念:

kafka有四個核心的api:

Kafka在工作中的體現

建立topic bin kafka topics.sh create zookeeper localhost 2181 replication factor 1 partitions 2 topic test 檢視topic bin kafka topics.sh list zookeeper lo...

談談我從工作中理解的CDN

一 cdn定義 cdn的全稱是content delivery network,即內容分發網路。其基本思路是盡可能避開網際網路上有可能影響資料傳輸速度和穩定性的瓶頸和環節,使內容傳輸的更快 更穩定。通過在網路各處放置節點伺服器所構成的在現有的網際網路基礎之上的一層智慧型虛擬網路,cdn系統能夠實時地...

對於Stack的簡單理解

stack其實很簡單,感覺陌生的主要的原因是新手沒怎麼接觸過或者不常用,以及對stack本質上到底是什麼東西不清楚,如果知道了stack本質上到底是個什麼東西,stack就再簡單不過了。stack 本質上就是乙個 集合 跟 arraylist 集合一樣,都是儲存資料的乙個集合。因此,stack也就很...