Kafka 關於壓縮的一點經驗

2021-09-27 10:49:16 字數 844 閱讀 5871

就壓縮而言,對於資料儲存應該是乙個比較大的優化,

而 kafka 自然也是支援這種特性的,

但是這裡可能會有那麼一點坑。

我們主要從:

何時產生壓縮?

何時會解壓縮?

兩個方面來說,並針對一些可能出現的坑做一些說明。

生產者為了資料在傳輸到 kafka 可以更快,

那麼在生產者啟動壓縮自然是很正常的。

broker端

broker 主要是負責儲存資料,

壓縮能夠很好的減少磁碟的占用。

一般情況而言,

如果資料已經在 生產者端壓縮了,

那麼其實就不需要在broker端再做處理,

實際上也確實是這樣,

但是如果發生以下這些情況,

那麼broker端會再進行壓縮,

這樣無疑會導致效能問題,

所以應該盡量避免:

consumer端

消費資料自然需要將資料解壓縮,這個沒什麼好說的。

broker端

這裡可能你要奇怪了,

為什麼broker端還要解壓縮呢?

實際上broker端只是為了進行訊息的校檢,

以保證資料的正確性,

這樣必然會給broker端的效能帶來一定的影響,

但是就目前來說,好像也沒什麼好的解決辦法。

最後 附上一張壓縮演算法對比圖

使用lzbench (一種開源記憶體基準測試工具)在執行linux debian的伺服器上執行多個快速壓縮演算法測試獲取的結果。

壓縮演算法對比.jpg

關於 WinScp 的一點使用經驗

在嵌入式平台下 是,使用ssh登陸,可以使用winscp提供的圖形介面,支援拖拽,滑鼠直接開啟,甚是好用。使用winscp 登陸的方式有,scp和sftp兩種,之前乙隻用scp,但後來出現了如下錯誤,登陸無法載入目錄 這種錯誤乙隻沒有解決。後來就是用了sftp。這需要把sftp server檔案 s...

mysql一點經驗

今天看了下mysql5的英文手冊,雖然只看了一點點,還是要分享一下其中比較實用的東西。為了方便大家學習,舉出下面給出一些例子。大家看著用就行了。特別是被很多程式設計師忽略的mysql變數,那可真是個好東西呀。1 時間操作 表名 table 字段 birth 格式1989 05 13 根據年紀計算歲數...

爬蟲的一點經驗

1.寫乙個網頁爬蟲的時候遇到了乙個div巢狀問題,即乙個大的div裡面有很多小的div,如 xx x 這樣乙個型別,如果爬取內層的div是很簡單的,正規表示式十分好寫 div 但是如果要爬取外面的div該怎麼辦呢?當時我的做法是繼續尋找,找出該段內容後面的具有識別該段內容能力的內容。如上式,在正規表...