kafka流量限制

2021-10-05 16:15:29 字數 1718 閱讀 3866

避免使用者異常操作使入流量或者出流量突增,對集群造成巨大壓力,導致集群壓力過載甚至被打掛,部分節點雪崩,最終影響到集群所有業務的正常執行問題;限制流量後就可以讓使用者進行平滑的進行生產和消費,避免流量突增對集群穩定性造成的威脅。

producer_byte_rate=1024 #單個broker入流量限制引數,單位位元組

consumer_byte_rate=2048 #單個broker出流量限制引數,單位位元組

request_percentage=200 #限制cpu執行時間片百分比,不建議使用

限制流量可以根據使用者、客戶端id、或者使用者和客戶端id的組合進行限制。各組合優先順序如下:

/config/users//clients/

/config/users//clients/

/config/users/

/config/users//clients/

/config/users//clients/

/config/users/

/config/clients/

/config/clients/設定使用者流量限制(入流量和出流量都設定為1024位元組)

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 『producer_byte_rate=1024,consumer_byte_rate=1024』 --entity-type users --entity-name user1

檢視使用者流量限制

bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name user1

輸出結果顯示如下:

configs for user-principal 『user1』 are producer_byte_rate=1024,consumer_byte_rate=2048

在啟動kafka的broker服務時需要開啟jmx引數配置,方便通過其他應用程式採集kafka的各項jmx指標進行服務監控。

對於使用者流量限制,主要需要參考的指標包括以下兩個:

(1)消費流量指標:objectname:kafka.server:type=fetch,user=acl認證使用者名稱 屬性:byte-rate(使用者在當前broker的出流量)、throttle-time(使用者在當前broker的出流量被限制時間)

(2)生產流量指標:objectname:kafka.server:type=produce,user=acl認證使用者名稱 屬性:byte-rate(使用者在當前broker的入流量)、throttle-time(使用者在當前broker的入流量被限制時間)

下圖為jmx指標展示截圖

下圖為jmx指標展示限制流量前後及放開流量限制後效果

好評返現如何擺脫平台規則和流量限制

然後,使用者在頁面上填寫相關的訂單號並好評截圖上傳。提交後,可以在24小時或48小時內對其進行審核。買家提交的相關資訊將顯示在後台。我們將安排工作人員每天花費幾分鐘來檢視截圖。訂單號不受審核,因為我們會將需要兌現的訂單號匯入到系統中。當使用者提交訂單號時,它將與系統中匯入的訂單號匹配。如果匹配成功,...

poj 3068 有流量限制的最小費用網路流

題意 m條有向邊連線了n個倉庫,每條邊都有一定費用。將兩種危險品從0運到n 1,除了起點和終點外,危險品不能放在一起,也不能走相同的路徑。求最小的費用是多少。解析 抽象出乙個源點s乙個匯點t,源點與0相連,費用為0,容量為2。匯點與n 1相連,費用為0,容量為2。每條邊之間也相連,費用為每條邊的費用...

穩定,大容量,不限檔案大小,無流量限制的網盤

115網路u盤,雨林木風的115算是大家最熟的網盤之一了,剛註冊3g永久空間。5g臨時空間 每公升一級加0.5g永久空間 3g臨時空間 臨時空間存放期31天時常續期的話,也相當於永久空間,每天還能領取5 100mb永久空間 一般是5 9mb 不錯的網盤。唯一的缺點好像應該是不能外鏈。dbank 資料...