kafka階段學習小結(面試)

2021-10-07 06:13:35 字數 1701 閱讀 3708

主要是借鑑這篇文章的一些問題,做乙個小總結,每回看到這些題都要好好思考一下。

其他一些問題

請說明什麼是apache kafka?

說說kafka的使用場景?

使用kafka有什麼優點和缺點?

使用kafka效能很好,體現在**?

請說明什麼是傳統的訊息傳遞方式?

請說明kafka相對傳統技術有什麼優勢?

解釋kafka的zookeeper是什麼?我們可以在沒有zookeeper的情況下使用kafka嗎?

解釋kafka使用者如何消費訊息?

解析如何提高遠端使用者的吞吐量?

解釋一下,在資料製作過程中,你如何能從kafka得到準確的訊息?

解釋如何減少isr中的擾動?broker什麼時候離開isr?

kafka為什麼需要複製?

如果副本在isr中停留了很長時間表明什麼?

請說明如果首選的副本不在isr中會發生什麼?

有可能在生產後發生訊息偏移嗎?

kafka的設計是什麼樣的呢?

資料傳輸的事務定義有哪三種?

kafka判斷乙個節點是否還活著有連個條件?

producer是否直接將資料傳送到broker的leader(主節點)?

kafka consumer是否可以消費指定分割槽訊息?

kafka訊息採用pull模式還是push模式

1. kafka裡面用的什麼方式消費資料,拉的方式還是推的方式?

拉的方式:有消費者控制消費速率

2. 為什麼用kafka?kafka是如何存資料的?

kafka將資料按照不同的分類儲存在不同的topic中(人為分類),topic中有分割槽(partition)以及副本(replication)的概念。在每個分割槽中(即乙個目錄中),會儲存為乙個個segment檔案(即.log檔案)和index檔案

3. kafka元資料存在**

zookeeper:有如下一些節點/controller,/cluster,/consumer,/broker

4. 如何保證資料不會出現丟失或者重複消費的情況?做過哪些預防措施,怎麼解決以上問題的?

資料丟失問題:同步傳送資料:ack=-1(all)

重複消費問題:自己維護offset避免重複消費的問題(低階api)

5.如何提高kafka的消費速度

增加分割槽和消費者

增加拉取資料的大小

增大批處理的大小

6.為什麼kafka可以實現高吞吐?單節點kafka的吞吐量比其他訊息佇列大,為什麼?

7 .kafka原理,isr中什麼情況下brokerid會消失?

副本down掉,網路阻塞

log(資料落後):低版本有replica.lag.time.max.ms和replica.lag.max.messages屬性決定,高版本只有replica.lag.max.messages這個引數

8.kafka消費用的高階api,低階api

高階:kafkaconsumer

poll(獲取資料的方法)

低階:核心類******consumer

send(傳送獲得元資料的請求)

fetch(傳送抓取資料的請求)

Kafka學習小結

什麼是kafka 類別 訊息中間 分布式的訊息佇列系統 特性 高效能 高可用 訊息有序 關鍵物件 broker topic partition producer consumer。用途 儲存資料 流量削峰 總體架構圖 我使用kafka的先決背景 需要給兄弟方提供資料,且資料量大,兄弟方用於做大資料分...

面試小結 學習小結

1 string 字串常量,每次改變都會生成乙個新的物件 stringbuffer 執行緒安全 變數 改變不會生成乙個新的物件 stringbuilder 非執行緒安全 在非多執行緒的情況下,用stringbuilder會快些 2 activity的四種啟動模式 singletop 棧頂正好是該ac...

python學習之 階段小結

學了一段時間的python總結一下強化記憶 我學習python,主要是通過看別人的部落格,在網上找各種資料對照,自己練習,做下小結 推薦python快速學習部落格 菜鳥吧 序列 list,tuple tuple元素不可變,list元素可變 序列的引用 s 2 s 1 8 2 字串是一種tuple 運...