大資料面試題 七 Flume面試題

2021-10-03 05:56:07 字數 684 閱讀 2406

———————————————————————————————————

「無意中發現了乙個巨牛的人工智慧教程,忍不住分享一下給大家。教程不僅是零基礎,通俗易懂,而且非常風趣幽默,像看**一樣!覺得太牛了,所以分享給大家。點這裡可以跳轉到教程。」。

大資料面試寶典目錄,

1. flume 使用場景(☆☆☆☆☆)

2. flume 丟包問題(☆☆☆☆☆)

3. flume 與kafka 的選取

1. flume 使用場景(☆☆☆☆☆)

線上資料一般主要是落地(儲存到磁碟)或者通過socket 傳輸給另外乙個系統,這種情況下,你很難推動線上應用或服務去修改介面,實現直接向kafka 裡寫資料,這時候你可能就需要flume 這樣的系統幫你去做傳輸。

2. flume 丟包問題(☆☆☆☆☆)

單機upd 的flume source 的配置,100+m/s 資料量,10w qps flume 就開始大量丟包,因此很多公司在搭建系統時,拋棄了flume,自己研發傳輸系統,但是往往會參考flume 的source-channel-sink模式。一些公司在flume 工作過程中,會對業務日誌進行監控,例如flume agent 中有多少條日誌,flume 到kafka 後有多少條日誌等等,如果資料丟失保持在1%左右是沒有問題的, 當資料丟失達到5%左右時就必須採取相應措施。

3. flume 與kafka 的選取

大資料面試題整理(一) Flume

1 flume了解嗎。簡單介紹一下 flume是乙個高可用的,高可靠的,分布式的海量日誌採集 聚合和傳輸的系統,agent是flume流的基礎部分,agent是乙個jvm程序,agent的三大組成部分 source channel sink。傳輸資料的基本單元是event。優勢 flume可以將應用...

大資料面試題 四 YARN面試題

無意中發現了乙個巨牛的人工智慧教程,忍不住分享一下給大家。教程不僅是零基礎,通俗易懂,而且非常風趣幽默,像看 一樣!覺得太牛了,所以分享給大家。點這裡可以跳轉到教程。大資料面試寶典目錄,簡述hadoop1 與hadoop2 的架構異同 加入了yarn 解決了資源排程的問題。加入了對zookeeper...

大資料面試題 八 Kafka面試題

無意中發現了乙個巨牛的人工智慧教程,忍不住分享一下給大家。教程不僅是零基礎,通俗易懂,而且非常風趣幽默,像看 一樣!覺得太牛了,所以分享給大家。點這裡可以跳轉到教程。大資料面試寶典目錄,1.請說明什麼是apache kafka?2.請說明什麼是傳統的訊息傳遞方法?3.請說明kafka 相對於傳統的訊...