大資料之訊息佇列 7 如何進行架構設計

2021-09-23 10:47:52 字數 1109 閱讀 1138

1、面試題

如果讓你寫乙個訊息佇列,該如何進行架構設計啊?說一下你的思路

2、面試官心裡分析

其實聊到這個問題,一般面試官要考察兩塊:

(1)你有沒有對某乙個訊息佇列做過較為深入的原理的了解,或者從整體了解把握住乙個mq的架構原理

(2)看看你的設計能力,給你乙個常見的系統,就是訊息佇列系統,看看你能不能從全域性把握一下整體架構設計,給出一些關鍵點出來

說實話,我一般面類似問題的時候,大部分人基本都會蒙,因為平時從來沒有思考過類似的問題,大多數人就是平時埋頭用,從來不去思考背後的一些東西。類似的問題,我經常問的還有,如果讓你來設計乙個spring框架你會怎麼做?如果讓你來設計乙個dubbo框架你會怎麼做?如果讓你來設計乙個mybatis框架你會怎麼做?

3、面試題剖析

其實回答這類問題,說白了,起碼不求你看過那技術的原始碼,起碼你大概知道那個技術的基本原理,核心組成部分,基本架構構成,然後參照一些開源的技術把乙個系統設計出來的思路說一下就好

比如說這個訊息佇列系統,我們來從以下幾個角度來考慮一下

(1)首先這個mq得支援可伸縮性吧,就是需要的時候快速擴容,就可以增加吞吐量和容量,那怎麼搞?設計個分布式的系統唄,參照一下kafka的設計理念,broker -> topic -> partition,每個partition放乙個機器,就存一部分資料。如果現在資源不夠了,簡單啊,給topic增加partition,然後做資料遷移,增加機器,不就可以存放更多資料,提供更高的吞吐量了?

(2)其次你得考慮一下這個mq的資料要不要落地磁碟吧?那肯定要了,落磁碟,才能保證別程序掛了資料就丟了。那落磁碟的時候怎麼落啊?順序寫,這樣就沒有磁碟隨機讀寫的定址開銷,磁碟順序讀寫的效能是很高的,這就是kafka的思路。

(3)其次你考慮一下你的mq的可用性啊?這個事兒,具體參考我們之前可用性那個環節講解的kafka的高可用保障機制。多副本 -> leader & follower -> broker掛了重新選舉leader即可對外服務。

(4)能不能支援資料0丟失啊?可以的,參考我們之前說的那個kafka資料零丟失方案

其實乙個mq肯定是很複雜的,面試官問你這個問題,其實是個開放題,他就是看看你有沒有從架構角度整體構思和設計的思維以及能力。確實這個問題可以刷掉一大批人,因為大部分人平時不思考這些東西。

該如何進行架構設計乙個MQ訊息佇列

如果讓你寫乙個訊息佇列,說一下你的思路。其實聊到這個問題,一般面試官要考察兩塊 說實話,問類似問題的時候,大部分人基本都會蒙,因為平時從來沒有思考過類似的問題,大多數人就是平時埋頭用,從來不去思考背後的一些東西。類似的問題,比如,如果讓你來設計乙個 spring 框架你會怎麼做?如果讓你來設計乙個 ...

如何進行大資料分析及處理?

1.視覺化分析 大資料分析的使用者有大資料分析專家,同時還有普通使用者,但是他們二者對於大資料分析最基本的要求就是視覺化分析,因為視覺化分析能夠直觀的呈現大資料特點,同時能夠非常容易被讀者所接受,就如同看圖說話一樣簡單明瞭。2.資料探勘演算法 大資料分析的理論核心就是資料探勘演算法,各種資料探勘的演...

如果讓你寫乙個訊息佇列,該如何進行架構設計?

如果讓你寫乙個訊息佇列,該如何進行架構設計?說一下你的思路。其實聊到這個問題,一般面試官要考察兩塊 說實話,問類似問題的時候,大部分人基本都會蒙,因為平時從來沒有思考過類似的問題,大多數人就是平時埋頭用,從來不去思考背後的一些東西。類似的問題,比如,如果讓你來設計乙個 spring 框架你會怎麼做?...