Druid原理分析之「批」任務資料流轉過程

2021-08-18 03:20:59 字數 595 閱讀 9540

向druid中提交批資料處理請求。druid中的批處理任務會從hdfs中獲取原資料。

批任務會根據處理請求生成segment,並將生成的segments存到deep storage(hdfs)中。

將生成的segment的元資料資訊儲存到元資料儲存db(如mysql)

coordinator會定時從元資料儲存db中查新生成的segment資訊。

coordinator將這些segment的資訊寫入zookeeper的loadqueue中。

historical節點監聽zookeeper中的loadqueue,並從loadqueue中獲取其需要載入的segment資訊。

客戶端查詢時,首先將請求傳送到broker,然後broker首先從快取中查詢是否有需要的資料。

如果沒有,broker會從zookeeper中獲取segment資訊。

將查詢請求傳送至相關historical節點,historical節點進行計算後,將各自的部分查詢結果返回給broker。

broker聚合後將結果返回給客戶端。

專案衝刺任務之任務場景分析(四)

任務四 教師系統 管理作業資訊 1,背景 1 典型使用者 老王 教師 2 使用者需求 迫切想要解決的問題 希望自己發布的錯誤作業資訊能被自己修改或者刪除。3 假設 老王不小心發布把作業資訊寫錯了,此時他想修改或者想直接刪除。2,關於這個場景的描述 老王發布了一項作業資訊,突然發現這項作業資訊有些缺陷...

快速了解Druid 實時大資料分析軟體

druid 單詞 於西方古羅馬的神話人物,中文常常翻譯成德魯伊。本問介紹的druid 是乙個分布式的支援實時分析的資料儲存系統 data store 美國廣告技術公司metamarkets 於2011 年建立了druid 專案,並且於2012 年晚期開源了druid 專案。druid 設計之初的想法...

快速了解Druid 實時大資料分析軟體

引言 druid作為一款開源的實時大資料分析軟體,最近幾年快速風靡全球網際網路公司,特別是對於海量資料和實時性要求高的場景。如果你對druid還很陌生,那趕緊跟著本文快速了解一下吧。相關圖書 druid實時大資料分析原理與實踐 druid 單詞 於西方古羅馬的神話人物,中文常常翻譯成德魯伊。本問介紹...