OLAP分析工具Druid

2021-08-21 10:52:06 字數 598 閱讀 7840

什麼是druid?基本概念執行原理

druid是乙個用於大資料實時查詢和分析的高容錯、高效能開源分布式時序資料庫系統。它主要解決的是對於大量的基於時序的資料進行聚合查詢。資料可以實時攝入,進入到druid後立即可查,同時資料是幾乎是不可變。通常是基於時序的事實事件,事實發生後進入druid,外部系統就可以對該事實進行查詢。

realtime:實時節點

主要進行資料的攝取,存放當前時間視窗內的資料以及為broker提供查詢服務。

broker:分發節點

主要提供查詢服務。

indexing service:索引服務

主要是提供批量資料的攝入以及進行聚合操作。

查詢

查詢的方式只能是通過http請求傳送json檔案的方式進行查詢,且只支援單錶查詢不支援鏈結查詢。

如上圖所示,當查詢任務進入druid,broker根據查詢任務的條件,通知realtime和historical進行查詢,然後將查詢結果返回到broker,broker將資料合併後返回給使用者。

輕量級OLAP資料分析工具發布

分析工具詳細介紹 基本資訊 使用者的資料展示需求是多種多樣的,我們的分析工具不能100 的滿足所有的展示需求。但是我們希望通過我們的分析工具的20 的 來滿足使用者資料展示的80 的需求,同時我們對剩下20 的需求提供自定義介面,允許使用者進行自定義開發。我們的分析工具是一套輕量級基於統計資料的資料...

如何選擇OLAP工具?

在資料倉儲工程中如何選擇合適的工具,使工程技術人員和經營管理人員經常面臨的難題,在選擇olap工具時,一般應從產品的功能 適用性 效能 可伸縮型和未來的發展趨勢5個方面綜合考慮。從總體來說,這5個方面的重要性難分伯仲,但是應該注意以下幾點 雖然功能是最引人注目和最顯而易見的方面,但是由於產品和技術發...

聯機分析處理(OLAP)

聯機分析處理 olap 的概念最早是由關聯式資料庫之父e.f.codd於1993年提出的,他同時提出了關於olap的12條準則。olap的提出引起了很大的反響,olap作為一類產品同聯機事務處理 oltp 明顯區分開來。當今的資料處理大致可以分成兩大類 聯機事務處理oltp on line tran...