Druid學習之路 (三)Druid的資料來源和段

2022-07-13 13:51:11 字數 742 閱讀 8668

druid的資料儲存在"datasource"中,這其實類似於傳統的rdbms中的表.每乙個資料來源按照時間進行分段,當然你還可以選擇其他屬性進行分段.每乙個時間區間被稱為乙個"chunk".(舉個列子,一天的時間區間的chunk,如果你的資料來源是按天進行分段的).在乙個chunk內,資料被分成乙個或者多個"segments".每個segment是乙個單獨的檔案,它由數以百萬的資料行構成.因為segment是組織在時間chunk裡的,所以按照時間曲線有助於理解segments,像下面這樣的

乙個資料來源剛開始由幾個segments一直擴充套件到幾百幾千甚至上百萬個segments.每個segment的生命週期始於被middlemanager建立,這個時候segment是可變的沒有被提交的.乙個segment的構建包含以下列出來的步驟,這種設計是為了滿足乙個可以支援壓縮並可以被快速查詢的檔案格式

segments會週期性的提交和發布.此時它會被寫入deep storage然後狀態改為不可變的.隨後它會被從middlemanager移動到historical程序中去.與此同時關於這個segment的乙個條目也會被寫入元資料儲存.這個條目是描述該segment的元資料,包含segment的schema,大小,以及它在deep storage上的儲存位置.所有這些類似的條目都會被coordinator用來尋找對應的資料是否在集群上是可用狀態的.

Druid學習之路 (二)Druid架構

druid原本就設計為乙個容易操作的面向雲的多程序分布式的架構.druid的每個不同的程序型別都能夠獨立的擴充套件和配置,這會給你的集群帶來最大化的自由度.這種設計也會提供加強版的容錯機制 乙個元件的掛掉不會立即影響其他元件的執行.druid的節點程序型別包含以下這些 middlemanager 節...

Druid學習筆記

druid是阿里巴巴提供的一般資料庫連線池專案,可以通過 druid檢視詳細資訊.1 配置檔案 是properties檔案,可以存放在專案的任意位置,因此無法自動載入,需要手動載入。2 載入配置檔案 properties。3 獲取連線池物件需要通過工廠類來獲取 druiddatasourcefact...

關閉druid監控 Druid配置詳解

配置預設值說明 name配置這個屬性的意義在於,如果存在多個資料來源,監控的時候可以通過名字來區分開來。如果沒有配置,將會生成乙個名字,格式是 datasource system.identityhashcode this 另外配置此屬性至少在1.0.5版本中是不起作用的,強行設定name會出錯。u...