數倉 資料模型設計

2021-10-24 02:30:49 字數 621 閱讀 1479

資料模型設計名詞解釋:

ods是業務資料進⼊資料中颱的第⼀站,是所有資料加⼯的源頭,控制住源頭,才能從根本上防⽌⼀個重複的資料體系的出現。

對於ods層表的命名採⽤ods_業務系統資料庫名_業務系統資料庫表名⽅式,⽐如ods_warehous_stock,warehous是業務系統資料庫名,stock是該庫下⾯的表名。

dwd/dws/ads/dm的命名規則適合採⽤「[層次][主題][⼦主題][內容描述][分表規則]」的命名⽅式。

對於維表的規範化命名,建議⽤「dim_主題域_描述_分表規則」⽅式。

模型設計完成後,就進⼊模型開發階段,需要注意的點:

1. 所有任務都必須嚴格配置任務依賴,如果沒有配置任務依賴,會導致前⼀個任務沒有正常產出資料的情

況下,後⼀個任務被排程起來,基於錯誤的資料空跑,浪費資源,同時增加了排查故障的複雜度;

2. 任務中建立的臨時表,在任務結束前應該刪除,如果不刪除,會發現有⼤量的臨時表存在,佔⽤空間;

3. 任務名稱最好跟表名⼀致,⽅便查詢和關聯;

4. ⽣命週期的管理,對於ods和dwd,⼀般盡可能保留所有歷史資料,對於dws/ads/dm需要設定⽣命週期,7〜30天不等;

5. dwd層表宜採⽤壓縮的⽅式儲存,可⽤lzo壓縮。

資料模型設計心得

資料 是符號。例如 張三 模型 現實世界事與物特徵的抽象與模擬。如飛機模型 空氣動力模型。資料模型 通過對現實世界的事與物主要特徵的分析 抽象,為資訊系統的實施提供資料訪問的資料結構以及相應的約束。資料模型的要素由操作 資料結構以及約束。通常情況下我們在資料模型設計的時候考慮最多的是資料結構而忽視了...

資料模型設計心得

首先簡單的說一下我對資料 模型 資料模型 資料模型要素以及資料模型的分類的理解。資料 是符號。例如 張三 模型 現實世界事與物特徵的抽象與模擬。如飛機模型 空氣動力模型。資料模型 通過對現實世界的事與物主要特徵的分析 抽象,為資訊系統的實施提供資料訪問的資料結構以及相應的約束。資料模型的要素由操作 ...

HBase資料模型設計

有個這樣的需求,我的hbase乙個表對應乙個省份人群資訊 儲存該省份的所有人群手機號碼 需要在5分鐘內能將全省的資料入庫到hbase中。其中該錶設計如下 其中rowkey 基站標識 時間 yyyymmdd columnfamily peofamily column 00 05 10 15.每5分鐘時...