資料倉儲學習筆記 資料倉儲中如何設計分層

2021-09-24 09:21:11 字數 599 閱讀 3791

一、「為什麼要設計資料分層?」

這應該是資料倉儲同學在設計資料分層時首先要被挑戰的問題,類似的問題可能會有很多,比如說「為什麼要做資料倉儲?」、「為什麼要做元資料管理?」、「為什麼要做資料質量管理?」。當然,這裡我們只聊一下為什麼要做設計資料分層。

作為一名資料的規劃者,我們肯定希望自己的資料能夠有秩序地流轉,資料的整個生命週期能夠清晰明確被設計者和使用者感知到。直觀來講就是如下的左圖這般層次清晰、依賴關係直觀。

但是,大多數情況下,我們完成的資料體系卻是依賴複雜、層級混亂的。如下的右圖,在不知不覺的情況下,我們可能會做出一套表依賴結構混亂,甚至出現迴圈依賴的資料體系。

因此,我們需要一套行之有效的資料組織和管理方法來讓我們的資料體系更有序,這就是談到的資料分層。資料分層並不能解決所有的資料問題,但是,資料分層卻可以給我們帶來如下的好處:

1.清晰資料結構:每乙個資料分層都有它的作用域和職責,在使用表的時候能更方便地定位和理解

2.減少重複開發:規範資料分層,開發一些通用的中間層資料,能夠減少極大的重複計算

3.統一資料口徑:通

資料倉儲學習筆記 資料倉儲效率低下的原因

1.脫離業務設計資料倉儲 2.錯誤評估資料倉儲的影響力 3.空談多於實踐 4.增加不必要的複雜度 5.專案負責人缺乏適當的權力 6.糟糕的專案管理 具體解釋如下 一 脫離業務設計資料倉儲 很多資料倉儲的專案負責人會脫離業務來設計資料倉儲,這樣做的原因可能是其本身對業務的理解不深,也可能是對業務並不重...

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲 筆記

面向主題 整合相對穩定 反映歷史變化 抽取轉換 載入收集和分析業務需求 建立資料模型和資料倉儲的物理設計 定義資料源 選擇資料倉儲技術和平台 從操作型資料庫中抽取,清洗及轉換資料到資料倉儲 選擇訪問和報表工具,選擇資料庫連線軟體,選擇資料分析和資料展示軟體 更新資料倉儲 主題摘要 資訊摘要 綱目摘要...