資料倉儲分層

2021-10-24 13:19:37 字數 567 閱讀 8632

資料倉儲分層的主要原因是在管理資料的時候,能對資料有乙個更加清晰的掌控,詳細來講,主要有下面幾個原因:

為什麼最低要分三層呢?在實際的生產環境中,資料倉儲的資料一般會有多個**,資料可能比較亂,有很多的髒資料,資料的單位可能會不一樣等原因,我們要對資料進行分析或者對資料進行聚合等操作顯然不那麼方便,這時候我們在資料倉儲設計一層專門儲存原始資料,然後把資料進行etl(資料抽取、資料轉換和資料載入),然後再儲存進資料倉儲層,這樣在資料倉儲層的資料就比較乾淨、統

一、比較好分析。如果沒有原始資料層,資料採集回來直接進行etl就進入資料倉儲層,雖然是減少了資料的冗餘度,但是當資料出現問題時,要溯源的話就很麻煩,所以原始資料層存在是很有必要的。

在資料倉儲層的資料雖然比較乾淨、統一,但是這樣的資料對於我們來說還是比較難看懂的,比如我們想要檢視日活、月活等指標還是看不出來的,很難應用到實際問題中,所以我們要設計一層應用層,使得這層的資料我們拿來可以直接用的,所以我們可以在資料倉儲層的基礎上,再通過分析,得出更加詳細的資料。

通過上述三層模型,基本就能滿足資料倉儲的日常使用了,但是如果業務比較複雜的話,這樣的設計肯定滿足不了的,所以還要在此基礎上再細分出更多層。

資料倉儲分層

下面的內容是基於參考中的文件進行的二次讀書筆記。傳統行業的資料倉儲工程師,開始嘗試架構工程領域比較流行的er模型 維度模型方式,構建出乙個四層的模型架構 阿里在構建er時碰到了較大的挑戰,主要是業務快速發展,人員快速變化 業務知識功底的不夠全面,導致er模型產出困難。阿里得出了乙個結論 在不太成熟 ...

資料倉儲分層

資料倉儲更多代表的是一種對資料的管理和使用的方式,它是一整套包括了etl 排程 建模在內的完整的理論體系。現在所謂的大資料更多的是一種資料量級的增大和工具的上的更新。兩者並無衝突,相反,而是一種更好的結合。資料倉儲在構建過程中通常都需要進行分層處理。業務不同,分層的技術處理手段也不同。分層的主要原因...

資料倉儲和資料倉儲分層

資料倉儲 data warehouse 可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。1 問題簡單化,將乙個複雜的問題分...