資料倉儲 數倉分層 01

2021-09-13 03:57:03 字數 955 閱讀 1114

資料倉儲

資料倉儲是面向主題的(subject-oriented )整合的(integrated)非易失的(non-volatile)和時變的(time-variant )資料集合,用以支援管理決策

每個資料倉儲面向分析的主題都是一樣的

資料倉儲需要分析某乙個主題的資料結果,需要整合各個其他方面的資料

不可更新性。所有的分析的資料,都是面向歷史已經發生過的事情。

隨著時間的發展,資料倉儲的分析的手段也在不斷的變化。

主要作用是面向分析的,分析我們的歷史資料,叫做olap 叫聯機分析處理 olap(on-line analytical processing)。不需要提供事務的保證。主要作用就是寫各種select語句

主要使用與事務的保證,叫做oltp 叫聯機事務處理 oltp(on-line transaction processing,)可以通過資料庫的事務的保證,保證我們業務系統正常的執行

很早很早就有數倉的概念:mysql或者oracle加kettle

如何理解資料庫與資料倉儲的概念:資料倉儲是將所有用到的資料庫裡面的資料都抽取過來,集中到一起組成我們的資料倉儲

資料倉儲,是在資料庫已經大量存在的情況下,為了進一步挖掘資料資源、為了決策需要而產生的,它決不是所謂的「大型資料庫」。

第二層:資料倉儲層。dw層 。主要用於各種分析sql語句 。

元資料:描述資料的資料

主要用於描述資料庫的建庫語法,記錄建表語法,記錄我們資料流轉過程。元資料記錄了我們資料倉儲各個步驟如何執行。等到資料倉儲需要正常的運轉,每一步如何執行,都直接去查詢元資料資訊即可

資料倉儲之數倉分層

1 為什麼要分層 1.1 把複雜問題簡單化,將複雜的任務分解成多層來完成,每一層只處理簡單的任務,方便定位問題。1.2 減少重複開發 規範資料分層,通過中間層資料,能夠減少極大的重複計算,增加一次計算結果的復用性。1.3 隔離原始資料 不論是資料的異常還是資料的敏感性,使真實資料與統計資料解耦開 2...

資料倉儲與數倉建模

資料倉儲,英文名為data warehouse,簡寫為dw或dwh。資料倉儲,是乙個面向主題的 整合的 隨時間變化的 但資訊本身相對穩定的資料集合,用於對管理決策過程的支援1。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及...

資料倉儲分層

下面的內容是基於參考中的文件進行的二次讀書筆記。傳統行業的資料倉儲工程師,開始嘗試架構工程領域比較流行的er模型 維度模型方式,構建出乙個四層的模型架構 阿里在構建er時碰到了較大的挑戰,主要是業務快速發展,人員快速變化 業務知識功底的不夠全面,導致er模型產出困難。阿里得出了乙個結論 在不太成熟 ...