資料倉儲 與SIG系統的理解

2021-08-25 14:57:09 字數 753 閱讀 6128

資料倉儲

可以簡單理解為 與事務性資料庫相對於的另外乙個概念 可以通過關係型資料庫來用於儲存大量的歷史資料 用於在生產中分析資料 給使用者提供一些 規律性的決策總結性依據 從而提高生產效率  

資料倉儲從功能結構上來說最少要包括 資料獲取(data acquisition) 資料儲存(data storage) 資料查詢(data access)關鍵部分 對應到sig系統中 分布式 das 元件獲取資料  etl元件 以及 node元件用於資料儲存 顯然 ui報表查詢元件對應查詢。

儲存與查詢是資料倉儲系統 最核心最關鍵的部分 sig系統中 etl  node 元件 具有彙總 清理資料的功能。

元資料的概念  資料倉儲內的資料結構以及 建立方法的資料

從用途上可以分為兩類 客戶元資料 (跟客戶緊密相關的資料) 使用者元資料(系統維護相關的資料 以及輔助客戶相關的資料)

資料倉儲 在範圍上可以分為 企業級 資料倉儲 和部門級資料倉儲(sig 系統更像是沒有區分這些  部門級也就是資料集市)

資料集市 是資料倉儲的乙個子集

兩者的比較可以再下圖中看出來(附件中)

一般被描述成星型結構或雪花結構有乙個

事實表(如sig系統裡面的 流量原始入庫表等) 以及對應多個維度表(例如sig 系統裡面的 儲存週期)兩個基本元素組成

詳細資料

簡單的 資料集市中的 原始表中的資料(sig系統中的 5分鐘表 資料)

彙總資料

根據儲存週期彙總後的 天表 小時表 月表資料

資料倉儲與資料湖之間的理解誤區

誤解一 資料倉儲和資料湖二者在架構上只能二選一 很多人認為資料倉儲和資料湖在架構上只能二選一,其實這種理解是錯誤的。資料湖和資料倉儲並不是對立關係,相反它們的並存可以互補給企業架構帶來更多的好處 資料倉儲儲存結構化的資料,適用於快速的bi和決策支撐,而資料湖可以儲存任何格式的資料,往往通過挖掘能夠發...

資料倉儲原理 2 資料倉儲系統的體系結構

1.引言 本篇主要講述資料倉儲系統的體系結構與組成要素 資料集市與資料倉儲之間的關係 元資料的定義與作用。資料倉儲是乙個面向主題的 整合的 不可更新的 隨時間不斷變化的用來更好地支援企業或組織決策分析的資料集合。資料倉儲是區別於傳統操作型資料庫的資料集合,主要應用於分析型資料操作,支援企業全域性的決...

資料倉儲與資料庫比較,Hive資料倉儲與資料庫比較

hive是乙個翻譯工具,將sql翻譯為底層mr程式的,它不是資料庫,只不過在表現形式上和資料庫有很多類似而已 比如表 database 欄位等 資料庫可以增刪查改,資料倉儲只可以增刪查 資料倉儲支援很大規模的資料 資料庫支援的資料規模較小 資料倉儲沒有索引,資料庫有 資料倉儲可擴充套件性強,資料庫弱...