什麼是數倉

2021-10-20 03:50:32 字數 748 閱讀 3531

資料倉儲全稱為data warehouse,簡稱dw。它是面向主題的,整合的,相對穩定的,反映歷史變化的資料儲存集合,用於支撐企業的分析報告與決策。

將不同資料來源的資料在乙個較高抽象層次上做整合,資料圍繞某一主題進行彙總,如電商主題有:訂單、流量、商品、使用者等 。

數倉中的資料**於不同資料來源的整合(如:tob業務系統資料來源,toc業務系統資料來源,erp業務系統資料來源),且這些資料來源的儲存方式可能不同(如:mysql、orcale、hive等),因此需要做etl操作整合不同的資料來源。

數倉中的資料儲存的是一些列歷史快照資料,不允許資料被修改,使用人員只能查詢或分析資料。

數倉會定期接受新的整合資料,反映最新的資料變化。

oltp:on-line transaction processing,聯機事務處理,需要考慮併發與事務

olap:on-line analytical processing,聯機分析處理,主要是面向分析,會產生大量的查詢,一般很少涉及增刪改

在某些情況下,我們需要保留歷史狀態,使用拉鍊表可以在 保留歷史狀態的同時節省空間

資料的抽取,就是把資料從資料來源讀出來

資料型別轉換與髒資料清洗

處理後的資料載入到目標處,如資料倉儲

tez什麼意思 傳統數倉和大資料數倉的區別是什麼?

概念與容器 為什麼先說這個,其實很簡單 因為絕大多數人都把這兩個概念混為一談。然後就會出現各種各樣的問題 oracle不是資料庫麼,怎麼又是資料倉儲?hive不是資料倉儲麼?怎麼又是資料庫?資料倉儲 資料庫是乙個概念,是一些技術的集合。類同於切菜刀法和雕刻刀法 oracel db2 mysql hi...

tez什麼意思 傳統數倉和大資料數倉的區別是什麼?

概念與容器 為什麼先說這個,其實很簡單 因為絕大多數人都把這兩個概念混為一談。然後就會出現各種各樣的問題 oracle不是資料庫麼,怎麼又是資料倉儲?hive不是資料倉儲麼?怎麼又是資料庫?資料倉儲 資料庫是乙個概念,是一些技術的集合。類同於切菜刀法和雕刻刀法 oracel db2 mysql hi...

數倉過程建模 數倉入門基礎 1 漫談數倉

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。資料倉儲的特徵在於面向主...