資料倉儲基礎內容

2022-08-22 14:36:12 字數 1748 閱讀 7827

將多資料來源中的資料整合一起,進行資料分析,此時資料倉儲對多種業務資料進行篩選和整合,可以用於資料分析、資料探勘、資料包表。時效性t+1.

db:各種資料來源,如mysql,mongodb等資料庫

etl: 抽取(extract)、互動轉換(transform)、載入(load)的過程。操作工具可以簡單的編寫程式操作,或者是用kettle工具。

ods:操作型資料倉儲。

ods:操作性資料倉儲ods的應用場景

在業務系統和資料倉儲之間形成乙個隔離,ods直接存放從業務系統抽取過來的資料,這些資料從結構和資料上與業務系統保持一致,降低了資料抽取的複雜性。

轉移一部分業務系統的細節查詢功能,因為ods存放的資料與業務系統相同,原來有業務系統產生的報表,現在可以從ods中產生了。

完成資料倉儲中不能完成的功能。ods存放的是明細資料,資料倉儲dw或dm都存放的是匯聚資料,ods提供查詢明細功能。

個人理解:

ods提供了資料冗餘備份,它的存在可以避免資料倉儲直接呼叫業務系統的資料。

資料抽取到ods中只需要將業務系統的資料原封不動的拷貝過去,可以忽略業務上的規則。

ods資料只能增加不能修改,而且資料都是從業務系統的原樣拷貝,所以可能存在資料衝突的可能,解決辦法是為每一條資料增加乙個時間版本來區分相同的資料。

dw: 資料倉儲,是乙個面向主題的(subject oriented)、整合的(integrated)、相對穩定的(non-volatile)、反映歷史變化(time variant)的資料集合,用於支援管理決策

效率足夠高,要對進入的資料快速處理。

資料質量,資料倉儲是提供很多決策系統的支撐資料,所以資料準確非常重要。

擴充套件性,企業業務擴充套件和降低企業建設資料倉儲的成本考慮。

面向主題,資料倉儲中的資料是按照一定的主題域進行組織的,每乙個主題對應乙個巨集觀的分析領域,資料倉儲排除對決策無用的資料,提供特定主題的簡明檢視。

dw理解:

dw主要提供查詢服務,並且需要查詢能夠及時響應。

進入dw的資料應該是能唯一的具有權威性的資料,企業的系統只能使用從dw提供的被認可的資料,所以預先做好企業的元資料建立非常必要。

定期需要對dw裡面的資料進行質量檢查,保證dw裡面的資料唯

一、權威、準確。

dw的資料也是只允許增加不允許刪除和修改,資料倉儲主要是提供查詢服務,刪除和修改在分布式系統中會消耗大量的效能資源。

dm:資料即視層,以某個業務應用為出發點而建設的區域性dw,dw只關心自己需要的資料,不會全盤考慮企業整體的資料架構和應用。每個應用有自己的dm

dm理解:

dm結構清晰、針對性強、擴充套件性好,因為dm僅僅是單對某乙個領域而建立,容易維護和修改。

dm建設任務繁重,公司有眾多業務每乙個業務單獨加建立工作量集合增加啊。

dm的建立消耗更多儲存空間,單獨乙個dm可能資料量不大,但是企業所有領域都建立dm資料量就會增加很多倍。

資料模型

底層模型:

資料倉儲基礎

資料庫 針對oltp ol即online,t即transaction事物,即processing 處理。即操作性型資料庫,增刪改查頻繁,但是操作的資料量小。資料倉儲 針對 olap ol即online,a即analytical分析,即processing 處理。即分析型資料庫,查詢頻繁,插入較頻繁,...

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲 基本框架和內容

資料倉儲 維度建模 資料分層 命名規範 元資料管理 資料模型設計 前提設定 物理世界的每乙個度量事件 與對應的 事實錶行 具有一對一的關係 內涵 資料組織,儲存和使用的方法 注意方面 功能實現 質量管理 效能效率 儲存成本和收益 可擴充套件和方便維護 適應變化,一致性,及時,安全 可追溯 適應變化 ...