數倉dw怎麼建 什麼是資料倉儲?如何構建資料倉儲?

2021-10-12 23:49:35 字數 1075 閱讀 7253

1.  什麼是資料倉儲?

在wiki中對資料倉儲的解釋是:

在計算中,資料倉儲(dw或dwh),也稱為企業資料倉儲(edw),是用於報告和資料分析的系統,被認為是商業智慧型的核心組成部分 dw是來自乙個或多個不同**的整合資料的**儲存庫。 他們將當前和歷史資料儲存在乙個地方,用於為整個企業的工人建立分析報告。

倉庫中儲存的資料是從作業系統(例如營銷或銷售)上載的。 資料可能會通過可操作的資料儲存,並且可能需要進行資料清理才能進行其他操作,以確保在dw中使用該資料進行報告之前。

提取,轉換,載入(etl)和提取,載入,轉換(e-lt)是用於構建資料倉儲系統的兩種主要方法。

在這裡我們先解釋兩個概念:

資料庫:資料庫是通常從計算機系統以電子方式儲存和訪問的資料的有組織的集合。 在資料庫更複雜的地方,通常使用正式的設計和建模技術來開發它們。

資料庫軟體:是一種軟體,實現了資料庫功能的軟體,可以實際操作,解決業務問題,如mysql,sqlserver,oracle等資料庫。

我們通常講資料庫,往往首先代入了mysql或者oracle的形象,實際上我們通常講的資料庫是資料庫軟體,而不是資料庫這個概念。資料庫和資料倉儲都是資料的組織形式,可能是使用乙個軟體或者多個軟體組合實現,二者從概念上講沒有本質區別,只不過資料庫側重oltp,是實現業務實現,而資料倉儲則是面向olap是面向決策的資料分析,造成二者組織、實現方式不同。

在實際業務中二者扮演了什麼角色呢,下面簡單舉個例子。

我們日常傳送到朋友圈資訊也會儲存在資料庫中,當你開啟朋友圈時會讀取存放這些資訊的資料庫,進行資料展現。

2. 當我們進行登入的時候查詢使用者登入資訊表可以實現這個功能,當有一天你的產品走過來告訴你,我們領導想知道最近每天有多少新增使用者,這個時候你一陣竊喜,幸好在使用者登入表設定的create_time,遍歷一次可以拿到這些資訊,你在乙個從庫上執行了一下這個功能(你有乙個從庫),執行時間有點長,稍稍影響了一些使用者的登入,使用者可能懷疑自己網路問題,沒人追究這件事,你完成了這個需求;第二天產品告訴你,領導還想知道每天新增使用者的地區分布,你看著使用者登入表一籌莫展,設計的時候根本沒有所屬位址的資訊,即便拿到你也不會存,這個時候就會引入資料倉儲的概念了。

待續

數倉dw怎麼建 從0到1建設資料倉儲 數倉基礎篇

資料倉儲建設主題是系列篇,目的是帶大家從了解資料倉儲的基礎知識開始,循序漸進,學會資料倉儲的建設,本篇是數倉建設的第一篇,主要講講資料倉儲的基礎知識。01 什麼是資料倉儲 資料倉儲,英文名稱為datawarehouse,可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料...

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...

資料倉儲 數倉分層 01

資料倉儲,資料倉儲是面向主題的 subject oriented 整合的 integrated 非易失的 non volatile 和時變的 time variant 資料集合,用以支援管理決策。每個資料倉儲面向分析的主題都是一樣的 資料倉儲需要分析某乙個主題的資料結果,需要整合各個其他方面的資料 ...