資料倉儲原理與實戰

2022-03-10 21:15:49 字數 513 閱讀 2518

資料倉儲誕生背景

資料倉儲概述

mpp&分布式架構

資料倉儲技術實現

常見資料倉儲產品

資料倉儲架構設計

etl流程

資料積存功能之ods層

資料分析功能之dwd、dws、ads層

不同系統的建模方法

rolap維度模型

molap建模方法

多維分析

表的分類

etl同步策略

任務排程

專案&資料概述

架構設計&環境規劃

環境搭建

專案流程&資料生成

etl資料匯入

ods層建立&資料接入

dwd層建立&資料接入

dws層建立&資料接入

ads層複購率統計

ads層資料匯出

azkaban自動化排程

gmv成交總額計算

ads層建立&資料接入

ads層資料匯出

azkaban自動化排程

資料倉儲實戰教程

資料倉儲已經是企業的資料競爭的核心了,學好資料倉儲對提高自己和找到乙份好的工作都至關重要,但是很多人對數倉的印象還是停留在寫sql的層面,其實今天的數倉更像是乙個資料平台應用,我們學習的大資料技術其實最終的價值都體現在資料服務上,數倉是資料服務的基石,如果說業界以前還有離線和實時之分的話,那麼現在實...

Hadoop Hive 資料倉儲原理與架構

hive是什麼 hive 構建在 hadoop 之上,提供以下功能 hive 提供標準的 sql 功能,hive 的 sql 也可以通過使用者定義的函式 udf 使用者定義的集合 udaf 和使用者定義的表函式 udtf 擴充套件為使用者 換句話來說,hive 是基於 hadoop 的乙個資料倉儲工...

資料倉儲之ETL實戰

etl,extraction transformation loading的縮寫,中文名稱為資料抽取 轉換和載入。一般隨著業務的發展擴張,產線也越來越多,產生的資料也越來越多,這些資料的收集方式 原始資料格式 資料量 儲存要求 使用場景等方面有很大的差異。作為資料中心,既要保證資料的準確性,儲存的安...