數倉專案實戰04 中間層和維表層

2021-10-07 16:03:01 字數 808 閱讀 5318

中文含義

mysql表名

hive表名

商品分類表

nshop.category

dim_nshop.dim_pub_category

店鋪表nshop.supplier

dim_nshop.dim_pub_supplier

商品表nshop.product

dim_nshop.dim_pub_product

頁面布局表

nshop.page_dim

dim_nshop.dim_pub_page

通用字典表

nshop comm_dim

dim nshop dim pub comm

時間字典表

nshop.date_dim

dim_nshop.dim_pub_date

地區字典表

nshop.area_dim

dim_nshop.dim_pub_area

建立hive庫並進入:

create database if not exists dim_nshop;

use dim_nshop;

3.1 商品分類表:

create table

if not exists dim_nshop.dim_pub_category (

category_code string comment '分類編碼',

category_name string comment '分類名稱',

category_parent_id string commen

數倉專案筆記 20200817

1 資料倉儲 作為資料的管理和運算中心 資料存檔 各種統計 運算任務的核心平台 2 使用者畫像系統 含義 深入分析使用者後給使用者打上各種規範標籤 年齡,性別,地域特徵,偏好特徵,價值指數,行為習慣,消費習慣 作用 對使用者進行精準營銷,用於支撐精細化營運 比如,針對不同的人 放不同的優惠券 比如,...

大資料專案之數倉專案(一)數倉搭建

名稱版本 hadoop 3.1.3 flume 1.9.0 kafka 2.11 2.4.1 zookeeper 3.5.7 mysql 5.1.27 sqoop 1.4.6 spark 3.0.0 hive 3.1.2 本專案採用星型維度建模 1 配置sparkonhive 注意配置spark h...

大資料技術實戰 業務資料數倉搭建

6.8 業務資料數倉搭建 從使用者行為寬表中dws user action,根據統計日期分組,聚合,直接sum就可以了。6.10 需求二 轉化率 6.10.1 新增使用者佔日活躍使用者比率表 從日活躍數表 ads uv count 和 日新增裝置數表 ads new mid count 中取即可。6...