專案實戰 ADS 層資料匯出

2021-10-09 16:23:45 字數 933 閱讀 7642

為了業務系統進行更快速的查詢,需要將 ads 層的結果資料匯出到 mysql 中,這個過程因為涉及到資料流轉,所以需要通過 etl 工具 sqoop 來進行。

1. 在 node02,mysql 節點的 /home/warehouse/sql 目錄下編寫 mysql_sale_ddl.sql,建立與 ads 層結果表一致的資料表:

mkdir -p /home/warehouse/sql/

vim /home/warehouse/sql/mysql_sale_ddl.sql

​sql 指令碼內容如下:

-- 進入資料庫

use mall;

-- 建立複購率表

create table ads_sale_tm_category1_stat_mn

(

tm_id varchar(200) comment '品牌 id ' ,

category1_id varchar(200) comment '1 級品類 id ',

category1_name varchar(200) comment '1 級品類名稱 ',

buycount varchar(200) comment '購買人數',

buy_twice_last varchar(200) comment '兩次以上購買人數',

buy_twice_last_ratio varchar(200) comment '單次復購率',

buy_3times_last varchar(200) comment '三次以上購買人數',

buy_3times_last_ratio varchar(200) comment '多次複購率' ,

stat_mn varchar(200) comment '統計月份',

st

課後作業 ADS 層資料匯出

ads 層資料計算完成後,接下來使用 sqoop 將資料匯出到 mysql 中。在 mysql 節點 node02 的 home warehouse sql 目錄下編寫 mysql gmv ddl.sql,建立資料表 vim home warehouse sql mysql gmv ddl.sqls...

專案實戰 ADS 層複購率統計

ads 層需要在 dws 層的資料上計算複購率,並儲存結果表。複購率可以從 dws 層的使用者購買商品明細表中進行計算。其中品牌 id 一級品類 id 一級品類名可以從使用者購買商品明細表中直接獲取,統計月份 統計日期也可以從當前時間獲取。剩下的購買人數 購買 2 次及以上人數 單次復購率 購買 3...

Vue入門實戰教程(四) 模型層 資料

此學習教程是對官方教程的解析,vue例項 vue.js,計算屬性和偵聽器 vue.js 當乙個 vue 例項被建立時,它將data物件中的所有的屬性加入到 vue 的響應式系統中。當這些屬性的值發生改變時,檢視將會產生 響應 即匹配更新為新的值。當這些資料改變時,檢視會進行重渲染。值得注意的是只有當...