資料倉儲 Azkaban排程器

gmv指標獲取的全排程流程

import.job檔案，第一步，從mysql匯入資料

type=command

do_date=$
command=/home/atguigu/bin/sqoop_import.sh all $

ods.job檔案

type=command

do_date=$
dependencies=import
command=/home/atguigu/bin/ods_db.sh $

dwd.job檔案

type=command

do_date=$
dependencies=ods
command=/home/atguigu/bin/dwd_db.sh $

dws.job檔案

type=command

do_date=$
dependencies=dwd
command=/home/atguigu/bin/dws_db_wide.sh $

ads.job檔案，本例以gmv指標獲取的全排程流程為例，只執行乙個ads_db_gmv.sh指令碼，完整的資料，應該有多個ads層業務指令碼並行執行。

type=command

do_date=$
dependencies=dws
command=/home/atguigu/bin/ads_db_gmv.sh $

export.job檔案，最後一步，匯出到mysql

type=command

dependencies=ads
command=/home/atguigu/bin/sqoop_export.sh ads_gmv_sum_day

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有，則把d database zyhip改為對應的路徑，有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲,什麼是資料倉儲？

資料倉儲，英文名稱為data warehouse，可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存，出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...

資料倉儲和資料倉儲分層

資料倉儲 data warehouse 可簡寫為dw或dwh。資料倉儲，是為企業所有級別的決策制定過程，提供所有型別資料支援的戰略集合。它是單個資料儲存，出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業，提供指導業務流程改進 監視時間 成本 質量以及控制。1 問題簡單化，將乙個複雜的問題分...