資料倉儲的資料比對

2021-09-24 22:39:33 字數 680 閱讀 6764

1.資料量的比對 select count(*)

2.資料內容全字段的比對,難度比較大。

mysql–》資料倉儲

full join結果作為 t表

補資料: select * from t where bid is null 拿到a表字段的資料 拼接sql插入資料倉儲

刪資料: select * from t where aid is null --> bid --delete 語句

3.什麼時候做資料比對

根據你的業務週期來決定

先做一次全量的修復

當前時間為:2019-06-29

做<2019-06-01 00:00:00 以前的全量

mysql:select count(1) from a where cretime<'2019-06-01 00:00:00'

資料倉儲:select count(1) from b where cretime<'2019-06-01 00:00:00'

然後做增量的比對

select count(1) from a where

cretime>='2019-06-14 00:00:00' and cretime<'2019-06-29 00:00:00' ;

4.覆盤

每月做一次全量的, 根據當前時間減去乙個月。

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...

資料倉儲和資料倉儲分層

資料倉儲 data warehouse 可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。1 問題簡單化,將乙個複雜的問題分...