資料倉儲 資料同步策略

2021-10-07 22:49:51 字數 1081 閱讀 3653

二.資料同步策略

一般是指乙個現實中存在的業務物件,實體表它放的資料一定是一條條客觀存在的事物資料,比如使用者,商家,商品等(某東上的某某人參丸就是乙個實體)3。

一般是指業務中的一些狀態,**的解釋表(也稱為碼表)。維度表可以看成是使用者用來分析乙個事實的視窗,它裡面的資料應該是對事實的各個方面描述。

維度表還可以分為一般維度表固定維度表

事實表其實質就是通過各種維度和一些指標值得組合來確定乙個事實的,比如通過時間維度,地域組織維度,指標值可以去確定在某時某地的一些指標值怎麼樣的事實。事實表的每一條資料都是幾條維度表的資料和指標值交匯而得到的。

事實表還可以分為週期型事實表事務型事實表累計快照事實表

​ 週期快照表沒有粒度的概念,取而代之的是週期+狀態度量的組合,如歷史至今的訂單總數,其中歷史至今是 乙個週期,訂單總數是度量。

每日全量,每天儲存乙份完整資料,作為乙個分割槽。適用於表資料不大,且每天既有新資料插入,也會有舊資料修改的場景。

例如:編碼字典表,品牌表,商品分類表,優惠表,活動表,商品表,加購表,spu表等。

每日新增及變化,就是儲存建立時間和操作時間都是今天的資料。適用場景為表的資料量大,既會有新增,又會有變化。例如使用者表、訂單表、優惠券領用表等。

客觀世界維度

沒變化的客觀世界的維度(比如性別,地區,民族,政治成分,鞋子尺碼)可以只存乙份固定值。

日期維度

日期維度可以一次性匯入一年或若干年的資料。

地區維度

省份表、地區表。

資料倉儲之資料同步策略

一般情況下表分為三個型別,分別是實體表 維度表和事務表 1.實體表 實體表,一般是指乙個現實存在的業務物件,比如使用者,商品,商家,銷售員等等。2.維度表 維度表,一般是指對應一些業務狀態,的解釋表。也可以稱之為碼表。比如地區表,訂單型別,支付方式,審批狀態,商品分類等等。維度表可以分為兩類 一般維...

資料倉儲之資料同步策略

1.資料同步 因為我們需要每天分析的資料都是最新的!所以就涉及資料的同步 2.表的種類及其概念 一般情況下表分為三個型別,分別是實體表 維度表和事務表 2.1 實體表 實體表,一般是指乙個現實存在的業務物件,比如使用者,商品,商家,銷售員等等。2.2 維度表 維度表,一般是指對應一些業務狀態,的解釋...

資料倉儲之源資料同步

1.資料同步 因為我們需要每天分析的資料都是最新的,所以就涉及資料同步。2.表的種類及其概念 一般情況下表分為三個型別,分別是實體表 維度表和事務表 2.1 實體表 實體表,一般是指乙個現實存在的業務物件,比如使用者,商品,商家,銷售員等等。2.2 維度表 維度表,一般是指對應一些業務狀態,的解釋表...