ETL拉鍊演算法簡介

2021-08-10 13:47:41 字數 704 閱讀 7894

1.拉鍊表時針對資料倉儲設計中表儲存資料的方式而定義的,即記錄歷史,記錄乙個事務從開始,一直到當

前狀態的所有變化的資訊;

2.拉鍊表的資料可分為:保持不變的資料,insert的資料,delete的資料,updated的資料;

拉鍊表的操作可分為:無變化,新開鏈以結束日期為最大日期(有效日期),關鏈(結束日期為當天),拉鍊(一關一開);

3.拉鍊資料的儲存方式:快照儲存,除表本身資料外,新增資料日期(開始);拉鍊儲存,除表本身資料外,新增開始日期(開鏈)和結束日期(關鏈);

4.新增拉鍊資料:即主鍵新增,直接開鏈,新增開始日期和結束日期;

5.刪除拉鍊資料:即資料刪除,直接關鏈,將結束日期改為當天;

6.修改拉鍊資料:即屬性欄位的更新,先關鏈,再開鏈,將結束日期改為當天,再修改資料;

7.拉鍊資料的意義:節約儲存空間,記錄資料變化;

8.拉鍊演算法的演算法流程:建立臨時表vt_new用於存放轉換、處理後的資料;建立臨時表vt_inc,用於存放比對出的增量資料;修改目標表,進行關鏈更新操作,修改目標表,進行開鏈插入操作;

ETL拉鍊演算法彙總大全

拉鍊演算法總結大全 一 0610演算法 追加 1 刪除倉庫表的載入日期是本次載入日期的資料,以支援重跑 delete from where start dt tx date 2 建立臨時表,用於存放從源表中提取的資料 create multiset volatile table 3 向臨時表中插入資...

ETL拉鍊演算法彙總大全

拉鍊演算法總結大全 一 0610演算法 追加 1 刪除倉庫表的載入日期是本次載入日期的資料,以支援重跑 delete from where start dt tx date 2 建立暫時表,用於存放從源表中提取的資料 create multiset volatile table 3 向暫時表中插入資...

資料倉儲ETL演算法之拉鍊演算法

目錄 拉鍊定義 拉鍊表資料儲存方式 拉鍊的意義 拉鍊演算法詳解 歷史儲存資料的倆種方式 下面用一組業務資料來解釋倆者區別 業務系統2014年1月1日的資料 賬戶id 戶名餘額 001張三 2000 業務系統2014年1月15日的資料 賬戶id 戶名餘額 001張三 2000 業務系統2014年2月1...