以下操作都在5.0.1版本下進行開發，其餘版本可以進行自動比對
在平時工作當中，會遇到這種情況，而且很常見。比如：增量抽取(每隔2個小時抽取截至到上次抽取時間的記錄)
一、操作前提：
存在3張表，源表（t_student），同步日誌表（t_tbrz），插入表（t_target_student），表結構如下圖所示
學生表
同步日誌表
待插入學生表
二、kettle操作
1）如上圖所示，需要4個控制項，可以在核心物件中選擇拖入主介面
2）如上圖所示，在sql裡寫入以上sql語句，點選確定
3）如上圖所示，點選設定變數，點選獲取字段，點選確定
4）如上圖所示，點選《獲取student資料表輸入》，寫入sql語句，點選確定
5）如上圖所示，點選表輸入，進入表輸入介面，點選瀏覽按鈕，選中需要插入的表
準備測試建立時間是12月12號的記錄，此時修改同步日誌表如下圖
點選執行
執行結果如下，只根據日期選擇了2019/12/12 0:53:47之後建立的資料
kettle 增量更新
後面的乙個問號就是表示它需要接受乙個引數，你在這個table input 下面需要指定replace variable in script 選項和execute for each row 為選中狀態，這樣，kettle就會迴圈執行這個sql 執行的次數為前面引數步驟傳入的資料集的大小。kettle執...
Kettle 增量更新設計技巧
有刪除，有增加，有更新 首先你需要判斷你是否在處理乙個維表，如果是乙個維表的話，那麼這可能是乙個scd情況，可以使用kettle的dimension lookup 步驟來解決這個問題，如果你要處理的是事實表，方法就可能有所不同，它們之間的主要區別是主鍵的判斷方式不一樣。事實表一般都資料量很大，需要先...
關於kettle時間戳增量更新
之前看到的一篇文章kettle實現資料實時增量同步，這位大佬提出了時間戳增量回滾同步的一種方式，我是根據這篇文章之上進行探索的。但是遇到了一些問題，這裡進行一下記錄 只能同步往前 day這段時間內的刪除操作，因為回滾了一段時間 day，作者也宣告了這點 也只能同步往前 day這段時間內的刪除操作，為...