Kettle自動化作業

2022-07-07 12:00:14 字數 1229 閱讀 6345

使用kettle做資料同步時,如果需要同步的表很多,乙個個編寫輸入輸出不太合理

所以為解決這種問題以及方便後續擴充套件,實現思路:

1、資料庫建立個包含源表、目標表、輸入指令碼等字段的資料同步表

2、通過kettle讀取表中需要同步的記錄,並逐條執行資料同步

這樣一來每次有新的表需要同步時,每次只需要新增/修改同步表即可,無需再從頭編寫輸入輸出規則

1、建立自動同步作業表

字段包含但不限於:源系統、源表名、同步指令碼、目標系統、目標表名、同步時間、更新規則、有效標識等

2、kettle建立轉換1,新增表輸入,讀取作業表中待同步記錄,並將記錄存至結果

3、建立轉換2,從結果中獲取記錄,並將主要字段設定為變數

4、建立轉換3,獲取變數,將變數中同步指令碼賦至表輸入中,勾選替換sql語句中的變數,新增表輸出,用變數替換目標表名

5、建立資料同步作業1,將3、4步建立的轉換串起來(此作業是針對記錄逐條操作的),此處是全量更新,所有資料同步之前先進行了清表

6、建立總體作業,獲取所有記錄存至結果,然後逐條執行結果中資料,並執行同步

7、若需要增量更新,則需要在第5步的作業1執行結束再新增,獲取同步之後的最大更新時間,並寫至同步作業表中作記錄,在同步作業的執行指令碼每次獲取此更新時間之後的資料

8、總體涉及作業、轉換

管理作業自動化

管理作業自動化 圖31 9 選擇作業命令型別 畫面 3.點選 下一步 顯示 輸入transact sql陳述式 畫面 圖31 10 您必須選擇執行指令的資料庫,然後為作業鍵入陳述式,或者按一下 開啟舊檔 來尋找或開啟含有 t sql 命令的檔案。按一下 剖析 檢查您輸入的 t sql 陳述式的語法。...

管理實踐不是標準化作業

管理實踐對於諮詢顧問而言,不是標準化作業。乙個相對成熟的企業管理諮詢服務公司,可能會提供帶有公司特色的管理知識培訓 實施方 和相對完善的標準化企業管理軟體產品。在顧問進入此公司工作的前期,他需要更多地去學習和融入公司文化,並在此基礎上實踐他的所學。但是成熟的 成功的諮詢顧問,並不會一直這樣做 培養諮...

python迴圈排程kettle作業

需求 當前job只能一次跑一天程式,想著用python寫個迴圈,然後一次性跑乙個月的資料。原理是python呼叫cmd cmd kitchen.bat rep kettle repo user admin pass admin dir job job material inventory param...