Kettle使用規範

2021-10-12 06:16:51 字數 976 閱讀 2560

● 作業(job):必須遵從駝峰形式。

● 轉換(transfsormation):都統一使用 lowercamelcase 風格,單詞間用下劃線隔開,力求語義表達完整清楚,必須遵從駝峰形式。

● 中間表及中間列:「mid_」作為字首。

● 臨時表及臨時列:「tmp_」作為字首。

● 檔案目錄:////,功能根據檔案的目的進行存放,例如exf(抽取)、ld(裝載)、rej(拒絕)。

● 引數及變數:引數與變數的命名全部大寫,單詞或者簡拼間用下劃線(「」)連線。其中各個字後不要有空格,遵循引數名=引數值的寫法,一行乙個引數。

● 指令碼:模組的啟動和停止指令碼統一命名為start_模組名.sh和stop_模組名_.sh

● 方式:通過crontab進行排程shell指令碼執行kitchen命令列。

● 開源版:作業在遠端的carte上執行,通過http://ip:8080/kettle/status檢視執行狀態。

● kettle任務監控:獲取kettle執行日誌,通過檢測錯誤日誌並定時傳送郵件的方式,監控kettle任務的運**況。

● 主作業流:每乙個作業項當執行失敗時都要配置傳送郵件通知相關負責人。

● 作業:需要對於可預見的、已知的錯誤情況做邏輯迴圈判斷。

● 轉換:需要對於可預見的、已知的錯誤情況做邏輯迴圈判斷。

● 策略:人工處理,修改錯誤重新跑作業。作業設計時不要依賴狀態,保證發生錯誤後,作業可以隨時重跑,因為失敗中已提交資料不一定可回滾。

● 配置:kettle中的所有資料來源連線資訊要提取到配置檔案.properties中,在配置檔案中具體的配置要加密。

● 例如: 命令執行 encr -kettle 123

得到「123」對應的密碼是 「2be98afc86aa7f2e4cb79ce10bec3fd89」

直接在.properties檔案裡設定

password=encrypted 2be98afc86aa7f2e4cb79ce10bec3fd89

使用kettle行轉列

生成測試資料 set ansi nulls on goset quoted identifier on goset ansi padding on gocreate table dbo test id int null,name varchar 20 null,quarter int null,pr...

kettle使用筆記 一

一 常用目錄結構 二 單錶操作 1.表輸入 要遷移庫表 2.表輸出 遷移目標庫表 單錶遷移這兩個就可以滿足 如果欄位要遷移的表跟目標表字段名稱不一致 可以不一致,上面也滿足 想做一致。可以用轉換中欄位選擇對映 三 多表鏈結遷移 方式1 多表關聯,可以手動寫關聯sql。直接乙個輸入,乙個輸出就可以實現...

kettle工具使用一二三

1 關於id生成器。如果乙個轉化流程裡的兩個分支分別使用了generate id元件,請注意 計數器名稱 這個很重要。1 如果改名字不同,則最總彙總結果中的id是會分別生成的,也就是說會出現重複的id。2 如果名字相同,最終結果中id是不會重複的。2 關於序列生成器 首先抱歉,上面所說的 gener...