Kettle抽取資料 迴圈遍歷資料

2021-08-30 17:39:19 字數 966 閱讀 4798

kettle是個好工具,可是教程還是比較少,自己研究遇到了不少坑。

版本:7.1

場景:我查出乙個列表,需要針對列表中的每乙個值再進行相同的處理。

解決:目前沒有找到能在乙個轉換中進行這樣處理的迴圈元件,經查詢可以在作業中進行轉換之間的結果傳遞。

轉換之間的結果傳遞

需要用到下面兩個元件

步驟:

1.新建作業

2.在第乙個轉換中查詢列表記錄並放到「複製記錄到結果」元件中

3.在第二個轉換中獲取記錄中的資料再進其他處理

注意(有坑):

在上面這張圖中我只填寫了乙個字段,我本來以為第二個轉換中只會使用第乙個轉換傳遞過來的licensenumber欄位,但是後面執行過程中發現第乙個轉換中所有的記錄在第二個轉換中都能取到,這意味著這兩個轉換中不能有重複的欄位名,如果有的話就會採用第乙個轉換中的資料,因此我在第乙個轉換的最後一步之前增加了「字段選擇」元件,移除了licensenumber以外的全部字段,這樣能夠保證傳遞過去的只有乙個字段。

Kettle資料抽取 增量抽取

使用 kettle 實現資料的增量抽取的方法大致如下 從目標表中讀取最大的時間戳或者增量字段 id,作為條件,然後把源表中所有大於這個增量欄位的資料讀出來,插入到目標表當中去 1.開啟 kettle 工具,開啟新建的全量抽取流 2.選擇 input,再拖出來乙個 表輸入 控制項 開啟表輸入 2,配置...

資料抽取工具Kettle學習

kettle 是 kettle e.t.t.l.envirnonment 只取首字母的縮寫,這意味著它被設計用來幫助你實現你的ettl需要 抽取 轉換 裝入和載入資料。翻譯成中文名稱應該叫水壺,名字的起源正如該項目的主程式設計師matt 在乙個論壇裡說的哪樣 希望把各種資料放到乙個壺裡然後以一種指定...

迴圈遍歷陣列方法

迴圈遍歷陣列方法總結 1 while迴圈語句 while 條件表示式 2 do while迴圈語句 dowhile 條件表示式 while和do.while區別 while是先判斷條件是否成立再執行迴圈體 do.while是先執行一次迴圈再判斷條件是否成立 do.while迴圈體中至少被執行一次3 ...