kettle學習筆記(五) kettle輸出步驟

2022-02-11 23:20:32 字數 2503 閱讀 9685

資料庫表:

• 表輸出

• 更新,刪除,插入/更新

• 批量載入(mysql,oracle)

• 資料同步

檔案:• sql 檔案輸出

• 文字檔案輸出

• xml 輸出

• excel output/excel writer

其他(報表、應用)

1.表輸出

使用sql的方式向資料庫插入資料(insert)

支援批量提交

支援分割槽(date分割槽)

支援字段對映

支援返回自增列

這裡提示一下出現表輸出的中文亂碼問題的解決方案:

設定連線編碼:characterencoding utf8

設定連線編碼一般就可以正常輸出不亂嗎的字元了。如果還有問題,可以繼續設定客戶端編碼

設定客戶端:set names utf8;

乙個測試的表輸出如下:

如果選擇分割槽,需要選擇date欄位進行分割槽,並且需要手動建立表(例如按月分割槽,有201804 201805兩個月,則需要建立tb_201804 tb_201805兩個表)

如果是要錯誤輸出,可以單擊一下連線線改變輸出方式(一把鎖:開始了執行下面的,勾和叉:正確或者錯誤輸出)

2.返回自增主鍵

表輸出的配置如下:

選擇了【裁剪表】,在資料載入之前會對此表做truncate操作。

預覽即可檢視返回的主鍵:

3.資料庫字段對映

前面步驟可以後後面表輸出進行字段對映匹配:

表輸出配置如下:

字段對映:

使用猜一猜可以進行名稱匹配,如果需要手動匹配,可以左右分別選擇,點選add即可!

並且對映完成之後也可以刪除丟棄某些字段

4.其它操作——刪除、更新、插入更新

刪除:根據關鍵字匹配,刪除資料庫中已有的資料。

更新:根據關鍵字匹配,更新資料庫中已有的資料。

插入更新:

有則更新,無則插入。

操作都是類似,上面進行匹配,下面進行處理:

5.資料同步

基於比較的同步方式。根據乙個flag欄位執行相應的插入/更新/刪除操作。

配置圖如下:使用合併後的flag欄位(可能有new deleteed等flag),後續再根據此flag,同步變化的資料到表1

6.批量載入

使用流方式載入資料

mysql批量載入需要在linux環境執行(有命令只能在linux下執行)

oracle需要本地有oracle客戶端(sqlldr檔案,在oracle安裝目錄下查詢)

1.sql檔案輸出

根據選中的資料庫型別,生成相應的 sql 指令碼(ddl,dml)。

2.excel檔案輸出

注意2007以前的版本有65536的行數限制:

3.文字檔案輸出

比如txt json等,暫不贅述

1.報表輸出

生成報表(pdf,excel,html等格式),需要事先定義好報表模板。

2.xml輸出

同樣,暫不贅述

kettle學習筆記(四) kettle輸入步驟

輸入步驟主要分為以下幾類 生成記錄 自定義常量 獲取系統資訊 表輸入 文字檔案輸入 xml 檔案輸入 json輸入 其他輸入步驟 1.生成記錄 由於生成記錄每行都是一樣的資料,所以便誕生了自定義常量資料來手工模擬資料 2.自定義常量資料 常用於構造一些測試資料 獲得各類系統資訊,常見的包括 轉換開始...

Kettle學習筆記(二) 基本操作

kettle學習筆記 一 環境部署及執行 kettle學習筆記 二 基本操作 kettle學習筆記 三 定時任務的指令碼執行 kettle學習筆記 四 總結 開啟時間略長,請耐心等待。這裡先對控制項做下簡單說明,方便後面使用。通用控制項 轉換中常用控制項 檔案 新建 轉換。新建轉換後點選左邊的主物件...

資料對接 kettle使用之五

介紹完 表輸入外掛程式 這一篇我們繼續介紹kettle中的獲取系統資訊外掛程式,並將結合表輸入外掛程式演示它的其中的一種用途。首先熟悉一下獲取系統資訊外掛程式的一些功能 1 系統日期 可變 系統時間,每次訪問都在改變。2 系統日期 固定 系統時間,有轉換開始來決定。即轉換開始時間 3 開始日期範圍 ...