kettle實現資料轉換

2021-08-01 13:45:57 字數 387 閱讀 1244

功能要求:

1,ba中302合併到307中,307後續會停止使用,但是老的資料裡還是會有

2,使用季度為展示期間

3,年份展示格式為「fy16」

4,公司**展示位描述

5,成本中心合併為部門展示

6,科目一部分展示**,一部分合併到指定科目

7,dg中mo合併至r5,mo後續會停止使用,類似ba

8,依據之前資料匹配資訊在執行etl時自動將新的資料進行匹配,主要依據是摘要

9,在執行完資料時,系統要有自檢功能,保證資料經過etl資料沒有丟失,資料展示準確

10,etl要定時執行,也要可以手動執行

11,etl完成後要可以通過郵件提醒相關人員,無論是成功還是失敗

未完待續.......

KETTLE 實現元資料的行列轉換

在etl 處理中經常需要將使用者提交的excel 元資料匯入到資料庫中,因為使用者提交資料有時是最終結果以資料透視表形式體現,所以直接匯入表單是不行的,需要做行列的轉換。用人工方式工作量很大,因此採用 kettle etl 中的 row normaliser 元件實現感覺效果不錯。具體實現步驟 1 ...

Kettle行列轉換

kettle在控制項中擁有行列轉換功能,但是行列轉換貌似是弄反了。一.行轉列 1.資料庫指令碼 create table studentinfo studentno int,subject varchar 10 grade int insert into studentinfo values 201...

kettle 轉換案例

把stu1的資料按id同步到stu2,stu2有相同id則更新資料 1 在mysql中建立兩張表 mysql create database kettle mysql use kettle mysql create table stu1 id int,name varchar 20 age int ...