ate
,toc
har(
sess
star
ttim
e,′y
yyy−
mm−d
dhh24
:mi:
ss′)
)2）.
第二個增
量抽取模
型dat
e型別s
etva
riab
le
(date,to_char(sessstarttime,'yyyy-mm-dd hh24:mi:ss')) 2）.第二個增量抽取模型date型別 setvariable(
date,t
och
ar(s
esss
tart
time
,′yy
yy−m
m−dd
hh24
:mi:
ss′)
)2）.
第二個增
量抽取模
型dat
e型別s
etva
riab
le(date,sessstarttime)
3）.第三種增量抽取模型，
按最大值 setmaxvariable（hiredate）
下次對大於上次的最大值的進行抽取
setmaxvariable($$date,employee_id)
4）.增量抽取第四個模型，
對當天的資料進行抽取 trunc（sysdate）
5）.還有第五種增量抽取變形在前四種基礎上進行，為原表新增額外字段，將需要修改的行，此行該列值設為最新時間，用前四種方法進行篩選更新hiredate>＄date or 新字段 >＄date
33.主被動元件及informatica資料流規則：
主動元件：資料流經記錄數發生改變(union)
被動元件：資料流經記錄數不發生改變
資料流規則：主動元件不允許分叉、被動元件允許分叉
34.儲存過程和etl區別：
儲存過程和etl工具都是實現etl過程的重要步驟。
etl工具：時資料處理視覺化，比較容易理解和操作；
減少資料庫的壓力，把資料處理的壓力轉移到etl伺服器上；
方便部署和排程
缺點：對於複雜邏輯的開發有些難度；維護及修改開銷較大
儲存過程：後期方便維護和修改；對於複雜邏輯的開發較容易實現
35.簡述informatica上笛卡爾積和自連線時怎樣實現的：
笛卡爾積時用f(x)元件在兩表分別新增乙個字段 列值均相同 用joiner元件對新添字段進行關聯
自連線用兩個排序元件對需要關聯的字段進行排序 然後連線到joiner元件 需要對joiner元件的input sort打對勾
36.行列轉換
行轉列 需要用分組元件 對需要專列的行進行篩選過濾到n個新字段，然後輸出
列轉行 需要用規範器元件 和f(x)元件 然後輸出
37.sq和joiner元件及union元件異同及使用條件
sq只能關聯同構資料來源 可以關聯兩個以上
joiner可以關聯異構資料來源 每次只能關聯兩個表 如果需要關聯n個表 需要n-1個元件
sq只能合併同構資料來源
union可以合併異構資料來源
38.infa優化
抽取資料時之抽取需要字段，儘量減少輸入輸出埠
盡早過濾，盡早去重
盡量避免型別轉換
優化設計，減少不必要元件的使用
etl學習1 認識etl
etl即資料抽取 extract 轉換 transform 裝載 load 的過程，它是構建資料倉儲的重要環節。etl是將業務系統的資料經過抽取 清洗轉換之後載入到資料倉儲的過程，目的是將企業中的分散 零亂 標準不統一的資料整合到一起，為企業的決策提供分析依據。etl是bi專案重要的乙個環節。通常情...
ETL部分 ETL的學習
etl extract transform load extract transform load etl是將業務系統的資料經過抽取 清洗轉換之後載入到資料倉儲的過程，目的是將企業中的分散 零亂 標準不統一的資料整合到一起，為企業的決策提供分析依據。etl是bi專案重要的乙個環節。通常情況下，在bi...
ETL學習筆記之一 ETL是什麼？
對於資料倉儲以及etl的知識，我基本上是個門外漢。一切都得從頭開始，記個筆記，方便自已了解學習進度。首先，我們來了解最基本的定義 嗯，也有人將etl簡單稱為資料抽取。至少在未學習之前，領導告訴我的是，你需要做乙個資料抽取的工具。其實呢，抽取是etl中的關鍵環節，顧名思義，也就將資料從不同的資料來源中...