Talend使用總結

2021-08-15 05:05:20 字數 682 閱讀 5671

1.talend:

通過各個元件的組合把你的儲存媒介中的資料抽取、進行變換,最後將變整合出的資料結果儲存在你的目標媒介中。

2.schema:

若資料庫例如倉庫,schema相當於房間  表相當於 床 ;可以新增數值。

3.tmap元件:

資料轉換

字段鏈結

過濾分流

內部連線以及外部連線

reject資料管理

4.tlog元件:

可以進行資料檢視

5.contexts:

配置變數,制定輸入路徑,減少工作量。(新建變數,輸入路徑)

配置路徑  (default/自定義)

6.tcontextload:

對context中變數進行重新修改過濾(沒有context變數,tcontextload將沒有意義

compoment/max buffer sizes (進行臨時資料的切分,選擇合適大小)

7.trunjob:

完成父job和子job的連線;在trunjob中傳遞引數給childjob。(在子job中出現error的前提下,捕捉異常,並繼續執行job到底)

例:先在tforeach中建3個值,傳遞到tfilefetch,fetch到本地,再通過tfilelist進行輸出。

8:tlogcatcher:

可以通過這個元件找到異常

原創 Airflow呼叫talend

因為talend job build出來是乙個可直接執行的程式,可以通過shell命名啟動job程序,因此可以使用airflow的bashoperator呼叫生成好的talend job包裡面的sh指令碼,啟動talend job。本例子主要將一批資料同步到mysql表中 將設計好的talend j...

ETL工具Talend最佳實踐

前言和talend這款軟體打交道有一段時間了,主要用它來做一些etl相關的作業開發,以下總結了一些自己配置與開發過程中的最佳實踐。最佳實踐 可以通過修改talend studio 的.ini配置檔案來給其分配更多的記憶體,例如,以下是我在64位8gb記憶體的電腦配置的引數 vmargs xms201...

EJunGrid使用總結

1 1。0版沒有實現垂直方向上的對齊,procedure tobgui reportdesign.griddrawcelltext acanvas tcanvas const arect trect const acoord tpoint agrid tzjgrid const text strin...