DataStage 使用心得

2021-04-16 04:39:19 字數 960 閱讀 9515

datastage 使用心得

最近乙個月開始使用datastage,遇到很多問題,在這裡和大家分享一下。

一.    datastage支援很多資料庫的直接抽取,也可以對普通文字檔案,xml檔案進行抽取和轉換。

會影響datastage的執行速度。如果使用文字檔案,可以減輕資料庫伺服器的壓力,直接使用datastage server和datastage client

的資源,因為乙個datastage server可以擴充多個datastage client,datastage server根據每個client的運**況排程作業執行,

相對於以前把資料的抽取轉換放在資料庫伺服器上速度要會,特別是在資料量很大的時候。

二.datastage實現了資料抽取和轉換的視覺化,簡單的說就是傻瓜式的使用資料庫。但是datastage只能實現資料的輕度整合,很難

實現複雜的資料抽取和轉換。比如在用aggregation stage時我即計算和又要計算條數,在aggregation stage裡要麼算和,要麼計算

條數,不能同時計算。解決方法是在聚合前多加乙個欄位cont_sign,預設值1,在算條數時sum該欄位即可。

三.資料抽取完成後不能增量裝入資料庫。datastage對裝入有索引的表的策略是先刪除表的索引,裝入資料重建索引。當增量裝入資料

時無法成功重建唯一索引。

四.在datastage中好像不支援儲存過程和函式,要用shell封裝後排程執行。

五.我個人覺得datastage除錯很麻煩,報錯資訊不清楚,特別是在stage較多的時候。非常浪費時間。

以上是我在使用datastage時遇到的問題,如有問題感謝大家指正。

關於datastage在除錯時的報錯資訊不知各位網友是否有相關資料可以提供?

還有如何在datastage中使用儲存過程和函式,除了用shell封裝以外,還有什麼好方法嗎?怎麼實現?

datagestage有個api介面的文件在那裡可以找到??

frameset 使用心得

欲明白本篇 html徹底剖析 之標記分類,請看 標記一覽 也請先明白圍堵標記與空標記的分別,請看 html概念 框架概念 謂框架便是網頁畫面分成幾個框窗,同時取得多個 url。只需要 即可,面所有框架標記需要放在乙個總起的 html 檔,這個檔案只記錄了該框架如何分割 不會顯示任何資料,所以不必放入...

Access使用心得

今天臨時用access做資料庫,長期用sql server開發習慣了,總結一下現在為止用到的比較大的差異,以後有新的再補了 1 返回字串長度 len s lenb s 前者返回字元數,後者返回位元組數,並且access中text型別字元統一為2位元組,與sql2000不同。2 join的使用 acc...

vmware使用心得

成功在winxp環境中安裝了vista business版本,反之,亦然。可以建立工作組網路連線了,虛擬機器也可以訪問網際網路了。安裝說明 在安裝嚮導中,無論使用哪種網路連線形式,都不影響正確安裝。安裝後,可以編輯本地機和虛擬機器之間的網路連線形式。需要注意三個細節問題 1 網絡卡要設定為 電源啟動...