DTS開發記錄(10) 視覺化的流程編輯

2021-05-06 23:31:27 字數 1197 閱讀 3649

在將資料從資料來源匯出到資料目標的過程中,我們通常需要對資料進行一些檢查、驗證、加工、轉換等操作,而這個加工轉換的流程可能是非常複雜的,dts通過視覺化的拖拽的方式對資料加工轉換流程進行自定義編輯。

下面的乙個例子,是將某個市的學生記錄表中的資料匯出到省的學生記錄表中,市資料庫使用的是sqlserver,省資料庫採用的是oracle。

左邊的工具欄中是不同型別的filter,它們用於對資料進行某些處理,這些filter分為五類:

(1)資料載體:用於儲存資料的容器,如資料庫、檔案、訊息佇列等,我們的資料來源和資料目標就是某種資料載體。

(2)資料加工:用於對資料進行驗證、變換等加工,如資料**filter、資料合併filter

(3)分支條件:用於對資料流程提供條件判斷、動態改變資料轉換的流程。

(4)大綱對映:用於在資料來源大綱(包括擴充套件列)與目標大綱之間進行字段對映和匹配。

(5)日誌記錄:用於記錄在資料轉換遷移過程中的詳細情況。

到目前為止,dts系統已經完成的主要功能、特性包括:

(1) 提供以拖拽的圖形化方式編輯資料轉換流程。

(2) 資料轉換filter以外掛程式的形式提供,支援即插即用。

(3) 資料介面卡以外掛程式的形式提供,支援即插即用。

(4) 以xml形式儲存流程編輯成果,可以直接修改xml檔案以改變資料轉換流程。

(5) 支援六種資料庫型別:oracle、sqlserver、mysql、db2、sybase、dm

(6) 支援三種資料來源模式:全部匯出、增量匯出(觸發器)、日誌重試

(7) 支援定時任務。

(8) 支援任務日誌。

dts當前版本可以在區域網內很好的進行工作,但是跨internet的資料遷移了?這是我們下一階段要解決的問題。我們打算使用msmq作為訊息中介軟體以保證資料在internet上的可靠傳輸,就像這樣:

我們可能採用.net 3.0的wcf來完成基於msmq的通訊。

轉到:dts開發記錄(序)

Tensorboard視覺化流程

在session會話中,加入視覺化 記住你的路徑!with tf.session as sess 你的內容 模型視覺化輸出 writer tf.summary.filewriter lenet ln1 graph tf.get default graph writer.close 然後輸入cmd,開...

視覺化管理 RFID固定資產管理視覺化流程

固定資產管理具有價值高 品種和使用多樣化 使用地點分散 使用周期長 管理難度大等各種特點,是企業管理中的乙個重要環節。rfid技術作為實物資產與資產管理系統的智慧型化橋梁,借助網路或gprs無線遠端傳輸的功能,可將資產日常管理活動與資產管理系統有效的整合在一起,從而達到實物資訊與系統資訊的實時同步一...

Flex視覺化元件開發

flex視覺化元件都繼承自uicomponent類 繼承結構 uicomponent sprite displayobjectcontainer 顯示物件容器 interactiveobject 互動物件 displayobject 顯示物件 eventdispatcher 事件分發器 object...