微軟ETL工具SSIS的

2021-06-09 13:44:02 字數 2374 閱讀 5628

ms sql server 2005的「ssis」  (sql server integration service)

其實就是以前sql 2005的dts(資料轉換服務)的**人。

因為這次不光是公升級而已,是乙個大改版,所以直接公升級舊有的dts的話,會出現一些小缺失、甚至是警告。

在資料庫裡面,我們常常執行「匯入 / 匯出」的工作,這也是資料轉換的一種,

只不過是把常用的功能,事先包裝成乙個精靈視窗。比較好操作。

如果不靠這些精靈,就要自己設計(本文將會介紹這部份)。

以下是乙個入門範例,從資料表裡面撈出資料,經過「轉換」後,輸出成乙個excel檔。

(圖片說明,放在圖片下方)

圖一,從sql 2005裡面開啟bids。這東西其實就是vs 2005。

二、開啟乙個「商業智慧型(bi)」專案,旁邊就會有integration services專案

三、畫面很親切吧。其實就是vs 2005。控制流程內,又可以細分為資料流程。

本範例從資料表裡面撈出資料,經過「轉換」後,輸出成乙個excel檔。

因此由上而下,分別是「datareader」「資料轉換」「excel目的地」三個小流程。

簡單的說,第乙個datareader就是進資料庫,下t-sql指令撈資料。

所以連線資料庫的部份,要先做好(寫過asp.net的話,一看就知道是作連線字串,db connectionstring。如下圖)

接下來,講解第二個「資料轉換」的步驟。(如下圖)

我們把三個字段,分別轉換了一些格式,例如:轉成unicode、把日期時間(yyyy/mm/dd hh:mm:ss)轉移後,只剩下時間....等等。

第三步驟,轉換成功後,要寫入excel檔案。我會建議先把excel檔的「表頭」,自己先做好。這樣比較好抓格式。

前三個字段,是資料庫撈出來的原始資料。   後面三個字段,是「資料轉換」後的成果。兩者可以比較一下。

六、事先做好乙個空白的excel檔備用。

七、選好已經做好的 excel檔。下一步就是把格式對齊、連連看

八、各位可以看見。前三個字段,是資料庫撈出來的原始資料。   後面三個字段,是「資料轉換」後的成果。

完成後,執行。就可以看看excel檔裡面,有沒有抓到「轉換後」的資料。

比較看看前後兩個字段,前面的是「日期時間」。

後面的日期已經被轉換成「時間」而已。

我相信許多朋友自己寫程式,定時執行也能作的跟這一樣好。

但ssis與dts這些東西,對於大量資料的轉換、搬移,的確是滿好用的。

做出的效果也很快。對於這些 dirty job,有了工具輔助,讓我們能少寫一點程式也不賴。

最近因為舊系統要公升級,sql 2000的dts要轉到sql 2005 ssis,所以被迫學這些東西。

ssis教程

sql server integration services (ssis) 提供一系列支援業務應用程式開發的內建任務、容器、轉換和資料介面卡。您無需編寫一行**,就可以建立 ssis 解決方案來使用 etl 和商業智慧型解決複雜的業務問題,管理 sql server 資料庫以及在 sql server 例項之間複製 sql server 物件。

webcast找ssis

ssis是microsoft sql server 2005 integration services的簡稱,是生成高效能資料整合解決方案(包括資料倉儲的提取、轉換和載入 (etl) 包)的平台。

integration services 包括用於生成和除錯包的圖形工具和嚮導;用於執行工作流函式(如 ftp 操作)、執行 sql 語句或傳送電子郵件的任務;用於提取和載入資料的資料來源和目標;用於清理、聚合、合併和複製資料的轉換;用於管理 integration services 的管理服務 integration services 服務;以及用於對 integration services 物件模型程式設計的應用程式程式設計介面 (api)。

etletl,extraction-transformation-loading的縮寫,中文名稱為資料提取、轉換和載入

ssis的全稱是sql server integration service, 其前身是隨sql server 7.0而發布的dts

(data transformation service),後改名為integration service。 它和sql server的另兩個元件: as

(analysis service)和rs(reporting service)組成了完整的商務智慧型平台,覆蓋了bi的整個生命週期,

從最開始的資料清洗、整合,到中間的多維分析和資料探勘,再到最後的報表服務。 當然,

微軟bi平台元件並不僅如此,還有些前端工具放在office產品中,如proclarity等。

bi的組成:

ssis->as->rs

常見的幾種ETL工具

etl資料抽取工具 國外 1.datastage 點評 最專業的etl工具,不菲,使用難度一般 2.informatica 點評 專業程度如datastage旗鼓相當,似乎比datastage便宜。informatica powercenter 8.6.1 for win 32bit informa...

關於ETL工具的思考

閱讀 通常認為etl 就是資料抽取,轉換,載入的過程,完全正確.就像資料庫就是儲存和管理資料的工具一樣,然而資料庫並不全部是資料的儲存,最重要的是管理,即資料的併發性一致性可恢復性管理,包括一系列的程序和記憶體的管理等等.etl 工具本身也是同樣的問題.如果只是抽取轉換載入,相信通過powerbui...

ETL工具選型參考

目前主流的etl工具有kettle talend nifi datastage informatica cogons ssis等,其中nifi kettle和talend是開源軟體,其他均為商業軟體。開源軟體本身是不收費的,所以主要成本在培訓和諮詢方面,成本會維持在乙個相對較低的水平。商業軟體本身收...