資料倉儲與ETL的實現過程

2021-08-31 10:35:08 字數 408 閱讀 5070

當我們了解了什麼事bi(商業智慧型)以及資料倉儲和etl的概念後,我們就要程序相關操作,

etl過程:是 資料從資料來源向目標資料倉儲抽取(extract)、轉換(transform)、裝載(load)的過程。

構建資料倉儲的重要一環,使用者從資料來源抽取出所需的資料,經過資料清洗,最終按照預先定義好的資料倉儲模型,將資料載入到資料倉儲中去。

抽取:將資料從各種原始的業務系統中讀取出來。

轉換:按照預先設計好的規則將抽取得資料進行轉換、清洗,以及處理一些冗餘、歧義的資料,使本來異構的資料格式能統一起來。

裝載:將轉換完的資料匯入到資料倉儲中。

注意 :對於healthdw.bak 採用 sqlserver 2008 進行還原資料庫操作。

對於 wangshouori.mdf 採用 資料庫附加形式。

資料倉儲 ETL

etl這個過程可以說下整套資料流程下來最枯燥也是最耗時間的流程,但是也是最重要的。很多時候我們不缺資料,缺的是好資料,而etl的結果則導致下游成員的資料質量。etl是貫穿數倉的整個環節,不是說只是在某乙個地方才使用的。etl工作的實質就是從各個資料來源提取資料,對資料進行轉換,並最終載入填充資料到資...

python實現資料倉儲ETL

通常講的資料倉儲etl,可以分為etl和elt兩種實現方式.elt是在載入到倉庫後,再做資料轉換.etl 是在載入之前完成轉換,落地的資料就是轉換後的樣子了.elt多使用在mpp架構的資料倉儲平台上,比如teradata,greenplum,主要考慮點是,mpp資料倉儲資料處理能力強,在載入後再做轉...

資料倉儲系列之ETL過程和ETL工具

上週因為在處理很多資料來源整合的事情一直沒有更新系列文章,在這週後開始規律更新。在維度建模中我們已經了解資料倉儲中的維度建模方法以及基本要素,在這篇文章中我們將學習了解資料倉儲的etl過程以及實用的etl工具。一 什麼是etl?構建資料倉儲的核心是建模,在資料倉儲的構建中,etl貫穿於專案始終,它是...