ETL學習筆記之一 ETL是什麼?

2021-04-13 22:34:55 字數 1201 閱讀 4980

對於資料倉儲以及etl的知識,我基本上是個門外漢。一切都得從頭開始,記個筆記,方便自已了解學習進度。

首先,我們來了解最基本的定義:

嗯,也有人將etl簡單稱為資料抽取。至少在未學習之前,領導告訴我的是,你需要做乙個資料抽取的工具。

其實呢,抽取是etl中的關鍵環節,顧名思義,也就將資料從不同的資料來源中抓取(複製)出來。

太簡單了!

上面的解釋無首無尾,有點象能讓你吃飽的第七個燒餅,

仔細一想,抽取是不可能單獨存在,我們需要將與之關聯的一些其它環節拿出來。

於是,得到etl的定義:

將資料抽取(extract)、轉換(transform)、清洗(cleansing)、裝載(load)的過程。

好的,既然到了這乙個層次,我們完全會進一步展開聯想,引出上面這個抽象事件的前因後果,

抽取的源在**?

裝載的目的又是什麼呢?

抽取源:大多數情況下,可以認為是關聯式資料庫,專業一點,就是事務處理系統(oltp)。當然,廣義一點,可能會是其它資料庫或者是檔案系統。

目的地:ok,我們希望是資料倉儲。資料倉儲是啥?在學習之前,它對我來說是個抽象的怪物,看過一些簡單的資料之後,才了解這個怪物一點都不怪。堆積用來分析的資料的倉庫。是了,是用來分析的,於是,它區別於oltp中的資料儲存。

然後,我們來看看為什麼要etl?

在我看來,有兩個原因。

一:效能  將需要分析的資料從oltp中抽離出來,使分析和事務處理不衝突。咦?這不是資料倉儲的效果嗎?是了,

資料倉儲,大多數情況下,也就是通過etl工具來生成地。

二:控制  使用者可以完全控制從oltp中抽離出來的資料,擁有了資料,也就擁有了一切。

嗯,olap分析,資料探勘等等等……。

最後,總結一下,

從資料上看,etl是一門大學問,對於大學問,實在有些怕怕,所以,我覺得應該停下來想一想,下一步我該幹點啥?

嗯,時不我待,我沒有辦法一切從頭開始,

是了,從應用出發,看看現在工作中,最急需的是什麼?

鴨子要變成一盤菜,並不是舉手將之置於油鍋之勞。

ok,要將生公尺變為熟飯,鴨子放上**,一堆廢話之後,我得先看看廚房裡都有了一些啥? 

ETL學習筆記之一 ETL是什麼?

對於資料倉儲以及etl的知識,我基本上是個門外漢。一切都得從頭開始,記個筆記,方便自已了解學習進度。首先,我們來了解最基本的定義 嗯,也有人將etl簡單稱為資料抽取。至少在未學習之前,領導告訴我的是,你需要做乙個資料抽取的工具。其實呢,抽取是etl中的關鍵環節,顧名思義,也就將資料從不同的資料來源中...

ETL學習筆記之一 ETL是什麼?

color blue 對於資料倉儲以及etl的知識,我基本上是個門外漢。一切都得從頭開始,記個筆記,方便自已了解學習進度。首先,我們來了解最基本的定義 嗯,也有人將etl簡單稱為資料抽取。至少在未學習之前,領導告訴我的是,你需要做乙個資料抽取的工具。其實呢,抽取是etl中的關鍵環節,顧名思義,也就將...

ETL 學習之一

etl有時候顯得很神秘,其實大部分專案都有用到,只要有報表展示,就是乙個etl過程。首先,我們來了解最基本的定義 嗯,也有人將etl簡單稱為資料抽取。至少在未學習之前,領導告訴我的是,你需要做乙個資料抽取的工具。其實呢,抽取是etl中的關鍵環節,顧名思義,也就將資料從不同的資料來源中抓取 複製 出來...