教你用資料倉儲優化資料分析(上)

2021-09-17 21:03:34 字數 1140 閱讀 1241

其實在資料分析工作中,資料處理所用的時間佔據資料分析工作所用時間的七成以上,看到這個比例相信大家會大吃一驚。由此我們可以看出,資料處理是乙個十分重要的工作,,其目的就是為了提高分析效率和質量,所以說使用資料倉儲進行資料分析是乙個很好的選擇,那麼到底怎麼用資料倉儲優化資料分析呢?下面我們就給大家介紹一下這些知識。

那麼什麼是資料倉儲呢?其實資料倉儲是乙個面向主題的、整合的、相對穩定的、反應歷史變化的資料集合。那資料分析又是幹什麼的呢?資料分析的作用就是基於業務需求,結合歷史資料,利用相關統計學方法和某些資料探勘工具對資料進行整合、分析,並形成一套最終解決某個業務場景的方案就是資料分析的過程。其中資料分析工作的流程就就是業務理解,資料理解,資料準備,建模,評估,部署。為什麼這麼做呢?這是因為資料分析對資料的質量和格式要求比較高,所以說對資料的理解也必須非常深刻,使得資料契合業務需求也要一定的過程,這樣,根據我們的經驗,在整個資料分析流程中,用於資料處理的時間往往要佔據70%以上。因此,如何高效、快速地進行資料理解和處理,往往決定了資料分析專案的進度和質量。而資料倉儲具有整合、穩定、高質量等特點,基於資料倉儲為資料分析提供資料,往往能夠更加保證資料質量和資料完整性。利用資料倉儲進行資料分析無疑能夠給我們的工作帶來很大便利。

那麼具體怎麼操作才能夠實現上述的結果呢?我們首先需要了解資料倉儲的優勢,資料倉儲需要從三個方面提公升資料分析效率。第一就是資料理解,第二就是資料質量,第三就是資料跨系統關聯。

那麼什麼是資料理解呢?我們在前面說了,資料倉儲是面向主題的,所以其自身與業務結合就相對緊密和完善,更方便資料分析師基於資料理解業務。一般來說,整個資料倉儲被分為十大主題,而金融行業所有的資料、業務都會被這十大主題涵蓋。當我們需要找某個信用卡賬戶資訊時,就需要我們去協議主題,需要某次存款交易資訊時就去探尋事件主題,需要某個理財產品相關資訊就挖掘產品主題,用這樣的方式,我們就會發現十大主題將整個金融行業的資料劃分得非常清晰,我們需要做的就是拿到業務需求,理解資料倉儲的模型,資料理解也就變得十分簡單了。

在這篇文章中我們給大家介紹了資料分析工作中使用資料倉儲優化資料分析工作的內容,具體給大家介紹了資料倉儲的概念以及資料倉儲的優勢。當然,由於篇幅原因我們只給大家介紹了資料倉儲一部分的內容,我們會在後面的文章中繼續為大家介紹資料質量和資料跨系統關聯的知識。

教你用資料倉儲優化資料分析(下)

首先我們給大家介紹一下資料倉儲的資料質量,其實資料分析要求資料是乾淨 完整的,而資料倉儲最核心的一項工作就是etl過程,流程就是資料抽取 資料清洗 資料轉換 資料載入。而資料倉儲已經對源系統的資料進行了業務契合的轉換,以及髒資料的清洗,這就為資料分析的資料質量做了較好的保障。所以說資料質量是提高資料...

教你用資料倉儲優化資料分析(下)

首先我們給大家介紹一下資料倉儲的資料質量,其實資料分析要求資料是乾淨 完整的,而資料倉儲最核心的一項工作就是etl過程,流程就是資料抽取 資料清洗 資料轉換 資料載入。而資料倉儲已經對源系統的資料進行了業務契合的轉換,以及髒資料的清洗,這就為資料分析的資料質量做了較好的保障。所以說資料質量是提高資料...

如何使用資料倉儲優化資料分析?

在我們日常資料分析工作中,資料處理的時間佔據了一大半,相信這是大家做夢也沒想到的事情吧?如果我們要想提高資料分析的效率,我們就得熟悉地運用一些工具,比如說資料倉儲。在這篇文章中我們就給大家介紹一下資料倉儲的工作方法,希望這篇文章能夠更好地幫助大家處理各類資料分析工作。說到資料倉儲,大家可能不太清楚,...