資料倉儲ETL(二)基本概念

2021-10-09 04:58:21 字數 801 閱讀 7520

資料治理領域有一些基本名詞,資料倉儲,資料探勘,商業智慧型,資料同步,聯機計算等等,下面一起看一下專有的名詞。

資料庫,一般指支撐應用的資料庫,包括mysql,oracle,postgresql,sqlserver等關係型資料庫,也可以是mongodb,redis,hbase等非關係型資料庫。特點是保留資料的最新狀態,一般只支援檢視資料的實時狀態,而且只有最新狀態的資料,不支援資料歷史某一時刻狀態。

資料倉儲,儲存乙個或多個應用的資料庫在不同時間點的資料,方便進行資料統計,分析,挖掘,支援管理,決策的。通常要支援儲存海量的資料,並且支援在海量資料之上進行olap的統計分析。

聯機分析處理,在資料倉儲的資料之上,對資料倉儲的資料進行統計,分析,包括多維度統計分析,下鑽,上捲,切面等,提供直觀易懂的結果,支援bi元件對資料的直觀展示,輔助管理,決策。

資料探勘,在資料倉儲之上,通過資料探勘方**,在大量的資料中挖掘有價值的資料。分析資料趨勢,資料聯絡,得出科學規律。

商業智慧型,對olap資料分析,dm資料探勘的資料,給領導者,決策者進行資料直觀展示,包括圖表,地圖,資料趨勢,駕駛艙等,最終實現商業價值。

資料抽取—傳輸—載入的過程,一般指實現資料抽取,傳輸,載入的工具,用來從db,日誌,檔案等資料來源同步資料到資料倉儲。

在一張圖中反應在資料治理應用中db,olap,dw,oltp,dm,bi,etl各自位置如下。

接下來來了解各個關鍵節點使用到的技術。

(完)(^_&)

資料倉儲的基本概念

1資料倉儲 1.1概念 資料倉儲 datawarehouse 的概念是e.f.codd於1993年的一篇文章中提出的。資料倉儲的主要功能是提供企業決策支援系統 dss 或行政資訊系統 eis 所需要的資訊,它把企業日常營運中分散不一致的資料經歸納整理之後轉換為集中統一的 可隨時取用的深層資訊,這種資...

Hive資料倉儲基本概念

1.基本概念 資料倉儲的目的是構建面向分析的整合化資料環境,為企業提供決策支援。資料倉儲是存資料的,企業的各種資料都往裡面存,主要目的是分析有效資料,後續會基於它產出供分析挖掘的資料。2.資料倉儲的分層架構 恢復內容開始 1.基本概念 資料倉儲的目的是構建面向分析的整合化資料環境,為企業提供決策支援...

資料倉儲 ETL

etl這個過程可以說下整套資料流程下來最枯燥也是最耗時間的流程,但是也是最重要的。很多時候我們不缺資料,缺的是好資料,而etl的結果則導致下游成員的資料質量。etl是貫穿數倉的整個環節,不是說只是在某乙個地方才使用的。etl工作的實質就是從各個資料來源提取資料,對資料進行轉換,並最終載入填充資料到資...