資料倉儲基礎

2021-07-15 03:23:45 字數 1765 閱讀 7632

資料庫(針對oltp)  :ol即online,t即transaction事物,即processing

處理。

即操作性型資料庫,增刪改查頻繁,但是操作的資料量小。

資料倉儲(針對

olap):ol即online,a即analytical分析,即processing

處理。

即分析型資料庫,查詢頻繁,插入較頻繁,操作乙個集合。

資料倉儲是面向主題的,綜合的,不同時間的,穩定的資料集合。用以支援經營管理過程中的決策制定過程。

傳統資料庫應用按照業務處理流程來組織資料,目的在於提高處理的速度。主題是在乙個較高層次將資料進行歸類的標準,滿足該領域分析決策的需要。

例:將的資訊存在客戶主題域,將賬務資訊存在賬務主題域。

資料倉儲中的資料來自於多個應用系統,不僅要統一原始資料中的所有矛盾,如同名異義,異名同義等,而且要將這些資料統一到資料倉儲的資料模式上來。

例:同名異義:相同欄位中資料代表的意思可能不同,比如***字段可能是0代表女,1代表男;也有可能是1代表女0代表男。

異名同義:資料可能抽取自多張表,但是表中相同意思的字段可能不同。比如同樣是學生名在字段中可能是studentname或者username。

表統一:可能是多張表抽取來合成一張表,也可能一張表拆分成多張表。(經過處理,關聯,轉換來的)

資料倉儲隨著時間變化要不斷的增加新的內容。由於資料倉儲常常作趨勢**分析,所以需要保留足夠長的歷史資料。

操作型資料庫,保留歷史資料是為了回退,比如客戶**回退等。而不是為了分析

分析型資料庫,保留足夠長時間的歷史資料是為了分析。資料量是操作型資料庫的幾倍,幾十倍甚至更多。這樣才能做趨勢分析。

資料倉儲的這種穩定性指的是資料倉儲中的資料主要供企業決策分析之用,決策人員所涉及的資料操作主要是資料查詢,一般不對資料進行修改。只會不斷的新增資料,除非元資料說資料錯了。

運算元據庫update一次在資料倉儲中體現為兩條。

例:昨天有10元,今天消費5元,資料庫資料狀態為5元,資料倉儲中存昨天有10元,今天有5元。

資料庫資料倉儲

系統目的

支援日常操作

支援管理需求、獲取資訊

使用人員

辦事員、dba、資料庫專家

經理、管理人員、分析專家

資料內容

當前資料

歷史資料、派生資料

資料特點(粒度)

細節的綜合的或提煉的

資料庫設計

基於er圖

基於星型模式、雪花模式

抽取:從資料來源抽取所需的資料。

轉換:對抽取出的資料進行一系列的轉換,以滿足資料倉儲主題資料內容與質量上的要求。

裝載:將轉換後的資料裝載入資料倉儲

資料來源是資料倉儲系統的基礎,是整個系統的資料源泉。通常包括企業內部資訊和外部資訊。

資料的儲存與管理是整個資料倉儲的核心。在現有的各業務系統的基礎上,對資料進行抽取,清理,並有效整合,按照主題進行重新組織,最終確定資料倉儲的物理儲存結構,同時組織儲存資料倉儲元資料

對分析需要的資料按照多維資料模型進行再次重組,以支援使用者多角度多層次的分析,發現資料趨勢。

前端工具主要包括各種資料分析工具,報表工具,查詢工具,資料探勘工具以及各種基於資料倉儲或資料集市開發的應用。

粒度是指資料倉儲中資料單元的詳細程度和級別。資料越詳細,粒度就越小級別就越低;粒度越大級別就越高,粒度越大。

例:福州地區總人數(大),福州各個地區人數(小)

資料集市(datamart)是完整的資料倉儲的乙個邏輯子集。

例:福建省的賬務是乙個資料倉儲,福州市的業務就是乙個資料集市

資料倉儲基礎內容

將多資料來源中的資料整合一起,進行資料分析,此時資料倉儲對多種業務資料進行篩選和整合,可以用於資料分析 資料探勘 資料包表。時效性t 1.db 各種資料來源,如mysql,mongodb等資料庫 etl 抽取 extract 互動轉換 transform 載入 load 的過程。操作工具可以簡單的編...

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...