BI ETL OLTP之概念熟悉

2022-03-22 00:40:35 字數 1205 閱讀 5217

最近在了解bi方面知識,因為主要關注與資料倉儲方面,有關基本概念先學習下:)

bi 確切地講,bi並不是一項新技術,它將資料倉儲(dw)、聯機分析處理(olap)、資料探勘(dm)等技術與客戶關係管理(crm)等結合起來

應用於商業活動實際過程當中,實現了技術服務於決策的目的;mark

hammond從管理的角度看待bi,認為bi是從「根本上幫助你把公司的運營資料轉化成為**值的可以獲取的資訊(或者知識),並且在恰當的時間通過恰

當的手段把恰當的資訊傳遞給恰當的人」。

etl

etl即資料抽取(extract)、轉換(transform)、裝載(load)的過程。它是構建資料倉儲的重要環節。資料倉儲是面向主題

的、整合的、穩定的且隨時間不斷變化的資料集合,用以支援經營管理中的決策制定過程。資料倉儲系統中有可能存在著大量的雜訊資料,引起的主要原因有:濫用

縮寫詞、慣用語、資料輸入錯誤、重覆記錄、丟失值、拼寫變化等。即便是乙個設計和規劃良好的資料庫系統,如果其中存在著大量的雜訊資料,那麼這個系統也是

沒有任何意義的,因為「垃圾進,垃圾出」(garbage in, garbage

out),系統根本就不可能為決策分析系統提供任何支援。為了清除雜訊資料,必須在資料庫系統中進行資料清洗。目前有不少資料清洗研究和etl研究,但是

如何在etl過程中進行有效的資料清洗並使這個過程視覺化,此方面研究不多。

聯機事務處理oltp

聯機分析處理 (olap)

的概念最早是由關聯式資料庫之父e.f.codd於2023年提出的,他同時提出了關於olap的12條準則。olap的提出引起了很大的反響,olap作為一類產品同聯機事務處理

(oltp) 明顯區分開來。

當今的資料處理大致可以分成兩大類:聯機事務處理oltp(on-line transaction

processing)、聯機分析處理olap(on-line analytical

processing)。oltp是傳統的關係型資料庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。olap是資料倉儲系統的主要應用,支

持複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。

olap是使分析人員、管理人員或執行人員能夠從多角度對資訊進行快速、一致、互動地訪問,從而獲得對資料的更深入了解的一類軟體技術。olap的目標是滿足決策支援或者滿足在多維環境下特定的查詢和報表需求,它的技術核心是"維"這個概念。 

接觸之,熟悉之,打破之

接觸之,熟悉之,打破之 拿破崙小時候就是孩子王,不管同夥伴們玩什麼遊戲,它總是贏家。同時,它更善於改變遊戲規則,以便能夠發揮他自己的優勢。如果能夠成為遊戲規則的左右者,那麼,在當今商戰中必定是最大的贏家。我們處在乙個有著各種各樣遊戲規則的大環境中,每時每刻都要面對不同的遊戲規則,轉換不同的角色,讓自...

熟悉訓練之string基礎操作

string 專項練習 include include include using namespace std intmain cout begin it str.end it puts str.insert str.size mia san mia 在字串長度下標處開始,插入新的字串 cout e...

功能測試之熟悉測試流程

1.1 步驟 1 了解業務特性 是做什麼的 2 了解使用者和角色 給誰做 3 了解組織架構圖 模組有哪些 4 了解技術棧 用了什麼技術 2.2 組織架構圖 啥你要tpshop組織架構圖?給你看前面的,不要偷偷看屁屁哦。2.1 需求評審 需求評審,簡單來說就開會,再簡單來說就是鬥地主 產品經理是地主,...