資料倉儲自動化,視覺化建設

2021-09-24 18:34:24 字數 735 閱讀 4505

概述

在資料倉儲建設中,特別是在多個開發人員的過程中,經常會遇到以下問題:

是不是可以建乙個資料倉儲平台,把開發流程、規範、標準進行統一管理,基於元資料驅動的自動化、視覺化的平台。

平台架構 

主要包括系統管理、業務匯流排管理、維度模型管理、作業管理、應用管理、元資料管理、資料標準管理等模組。 

系統管理:這個模組主要管理各個系統的資訊包括源系統資訊、資料倉儲系統、作業排程系統、報表系統。通過源系統資訊可以自動匯入源系統的元資料,為維度建模和檢查資料結構變化提供資料。

業務匯流排管理:每個源系統都有多個業務過程,每個業務過程都會涉及多個維度實體。業務過程和維度實體組成匯流排結構,統一管理每個源系統的業務匯流排。

維度模型管理:根據命名規範進行物理模型和對映關係設計,保證命名的統一。可以自動生成建表指令碼,自動在資料倉儲執行指令碼,同時會生成乙個詞庫,方便以後的模型設計。

作業管理:根據查詢指令碼和程式模板自動生成etl程式,自動生成作業的依賴關係。

保證程式**的統一,規範。

應用管理:統一管理報表、介面業務元資料資訊。

資料標準管理:統一管理**命名規範、資料型別對映關係、常用單詞庫、指標定義、etl程式模板。

資料視覺化 什麼是資料視覺化

資料對應的英文單詞是data,從資訊獲取的角度看,資料是對目標觀察和記錄的結果,是現實世界中的時間 地點 事件 其他物件或概念的描述。不同學者對資料的作用也給出不同的定義,大致分為以下3類 視覺化對應的兩個英文單詞 visualize和visualization。visualize是動詞,描述 生成...

資料視覺化

資料視覺化主要旨在借助於圖形化手段,清晰有效地傳達與溝通資訊。但是,這並不就意味著資料視覺化就一定因為要實現其功能用途而令人感到枯燥乏味,或者是為了看上去絢麗多彩而顯得極端複雜。為了有效地傳達思想概念,美學形式與功能需要齊頭並進,通過直觀地傳達關鍵的方面與特徵,從而實現對於相當稀疏而又複雜的 資料集...

資料視覺化

畫餅圖 def print pie input data res for each in input data res each res.get each,0 1 label x for j in res fig plt.figure plt.pie x,labels label,autopct 1...