資料虛擬化 基礎概念

2022-06-30 14:39:14 字數 833 閱讀 7032

資料儲存型別:

資料倉儲:乙個支援管理決策程序的面向主題的,整合的,隨時間變化的,永久儲存的資料集合;

資料集市:資料倉儲的子集,用於提高部分使用者的分析效能;

資料中轉區:資料暫存區.資料流**資料來源->資料中轉區->資料倉儲.用於簡化資料倉儲的資料來源整合規則;同時便於資料倉儲進行資料清洗,轉換;

運算元據儲存:資料流**資料來源->資料中轉區->運算元據儲存->資料倉儲.整合變化的最新資料,減少資料倉儲的資料變化;

資料湖:乙個以資料原始格式儲存資料的儲存庫,使用時再決定具體結構;

通過這些儲存方式進行資料分析方式的方式:

拷貝

etlelt

問題:流程長,時效性差,非操作型實時分析

資料虛擬化:一種給資料使用者提供乙個統一,抽象,封裝的檢視,來查詢,操作異構資料儲存集合中資料的技術.

核心:封裝,抽象,資料聯合(按需整合),資料整合(合併,轉換,清洗)

資料虛擬化服務模型:

設計模型:用於資料定義

元資料規範:轉換,清洗,整合規範

執行模型:資料使用者訪問虛擬化層使用的模型,核心功能:排程程式,儲存引擎,快取管理,查詢優化等;

資料流轉流程:

請求方->虛擬化服務api->虛擬表->對映->封裝表->源表
源表:時間多源資料的物理儲存表

封裝表:虛擬化層對於源表資料進行封裝所形成的表,也被稱為檢視

虛擬表:顯示資料與封裝表對映所形成的表,是具體呈現給請求方的表結構;

元資料元資料:用於描述資料的資料.便於資料使用定義的資料.可以理解為標籤;

KVM QEMU虛擬化概念

概念 kvm,即kernel basedvirtual machine,由redhat開發,是一種開源 免費的虛擬化技術。對企業來說,是一種可選的虛擬化解決方案。定義 基於linux核心的虛擬機器 解釋 kvm xen hyper v 這類 hypervisor 是為商用而生的,他們本身就是一種 o...

虛擬化技術簡單概念

1 引入虛擬化技術的必要性 2 虛擬化的概念 虛擬化是指通過虛擬化技術將計算機虛擬為多台邏輯計算機。在一台計算機上同時執行多個邏輯計算機,每個邏輯計算機可執行不同的作業系統,並且應用程式都可以相互在獨立的空間內執行而互不影響。從而顯著提高計算機的工作效率。3 簡單虛擬化示意圖 虛擬化前 虛擬化後 4...

虛擬化技術基礎

1965年,ibm公司開發出世界上第乙個虛擬機器 system360。1980年,ibm繼續推出了system370,標誌著虛擬化技術的成熟。以上都是大型機上的虛擬機器。之後,隨著硬體的發展,虛擬化技術在小型機上也得到了應用。1997年,disco系統實現了共享記憶體的大規模處理器系統上執行桌面作業...