第七章 資料管理技術的發展

2021-10-07 17:11:59 字數 1483 閱讀 3896

1.資料模型是資料庫系統的核心和基礎。

以資料模型的發展為主線,資料庫技術可分為第一代的網狀,層次結構資料庫系統,

第二代的關聯式資料庫和第三代的物件導向資料庫

2.支援關係資料模型的資料庫是第二代資料庫

3.第三代資料庫的基本特徵

(1)應支援資料管理,物件管理和知識管理

(2)必須保持或繼承第二代資料庫系統的技術

(3)必須對其他系統開放

4.資料庫技術與人工智慧技術相結合出現了演繹資料庫,知識庫和主動資料庫。

5.還有一些與其他技術相結合出現的資料庫。

1.資料倉儲的建立將操作型處理和分析型處理區分開來。

2.資料倉儲是面向主題的,整合的,穩定的,隨時間變化的資料集合,用於支援管理和決策的過程。

3.資料倉儲的主要特徵

(1)面向主題

資料倉儲中的資料是按照主題開組織的

(2)整合性

(3)非易失性

(4)時變性

4.資料倉儲的三個重要概念

(1)粒度

粒度是設計資料倉儲的乙個重要方面

粒度是指資料倉儲的資料單位中儲存資料的細化或綜合程度的級別,細化程度越高,粒度越小,反之亦然。

(2)分割

分割是將資料分散到各自的物理單元中,一邊能分別處理,以提高處理資料的效率。

資料分割後的單元稱之為切片

(3)維

維是人們觀察事物的特定角度,是考慮問題時的一類屬性。

2.資料探勘

資料探勘是指從大量的,不完全的,有噪音的,模糊的,隨機的實際應用資料中發現並提取隱藏在其中的,人們事先不知道的,但是又潛在有用的資訊和知識的一種技術。

2.1 資料探勘具備的功能

(1)概念描述

(2)關聯分析

在資料探勘技術中,基於關聯規則的挖掘是應用較廣的一種方法。

(3)分類與**

(4)聚類

聚類是把資料按照相似性歸納成若干類別

(5)孤立點檢測

孤立點是指資料中與整體行為表現不一致的資料集合

(6)趨勢和演變分析

1.一般情況下,大資料是指無法在可容忍的時間內用現有資訊科技和軟,硬體工具對其進行獲取、管理和處理的資料集合。

2.大資料的特點

(1)資料量大

(2)多樣化

(3)快速化

(4)價值密度低

3.大資料處理的典型代表

(1)大資料儲存

(1.1)分布式檔案系統,著名的是hdfs,

(1.2)nosql資料管理技術

(1.2.1)鍵值儲存

(1.2.2)文件儲存

文件儲存的儲存格式可以多樣化,適合儲存系統日誌等非結構化資料

(1.2.3)列儲存

列儲存是以列為單位進行儲存資料

(1.2.4)圖儲存

圖儲存資料庫是基於圖理論構建的,使用節點,屬性和邊的概念。

(1.3)mapreduce技術

maoreduce是一種並行程式設計模型。

第七章 資料管理

記憶體管理 include include char memptr char malloc 1024 分配1k的記憶體 include include char memptr char malloc 1024 分配1k的記憶體 free memptr 釋放記憶體 linux支援虛擬記憶體,核心會將暫...

第七章 查詢技術

第7章 查詢技術 學習重點 折半查詢的過程及效能分析 二叉排序樹的插入 刪除和查詢操作 平衡二叉樹的調整方法 雜湊表的構造和查詢方法 各種查詢技術的時間效能及對比。學習難點 二叉排序樹的刪除操作 平衡二叉樹的調整方法 閉雜湊表的刪除演算法。7.1 概述 7.11 查詢的基本概念 在查詢問題中,通常將...

第七章檔案管理

為了能對乙個檔案進行正確的訪問,必須為檔案設定用於描述和控制檔案的資料結構,稱之為 檔案控制塊 fcb 檔案與檔案控制塊一一對應。把檔案控制塊的有序集合稱為檔案目錄,即乙個檔案控制塊就是乙個目錄項。通常乙個檔案目錄也被看作是乙個檔案,稱為目錄檔案。檔案管理的操作 基本資訊記錄 fcb,目錄項 方便檢...