雲儲存技術

2021-10-01 05:49:34 字數 3698 閱讀 1716

10.1.1 儲存組網形態

儲存歷史:

儲存的分類:

10.1.2 raid

raid 0

striped disk array without fault tolerance( 沒有容錯設計的條帶磁碟陣列,以條帶形式將raid陣列的資料均勻分布在各個陣列中。

總容量=(磁碟數量)*(磁碟容量)

raid 1

以映象作為冗餘手段,虛擬磁碟中的資料有多個拷貝,放在成員磁碟上。

總容量=(磁碟數量 / 2)*(磁碟容量)

raid 3

以xor校驗為冗餘方式,使用專門的磁碟存放校驗資料, 虛擬磁碟上的資料塊被分為更小的資料塊並行傳輸到各個成員物理磁碟上 ,同時計算出xor校驗資料存放到校驗磁碟上。

總容量=(磁碟數量 -1)*(磁碟容量)

raid 5

以xor檢驗為冗餘方式,校驗資料均勻分布在各個資料磁碟上,對各個資料磁碟的訪問為非同步操作。

raid 6

能夠允許兩顆磁碟同時失效的raid級別系統。

總容量=(磁碟數 -2)*(磁碟容量)

raid 10

將映象和條帶組合起來的組合raid級別,最低一級是raid1映象對,第二級為raid0。

總容量=(磁碟數 /2)*(磁碟容量)

raid 50

將映象和條帶組合起來的組合raid級別,最低一級是raid5映象對,第二級為raid0。

總容量=(磁碟數 -1)*(磁碟容量)

10.1.3 磁碟熱備

10.1.4 快照

快照是某乙個時間點上的邏輯卷的映像,邏輯上相當於整個快照源卷(base volume)的副本。可將快照卷分配給任何一台主機。快照卷可讀取、寫入或複製,需要相當於快照源卷(base volume)20%的額外空間,主要用途是利用少量儲存空間儲存原始資料的備份,檔案、邏輯卷恢復及備份、測試、資料分析等。

10.1.5 資料分級儲存的概念

分級儲存具有以下有點:

最大限度地滿足使用者需求。

減少總體儲存成本。

效能優化。

改善資料可用性。

資料遷移對應用透明。

10.2.1 分布式儲存

1. 分布式塊儲存

塊儲存將儲存區域劃分成固定大小的小塊,是傳統裸儲存裝置的儲存空間對外暴露方式。塊儲存系統將大量磁碟裝置通過scsi/sas或fc san與儲存伺服器連線,伺服器直接通過scsi/sas或fc協議控制和訪問資料。塊儲存方式不存在資料打包/解包過程,可提供更高的效能。

技術特點:

(1)基於傳統的磁碟陣列實現,對外提供標準的fc或iscsi協議。

(2)資料訪問特點:延遲低、頻寬較高,但可擴充套件性差。

(3)應用系統跟儲存系統耦合程度緊密。

(4)以捲的方式掛載到主機作業系統後,可格式話檔案系統,或以裸資料或檔案系統的方式作為資料庫的儲存。

2. 分布式檔案儲存

檔案儲存以標準檔案系統介面形式向應用系統提供海量非結構化資料儲存空間。分布式檔案系統把分布在區域網內各個計算機上的共享資料夾集合成乙個虛擬共享資料夾,將整個分布式檔案資源以統一的試圖呈現給使用者。 它對使用者和應用程式遮蔽各個節點計算機底層檔案系統的差異,提供使用者方便的管理資源的手段或統一的訪問介面。

技術特點:

(1)提供nfs/cifs/posix等檔案訪問介面

(2)協議開銷較高、響應延遲較塊儲存長

(3)應用系統跟儲存系統的耦合程度中等

(4)儲存能力和效能水平擴充套件

3. 分布式物件儲存

物件儲存為海量非結構化資料提供key-value這種通過鍵-值查詢資料檔案的儲存模式,提供了基於物件的訪問介面,有效地合併了nas和san的儲存結構優勢,通過高層次的抽象具有nas的跨平台共享資料和基於策略的安全訪問優點,支援直接訪問具有san的高效能和交換網路結構的可伸縮性。

物件儲存系統的組成部分:

(1)物件(object):物件儲存的基本單元

(2)物件儲存裝置(osd):物件儲存系統的核心

(3)檔案系統:檔案系統對使用者的檔案操作進行解釋,並在元資料伺服器和物件儲存裝置間通訊,完成所請求的操作。

(4)元資料伺服器(mds):為客戶端提供元資料

(5)網路連線:物件儲存系統的重要組成部分。

物件特點:

(1)物件是介於檔案和塊之間的一種抽象,具有唯一的id識別符號。物件提供類似檔案的訪問方法,如建立、開啟、讀寫和關閉等。

(2)每個物件是一系列有序位元組的集合,是資料和資料屬性集的綜合體。資料報括自身的元資料和使用者資料。資料屬性可以根據應用的需求進行設定,包括資料分布、服務質量等。

(3)物件維護自己的屬性,簡化了儲存系統的管理任務,增加了靈活性。

(4)物件分為根物件,組物件和使用者物件。

4. 分布式表儲存

表儲存系統用來儲存和管理結構化/半結構化資料,向應用系統提供高可擴充套件的表儲存空間,包括交易型資料庫和分析型資料庫。

交易型資料特點:

每次更新或查詢少量記錄,併發量大,響應時間短

分析型資料特點:

更新少,批量匯入,每次針對大量資料進行處理,併發量小

10.2.2 儲存虛擬化

儲存虛擬化的分類:

虛擬化的目的主要有3個:抽象、隱藏、隔離。

基於主機的儲存虛擬化

基於網路的儲存虛擬化

基於儲存裝置的儲存虛擬化

10.3.1 公有雲的雲儲存產品

10.3.2 私有雲的雲儲存產品10.4.1 物件儲存架構

物件儲存由物件儲存伺服器(oss)、物件儲存裝置(osp)、元資料伺服器(mds)、物件儲存系統客戶端(client)4部分組成。

10.4.2 傳統塊儲存與物件儲存

在傳統的儲存系統中用檔案或塊作為基本的儲存單位,塊裝置要記錄每個儲存資料塊在裝置上的位置;而在物件儲存系統中,物件是資料儲存的基本單元,object維護自己的屬性,從而簡化了儲存系統的管理任務,增加了靈活性,在儲存裝置中,所有物件都有乙個物件標識,通過物件標識osd命令訪問該物件。

10.4.3 物件

物件是系統中資料儲存的基本單位,每個object是資料和資料屬性集的綜合體,資料屬性可以根據應用的需求進行設定,包括資料分布、服務質量等。

10.4.4 物件儲存系統的組成

物件根物件:最高層次的物件,每個裝置上只有乙個,指的就是osd本身。

分割槽物件:根物件之下的物件,每個裝置上可以有多個,包含具有相同的安全性和空間管理特性的所有物件。

集合物件:分割槽物件之下的物件,每個裝置上可以有多個,包含一組具有相同屬性的使用者物件。

使用者物件:集合物件之下的物件,每個裝置上可以有多個,由客戶端或者應用通過scsi命令建立的物件。

osd每個osd都是乙個智慧型裝置,具有自己的儲存介質、處理器、記憶體以及網路系統等,負責管理本地的物件,是物件儲存系統的核心。

osd提供3個主要功能:

(1)資料儲存。

(2)智慧型分布。

(3)每個物件元資料的管理。

檔案系統

mdsmds控制客戶端與osd物件的互動,主要提供以下幾個功能:

(1)物件儲存訪問。

(2)檔案和目錄訪問管理。

(3)客戶端cache一致性。

儲存虛擬化

固態硬碟

重複資料刪除

soho儲存

robo儲存

語義化檢索

儲存智慧型化

雲儲存技術

1.什麼是雲計算?雲計算是以虛擬化技術為基礎,以網路為載體提供基礎架構 平台 軟體等服務為形式,整合大規模可擴充套件的計算 儲存 資料 應用等分布式計算資源進行協同工作的超級計算模式 雲計算主要特徵是虛擬化技術 動態可擴充套件 按需部署 高靈活性 高可靠性 高價效比,其相關計算形式包括分布式計算 網...

雲儲存技術與雲儲存服務

雲計算體系架構之雲儲存技術與雲儲存服務 和上一節介紹的雲安全一樣,雲儲存也有兩個不同層面的含義。為實現雲計算系統提供的儲存技術和支撐,例如,第6章中已經介紹過的網路檔案系統 分布式檔案系統和高效能併發檔案系統 hfps 等技術。雲儲存的兩個層面是作為雲計算支撐的儲存計算,主要涉及分布式儲存 如分布式...

雲儲存技術與雲儲存服務

雲計算體系架構之雲儲存技術與雲儲存服務 和上一節介紹的雲安全一樣,雲儲存也有兩個不同層面的含義。為實現雲計算系統提供的儲存技術和支撐,例如,第6章中已經介紹過的網路檔案系統 分布式檔案系統和高效能併發檔案系統 hfps 等技術。idcmountain喜歡用staas storage as a ser...