雲計算與大資料 第十章

2021-10-01 05:12:31 字數 2623 閱讀 3737

直接連線儲存:儲存裝置是通過電纜(通常是scsi介面電纜)直接連到伺服器的。 i/o請求直接傳送到儲存裝置

網路 連線/附加/附屬 儲存:儲存裝置連線到現有的網路上,提供資料和檔案服務,應用伺服器直接把file i/o請求通過lan傳給遠端nas中的檔案系統,nas中的檔案系統發起block i/o到與nas直連的磁碟。主要面向高效的檔案共享任務,適用於那些需要網路進行大容量檔案資料傳輸的場合。

儲存區域網路:它是乙個用在伺服器和儲存資源之間的、專用的、高效能的網路體系。它為實現大量原始資料的傳輸而進行了專門的優化。

raid0 :striped disk array without fault tolerance( 沒有容錯設計的條帶磁碟陣列,以條帶形式將raid陣列的資料均勻分布在各個陣列中。 總容量=(磁碟數量)(磁碟容量)

raid 1 :以映象作為冗餘手段,虛擬磁碟中的資料有多個拷貝,放在成員磁碟上。

總容量=(磁碟數量 / 2)(磁碟容量)

raid3 :(條帶分布+專用盤校驗):以xor校驗為冗餘方式,使用專門的磁碟存放校驗資料, 虛擬磁碟上的資料塊被分為更小的資料塊並行傳輸到各個成員物理磁碟上 ,同時計算出xor校驗資料存放到校驗磁碟上。

總容量=(磁碟數量 -1)(磁碟容量)

raid5: (條帶技術+分布式校驗):以xor檢驗為冗餘方式,校驗資料均勻分布在各個資料磁碟上,對各個資料磁碟的訪問為非同步操作。

raid6:能夠允許兩顆磁碟同時失效的raid級別系統。 總容量=(磁碟數 -2)(磁碟容量)

raid10: (映象陣列條帶化):將映象和條帶組合起來的組合raid級別,最低一級是raid1映象對,第二級為raid0。

總容量=(磁碟數 /2)(磁碟容量)

raid50定義:將映象和條帶組合起來的組合raid級別,最低一級是raid5映象對,第二級為raid0。

總容量=(磁碟數 -1)(磁碟容量)

目前業界兩種主流雲儲存技術解決方案:基於虛擬化技術和分布式儲存。

分布式儲存:

分布式塊儲存

分布式檔案儲存

分布式物件儲存

分布式表儲存

儲存虛擬化:

基於主機的儲存虛擬化

基於網路的儲存虛擬化

基於儲存裝置的儲存虛擬化

在傳統的儲存系統中用檔案或塊作為基本的儲存單位,塊裝置要記錄每個儲存資料塊在裝置上的位置;而在物件儲存系統中,物件是資料儲存的基本單元,object維護自己的屬性,從而簡化了儲存系統的管理任務,增加了靈活性,在儲存裝置中,所有物件都有乙個物件標識,通過物件標識osd命令訪問該物件。

物件是系統中資料儲存的基本單位,每個object是資料和資料屬性集的綜合體,資料屬性可以根據應用的需求進行設定,包括資料分布、服務質量等。

osd提供三個主要功能:

(1) 資料儲存。osd管理物件資料,並將它們放置在標準的磁碟系統上,osd不提供塊介面訪問方式,client請求資料時用物件id、偏移進行資料讀寫。

(2) 智慧型分布。osd用其自身的cpu和記憶體優化資料分布,並支援資料的預取。由於osd可以智慧型地支援物件的預取,從而可以優化磁碟的效能。

(3) 每個物件元資料的管理。osd管理儲存在其上物件的元資料,該元資料與傳統的inode元資料相似,通常包括物件的資料塊和物件的長度。而在傳統的nas系統中,這些元資料是由檔案伺服器維護的,物件儲存架構將系統中主要的元資料管理工作由osd來完成,降低了client的開銷。

檔案系統對使用者的檔案操作進行解釋,並在元資料伺服器和osd間通訊,完成所請求的操作。

現有的應用對資料的訪問大部分都是通過posix檔案方式進行的,物件儲存系統提供給使用者的也是標準的posix檔案訪問介面。

介面具有和通用檔案系統相同的訪問方式,同時為了提高效能,也具有對資料的cache功能和檔案的條帶功能。

同時,檔案系統必須維護不同客戶端上cache的一致性,保證檔案系統的資料一致

mds控制client與osd物件的互動,主要提供以下幾個功能:

(1) 物件儲存訪問:mds構造、管理描述每個檔案分布的檢視,允許client直接訪問物件。mds為client提供訪問該檔案所含物件的能力,osd在接收到每個請求時將先驗證該能力,然後才可以訪問。

(2) 檔案和目錄訪問管理:mds在儲存系統上構建乙個檔案結構,包括限額控制、目錄和檔案的建立和刪除、訪問控制等。

(3) client cache一致性:為了提高client效能,在物件儲存系統設計時通常支援client方的cache。由於引入client方的cache,帶來了cache一致性問題,mds支援基於client的檔案cache,當cache的檔案發生改變時,將通知client重新整理cache,從而防止cache不一致引發的問題。

第十章 雲儲存技術

由於使用者數量眾多,儲存系統需要儲存的檔案將呈指數級增長態勢,這就要求儲存系統的容量擴充套件能夠跟得上資料量的增長,做到無限擴容,同時在擴充套件過程中最好還要做到簡便易行,不能影響到資料中心的整體執行,如果容量的擴充套件需要複雜的操作,甚至停機,這無疑會極大地降低資料中心的運營效率。雲時代的儲存系統...

第十章 雲儲存技術

一 雲儲存概述 1.儲存歷史 第一台硬碟儲存器 raid技術出現 san技術出現 2.儲存的分類 儲存的應用隨著資訊科技的出現而發展起來,應用的領域隨著資訊科技的發展不斷增加,伺服器型別可以將儲存分為封閉系統的儲存 主要指打大型機 和開放系統的儲存 指基於包括windows unix linux等作...

第十章 建立計算字段

建立在資料庫表中的資料一般不是應用程式所需要的格式。我們需要從資料庫中檢索出轉換 計算或格式化過的資料。計算欄位並不實際存在於資料庫表中,計算欄位是執行時在select語句內建立的。字段 field 基本上與列 column 的意思相同,經常互換使用。不過資料庫一般稱之為列,而術語字段通常用在計算欄...