第十一章 雲儲存技術

2021-10-01 05:55:44 字數 3658 閱讀 8366

10.雲儲存技術

10.1儲存基本知識

儲存分類

封閉式系統的儲存

開放式系統的儲存

內建儲存

外掛程式儲存

direct-attached storage

直連式儲存(das)

fabric-attached storage

網路儲存(fas)

network-attached storage

網路接入儲存(nas)

storage area network

儲存區域網路(san)

das分析

連線簡單

整合在伺服器內部;點到點的連線;距離短;

安裝技術要求不高

低成本需求

scsi匯流排成本低

較好的效能

通用的解決方案

das的投資低,絕大多數應用可以接受

有限的擴充套件性

scsi匯流排的距離最大25公尺;最多15個裝置

專屬的連線

空間資源無法與其他伺服器共享

備份和資料保護

備份到與伺服器直連的磁帶裝置上

硬體失敗將導致更高的恢復成本

tco(總擁有成本高)

儲存容量的加大導致管理成本上公升

儲存使用效率低

nas的優缺點

資源共享

構架於ip網路之上

部署簡單

較好的擴充套件性

異構環境下的檔案共享

易於管理

備份方案簡單

低的tco

擴充套件性有限

頻寬瓶頸,一些應用會占用頻寬資源

不適應某些資料庫的應用

san的優缺點

san優勢

實現儲存介質的共享

非常好的擴充套件性

易於資料備份和恢復

實現備份磁帶共享

lan free和server free

高效能支援伺服器群集技術

容災手段

低的tco

san劣勢

成本較高

需要專用的連線裝置如fc交換機以及hba

san孤島

技術較為複雜

需要專業的技術人員維護

10.2物件儲存技術

傳統塊儲存與物件儲存

在傳統的儲存系統中用檔案或塊作為基本的儲存單位,塊裝置要記錄每個儲存資料塊在裝置上的位置;而在物件儲存系統中,物件是資料儲存的基本單元,object維護自己的屬性,從而簡化了儲存系統的管理任務,增加了靈活性,在儲存裝置中,所有物件都有乙個物件標識,通過物件標識osd命令訪問該物件。

物件的組成

物件是系統中資料儲存的基本單位,每個object是資料和資料屬性集的綜合體,資料屬性可以根據應用的需求進行設定,包括資料分布、服務質量等。

物件(object)

包含了檔案資料以及相關的屬性資訊,可以進行自我管理

名字空間:物件id

資料元資料

元資料類似於inode,描述了物件在磁碟上的塊分布

屬性根據需要而定義

e.g. 多**物件的延遲和吞吐請求

因此,物件儲存就是實現物件具有高效能、高可靠性、跨平台以及安全的資料共享的儲存體系,是塊和檔案之外的儲存形式

物件儲存系統組成

物件(object)

包含了檔案資料以及相關的屬性資訊,可以進行自我管理

osd(object-based storage device)

乙個智慧型裝置,是object的集合

檔案系統

檔案系統執行在客戶端上,將應用程式的檔案系統請求傳輸到mds和osd上

元資料伺服器(metadata server,mds)

系統提供元資料、cache一致性等服務

網路連線

網路連線是物件儲存系統的重要組成部分。它將客戶端、mds和osd連線起來,構成了乙個完整的系統

檔案系統

檔案系統對使用者的檔案操作進行解釋,並在元資料伺服器和osd間通訊,完成所請求的操作。

現有的應用對資料的訪問大部分都是通過posix檔案方式進行的,物件儲存系統提供給使用者的也是標準的posix檔案訪問介面。

介面具有和通用檔案系統相同的訪問方式,同時為了提高效能,也具有對資料的cache功能和檔案的條帶功能。

同時,檔案系統必須維護不同客戶端上cache的一致性,保證檔案系統的資料一致

元資料伺服器 (metadata server)

mds控制client與osd物件的互動,主要提供以下幾個功能:

(1) 物件儲存訪問:mds構造、管理描述每個檔案分布的檢視,允許client直接訪問物件。mds為client提供訪問該檔案所含物件的能力,osd在接收到每個請求時將先驗證該能力,然後才可以訪問。

(2) 檔案和目錄訪問管理:mds在儲存系統上構建乙個檔案結構,包括限額控制、目錄和檔案的建立和刪除、訪問控制等。

(3) client cache一致性:為了提高client效能,在物件儲存系統設計時通常支援client方的cache。由於引入client方的cache,帶來了cache一致性問題,mds支援基於client的檔案cache,當cache的檔案發生改變時,將通知client重新整理cache,從而防止cache不一致引發的問題。

10.3儲存技術趨勢

資料優化技術將成為熱點

儲存虛擬化

儲存虛擬化是目前以及未來的儲存技術熱點,它其實並不算是什麼全新的概念,raid、lvm、swap、vm、檔案系統等這些都歸屬於其範疇。

儲存的虛擬化技術有很多優點,比如提高儲存利用效率和效能,簡化儲存管理複雜性,綠色節省,降低運營成本等。

目前最新的儲存虛擬化技術有自動分級儲存(hsm)、自動精減配置(thin provision)、雲儲存(cloud storage)、分布式檔案系統(distributed file system),另外還有諸如動態記憶體分割槽、san和nas虛擬化。

虛擬化可以柔性地解決不斷出現的新儲存需求問題,因此我們可以斷言儲存虛擬化仍將是未來儲存的發展趨勢之一

固態硬碟

固態硬碟(ssd, solid state disk)是目前倍受儲存界廣泛關注的儲存新技術,它被看作是一種革命性的儲存技術,可能會給儲存行業甚至計算機體系結構帶來深刻變革。

ssd與傳統磁碟不同,它是一種電子器件而非物理機械裝置,它具有體積小、能耗小、搞干擾能力強、定址時間極小(甚至可以忽略不計)、iops高、i/o效能高等特點。

對於儲存系統來說,ssd最大突破是大幅提高了iops,摩爾定理的效力再次顯現,通過簡單地用ssd替換傳統磁碟,就可能可以達到和超越綜合運用快取、預讀、高併發、資料區域性性、磁碟排程策略等軟體技術的效用。

ssd已經開始被廣泛接受並應用,當前主要的限制因素包括**、使用壽命、寫效能抖動等。從最近兩年的發展情況來看,這些問題都在不斷地改善和解決,ssd的發展和廣泛應用將勢不可擋。

重複資料刪除

資料檢索目前主要分為兩類,一是基於檔名,二是基於檔案內容。主流檔案系統的資料檢索都是基於檔名進行的,桌面搜尋引擎則綜合檔名和檔案內容進行檢索,前者遍歷檔案系統元資料,後者需要解析檔案內容,它們都是通過關鍵字匹配來實現檢索。顯然,這兩類檢索的語義是非常有限的,與人類思維方式有著很大的區別。

儲存系統完全可以實現語義化的檢索,通過檔案屬性和關係來檢索檔案,並用關係網路(類似社會化網路)來表示檢索結果。這種方式語義上更加豐富,檢索結果更加精確,也更加符合人類的思維方式。

面對海量的資料,精確、高效地檢索出自己需要的資料是第一步,語義化檢索符合儲存的技術發展趨勢。

儲存智慧型化

modern c design 第十一章

本章介紹了經常遇到的雙分派的一種泛型解決方案。c 在語法上實現了單分派,即虛函式,通過動態機制選擇相應的函式。雙分派是形如fun object1 a,object2 b 根據a和b的實際型別動態自動分派乙個處理函式。最容易想到的方案,蠻幹法 寫一大堆過載函式.不過這種方法會有很強的依賴性。也提供了一...

第十一章3

第十一章 一 滾動元件 awt中的滾動元件包括scrollbar 滾動條 和滾動面板 scrollpane 兩種。1 滾動條scrollbar 在指定的取值範圍內快速選取某一值的功能。i.構造方法 public scrollbar int orientation,int value,int visi...

java第十一章

問題 1 錯誤 2 異常,1 編譯時異常 檢查異常 2 執行時異常 不檢查異常 是否能用 解決,是的就是異常,不是的就是錯誤 問題 1 先驗 2 捕獲 異常捕獲機智 異常的三個種類 1 檢查異常 2 執行時異常 3 錯誤 throw 提示方法呼叫者本方法可能發生異常 throw跟異常物件 throw...