行業分析 雲儲存系統的幾個主要技術

2021-06-04 01:35:24 字數 3142 閱讀 8776

儲存系統具有如下特點:資料安全,超強的可擴充套件性,按照使用收費,可跨不同應用,自動切換故障,易於管理等。雲儲存主要應用於備份、歸檔、分配和共享協作等四大領域。

雲儲存是在雲計算概念上延伸和發展出來的乙個新概念,是指通過集群應用、網格技術或分布式檔案系統等功能,將網路中大量各種不同型別的儲存裝置通過應用軟體集合起來協同工作,共同對外提供資料儲存和業務訪問功能的乙個系統。當雲計算系統運算和處理的核心是大量資料的儲存和管理時,雲計算系統中就需要配置大量的儲存裝置,那麼雲計算系統就轉變成為乙個雲儲存系統,所以雲儲存是乙個以資料儲存和管理為核心的雲計算系統。

與雲計算系統相比,雲儲存可以認為是配置了大容量儲存空間的乙個雲計算系統。雲儲存系統具有如下特點:資料安全,超強的可擴充套件性,按照使用收費,可跨不同應用,自動切換故障,易於管理等。雲儲存主要應用於備份、歸檔、分配和共享協作等四大領域。

雲儲存系統是乙個多裝置、多應用、多服務協同工作的集合體,它的實現要以多種技術的發展為前提。根據雲儲存的特點及其應用領域,主要的雲儲存技術涉及到儲存虛擬化,分布式檔案系統,集群儲存,儲存集中管理,異質平台協同,自動分級儲存等方面,當然還有重複資料刪除、資料壓縮等技術。

一、儲存虛擬化

儲存虛擬化(storagevirtualization)最通俗的理解就是對儲存硬體資源進行抽象化表現。通過將乙個(或多個)目標服務或功能與其它附加的功能整合,統一提供有用的全面功能服務。典型的虛擬化包括如下一些情況:遮蔽系統的複雜性,增加或整合新的功能,**、整合或分解現有的服務功能等。虛擬化是作用在乙個或者多個實體上的,而這些實體則是用來提供儲存資源或服務的。

儲存虛擬化是一種貫穿於整個it環境、用於簡化本來可能會相對複雜的底層基礎架構的技術。儲存虛擬化的思想是將資源的邏輯映像與物理儲存分開,從而為系統和管理員提供一幅簡化、無縫的資源虛擬檢視。

對於使用者來說,虛擬化的儲存資源就像是乙個巨大的「儲存池」,使用者不會看到具體的磁碟、磁帶,也不必關心自己的資料經過哪一條路徑通往哪乙個具體的儲存裝置。

二、分布式檔案系統

hadoop分布式檔案系統(hdfs)是乙個設計為用在普通硬體裝置上的分布式檔案系統。它與現有的分布式檔案系統有很多近似的地方,但又和這些檔案系統有很明顯的不同。hdfs是高容錯的,設計為部署在廉價硬體上的。hdfs對應用程式的資料提供高吞吐量,而且適用於那些大資料集應用程式。hdfs開放了一些posix的必須介面,容許流式訪問檔案系統的資料。

hdfs是主/從結構的。乙個集群有乙個名字結點,也就是主控**務器,負責管理檔案系統的名字空間並協調客戶對檔案的訪問。還有一堆資料結點,一般乙個物理結點上部署乙個,負責它們所在的物理結點上的儲存管理。hdfs開放檔案系統的名字空間以便讓使用者資料儲存在檔案中。內部,乙個檔案被分割為乙個或者多個資料塊,這些資料塊儲存在一組資料結點中。名字結點執行檔案系統的名字空間操作,比如開啟、關閉、重新命名檔案或目錄,還決定資料塊從資料結點的對映。資料結點負責提供客戶的讀寫請求。資料結點還依照名字結點的指令執行資料塊的建立、刪除和複製工作。

三、集群儲存

集群儲存是將多台儲存裝置中的儲存空間聚合成乙個能夠給應用伺服器提供統一訪問介面和管理介面的儲存池,應用可以通過該訪問介面透明地訪問和利用所有儲存裝置上的磁碟,可以充分發揮儲存裝置的效能和磁碟利用率。資料將會按照一定的規則從多台儲存裝置上儲存和讀取,以獲得更高的併發訪問效能。

集群儲存的優勢主要體現在提高並行或分割槽i/o的整體效能,特別是工作流、讀密集型以及大型檔案的訪問,通過採用更低成本的伺服器來降低整體成本。集群儲存有兩種實現方式:一種是硬體基礎架構加上軟體;另一種是專用集群儲存,是構建在nas基礎架構之上的,但是通過作業系統實現集群儲存。

四、儲存集中管理

雲儲存管理平台要求支援跨資料中心的部署和管理,並支援跨資料中心的使用者訪問排程、資料遷移、資料異地儲存備份等功能。

支援集中管理,雲儲存管理平台部署在雲計算的中心機房,儲存節點可以部署在各地的機房中,管理平台對各分點機房的儲存裝置可以統一管理排程。

通過雲儲存管理平台,使用者可以方便的了解雲儲存系統的各個節點的服務情況,包括各節點的容量和效能(讀iops、寫iops、讀流量、寫流量)等資訊,讓使用者實時了解域內資源資訊,執行狀態,從而可以操控這些資源;同時及時了解資源的異常,有必要時可以採取適當的措施保證其正常執行。

五、異質平台協同

當前各種儲存方案與技術十分繁雜而多樣,光從一家企業內部可能同時存在各種不同型別儲存裝置的狀況便知一二,更何況不同儲存裝置供貨商間的儲存環境一直存在相容性問題,所以喊了多年的儲存整合,仍舊難以如企業需求所願,這也是儲存虛擬化與雲儲存推展上的最大阻力。

cdmi是雲儲存全新標準介面,由國際儲存網路產業協會snia制定。對於雲運算來說,cdmi提供了通用雲運算管理基礎架構,同時原本資訊管理的重點已逐漸從儲存管理轉移圍繞在資料管理上。cdmi標準則可以協助使用者將特殊詮釋資料(metadata)標記在資料上,該詮釋資料會告訴端點儲存**商,什麼樣的資料服務提供該資料(例如備份、歸檔、加密等)。透過cdmi標準介面的執行,使用者可在不同雲端**商間任意移動資料,不再需要忍受不同介面中重新編碼的痛苦。

六、自動分級儲存

提高儲存管理效率已經成為許多企業首要解決問題,自動分級儲存成為最有效的基礎技術,它指的是在不同磁碟型別和raid級別之間遷移資料塊的功能,這可滿足效能和空間使用之間的適當平衡,快速將資料放到合適的地方並避免所謂的熱點。

作為這項技術受到廣泛關注,在不同層級的儲存介質之間,比如fc磁碟和sata磁碟之間,移動資料需要實現全自動化的遷移流程。

在分級資料儲存結構中,儲存裝置一般有磁帶庫、磁碟或磁碟陣列等,而磁碟又可以根據其效能分為fc磁碟、scsi磁碟、sata磁碟等多種,而快閃儲存器儲存介質(非易失隨機訪問儲存器(nvram))也因為較高的效能可以作為分級資料儲存結構中較高的一級。一般,磁碟或磁碟陣列等成本高、速度快的裝置,用來儲存經常訪問的重要資訊,而磁帶庫等成本較低的儲存資源用來存放訪問頻率較低的資訊。

七、小結

雲儲存與雲運算一樣,必須經由網路來提供隨選分派的儲存資源。重要的是,該網路必須具備良好的qos機制才行。對於使用者來說,具備彈性擴充套件與隨使用需求彈性配置的雲儲存,可節省大筆的儲存裝置採購及管理成本,甚至因儲存裝置損壞所造成的資料遺失風險也可因此避免。總之,不論是端點使用者將資料備份到雲端,抑或企業基於法規遵循,或其他目的的資料歸檔與儲存,雲儲存皆可滿足各方的不同需求,所有雲儲存技術的發展都要確保實現這一目標。 

從業雲計算行業,需要明確的幾個問題

雲計算的基本前提就是需要從服務商處租用軟體和硬體來為公司提供服務,而不是傳統的購買硬體加上提供空間來維護it裝置。我很喜歡這個idea,因為這樣能讓公司集中力量發展核心業務,但在實施之前我仍然有很多疑慮。在跳入雲計算這個 陷阱 之前,需要了解的三個問題,如下 1.怎樣才能夠成功部署雲計算環境?轉移到...

雲儲存系統的結構模型,主要由哪幾部分組成?

與傳統的儲存裝置相比,雲儲存不僅僅是乙個硬體,而是乙個網路裝置 儲存裝置 伺服器 應用軟體 公用訪問介面 接入網 和客戶端程式等多個部分組成的複雜系統。各部分以儲存裝置為核心。通過應用軟體來對外提供資料儲存和業務訪問服務。雲儲存系統的結構模型由4層組成。1儲存層 儲存層是雲儲存最基礎的部分。儲存裝置...

Linux最佳的雲儲存服務分析

什麼樣的雲服務才適合作為 linux 下的儲存服務?兄弟連www.itxdl.cn 來幫大家分析一下!大量的免費空間。畢竟,個人使用者無法支付每月的鉅額款項。原生的 linux 客戶端。以便你能夠方便的在伺服器之間同步檔案,而不用做一些特殊的調整或者定時執行指令碼。其他桌面系統的客戶端,比如 win...