塊儲存 檔案儲存 物件儲存意義及差異

2022-09-14 19:42:17 字數 2958 閱讀 3145

關於塊儲存、檔案儲存、物件儲存方面的知識在知乎上看到了個很好的解答:

通俗易懂,查了些資料做了詳細的補充。

塊儲存#

典型裝置:磁碟陣列、硬碟

塊儲存主要是將裸磁碟空間整個對映給主機使用的。

就是說例如:磁碟陣列裡面有5塊硬碟,然後可以通過劃邏輯盤、做raid、或者lvm等方式邏輯劃分出n個邏輯的硬碟。但是邏輯盤和物理盤是兩個完全不同的概念。假設每個硬碟100g,共有5個硬碟,劃分為邏輯盤也為5個,每個100g,但是這5個邏輯盤和原來的5個物理盤意義完全不同了。例如第乙個邏輯盤第乙個20g可能來自物理盤1,第二個20g來自物理盤2,所以邏輯盤是多個物理盤邏輯虛構出來的硬碟。

接著塊儲存會採用對映的方式將這幾個邏輯盤對映給主機,主機上面的作業系統會識別到有5塊硬碟,但是作業系統是無法區分到底是物理盤還是邏輯盤,它一概就認為只是5塊裸的物理硬碟而已,跟直接拿一塊物理硬碟掛載到作業系統沒區別,至少作業系統感知上沒有區別的。

在此方式下,作業系統還需要對掛載的裸硬碟進行分割槽、格式化後,才能使用,與平常主機內建的硬碟無差異。

優點(1)這種方式的好處當然是因為通過了raid與lvm等手段,對資料提供了保護;

(2)可以將多塊廉價的硬碟組合起來,稱為乙個大容量的邏輯盤對外提供服務,提高了容量;

(3)寫入資料時,由於是多塊磁碟組合出來的邏輯盤,所以幾塊硬碟可以並行寫入的,提公升了讀寫效率;

(4)很多時候塊儲存採用san架構組網,傳輸速度以及封裝協議的原因,使得傳輸速度和讀寫效率得到提公升

缺點(1)採用san架構組網時,需要額外為主機購買光纖通道卡,還要購買光纖交換機,造價成本高;

(2)主機之間資料無法共享,在伺服器不做集群的情況下,塊儲存裸盤對映給主機,在格式化使用後,對於主機來說相當於本地盤,那麼主機a的本地盤根本不能給主機b去使用,無法共享資料

(3)不利於不同作業系統主機間的資料共享:因為作業系統使用不同的檔案系統,格式化後,不同的檔案系統間的資料是共享不了的。 例如一台win7,檔案系統是fat32/ntfs,而linux是ext4,ext4是無法識別ntfs的檔案系統的。

檔案儲存#

優點(1)造價低:隨便一台機器就可以,另外普通的乙太網就可以,根本不需要專用的san網路,所以造價低

(2)方便檔案共享

缺點物件儲存#

典型裝置:內建大容量硬碟的分布式伺服器

物件儲存最常用的方案,就是多台伺服器內建大容量硬碟,再裝上物件儲存軟體,然後再額外搞幾台服務作為管理節點,安裝上物件儲存管理軟體。管理節點可以管理其他伺服器對外提供讀寫訪問功能。

之所以出現物件儲存這種東西,是為了克服塊儲存與檔案儲存各自的缺點,發揚各自的優點。簡單來說塊儲存讀寫快,不利於共享,檔案儲存讀寫慢,利於共享。能否弄乙個讀寫塊,利於共享的儲存出來呢?於是就有了物件儲存。

首先,乙個檔案包含了屬性(術語:metadata,元資料,例如該檔案的大小、修改時間、儲存路徑等)以及內容(資料)。

像fat32這種檔案系統,是直接將乙份檔案與metadata一起儲存的,儲存過程先將檔案按照檔案系統的最小塊大小來打散(例如4m的檔案,假設檔案系統要求乙個塊4k,那麼就將檔案打散稱為1000個小塊),再寫進硬碟裡,過程中沒有區分資料和metadata的。而每個塊最後會告知你下乙個要讀取的塊位址,然後一直這樣順序的按圖索驥,最後完成整份檔案的所有塊的讀取。

這種情況下讀寫速率很慢,因為就算你有100個機械臂在讀寫,但是由於你只有讀取到第乙個塊,才能知道下乙個塊在**,其實相當於只能有1個機械臂在實際工作。

而物件儲存則將元資料獨立出來了,控制節點叫元資料伺服器(伺服器+物件儲存管理軟體),裡面主要負責儲存物件的屬性(主要是物件的資料被打散存放到了那幾台分布式伺服器中的資訊)而其他負責儲存資料的分布式伺服器叫做osd,主要負責儲存檔案的資料部分。當使用者訪問物件,會先訪問元資料伺服器,元資料伺服器只負責反饋物件儲存在**osd,假設反饋檔案a儲存在b、c、d三颱osd,那麼使用者就會再次直接訪問3臺osd伺服器去讀取資料。

這時候由於是3臺osd同時對外傳輸資料,所以傳輸的速度就會加快了,當osd伺服器數量越多,這種讀寫速度的提公升就越大,通過此種方式,實現了讀寫快的目的。

另一方面,物件儲存軟體是有專門的檔案系統的,所以osd對外又相當於檔案伺服器,那麼就不存在共享方面的困難了,也解決了檔案共享方面的問題

所以物件儲存的出現,很好的結合了塊儲存和檔案儲存的優點

為什麼物件儲存兼具塊儲存和檔案儲存的好處,還要使用塊儲存和檔案儲存呢?

(1)有一類應用是需要儲存直接裸盤對映的,例如資料庫。因為資料需要儲存樓盤對映給自己後,再根據自己的資料庫檔案系統來對裸盤進行格式化的,所以是不能夠採用其他已經被格式化為某種檔案系統的儲存的。此類應用更合適使用塊儲存。

(2)物件儲存的成本比起普通的檔案儲存還要較高,需要購買專門的物件儲存軟體以及大容量硬碟。如果對資料量要求不是海量,只是為了做檔案共享的時候,直接用檔案儲存的形式好了,價效比高。

下圖簡要的總結了三者之間的差異:

物件儲存檔案系統的關鍵技術是什麼?

(1)分布元資料

(2)併發資料訪問,物件儲存體系結構定義了乙個新的、更加智慧型化的磁碟介面osd

什麼是osd?

儲存區域網(san)和網路附加儲存(nas)是我們比較熟悉的兩種主流網路儲存架構,而物件儲存是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置,簡稱:osd

在儲存物件中通過什麼物件方式訪問物件?

在儲存裝置中,所有物件都有乙個物件標識,通過物件標識osd命令訪問物件

osd的主要功能是什麼?

(1)資料儲存。osd管理物件資料,並將它們放置在標準的磁碟系統上,osd不提供塊介面訪問方式,client請求資料時用物件id、偏移進行資料讀寫;

(2)智慧型分布。osd用其自身的cpu和記憶體優化資料分布,並支援資料的預取。由於osd可以智慧型的支援物件的預取,從而可以優化磁碟的效能

(3)每個物件元資料的管理。osd管理儲存在其上物件的元資料,該元資料與傳統的inode元資料相似,通常包括物件的資料塊和物件的長度。

塊儲存 檔案儲存 物件儲存意義及差異

典型裝置 磁碟陣列 硬碟 塊儲存主要是將裸磁碟空間整個對映給主機使用的。就是說例如 磁碟陣列裡面有5塊硬碟,然後可以通過劃邏輯盤 做raid 或者lvm等方式邏輯劃分出n個邏輯的硬碟。但是邏輯盤和物理盤是兩個完全不同的概念。假設每個硬碟100g,共有5個硬碟,劃分為邏輯盤也為5個,每個100g,但是...

塊儲存 檔案儲存 物件儲存

塊儲存主要是對磁碟陣列 內含多塊硬碟 做raid操作或者lvm操作,邏輯劃分出n塊logic盤並對映給主機使用,作業系統會識別到n塊硬碟,但是無法感知到底是邏輯盤還是物理盤,所以還是會對其進行分割槽和格式化 無法共享資料 每塊邏輯盤實際上是由多塊硬碟共同組成,在讀寫資料的時候,幾塊物理硬碟可以並行定...

CEPH篇 塊儲存 檔案儲存和物件儲存意義和差異

應用場景 王豪邁 麥子邁 wheats 分布式儲存的應用場景相對於其儲存介面,現在流行分為三種 按照這三種介面和其應用場景,很容易了解這三種型別的 io 特點,括號裡代表了它在非分布式情況下的對應 因此,這三種介面分別以非分布式情況下的鍵值資料庫 硬碟和檔案系統的 io 特點來對應即可。至於冷熱 快...