物件儲存技術

2021-10-01 16:04:25 字數 1537 閱讀 5045

概念普識

塊儲存通常san(storage area network)結構的產品屬於塊儲存,比如我們常見的硬碟、磁碟陣列等物理盤。

檔案儲存

一般nas(network attached storage)產品都是檔案級儲存,如ceph的cephfs,另外 gfs、hdfs等也屬於檔案儲存 。

物件儲存

同時兼顧著san高速直接訪問磁碟特點及nas的分布式共享特點的一類儲存,一般是通過restful介面訪問。

開源解決方案介紹

swift

swift 是 openstack 社群核心子專案,是乙個彈性可伸縮、高可用的分布式物件儲存系統,使用python語言實現,採用 apache 2.0 許可協議。

swift 提供乙個基於restful http介面的 object storage api,用於建立,修改和獲取物件和元資料。使用者可以使用 swift 高效、安全且廉價地儲存大量資料。swift 整體架構:

總的來說,企業如果想要建立可擴充套件的分布式物件儲存集群,可以考慮 swift。

ceph

ceph是一種高效能、高可用、可擴充套件的分布式儲存系統,統一的對外提供物件存 儲、塊儲存以及檔案儲存功能,底層使用c/c++語言。

其中物件儲存功能支援 2 種介面:

1、相容s3:提供了物件儲存介面,相容 s3 restful 介面的乙個大子集。

2、相容swift:提供了物件儲存介面,相容 openstack swift 介面的乙個大子集。

ceph是乙個企業級分布式儲存系統,功能強大,不僅可以為企業建立物件儲存服務,還可以幫助企業建立自己的雲平台,具有廣泛的應用場景特別是在雲環境下使用廣泛。

minio

大資料整合方面,minio支援各種常見的查詢計算引擎,比如spark、presto、hive以及flink等,可以使用這些處理框架查詢分析物件資料,此外,minio支援parquet,json、csv格式等多種檔案儲存格式,包括壓縮與編碼。更多特性可以參考官網 位址架構:

minio主要為人工智慧、機器學習而設計,並適用於其他大資料負載。從架構與功能方面考慮,minio是乙個比較好的開源物件儲存解決方案。

hbase mob

架構如上,hbase mob的設計類似於hbase + hdfs的方式,中等物件在寫入hdfs之前同樣是先寫入memstore,但是刷寫與其他寫入資料不同,mob資料被刷寫到mob file中,mob file被存放在特殊的region中。

mob特性在apache hbase 2.0、cdh 5.4.x 或 hdp 2.5.x 及以上版本支援,使用者可以基於hbase mob特性設計自己的物件儲存服務。

hadoop ozone

ozone是 apache hadoop 的子專案,為了提供分布式、可擴充套件的物件儲存功能,主要是為了彌補hdfs在小檔案儲存方面的不足之處。ozone建立在乙個高可用、支援塊複製的hadoop分布式資料儲存層之上,稱為hadoop distributed data store(hdds),上層可對接 spark、hive 以及 yarn 等計算排程引擎。 但是目前還處於alpha內部測試版本,暫時不建議生產環境中使用。

總結

儲存分類及物件儲存osd的技術原理

什麼是物件儲存 osd 儲存區域網 san 和網路附加儲存 nas 是我們比較熟悉的兩種主流網路儲存架構,而物件儲存 object based storage 是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置 object based storage device 簡稱osd。物件儲存...

儲存分類及物件儲存osd的技術原理

什麼是物件儲存 osd 儲存區域網 san 和網路附加儲存 nas 是我們比較熟悉的兩種主流網路儲存架構,而物件儲存 object based storage 是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置 object based storage device 簡稱osd。物件儲存...

儲存系統 儲存技術(1)

主機匯流排介面卡 host bus adapter hba 處理從伺服器到儲存裝置的連線,也可以執行其他幾個角色。而乙個基本的hba提供連線到儲存,更先進的hba已經嵌入陣列控制器。當儲存在位於或連線到伺服器,它被稱為直接附加儲存 direct attached storage das 通過專用的外...