分布式儲存架構一 分布式儲存概念

2021-09-27 02:25:32 字數 1193 閱讀 9737

分布式儲存系統是由大量廉價普通pc伺服器通過internet互聯,對外作為乙個整體提供服務的系統。它的規模大且成本低。

分布式儲存系統的特性:

分布式儲存系統挑戰主要在於資料、狀態資訊的持久化,要求在自動遷移、自動容錯、併發讀寫的過程中保證資料的一致性。

資料分布均勻;

資料一致性;

容錯能力;

事務與併發控制;

易用性;

負載均衡;

資料的壓縮和解壓縮問題;

分布式儲存面臨的資料大致可以分為三類:

半結構化資料:html文件等,模式結構與資料混在一起;

結構化資料:一般儲存在資料庫中,由二維結構表表示。

分布式儲存系統可以分為四類:

分布式檔案系統

分布式檔案系統儲存三種型別的資料:blob物件、定長塊、大檔案。

在分布式檔案系統實現層面,分布式系統內部按照資料塊來組織資料。乙個大檔案可以分為多個資料塊,乙個資料塊可以分為多個blob物件或者多個定長塊。

分布式鍵值系統

用於儲存簡單半結構化資料,它提供了基於主鍵的crud功能。

系統實現有taobao tair、amazon dynamo等。

它是分布式**系統的簡單實現,主要用處為快取(例如memcache)。

一致性雜湊是分布式鍵值系統中常用的資料分布式技術,被用在amazon dynamo上而變得有名。

分布式**系統

分布式**系統用於儲存複雜半結構化資料,支援主鍵crud以及掃瞄主鍵範圍。分布式**以**為單位組織資料,每行有主鍵標識。

分布式**系統借鑑了關聯式資料庫中的很多技術,主要應用於對單張**的操作。但是不支援多表操作。

分布式**不要求多個資料行包含相同型別的列。

分布式資料庫

分布式資料庫採用二維**組織資料,提供sql查詢,多表操作以及事務和併發控制功能,它的主要應用有mysql資料庫分片集群。

傳統的關係型資料庫以及二維關係模型很難高效擴充套件到多個儲存節點上,其還存在高併發的效能問題。

為了解決關係型資料庫擴充套件性、高興發效能問題,引入了nosql非關係型資料庫(memcache)。

一 分布式鎖

drop table ifexists method lock create table method lock id int 11 unsigned not null auto increment comment 主鍵 method name varchar 64 not null comment...

分布式儲存

塊儲存,檔案儲存,物件儲存區別 分布式儲存的應用場景相對於其儲存介面,現在流行分為三種 物件儲存 也就是通常意義的鍵值儲存,其介面就是簡單的get put del和其他擴充套件,如七牛 又拍 swift s3 塊儲存 這種介面通常以qemu driver或者kernel module的方式存在,這種...

分布式儲存

普通儲存 das 直連式儲存。nas 連線式儲存。san 儲存網路。大檔案分布儲存 gfs google file system google檔案系統 hdfs hadoop distributed file system hadoop分布式檔案系統 小檔案分布儲存 adfs ali distrib...