常見的分布式系統及分類

2021-10-09 20:33:25 字數 1200 閱讀 9238

分布式檔案系統(儲存系統):gfs,tfs,hdfs,facebook haystack

分布式快取系統(鍵值系統):**tair,amazon dynamo

分布式**系統:bigtable

分布式資料庫:google spanner,tidb,oceanbase

分布式計算框架:mapreduce,

子模組:

分布式事務:

分布式儲存引擎:

分布式鎖:

分類標準:

功能分: olap, oltp, 分布式日誌,share-nothing, numa, mapreduce, dag.資料分:**,物件,檔案,關係。架構分: 類bigtable, 類dynamo日誌複製分: primary-backup,gossip,quorum.同步,半同步,非同步。資料切分分:hash,rangeworkload分:很多種membership分:自己選主,主控節點擊主,dlm選主。cap折衷分:強一致性犧牲可用性,最終一致性更高的可用性。

有幾個大的維度來區分:

有狀態、無狀態重儲存還是重計算long service還是批處理。

一些常見的分布式系統大類:支援持久化儲存的分布式儲存系統著重計算的分布式/平行計算框架分布式訊息佇列 根據不同的應用的領域,把上述分類細化,常見分布式儲存系統分為:分布式協同系統(分布式日誌複製)分布式任務排程框架流計算框架分布式檔案/物件系統分布式nosql儲存分布式關聯式資料庫(olap、oltp);各種訊息佇列mq分布式機器學習/深度學習訓練框架分布式協調系統(日誌複製系統)其實就是paxos演算法及其變體的實現,典型的有zookeeper、etcd;一般來說只存少量的元資料資訊,重點在高可用強一致,不提供高的through put,是分布式系統不可或缺的元件;面向非結構化資料的分布式檔案/物件系統比較有名的包括lustre(hpc)glusterfs(nas nfs)、hdfs(hadoop)、ceph(虛機塊儲存)、swift(restful物件儲存),各有不同的適用領域。結構化資料的nosql分布式儲存,種類和數量最多,按照martin fowler的分類,包括aggregated oriented nosql和圖資料庫nosql;aggregated oriented nosql大致分為3類:key-value nosql,例如redis riak等;column family nosql(wide column store),典型的是hbase cassandradocument nosql,典型的是mongodb

(from:

分布式 常見分布式框架

分布式協調系統 日誌複製系統 paxos演算法及其變體的實現,典型的有zookeeper etcd 分布式檔案系統 hdfs hadoop 分布式nosql redis hbase 訊息佇列 rabbitmq kafka,關注訊息的at least once,at most once,only on...

分布式 分布式系統的設計

在計算機領域,當單機效能達到瓶頸時,一般有兩種方式解決效能問題 而分布式系統的設計說白了就是 如何合理將乙個系統拆分成多個子系統部署到不同機器上。講設計方法前,先介紹分布式系統的特性 1 分布性 空間中隨機分布。這些計算機可以分布在不同的機房,不同的城市,甚至不同的國家。2 對等性 分布式系統中的計...

分布式系統中的分布式事務

分布式事務中可以借助mq訊息系統來進行事務控制,這一點與可靠訊息最終一致方案一樣。看來mq中介軟體確實在乙個分布式系統架構中,扮演者重要的角色。最大努力通知方案是比較簡單的分布式事務方案,它本質上就是通過定期校對,實現資料一致性。中介軟體如何保證訊息的一致性 問題的問法多種多樣,怎麼保證兩個伺服器的...