大規模分布式儲存系統 讀書筆記 第一章

2021-06-27 12:30:22 字數 797 閱讀 1161

分布式儲存系統是大量普通pc伺服器通過internet互聯,對外作為乙個整體提供儲存服務。

可擴充套件;低成本;高效能;易用。

資料分布;一致性;容錯;負載均衡;事務與併發控制;易用性;壓縮/解壓縮。

結構化資料:關係資料

半結構化資料

非結構化資料物件

facebook haystack;

taobao file system(tfs);

google file system(gfs);

amazon ebs

三種型別的資料:blob(binary large object);定長塊;大檔案

關係簡單的半結構化資料

crud

amazon dynamo;

taobao tair、memcache;

關係較為複雜的半結構化資料

crud、支援掃瞄某個主鍵範圍;針對單張**的操作,不支援多表關聯、聯結、巢狀子查詢等複雜的操作

google bigtable;

megastore;

microsoft azure table storage;

amazon dynamodb.

結構化資料

mysql sharding;

amazon rds;

microsoft sql azure;

google spanner;

alibaba oceanbase.

大規模分布式儲存系統讀書筆記前三章 未完

第一章 概述 2.分布式儲存分類 非結構化資料 所有格式的辦公文件,文字,影象,音訊 結構化資料 一般儲存在關係型資料庫裡,可以用二維關係表描述 半結構化資料 介於結構化資料和非結構化資料之間,html文件就屬於半結構化資料。分布式檔案系統 存放blob 二進位製大物件 定長塊,大檔案 常作為分布式...

《大規模分布式儲存系統》讀書摘記(持續更新)

3 分布式系統 3.5 容錯 故障檢測 故障恢復 3.6 可擴充套件性 總控節點 資料庫擴容 異構系統 3.7 分布式協議 兩階段提交協議 2pc paxos協議 paxos與2pc 跨機房部署 4 分布式檔案系統 4.1 google檔案系統 系統架構 關鍵問題 一致性模型 追加流程 容錯機制 m...

大規模分布式儲存系統(雲儲存)作者blog

技術雜談 10年定下近幾年的技術方向 1,精通架構 深入理解線上,線下分布式儲存 計算並能夠形成完整的知識體系 2,理解系統 理解系統,網路,idc,虛擬化等相關知識 3,掌握應用 通過應用證明和修正分布式知識體系 11年做了一些事情 1,思考並討論google,amazon,microsoft,y...