6 824分布式系統 2 GFS案例學習

2021-10-02 10:58:17 字數 1038 閱讀 3577

閱讀:gfs**

強一致性可以保證讀到最新的寫資訊,但是對效能肯定會造成影響,好的系統設計就是在這兩點中進行平衡。

分布式檔案系統需要達成的「理想的「一致性就是多節點上面操作檔案表現處理單機跟本地檔案系統一樣。

如果兩個應用程式同時寫入同一目錄怎麼辦

挑戰 挑戰難以解決的原因

+ 可序列性(serializability)

+ 順序一致性(sequential consistency)

+ 線性一致性(linearizability)

+ 單項一致性模型(entry consistency)

+ 鬆散一致性(release consistency)

shadow masters略微落後於master

請求塊伺服器

primary是乙個副本節點中比較高階的節點。

如果另乙個客戶端併發在同一位置寫入資料,該怎麼辦?

gfs支援原子操作,保證至少一次新增,主chunk伺服器選擇記錄需要新增到的檔案位置,然後傳送給其他副本。

如果和乙個副本的聯絡失敗,那麼主chunk伺服器會告訴客戶端重試,如果重試成功,有些副本會出現追加兩次的情況(因為這個副本追加成功兩次)。

當gfs要去填塞chunk的邊緣時,如果追加操作跨越chunk的邊緣,那麼檔案也可能存在空洞。

塊伺服器的失敗會引起client重試。

master失敗會導致gfs不可用,shadow master會服務唯讀的狀態。可能會返回過時的資料。

效能,容錯,一致性(performance, fault-tolerance, consistency)的案例研究

劣勢

實現困難,primary需要保留重複的狀態。狀態必須在伺服器之間複製,以便如果primary出現故障, 此資訊不會丟失。

可以在有效記錄的開頭做標識(magic number)就可以知道有資料的塊。

檢測重複的塊可以為每個記錄都有乙個特殊的uid標識。

* qq群:713385260

分布式 2分布式事務

分布式 1概述cap和base 分布式 2分布式事務 分布式 3分布式一致性演算法 分布式 4集群 分布式 5服務限流演算法 分布式 6分布式id 分布式 7效能壓測 分布式 8日誌鏈路跟蹤 分布式 9分布式鎖 redis鎖的幾種實現 參考 分布式系統間各種問題 宕機 網路不穩定 本地事務無法滿足需...

分布式系統漫談 拾肆 分布式系統常用優化思路

本文說說系統優化的常用手段吧,其中可能有一些內容在系列前面的文章裡已經總結過了,這裡還是再系統地整理出來,方便將知識彙總,有個整體上的認識。本文只講方 沒有具體實現。限於水平總結得可能不全,後面還會補充。本文將系統主要分為前端優化和架構優化兩個層面來說。前端優化 1.頁面優化 延遲載入 對一些還沒有...

分布式隨筆1 分布式概述

分布式,好寬泛的話題,來來咱扯兩句。你乙個人再強壯,也扛不了100袋大公尺,單機的資源也很有限,大 的大資料量 高併發以及各種業務需求 童鞋們的web應用,伺服器 rdb mq 服務 快取以及各類基礎設施,更別說還有安全 大資料方面的需求 於是,我們常見的面向服務的dubbo springcloud...