分布式系統 1 概述

2021-10-09 08:37:18 字數 1181 閱讀 2438

引言

隨著網際網路的發展和業務的複雜度提公升,越來越多的應用開始使用微服務架構,因此對於學習分布式基礎知識非常有必要。因為我們平時做開發可以熟練的使用工具,但是有時候不知道其背後的原理會讓人很不爽。

提到分布式系統,可能很多人就會覺得那是很多機器,當然這個沒錯,但是我們不應該以機器的數量來分辨是不是分布式系統,當然多機器肯定是分布式,但是單機就一定不是分布式系統嗎?答案肯定是不一定,在nancya.lynch的《分布式演算法》一書中,都是用抽象為」程序」理解的,如果我們用機器來理解,假設公司分配的機器是8核16g,那你肯定不會只部署乙個服務,肯定會部署多個服務,這些服務之間可能相互呼叫,那麼它們就是乙個分布式系統。

分布式系統

分布式系統特點

分布式系統關鍵問題

時序模型:在單程序的時候,因為其在一台物理機上,因此它的時鐘是單一的,程序接收的請求都是可排序的,因此只要為請求打上時間戳就知道請求的先後順序。但是在分布式系統因為程序可能分布在不同的物理機上,而不同物理機上時間很難保持一致,哪怕是當時一致,之後也很難做到一致,這樣在分布式環境中要標識兩個不同程序的操作先後順序就變得困難,不過在前人的研究下,也誕生了很多優秀的解決方案,其中包括著名的lamport的邏輯時鐘

故障模型:越是複雜精妙的系統,越是容易出錯。分布式系統中常見的故障的程序停止故障,byzantine故障,通訊故

分布式系統模型分類

非同步共享儲存器模型:非同步模型和同步模型的區別在於非同步模型沒有同步模型的輪的概念,程序間通訊不能保證在固定時間範圍內完成。非同步共享儲存器模型只的是,分布式程序通過共享記憶體變數來完成程序間通訊,乙個簡單的示意圖,藍色方塊代表共享變數

非同步網路模型:和非同步共享儲存器模型不同的是非同步網路模型程序間通訊通過網路,和同步網路相比,非同步網路沒有同步輪的概念,訊息可以在任意時間內到達,處理器可以以任意速度執行。非同步網路模型的關鍵問題如下

部分同步模型:基於時序假設的模型,相比非同步模型,對系統做出一些假設,比如假設處理器能夠訪問實際時間或者近似時間,或者假設訊息傳送在已知的上下限之間,因此,看起來部分同步模型比非同步模型少了一些不確定性。但是,時序會引發更多其他的問題,因為在這種模型下演算法的正確性取決於時序的假設

小結想到什麼寫什麼,很多地方寫的很簡略,只是想描述一下分布式系統大概有哪些關鍵性問題,後續文章會慢慢詳細介紹各個問題。

分布式系統概述

2分布式系統概述注 由於大資料技術領域的各類技術框架基本上都是分布式系統,因此,理解hadoop storm spark 等技術框架,都需要具備基本的分布式系統概念 該軟體系統會劃分成多個子系統或模組,各自執行在不同的機器上,子系統或模組之間通過網路通訊進行協作,實現最終的整體功能 比如分布式作業系...

分布式系統概述

2分布式系統概述 注 由於大資料技術領域的各類技術框架基本上都是分布式系統,因此,理解hadoop storm spark 等技術框架,都需要具備基本的分布式系統概念 該軟體系統會劃分成多個子系統或模組,各自執行在不同的機器上,子系統或模組之間通過網路通訊進行協作,實現最終的整體功能 比如分布式作業...

分布式系統 概述

分布式儲存系統是大量普通pc伺服器通過internet互聯,對外作為乙個整體提供儲存服務。特性 可拓展 低成本 高效能 易用。挑戰 資料 狀態資訊持久化 資料一致性。涉及到的技術 資料分布 一致性 容錯 負載均衡 事務與併發控制 易用性 壓縮 解壓縮。資料型別 非結構化資料 結構化資料 半結構化資料...