python分布式架構 分布式架構

2021-10-11 07:38:30 字數 588 閱讀 2780

.1.分布式架構

採用centos+mongodb+windows2012+python+redis進行分布式架構搭建,mongodb的框架最核心的設計就是:mongodb和mapreduce。mongodb為海量的資料提供了儲存,則mapreduce為海量的資料提供了計算,windows2012作為抓取機器,python和redis資料緩衝區。

mongodb是乙個能夠讓使用者輕鬆架構和使用的分布式計算平台。使用者可以輕鬆地在mongodb上開發和執行處理海量資料的應用程式。它主要有以下幾個優點:

1. 高可靠性。mongodb按位儲存和處理資料的能力值得人們信賴。

2. 高擴充套件性。mongodb是在可用的計算機集簇間分配資料並完成計算任務的,這些集簇可以方便地擴充套件到數以千計的節點中。

3. 高效性。mongodb能夠在節點之間動態地移動資料,並保證各個節點的動態平衡,因此處理速度非常快。

4. 高容錯性。mongodb能夠自動儲存資料的多個副本,並且能夠自動將失敗的任務重新分配。

5. 低成本。mongodb是開源的,專案的軟體成本因此會大大降低。

6. 及時性:python+redis可以快速有效的處理併發資料,減小資料庫處理壓力。

分布式架構

cap原理 c 一致性 多節點資料的一致 a 可用性 保證服務持續可用 多節點 多型伺服器 p 分割槽容忍性 是否可將資料存到多個地方 設計不可能同時滿足cap ac 放棄分割槽容忍,物理資料庫 ap 可以短暫的容忍資料不一致 nosql資料庫 cp 放棄可用性 springcloud有一下功能 e...

分布式 分布式鎖

本質是利用redis的setnx 方法的特性來加鎖,setnx 即key不存在則設定key,否則直接返回false,要求在分布式系統中使用同乙個redis服務,以下提供兩種解決方案 1 直接使用redistemplate 這其實並不能完全保證高併發下的安全問題,因為可能在鎖過期之後該執行緒尚未執行完...

分布式 分布式事務

是資料庫執行過程中的乙個邏輯單位,由乙個有限的資料庫操作序列構成。事務的acid四大特性 原子性 atomicity 事務作為乙個整體被執行。一致性 consistency 從乙個一致的狀態轉換到另乙個一致的狀態。隔離性 isolation 多個事務併發執行時,併發事務之間互相影響的程度。永續性 d...