MMP架構資料庫

2021-08-30 13:12:41 字數 893 閱讀 7376

greenplum是一種基於postgresql的分布式資料庫。其採用shared nothing架構(mpp),主機,作業系統,記憶體,儲存都是自我控制的,不存在共享。也就是每個節點都是乙個單獨的資料庫。節點之間的資訊互動是通過 節點網際網路絡實現。通過將資料分布到多個節點上來實現規模資料的儲存,通過並行查詢處理來提高查詢效能。

這個怎麼感覺就像是把小資料庫組織起來,聯合成乙個大型資料庫。將資料分片,儲存在每個節點上。每個節點僅查詢自己的資料。所得到的結果再經過主節點處理得到最終結果。通過增加節點數目達到系統線性擴充套件。

總結—新型mpp資料庫的價值

技術:基於列儲存+mpp架構的新型資料庫在核心技術上跟傳統資料庫有巨大差別,是為面向結構化資料分析設計開發的,能夠有效處理pb級別的資料量。在技術上為很多行業使用者解決了資料處理效能問題。

使用者價值:新型資料庫是執行在x-86 pc伺服器之上的,可以大大降低資料處理的成本(1個數量級)。

未來趨勢:新型資料庫將逐步與hadoop生態系統結合混搭使用,用mpp處理pb級別的、高質量的結構化資料,同時為應用提供豐富的sql和事務支援能力;用hadoop實現半結構化、非結構化資料處理。這樣可同時滿足結構化、半結構化和非結構化資料的處理需求。

mpp (massively parallel processing),大規模並行處理系統,這樣的系統是由許多松耦合的處理單元組成的,要注意的是這裡指的是處理單元而不是處理器。每個單元內的 cpu都有自己私有的資源,如匯流排,記憶體,硬碟等。在每個單元內都有作業系統和管理資料庫的例項複本。這種結構最大的特點在於不共享資源。 

mpp架構資料庫應具有的特徵:

● 任務並行執行;

● 資料分布式儲存(本地化);

● 分布式計算;

● 私有資源;

● 橫向擴充套件;

● shared nothing架構。

資料庫架構

很少談架構方面的事情,主要是因為這確實是個對知識面和知識深度要求很高的領域,無論是開發語言的選擇 的架構,伺服器的搭配 網路的架構 資料庫的架構還是第三方軟體的選用等,每一方面都是個很大的方向,每個方向都值得乙個人去研究一輩子 每每看到某某 的首席架構師之類的人 不過很多是海綿派 總覺得那就是樂於做...

資料庫 3 1 資料庫架構

如何設計乙個關係型資料庫?乙個關係型資料庫應該包括以下內容 資料庫最主要的功能是什麼?就是儲存資料,因此它會有乙個儲存模組,來負責儲存我們的資料,儲存模組就類似於我們的os檔案系統,將資料最終持久化存入磁碟中,如存入機械硬碟,或者ssd固態硬碟,抑或是它們的磁碟陣列矩陣中。可是光有儲存是不行的,我們...

mysql資料庫架構

1.mysql整體邏輯架構 我們先下圖看看mysql整體邏輯架構 mysql s logical architecture 圖1第二層值得關注。這是mysql的核心部分。通常叫做 sql layer。在 mysql據庫系統處理底層資料之前的所有工作都是在這一層完成的,包括許可權判斷,sql解析,行計...