Greenplum架構簡介

2021-08-28 09:10:18 字數 1779 閱讀 9858

現在人工智慧非常火爆,很多朋友都想學,但是一般的教程都是為博碩生準備的,太難看懂了。最近發現了乙個非常適合小白入門的教程,不僅通俗易懂而且還很風趣幽默。所以忍不住分享一下給大家。點這裡可以跳轉到教程。

1、什麼是greenplum

greenplum,該公司成立於2023年,2023年推出了首款產品,其主營業務關注在資料倉儲和商業智慧型方面,greenplum dw/bi軟體可以在虛擬化x86伺服器上執行無分享(shared-nothing)的大規模並行處理(mpp)架構 。

greenplum是基於 postgresql

8.2開發的,與postgresql

8.2有相同的客戶端功能(pgadmin iii支援greenplum,但是pgadmin vi則不能連線到greenplum),在postgresql

8.2上增加支援並行處理的技術

,增加支援資料倉儲和

bi的特性,外部表(external tables)/並行載入(parallel loading),資源管理,查詢優化器增強(query optimizer enhancements)

2、greenplum體系架構

主節點master host的主要功能:

訪問系統的入口

資料庫偵聽程序 (postgres)

處理所有使用者連線

建立查詢計畫

協調工作處理過程

管理工具

系統目錄表和元資料(資料字典)

不存放任何使用者資料

資料節點segment host的主要功能

每段(segment)存放

一部分使用者資料乙個系統可以有多段

使用者不能直接訪問訪問

所有對段的訪問都經過master

資料庫監聽程序(postgres)監聽來自master的連線

3、網路配置示例

第一塊是master host 用於客戶端的訪問

第二塊即使standby host,也是segment host的節點,當master host 節點出現故障時,standby host可以切換為master host,以接受使用者的訪問,如果是生產環境,建議分開

第三塊時segment host 主要用於資料儲存和計算

4、greenplum高可用性體系架構

standby 節點用於當 master 節點損壞時提供 master 服務

standby 實時與 master 節點的 catalog 和事務日誌保持同步

每個segment的資料冗餘存放在另乙個segment上,資料實時同步

當primary segment失敗時,mirror segment將自動提供服務

primary segment恢復正常後,使用gprecoverseg –f  同步資料。

greenplum安裝:

GreenPlum簡介 快速入門

greenplum是乙個底層是多台postgresql分表分庫的分布式資料庫,它有如下特點 greenplum內部使用udp網路,但是greenplum會對資料報進行校驗,因此可靠性等同於tcp。使用tcp的時候,最多支援1000個segment 當master接受到一條sql語句,會將這條語句解析...

Greenplum資料庫架構匯出複製

目的 匯出現場的gp資料庫架構 包含表結構,函式,檢視等,不包含具體表資料。在所內恢復一套同樣架構的資料庫出來,方便所內查詢定位。步驟 1 匯出時間,挑選乙個gp事務比較清閒的時間段進行操作 2 檢視現場資料庫裡有多少模式schema 要根據現場實際的schema 如下圖 3 利用gpadmin使用...

Entity Framework 架構簡介

當微軟的wcf 大行其道,通用資料訪問模型entity framework卻稍遜一籌,有很多需要完善和進步的地方,本文對entity framework 架構做一下簡介。實體框架 entitry framework 以下簡稱ef 看起來像乙個有趣的技術,更強大,比linq to sql 更先進。這兩...