Green Plum測試報告

2021-06-01 12:56:08 字數 2864 閱讀 1503

測試專案

oracle11g

greenplum

master 節點

greenplum

segment 4節點

greenplum

segment 8節點

主機節點數

cpu2*4 intel 2.83ghz

2*6 intel 3.0ghz

2*6  intel 2.93ghz

2*6  intel 2.93ghz

記憶體16g

磁碟146g*2(raid1)

sas 10k

6*300gb sas(raid5)

12*600gb sas(raid5)

12*600gb sas(raid5)

儲存dell md3200

6gbps sas

36*2t(2hotspace)

2t*8+10t( raid5)

n/an/a

n/a網路

2*1gb千兆網口

4*1 gb千兆網口

2*1 10gb 萬兆網口

2*1 gb 千兆網口

2*1 10gb 萬兆網口

2*1 gb 千兆網口

2*1 10gb 萬兆網口

交換機3560千兆交換機

萬兆交換機2臺,千兆交換機1臺

oracle

green plum

作業系統&版本

oracle linux5.6

linux5.5

資料庫&版本

oracle 11g 11.2.0.2.0

greenplum-db-4.1.1.3

測試專案

具體專案

oracle

11ggreenplum

4節點greenplum

8節點copyvssql loader

6400萬

900秒

n/an/a

外部表vs外部表

6400萬

n/a63秒

50秒6400萬*3

n/a130秒

76秒insert方式vsinsert方式

6400萬

1800~9000秒

6400萬*4

n/a74秒

39秒6400萬*8

n/a360秒

90秒6400萬*16

n/a356秒

209秒

從4節點與8節點的載入效能來看,效能和節點數量基本呈線性關係。

green plum與oracle相比,資料載入的效能提高20倍~100倍不等。

標準查詢語句效能測試

測試專案

具體專案

oracle

11ggreenplum

4節點greenplum

8節點單分割槽分組

(參見相關語句)

select

120秒

ctas

33秒17.5秒

12秒insert

11.9秒

5.3秒

八分區分組

(參見相關語句)

select

500秒

77.6秒

ctas

232秒

insert

40.5秒

三十個分割槽分組

(參見相關語句)

ctas

207.3秒

單分割槽與八個分割槽分組統計

(參見相關語句)

select

437秒

67.1秒

56.1秒

ctas

35.8秒

27.7秒

insert

32.4秒

21.9秒

單分割槽與三十個分割槽分組統計

(參見相關語句)

select

230.0秒

ip查詢語句效能測試

測試專案

oracle

11ggreenplum

4節點greenplum

8節點ip範圍查詢—by 轉換後

(參見相關語句)

約1800秒

約2537秒

ip範圍查詢—by函式

(參見相關語句)

約18000秒

約36000秒

ip查詢

(參見相關語句)

21秒32~98秒

從以上的測試資料來看,大批量的資料處理,都能夠在所期望的時間內以很短的時間完成執行。通過4個節點與8個節點響應的sql測試時間的比較來看,效能與節點數量基本上呈線性關係。

greenplum與oracle相比,資料查詢的效能提高3倍~20倍不等。(oracle的測試結果已做過優化,gp則為無索引狀態)

基於ip範圍查詢的結果見補充說明

對於ip範圍查詢(包括數字和函式比較),green plum和oracle的執行效能均一般,greenplum還要更差一些。

為了解決這個效能問題,green plum對ip表做了特殊處理,即把10999行的ip表拆分成1億多條的ip明細表,採用等關聯處理,即避開nestloop方式的join而使用更為快速的hash join。修正效果顯著,相同的資料關聯從之前的約2500秒的處理時間降低到約20秒,有了100倍左右的提公升。

測試專案

oracle

11ggreenplum

4節點greenplum

8節點update(30個分割槽)

130.7秒

delete

12秒對於大批量資料的更新和刪除,green plum的優勢更加明顯,oracle還需要加以特殊處理(即分段處理)才能進行更新和刪除。

Green Plum測試報告

測試 專案oracle11g greenplum master 節點 greenplum segment 4節點 greenplum segment 8節點 主機節點數 cpu2 4 intel 2.83ghz 2 6 intel 3.0ghz 2 6 intel 2.93ghz 2 6 intel...

Green Plum測試報告

測試專案 oracle11g greenplum master 節點 greenplum segment 4節點 greenplum segment 8節點 主機節點數 cpu2 4 intel 2.83ghz 2 6 intel 3.0ghz 2 6 intel 2.93ghz 2 6 intel...

測試 測試報告

document number 文件編號 confidentiality level 密級 test report 01 絕密 秘密 內部公開 document version 文件版本 total 10 pages 共 10 頁 v1.0 測試報告 prepared by 擬制date 日期yyy...