看! 2020 PG亞洲大會上的Greenplum

2021-10-10 20:19:03 字數 1869 閱讀 5442

2023年11月17日-20日, postgresconf.cn & pgconf.asia2020大會(簡稱2020 pg亞洲大會)通過線上盛大召開!postgresconf是面向全球postgresql開發者和使用者的年度盛會。本屆大會以「生而全球」為主題,吸引了來自全球的postgresql社群的核心成員及使用postgresql的企業使用者、個人使用者。大會共凝聚112場次技術報告,共計一百餘名國內外知名專家、學者,共同打造了一場技術的饕餮盛宴。

greenplum是一款基於postgresql核心的開源分布式mpp資料庫,針對大資料場景和使用者需求開發了眾多優秀特性和極致優化。greenplum一直緊密擁抱postgres社群,以敏捷的方式快速公升級postgres核心,並於9月22日,花費半年多跨越三個大版本。完成了9.6到12的核心公升級。

### 演講主題 一:greenplum的開源之旅--生態使命和社群領導力

**講師:greenplum 中國創始人兼gm 馮雷 **

自2023年正式宣布開源以來,greenplum一直在開源生態的打造上不斷的探索。馮雷在本次演講中從greenplum的發展歷程入手,為大家解析了greenplum在數位化生態中如何定位自己,介紹了greenplum的生態使命和前進方向,並回顧了greenplum是如何和社群小夥伴共同建立社群領導力的。

### 演講主題 二:greenplum的pg核心公升級之路

講師:greenplum 資深工程師 李曉亮

greenplum核心在近幾年從postgresql 8.2一步步公升級至postgresql 12,在postgresql的諸多fork中罕見地持續與上游整合並保持活力,這中間有很多有趣和值得借鑑的故事。李曉亮在演講中介紹了greenplum是如何做核心公升級的,其中的挑戰和解決方法,以及目前的狀態和計畫。

演講大綱:

greenplum簡介

pg核心版本變化

greenplum如何公升級pg核心

pg核心公升級過程中的挑戰

目前pg核心公升級迭代的進展

講師:greenplum 資深工程師 呂正華

greenplum是基於postgres的mpp資料庫,為無共享的單master架構。master節點負責管理catalog和查詢計畫生成。解析執行sql的過程中,master節點在併發控制方面起到至關重要的作用。

鎖首先會在master上獲取,然後再分發到segment上,併發度直接由master的鎖模式控制。設計不好鎖模式,容易引發分布式死鎖或區域性死鎖。greenplum 6引入一些鎖模式的規則,以及設計了分布式死鎖檢測模組,極大的提公升了系統的oltp效能,也探索解決了一系列mpp資料庫中的問題,如row locks,更新分布鍵,更新衝突和分割槽表的鎖問題。這是本次演講最重要的部分。

同時,greenplum用mvcc控制事務併發。為保證分布式環境的強一致性,greenplum實現了分布式事務和分布式快照。分布式快照在master上構建,並下發給segment。當分布式快照和鎖等候結合在一起,很容易出錯。greenplum設計了相應的準則,保證了正確性。這部分演講討論greenplum在這部分的經驗。

演講大綱:

greenplum架構簡介

greenplum中的鎖

死鎖問題和全域性死鎖檢測

降鎖後的各類問題

講師:greenplum 資深工程師 陳金豹

演講的大綱:

brin index簡介

效能特性描述和測試結果

促進大會上的交流

在報導了奧蘭多佛羅里達召開的 better software east devops east 和 agile dev east同地協作會議的教程和演講之後 再報導一下參加者和演講者動態也是個很有意思的事。除了由不同公司按慣例贊助的招待飲品之外,這三個會議還包括了特別的活動和微秒的組織細節,那就是鼓...

促進大會上的交流

在報導了奧蘭多佛羅里達召開的 better software east devops east 和 agile dev east同地協作會議的教程和演講之後 再報導一下參加者和演講者動態也是個很有意思的事。除了由不同公司按慣例贊助的招待飲品之外,這三個會議還包括了特別的活動和微秒的組織細節,那就是鼓...

促進大會上的交流

在報導了奧蘭多佛羅里達召開的 better software east devops east 和 agile dev east同地協作會議的教程和演講之後 再報導一下參加者和演講者動態也是個很有意思的事。除了由不同公司按慣例贊助的招待飲品之外,這三個會議還包括了特別的活動和微秒的組織細節,那就是鼓...