今天（2019年3月20日），所有關注開源大數(shù)據(jù)平臺Greenplum的用戶和開發(fā)人員都會發(fā)現(xiàn)：Greenplum的github代碼庫里面出現(xiàn)了一個新的分支–“6X_STABLE”。這標志著Greenplum大數(shù)據(jù)平臺進入了6.0的時代。

 

 

這是繼2017年9月 Greenplum 發(fā)布5.0版以來，Greenplum 的又一次大版本升級。此次新版本更新了17125的文件，代碼和相關測試修改量更是達到了200余萬行(git diff –stat 5X_STABLE…6X_STABLE)。 Greenplum 新版本在功能和性能上都實現(xiàn)大幅度的提升，大量測試自動運行保證產(chǎn)品質量，可以更好的幫助客戶在公有云或私有云中進行出色的集成數(shù)據(jù)分析，使客戶得以快速構建現(xiàn)代的、基于云的AI（人工智能）應用。

 

Greenplum 6.0重要特性：

1. 內核升級

 

Greenplum 6.0的內核升級到PostgreSQL 9.4.20，與Greenplum 5.x的內核（PostgreSQL 8.3）相比，內核版本提升了6個大的版本，集成了來自于PostgreSQL社區(qū)的約14000次代碼提交，大量PostgreSQL新特性被移植到Greenplum 6.0中，包括：

 

1.JSONB

 

2.安全性、權限管理增強

 

3. Lateral 語法（部分支持）

 

4.Range數(shù)據(jù)類型

 

5.GIN索引、SP-GiST索引

 

6.并行Vacuum

 

7.FDW外部表

 

8.邏輯解碼

 

9.CTE (Common Table Expression)

 

等等

 

2. HTAP （OLAP + OLTP）性能大幅提升

 

Greenplum 6.0 引入了新的全局死鎖檢查機制，新的機制會動態(tài)的收集和分析鎖的信息來檢查和解除全局死鎖?；诖?，HEAP表的更新修改操作可以只借助細粒度行鎖完成，支持大并發(fā)的更改刪除查詢，從而提高整個系統(tǒng)的并發(fā)度和吞吐量。Greenplum 6.0 還對事務鎖進行了優(yōu)化，減少了開始事務和結束事務時的鎖競爭。對分區(qū)表的插入操作的優(yōu)化，減少了對其他分區(qū)的干擾。結合PostgreSQL合并帶來的其他鎖優(yōu)化（例如fastpath），Greenplum 6.0的并發(fā)性得到顯著改進，OLTP型和混合負載業(yè)務尤其受益。

 

3. 支持復制表（Replicated Table）

 

復制表（Replicated Table）是Greenplum 6.0支持的一個新的表類型。與普通表不同，復制表會在每個segment節(jié)點保存一份全量數(shù)據(jù)，這樣當一個復制表和其他表關聯(lián)時，將完全不需要segment節(jié)點間的數(shù)據(jù)移動，快速本地完成查詢。

 

4. 在線擴容（Online expand)和一致性哈希（Jump Consistent Hash）

 

在Greenplum 6.0之前，擴容節(jié)點需要短暫停機并將哈希表改為隨機表，在6.0中，這兩個約束都被消除，集群可以持續(xù)在線擴容。一致性哈希的引入，可以極大減少節(jié)點間的數(shù)據(jù)移動，降低擴容期間網(wǎng)絡IO和整個系統(tǒng)的負載。

 

5. 磁盤配額（Disk Quota）

 

磁盤額度（Disk Quota）支持在數(shù)據(jù)庫的User和Schema級別設置磁盤額度，可以極大的提高對磁盤管理的能力和靈活性。本特性將包括在 GA 版本中。

 

6. 支持Zstandard壓縮算法

 

Greenplum 6.0添加了對Zstandard壓縮算法的支持，壓縮比和性能更突出，CPU使用率大幅降低。

 

7. 靈活數(shù)據(jù)分布

 

允許用戶自定義operator class，并在創(chuàng)建表時給分布列指定operator class, 借助這些功能擴展，用戶可以靈活的控制數(shù)據(jù)分布。

 

8. 基于流復制的全新高可用機制

 

Greenplum 6.0 重新設計了高可用機制，新機制不再使用傳統(tǒng)的基于文件IO的 filerep 技術，而是采用了 PostgreSQL 內建的日志流復制技術。這不僅大大提高了 Greenplum 的高可用能力，降低了和 PostgreSQL 代碼的分歧程度，提高了代碼的可維護性，更是為期待的重量級特性鋪平了道路，譬如CDC和DR。

 

Greenplum 數(shù)據(jù)庫相關產(chǎn)品如備份恢復、機器學習算法庫 MADLib、文本分析產(chǎn)品GPText（閉源）、監(jiān)控管理平臺GPCC（閉源）、Greenplum-Kafka 連接器（閉源）、Hadoop 連接器PXF、Greenplum for Kubernetes （閉源）等也有大量新特性更新。

 

Greenplum社區(qū)將用更多博文詳細介紹6.0的更多技術細節(jié)和應用案例，歡迎大家的持續(xù)關注！

 

Greenplum大數(shù)據(jù)平臺簡介

Greenplum 大數(shù)據(jù)平臺基于MPP（大規(guī)模并行處理）架構，具有良好的彈性和線性擴展能力，內置并行存儲、并行通訊、并行計算和優(yōu)化技術，兼容 SQL 標準，具備強大、高效、安全的PB級結構化、半結構化和非結構化數(shù)據(jù)存儲、處理和實時分析能力，同時支持涵蓋OLTP型業(yè)務的混合負載，為客戶打通業(yè)務-數(shù)據(jù)-洞見-業(yè)務的閉環(huán)，可部署于企業(yè)裸機、容器、私有云和公有云中，支撐著全球金融、證券、電信、政府、制造、交通運輸?shù)雀餍袠I(yè)的大量核心生產(chǎn)系統(tǒng)。

 

Greenplum 大數(shù)據(jù)平臺為全球各行各業(yè)提供具備實時處理、彈性擴容、彈性計算、混合負載、云原生和集成數(shù)據(jù)分析能力的強大的大數(shù)據(jù)引擎，目前廣泛的應用于包括金融、保險、證券、通信、航空、物流、零售、媒體、政府、醫(yī)療、制造、能源等行業(yè)。