Greenplum集群安装配置及佳实践
目录
Greenplum集群安装配置及佳实践 1

目录 1

1 总体介绍 2

1.1 硬件平衡 2

1.2 高可用 2

1.3 部署方案 2

1.3.1 Group Mirroring 部署方案 3

1.3.2 Spread Mirroring 部署方案 3

1.3.3 Group + Spread Mirroring 部署方案 4

2 硬件选型 4

2.1 Master 节点 4

2.1.1 网卡 4

2.1.2 内存 4

2.1.3 磁盘 4

2.1.4 CPU 5

2.2 Segment 节点 5

2.2.1 网卡 5

2.2.2 内存 5

2.2.3 磁盘 5

2.2.4 CPU 5

2.3节点配置实例 6

2.4硬件配置经验总结 6

3 硬件配置 7

1主机配置实例 7

2 磁盘的配置 7

3 网络配置 8

4 交换机配置 8

4 储存规划 9

4.1 磁盘可用空间 9

4.2 用户数据容量 9

4.3 系统数据容量 10

5 集群的配置 10

5.1 低系统要求 10

5.2 系统设置 11

5.3 操作系统参数设置 11

5.4 I/O设置 12

5.5 其他设置 13

6 集群安装 13

6.1 安装方式 13

6.2 数据库目录 14

7 集群验证 14

7.1 硬件性能验证 14

7.2 集群初始化 15

7.3 配置文件 15

7.4 数据目录 16

7.5 pg_hba.conf 配置文件 16

7.6 安装完后的环境变量 17

8 可选组件安装 18

8.1 安装外部支持的语言 18

8.2 故障诊断 19

1 总体介绍
1.1 硬件平衡
1、性能

2、容量

3、成本

1.2 高可用
1、节点

2、网络

3、磁盘

1.3 部署方案
1、Master与Standby Master分级部署

2、Primary Segment与Mirror Segment 分机部署

3、Segment Mirroring 部署方案

3.1、Group Mirroring

3.2、Spread Mirroring

3.3、Group + Spread Mirroring

4、Pivotal Supported Greenplum 必须部署Mirroring Segment

5、铜一主机Segment个数

5.1 CPU/Core 数据

5.2 查询并发数

5.3 查询复杂度

5.3 单机Primary Segment 总数不能过多

1.3.1 Group Mirroring 部署方案
按照以下4台机器Group Mirroring的部署方案总结

缺点: 一台机器down掉后，会把流量全部放在下一个节点，下一个节点的流量会变成2倍的流量

优点: down掉一台机器后，集群能正常的提供服务,如果再down掉第二台集群就不可用



1.3.2 Spread Mirroring 部署方案
按照以下4台机器Spread Mirroring的部署方案总结

缺点: 一台机器down掉后，会把流量全部放在下两个节点

优点: down掉一台机器后，集群能正常的提供服务,如果再down掉第二台集群就不可用



1.3.3 Group + Spread Mirroring 部署方案
如果集群比较大建议使用Group + Spread Mirroring部署方案，如果集群由down流量会分流道其他的机器上,集群不可用的几率比较小。

2 硬件选型
2.1 Master 节点
2.1.1 网卡
1、2块万兆网卡内部互联

2、1-2块千兆网卡带外管理及接入客户网络

2.1.2 内存
DDR4 64GB以上，建议256G

2.1.3 磁盘
1、6块600G/900G 10k RPM SAS盘

2、采用RAID5或RAID10

3、单独预留hotspare 盘

4、1块RAID卡，cache 1GB以上，带有掉电保护功能

2.1.4 CPU
1、2路8核及以上

2、主频2.5G HZ以上

2.2 Segment 节点
2.2.1 网卡
1、2块万兆网卡内部互联

2、1-2块千兆网卡带外管理及接入客户网络

2.2.2 内存
DDR4 64GB以上，建议256G

2.2.3 磁盘
1、24块600G/900G 10k RPM SAS盘

2、采用RAID5或RAID10

3、单独预留hotspare 盘

4、1-2块RAID卡，cache 1GB以上，带有掉电保护功能

2.2.4 CPU
1、2路8核及以上

2、主频2.5G HZ以上

2.3节点配置实例


2.4硬件配置经验总结
1、磁盘故障时Greenplum集群常见的故障

1.1分析性查询: SAS盘 > SATA盘

1.2高并发小IO查询: 优先SSD或NVMe

2、RAID级别

2.1 RAID-5 VS RAID-10

3、RAID 卡一定带Cache功能，能提高磁盘的读写性能。

4、硬件监控

5、预留灾备机

RAID-5 VS RAID-10的区别:

RAID-5:在容量上会比较大，储存会达到90%的利用率，在读写的性能上比RAID10会好一点,RAID5的可靠性会差很多。

RAID-10:冗余级别更高，储存会达到50%的利用率，当有的盘出现坏的情况下，磁盘的可靠性有保证。

3 硬件配置
1主机配置实例
一下的配置两个CPU主机的例子,两个segment两个primary两个mirror以及两个网卡的例子



2 磁盘的配置


3 网络配置


4 交换机配置
以下配置是两个交换机，配置的流量是均衡的。



4 储存规划
4.1 磁盘可用空间


4.2 用户数据容量


4.3 系统数据容量


5 集群的配置
5.1 低系统要求
以下是系统的低的配置



5.2 系统设置


5.3 操作系统参数设置


5.4 I/O设置




5.5 其他设置


6 集群安装
6.1 安装方式


6.2 数据库目录


7 集群验证
7.1 硬件性能验证


7.2 集群初始化


7.3 配置文件


7.4 数据目录


7.5 pg_hba.conf 配置文件




7.6 安装完后的环境变量


8 可选组件安装
8.1 安装外部支持的语言


8.2 使用gppkg 命令安装



8.2 故障诊断

————————————————
本文来源：https://blog.csdn.net/xfg0218/article/details/104564289