七叶笔记 » 数据库 » pgpool复制和负载均衡操作

pgpool复制和负载均衡操作

2.安装pgpool-regclass

使用 PostgreSQL 8.0 至 PostgreSQL 9.3,强烈推荐在需要访问的 PostgreSQL 中安装 pgpool_regclass 函数,因为它被 pgpool-II 内部使用。 如果不这样做,在不同的 schema 中处理相同的表名会出现问题(临时表不会出问题);而PostgreSQL 9.4或更高版本则不需要

应在每台通过 pgpool-II 访问的数据库中执行 pgpool-regclass.sql 或者 CREATE EXTENSION。 你不需要在你执行“psql -f pgpool-regclass.sql template1” 或者 CREATE EXTENSION 后建立的数据库中这么做, 因为这个模板数据库将被克隆成新建的数据库。

3.建立insert_lock表

如果你在复制模式中使用了 insert_lock ,强烈推荐建立 pgpool_catalog.insert_lock 表,用于互斥。 到现在为止,insert_lock 还能够工作。但是,在这种情况下,pgpool-II 需要锁定插入的目标表。 这种行为和 pgpool-II 2.2 和 2.3 系列类似。由于表锁与 VACUUM 冲突,所以 INSERT 操作可能因而等待很长时间。

应在在每台通过 pgpool-II 访问的数据库中执行 insert_lock.sql。 你不需要在你执行“psql -f insert_lock.sql template1”后建立的数据库中这么做, 因为这个模板数据库将被克隆成新建的数据库。

4.安装pgpool_recovery

如果你使用在线回复,需要以下一些函数: pgpool_recovery, pgpool_remote_start, pgpool_switch_xlog。

另外,附带工具pgpoolAdmin 控制 pgpool-II 启停和重新连接后端的 PostgreSQL 节点, 它需要函数 pgpool_pgctl;而且 pgpoolAdmin 需要函数 pgpool_pgctl 来对 PostgreSQL 进行停止/重启/重新加载参数操作。

可以使用和安装 pgpool_regclass 一样的方法安装着四个函数。 不过和 pgpool_regclass 不同的是,你只需要在 template1 数据库中安装这些函数。

配置pgpool

1.配置pcp.conf

pgpool提供pcp接口,可以查看,管理pgpool的状态,并且可以远程操作pgpool,pcp.conf用来对pcp相关命令认证的文件

2.配置pool_hba.conf

通过pool_hba.conf可以进行相关权限设置,类似于postgresql的pg_hba.conf

**注意:

1.pool_hba.conf中的加密方式必须和pg_hba.conf中的加密方式一样,都为mds、trust或其他方式。若不一样会报错。

2.pool_hba.conf中的用户必须在postgresql数据库中存在

**

3.配置pgpool.conf

其中:

replication_mode = on 复制模式打开,可以在两台postgresql数据库上进行实时备份

load_balance_mode = on 负载均衡模式打开,可以实现负载均衡

3.启动pgpool

4.连接pgpool

测试

1.创建bench_replication数据库

我们可以分别登陆56、57上的postgresql进行查看

可以看到两台postgresql都创建了bench_replication数据库,因此pgpool的复制是成功的。

2.pgbench测试

在所有pgsql节点中,下面列出的表和数据都被建立了,说明复制运行正常。

表名 行数 branches 1 tellers 10 accounts 100000 history 0 总结

以上只是简单介绍了pgpool-II的复制和负载均衡作为入门,还有很多功能没有介绍,需要我们继续探索。

补充:pgpool使用中遇到的坑总结

1,复制模式可靠性低

最早时候使用的是复制模式,数据到pgpool然后pgpool分别写入n个postgres.发现经常出现数据不一致问题,导致最终只有一个数据库可用

2,online recovery

基于PIRT的online recovery 配置复杂

3,基于流复制的主备模式

这个用到postgres9的新特性,前期配置测试都很easy,failover 也很好用,但是当服务连接上pgpool时,事务往往报错 postgres error : failed to read kind from backend,这个我在之前的文章中提到过,至今无法解决。

4,连接数的困扰

num_init_children 原来理解成了一个池的大小,如果超过了会自动扩增,但是实际上往往不够用,确切的说该值也是 pgpool-II 支持的从客户端发起的最大并发连接数。

所以这个值配的尽量大些,并且对这个值的更改必须重启pgpool.

5,client_idle_limit不要配置

当一个客户端在执行最后一条查询后如果空闲到了 client_idle_limit 秒数, 到这个客户端的连接将被断开.连接不应该让pgpool来断开,应该是应用主动去断开。如果让pgpool去断开,会导致客户端不可用。

当然pgpool也有一个好处,能够快速找到连接的应用。因为每个连接都是单独的进程,所以启动后会有num_init_children 个进程可以接受连接

使用# ps -ef |grep pgpool 可以看到

pgpool: wait for connection request 的进程是空进程,等待连接。

pgpool: postgres dbtest 10.115.53.167(51883) idle 这些进程是使用中的进程,并且可以看到是来自哪台机器,什么用户,连接的是什么数据库。

当然使用select * from pg_stat_activity 也能查到 连接情况

以上为个人经验,希望能给大家一个参考,也希望大家多多支持七叶笔记。如有错误或未考虑完全的地方,望不吝赐教。

相关文章