CentOS 7.x下基于PostgreSQL(V11.1)进行主从(流复制)配置

552 阅读9分钟

1、部署准备

部署PostgreSQL主从配置需要在所有服务器分别先安装单机版PostgreSQL数据库服务,这部分内容详见《CentOS 7.x进行PostgreSQL(V11.1)单机部署》

注意:

只需要安装好服务即可;

初始化数据库部分暂时不用做;

如果从库已经进行了initdb操作了则需要删除data目录。

2、数据库主从配置

2.1、主库配置

初始化&启动

按照《CentOS 7.x进行PostgreSQL(V11.1)单机部署》中的内容已经安装好PostgreSQL单机服务后,就可以开始对主库的数据库进行初始化并启动。

执行如下命令,初始化数据库并启动PostgreSQL服务:

# 主库初始化数据库,如果已经执行过初始化操作,则不需要进行此步骤
> /usr/pgsql-11/bin/postgresql-11-setup initdb
# 初始化数据库结束后,直接启动服务
> systemctl start postgresql-11

创建同步账号

当PostgreSQL的主数据库库启动成功后,需要将服务器切换进入 postgres 用户(此为Linux服务器的一个用户,如果没有需要自己创建),讲服务器账户切换到 postgres 用户后,使用psql命令进入PostgreSQL数据库客户端的命令行后进行创建用于同步的账号,准备进行主从同步。

执行如下命令,创建用于数据同步的账号:

# 将系统账号从root切换到postgres账户
> su - postgres
# 切换完账户之后,进入PostgreSQL命令行,注意 -h 后面是需要登录的IP地址。缺失可能报错。
> psql -h 192.168.0.1
postgres=# create role repl login replication encrypted password '123456';
CREATE ROLE
# 创建结束之后,退出PostgreSQL命令行。并切换回root账户
postgres=# \q
> exit

配置访问控制

开始配置允许PostgreSQL从数据库访问主库数据库的控制权限

执行如下命令,修改主数据库配置文件:

# 打开PostgreSQL控制访问权限的配置文件
> vim /var/lib/pgsql/11/data/pg_hba.conf
# 只需要台添加下面两行,repl是用来做备份的用户。后面的192.168.63.0/24是该网段内从库的的IP地址
host    replication     repl            192.168.63.0/24         md5
host    all             repl            192.168.63.0/24         trust

注意!

如果有多个从数据库则主数据库的pg_hba.conf配置文件需要将所有的从数据库的信息都配置上去。

配置主库的主从配置

执行如下命令,修改主库配置文件:

# 打开PostgreSQL数据库的配置文件,进行主从配置
> vim /var/lib/pgsql/11/data/postgresql.conf
# 在配置文件中找到如下配置项,并进行修改。在文件非INSERT状态下,输入'/需要搜索的文本'进行搜索
# 要监听的IP地址
listen_addresses = '*'  
# 服务端口号(重启后生效)
port = 5432
# 最大连接数(重启后生效)
max_connections = 512
# 分片缓存,最小128KB
shared_buffers = 128MB 
# 动态分片内存类型:posix(共享内存)
dynamic_shared_memory_type = posix
# 预写日志系统级别:hot_standby(热备)
wal_level = hot_standby
# 是否打开存档模式
archive_mode = on
# 用于归档日志文件的命令
archive_command = 'cp %p /var/lib/pgsql/11/data/pg_archive/%f'
# 最大预写日志系统发送者个数
max_wal_senders = 6 
# 预写日志系统日志分段大小,默认每个16MB,如果为0则禁用分段
wal_keep_segments = 10240
# 预写日志系统发送超时时间,单位:毫秒。0位禁用
wal_sender_timeout = 60s
# 写入日志文件的目录
log_directory = 'log'

创建存放归档日志的目录&进行权限变更

执行如下命令,创建书数据库中 postgresql.conf 配置文件内归档日志文件命令项(archive_command)中的路径&修改权限:

# 创建/var/lib/pgsql/11/data/pg_archive目录。
> mkdir /var/lib/pgsql/11/data/pg_archive
# 给系统用户postgres分配操作 /var/lib/pgsql/11/data 目录的权限
> chown -R postgres.postgres /var/lib/pgsql/11/data

重启PostgreSQL服务

执行如下命令,重新启动PostgreSQL服务:

# 重启服务
> systemctl restart postgresql-11

2.2、从库配置

初始化

当PostgreSQL的从数据库全部安装完成后,则需要对每台从数据库进行初始化操作。如果从数据库已经进行了初始化操作,则需要删除数据库的data目录后再次进行初始化操作。其原因是从数据库的data目录不需要自己进行初始化生成,而是直接从主库拷贝过来。

执行如下命令,将data目录从主库拷贝过来:

# 把主节点所有的数据文件都会拷贝过来,需要输入的口令为主库创建的repl账户的密码
> pg_basebackup -h 192.168.63.134 -U repl -D /var/lib/pgsql/11/data/ -X stream -P
口令:(输入密码)
25312/25312 kB (100%), 1/1 表空间
# 执行结束后,查看data目录下是否已经从主库拷贝数据过来
> ls /var/lib/pgsql/11/data
backup_label.old  global      pg_commit_ts  pg_ident.conf  pg_notify    pg_snapshots  pg_subtrans  PG_VERSION  postgresql.auto.conf  postmaster.pid
base              log         pg_dynshmem   pg_logical     pg_replslot  pg_stat       pg_tblspc    pg_wal      postgresql.conf       recovery.conf
current_logfiles  pg_archive  pg_hba.conf   pg_multixact   pg_serial    pg_stat_tmp   pg_twophase  pg_xact     postmaster.opts

配置从数据库的主从配置

执行如下命令,进行从库配置:

# 编辑从库的配置文件
> vim /var/lib/pgsql/11/data/postgresql.conf
# 要监听的IP地址
listen_addresses = '*'  
# 服务端口号(重启后生效)
port = 5432
# 最大连接数(重启后生效)
max_connections = 1000
# 分片缓存,最小128KB
shared_buffers = 128MB 
# 动态分片内存类型:posix(共享内存)
dynamic_shared_memory_type = posix
# 预写日志系统级别:replica(复制)
wal_level = replica
# 是否打开存档模式
archive_mode = on
# 用于归档日志文件的命令
archive_command = 'cp %p /var/lib/pgsql/11/data/pg_archive/%f'
# 最大预写日志系统发送者个数
max_wal_senders = 6 
# 预写日志系统日志分段大小,默认每个16MB,如果为0则禁用分段
wal_keep_segments = 10240
# 预写日志系统发送超时时间,单位:毫秒。0位禁用
wal_sender_timeout = 60s
# 热备是否在恢复数据期间准许查询
hot_standby = on
# 最大待机流延迟,取消查询之前的最大延迟时间
max_standby_streaming_delay = 30s
# 预写日志系统接受者状态间隔
wal_receiver_status_interval = 10s
# 热备反馈
hot_standby_feedback = on
# 写入日志文件的目录
log_directory = 'log'

给从库的归档日志目录赋权给postgres账户

由于从数据库的data目录是从主数据库库远程拷贝过来的,所以从数据库中也会有存放归档日志目录 pg_archive ,但是从数据库所在的服务器系统中并没有将该目录赋权给 postgres 用户。如果不将 pg_archive 对 postgres 用户进行授权,则会导致从数据库无法正常启动。

执行如下命令,进行赋权操作:
# 给系统用户postgres分配操作 /var/lib/pgsql/11/data 目录的权限
> chown -R postgres.postgres /var/lib/pgsql/11/data

创建恢复文件

PostgreSQL的从数据库还需要创建恢复文件 recovery.conf ,这个配置文件的作用是在从数据库与主数据库的连接断连后能够恢复与主库的连接和恢复数据同步。

执行如下命令,拷贝恢复文件模板到执行目录并进行配置:

# 拷贝恢复配置文件模板到执行目录,并重命名
> cp /usr/pgsql-11/share/recovery.conf.sample /var/lib/pgsql/11/data/recovery.conf
# 修改恢复配置文件
> vim /var/lib/pgsql/11/data/recovery.conf
#同步到最新数据
ecovery_target_timeline = 'latest'
#指明从库身份
standby_mode = on
trigger_file = 'failover.now'
# #连接到主库信息,host为主库的IP地址,port为主库端口,账户密码为主库创建的用于同步的账密
primary_conninfo = 'host=192.168.63.134 port=5432 user=repl password=123456'

启动从数据库服务

执行如下命令,启动从数据库服务:

# 启动从库服务
> systemctl start postgresql-11

验证是否已经成功启动主从

到PostgreSQL主数据库所在服务器中,进入PostgreSQL客户端命令行模式下,执行命令查看从库IP。

执行如下命令,验证主从是否配置成功:

> su - postgres
> psql -h 192.168.0.1
postgres=# select client_addr,sync_state from pg_stat_replication;
  client_addr   | sync_state 
----------------+------------
 192.168.0.2 | async

如上内容显示,则已经成功配置主从同步。

3、PostgreSQL主从配置注意事项

PostgreSQL流复制默认是异步的。如果主服务器崩溃,则某些已被提交的事务可能还没有被复制到后备服务器,这会导致数据丢失。数据的丢失量与故障转移时的复制延迟成比例。

同步复制能够保证一个事务的所有修改都能被传送到一台或者多台同步后备服务器。这扩大了由一次事务提交所提供的标准持久化级别。在计算机科学理论中这种保护级别被称为 2-safe 复制。而当synchronous_commit被设置为remote_write时,则是 group-1-safe (group-safe 和 1-safe)。

在请求同步复制时,一个写事务的每次提交将一直等待,直到收到一个确认表明该提交在主服务器和后备服务器上都已经被写入到磁盘上的预写式日志中。数据会被丢失的唯一可能性是主服务器和后备服务器在同一时间都崩溃。这可以提供更高级别的持久性,尽管只有系统管理员要关系两台服务器的放置和管理。等待确认提高了用户对于修改不会丢失的信心,但是同时也不必要地增加了对请求事务的响应时间。最小等待时间是在主服务器和后备服务器之间的来回时间。

只读事务和事务回滚不需要等待后备服务器的回复。子事务提交也不需要等待后备服务器的响应,只有顶层提交才需要等待。长时间运行的动作(如数据载入或索引构建)不会等待最后的提交消息。所有两阶段提交动作要求提交等待,包括预备和提交。

同步后备可以是物理复制后备或者是逻辑复制订阅者。它还可以是任何其他物理或者逻辑WAL复制流的消费者,它懂得如何发送恰当的反馈消息。除内建的物理和逻辑复制系统之外,还包括pg_receivewal和pg_recvlogical之类的特殊程序,以及一些第三方复制系统和定制程序。同步复制支持的细节请查看相应的文档。