Postgresql stream replication slow-问答-阿里云开发者社区-阿里云

开发者社区> jaywu> 正文

Postgresql stream replication slow

2016-03-22 18:27:45 2993 2

Postgresql stream replication slow

目前有两台postgres db, 使用stream replication 做主从同步,在比较重的写操作时发生了比较重的延迟.

通过对 
pg_xlog_location_diff(pg_current_xlog_location(), sent_location) AS not_sent,
pg_xlog_location_diff(sent_location, write_location) AS not_written,
pg_xlog_location_diff(write_location, flush_location) AS not_flushed,
pg_xlog_location_diff(flush_location, replay_location) AS not_replayed
FROM pg_stat_replication;
这几个参数的监控,我们发现在
pg_current_xlog_location() - (sent_location)有比较重的延迟,延迟的size将近在100MB+ ,网络吞吐量最大值在10MB/s.
最大的延迟将近5分钟.

取消 提交回答
全部回答(2)
  • 德哥
    2019-07-17 18:35:18

    wal sender发送xlog的前提是xlog已经在本地落盘,如果没有落盘是不能发的。
    另外有几种情况会触发主walsender往备发送xlog

    1. 事务结束时
    2. xlog flush调用后
    3. 切换时间线文件时
    4. 达到wal sender的循环
      理论上不应该存在非常大的延迟,wal sender ptr是在每次发送后更新的
            /*
             * Fill the send timestamp last, so that it is taken as late as possible.
             */
            resetStringInfo(&tmpbuf);
            pq_sendint64(&tmpbuf, GetCurrentIntegerTimestamp());
            memcpy(&output_message.data[1 + sizeof(int64) + sizeof(int64)],
                       tmpbuf.data, sizeof(int64));
    
            pq_putmessage_noblock('d', output_message.data, output_message.len);
    
            sentPtr = endptr;

    current location则是在flush xlog后更新的。
    你获取到的值,只能是一个参考,因为没有办法同时获得这两个值的一致状态。
    你这个例子主要是产生XLOG的速度太快,可能造成了这个看起来的差异。实际的差异不应该这么大。
    如果要更精准的值,可以hack一下,在walsender中获取到当前的current xlog location并存下来,返回时使用这个值。

    0 0
  • jaywu
    2019-07-17 18:35:17

    本地模拟:
    更新数据表的字段 一个表将近110w数据 ,size 是 612 MB.
    我们在观察主从两边的wal log 的数目时发现,此次操作总归会生产104个wal 文件 size =16MB* 104 =1.644268775GB.
    手工对比主从库wal 文件状态,从库远远落后于主库,将近落后30多个wal file.

    我也使用了iperf去测试了网络情况

    Client connecting to 192.168.6.55, TCP port 5001

    TCP window size: 125 KByte (default)

    [ 3] local 192.168.6.56 port 41489 connected with 192.168.6.55 port 5001
    [ ID] Interval Transfer Bandwidth
    [ 3] 0.0-10.0 sec 1.09 GBytes 939 Mbits/sec

    网卡最大值为1G.

    数据库 MAX_SEND_SIZE (XLOG_BLCKSZ * 16)
    XLOG_BLCKSZ= 8K

    理论上 延迟最大值为一秒.

    Postgres version:psql (PostgreSQL) 9.2.13

    有没有其他参数会影响到stream replication的性能?

    期待大家的回复,讨论.


    本地模拟:
    更新数据表的字段 一个表将近110w数据 ,size 是 612 MB.
    我们在观察主从两边的wal log 的数目时发现,此次操作总归会生产104个wal 文件 size =16MB* 104 =1.644268775GB.
    手工对比主从库wal 文件状态,从库远远落后于主库,将近落后30多个wal file.

    我也使用了iperf去测试了网络情况

    Client connecting to 192.168.6.55, TCP port 5001

    TCP window size: 125 KByte (default)

    [ 3] local 192.168.6.56 port 41489 connected with 192.168.6.55 port 5001
    [ ID] Interval Transfer Bandwidth
    [ 3] 0.0-10.0 sec 1.09 GBytes 939 Mbits/sec

    网卡最大值为1G.


    本地模拟:
    更新数据表的字段 一个表将近110w数据 ,size 是 612 MB.
    我们在观察主从两边的wal log 的数目时发现,此次操作总归会生产104个wal 文件 size =16MB* 104 =1.644268775GB.
    手工对比主从库wal 文件状态,从库远远落后于主库,将近落后30多个wal file.
    我也使用了iperf去测试了网络情况



    Client connecting to 192.168.6.55, TCP port 5001

    TCP window size: 125 KByte (default)

    [ 3] local 192.168.6.56 port 41489 connected with 192.168.6.55 port 5001
    [ ID] Interval Transfer Bandwidth
    [ 3] 0.0-10.0 sec 1.09 GBytes 939 Mbits/sec

    网卡最大值为1G.


    数据库 MAX_SEND_SIZE (XLOG_BLCKSZ * 16)
    XLOG_BLCKSZ= 8K

    理论上 延迟最大值为一秒.

    Postgres version:psql (PostgreSQL) 9.2.13

    有没有其他参数会影响到stream replication的性能?

    期待大家的回复,讨论.

    5 0
添加回答
相关问答

17

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 974165浏览量 回答数 17

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 157128浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333934浏览量 回答数 8

3

回答

请问postgres实时同步数据到mysql数据库有什么好的方案吗?

toni3 2019-06-29 14:55:43 115812浏览量 回答数 3

2

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 126843浏览量 回答数 2

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 256911浏览量 回答数 38

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 302644浏览量 回答数 249

97

回答

Redhat/CentOS一键安装web环境全攻略

xiaofanqie 2011-08-11 14:51:38 123233浏览量 回答数 97

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204028浏览量 回答数 2

11

回答

【精品问答合集】MongoDB热门问答

李博 bluemind 2019-05-29 16:50:19 120899浏览量 回答数 11
+关注
0
文章
7
问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载