开发者社区> 问答> 正文

使用阿里云RDS之后一个让人欲哭无泪的下午

博文原文: http://www.cnblogs.com/cmt/archive/2013/04/16/3024439.html

非常抱歉!给大家带来可麻烦了!我们都已经欲哭无泪。。。

今天下午是使用阿里云RDS之后访问量最高的一个下午,结果出问题了——大量数据库查询超时。

阿里云DBA一个下午帮着我们优化数据库,但问题没有解决。

我们猜测问题的原因不在数据库本身,因为同样的数据库之前在性能很差的云服务器上也没出现过这个问题。可能是云服务器与RDS之间的网络问题,比如防火墙对网络流量与网络连接数的限制。在出问题期间,我们重启负载均衡中的一台云服务器之后,会有一会儿时间恢复正常(网络连接/流量减少),但很快又出问题。


下图是RDS控制台的流量统计图:


展开
收起
cnblogs 2013-04-16 18:14:07 37343 0
20 条回答
写回答
取消 提交回答
  • 回楼主cnblogs的帖子
    优化一些数据库查询,还有mencache,不过看你的,感觉是阿里云的问题,因为一般这样的流量应该只是导致部分页面打开慢
    2013-04-17 14:42:06
    赞同 展开评论 打赏
  • Re使用阿里云RDS之后一个让人欲哭无泪的下午
    我给楼主说个题外话,你们博客的案日期归档功能有问题。
    http://www.cnblogs.com/cmt/archive/2008/06.html
    http://www.cnblogs.com/cmt/archive/2009/02.html
    出来的内容都是一样的,根本没有归档。
    2013-04-17 14:37:47
    赞同 展开评论 打赏
  • 原来是微软的问题。。。
    2013-04-17 11:58:46
    赞同 展开评论 打赏
  • Re使用阿里云RDS之后一个让人欲哭无泪的下午
    阿里云该好好感谢一下博客园这样的客户了。
    2013-04-17 11:36:39
    赞同 展开评论 打赏
  • 回楼主cnblogs的帖子
    不知道淘宝网有没有用阿里云呢,向他们取经就能解决问题了!
    2013-04-17 02:35:45
    赞同 展开评论 打赏
  • 之前用RDS时就会偶尔出现秒级以上的延时,原因不明,OSS也是如此,从云主机通过内网上传数据到OSS,几十K的图片偶尔会需要数秒才能完成

    -------------------------


    楼主,网站现在是不是挂了?等很长时间才能打开页面,有的页面等待过后直接503了

    2013-04-17 00:24:05
    赞同 展开评论 打赏
  • 回 20楼(cnblogs) 的帖子
    难道是DataReader没关闭的原因吗,DataReader虽然快但是会一直占用连接,自己的服务器连接是无限的,多占用几个也无妨,但阿里云限制了连接。如果用DataSet会立刻释放连接,但增加web服务器的消耗。本人的一点愚见

    -------------------------

    园长,镜像数据库是什么呢?你的意思是,之前的数据库超时会重连一次,但镜像数据库只会连一次?

    -------------------------

    回 25楼(cnblogs) 的帖子
    就算超时设成150,我觉得也没用啊,很多时候默认的超时连不上就应该重连了,就算超时设的很大,也未必就连得上吧
    2013-04-16 23:34:54
    赞同 展开评论 打赏
  • Re使用阿里云RDS之后一个让人欲哭无泪的下午
    阿里系每天过亿的都不处理的吗?高手不在阿里云?

    一百多万的PV的话确实不应该如此不堪一击吧
    2013-04-16 22:12:41
    赞同 展开评论 打赏
  • Re使用阿里云RDS之后一个让人欲哭无泪的下午
    rds没抗住啊~

    阿里云还需努力呀
    2013-04-16 21:42:20
    赞同 展开评论 打赏
  • 回 9楼(akira) 的帖子
    4台4核云组成的负载均衡,Web服务器没问题

    -------------------------

    找到了问题的重要线索,详见博文:网站故障公告2:找到问题的重要线索

    -------------------------

    回 21楼(王猫) 的帖子
    DataReader肯定关闭了,之前是好好的,用云服务器跑数据库也没出现过这个问题

    -------------------------

    应该找到了问题的真正原因,详见博文:http://www.cnblogs.com/cmt/archive/2013/04/17/3025409.html

    -------------------------

    回 23楼(alilab) 的帖子
    这次故障可能也与这个秒级以上的延时有关,看一下这篇博文: 网站故障公告3:应该找到了问题的真正原因
    2013-04-16 20:54:49
    赞同 展开评论 打赏
  • 如果再不行可以考虑一下用安全宝,CDN加速缓冲一下访问瓶颈。

    -------------------------

    回 11楼(ap8686u8o) 的帖子
    是有点多此一举,不过CDN加速的原理是访客访问最近的缓存服务器,这样对原服务器是否有一定的保护呢?在原服务器负载不了的情况下,可能有点帮助吧?

    -------------------------

    回 13楼(ap8686u8o) 的帖子
    我看博客园很多文章都生成静态。

    -------------------------

    回 18楼(lusin) 的帖子
    想起每次光棍节这样的淘宝狂欢,淘宝都会受不了,可能瞬间的高连接是很难处理的吧?
    2013-04-16 19:29:17
    赞同 展开评论 打赏
  • 数据库每秒10k不到的流量,真心不多,还要结合qps,cpu负荷那些参数看才有意义。

    总觉得问题是出在你们的前端服务器了,因为之前你有提到,你们用的是4核的服务器,但是只能负荷200人,这上面一定有什么不对。

    -------------------------

    回 11楼(ap8686u8o) 的帖子
    任何大站都有必要做cdn,这个和是否是bgp没有关系。

    -------------------------

    你们真敬业啊。
    看看处理掉这个问题以后怎么样

    2013-04-16 19:26:02
    赞同 展开评论 打赏
  • Re使用阿里云RDS之后一个让人欲哭无泪的下午
    晕,不是把,还准备买阿里云,看了你的好几篇文章后,我怕了

    -------------------------

    Re使用阿里云RDS之后一个让人欲哭无泪的下午
    都用他的BGP多线了,还用CDN加速???那还不如买个单线电信的再CDN加速

    -------------------------

    回12楼gdliwt的帖子
    好像只是缓存图片,静态文件吧!数据库不缓存吧

    -------------------------

    回25楼cnblogs的帖子
    找到原因就好,我还怕阿里不行呢,原来是微软不行
    2013-04-16 19:20:46
    赞同 展开评论 打赏
  • PHP程序员,业余无线电爱好者,呼号:BH9BHT,自由职业!
    回 楼主(cnblogs) 的帖子
    在问题中成长
    2013-04-16 19:08:52
    赞同 展开评论 打赏
  • 大量数据库查询,会不会是恶意攻击?还是说你们这种查询量是正常的,只是RDS没撑住?
    2013-04-16 19:08:45
    赞同 展开评论 打赏
  • 谢谢分享,阿里云应该又能发现问题了。
    百倍赔偿也不如系统稳定。
    2013-04-16 18:50:06
    赞同 展开评论 打赏
  • 代码改变世界
    但改变不了阿里云
    2013-04-16 18:41:07
    赞同 展开评论 打赏
  • 这么小的流量就经受不住了?
    2013-04-16 18:40:13
    赞同 展开评论 打赏
  • Re使用阿里云RDS之后一个让人欲哭无泪的下午
    阿里云好了,在IT圈臭名昭著了
    2013-04-16 18:37:53
    赞同 展开评论 打赏
  • 你们这小白鼠做的
    太尽职了 阿里云应该给你们_免除一部分非费用
    2013-04-16 18:31:48
    赞同 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像