开发者社区> 余二五> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

对公司网站DNS解析异常的排查与处理

简介:
+关注继续查看
  • 这周可谓是屋漏连夜雨,先是nfs挂载出现问题,紧接着住处的厕所堵了,然后又是今天的域名解析异常导致服务访问返回404。
    我们的域名是解析到两个IP,分别是电信跟网通。
    异常情景:
    用户打开页面登录后图片上传跟显示出现异常,http返回404.
    排查问题:
    1、先让用户将异常的url发送过来,自己登录查看。发现情况如下:
    对公司网站DNS解析异常的排查与处理
    通过google的开发者工具再次刷新发现所有的异常的图片都返回404,看了url是域名:8080/路径,复制
    对公司网站DNS解析异常的排查与处理
    复制url在新窗口打开发现404,之后将域名替换为ip,图片显示正常。换了第二个ip,图片显示正常
    2、在本地ping域名发现如下:
    对公司网站DNS解析异常的排查与处理
    域名解析不稳定
    由上面的分析,问题基本就是在域名解析上。

问题分析:
在这件事发生前联通的IP曾断了10-20分钟,当时业务有部分异常,自己就先登录DNS将联通的解析给暂停了,之后业务正常,在下午2点左右再度异常。
期间曾询问机房人员网络异常的事,给的答复是网络波动。这...这结果也只能认了。

DNS的设置里面有TTL缓存生存时间,当到达设定的TTL时长后DNS会再次从此处获得最新的域名解析值,由于我们设置的是3600s,一小时。在停了联通的线路解析后1小时后才会重新生效,因此会有域名解析出现异常。
登录我们的DNS

对公司网站DNS解析异常的排查与处理

我们自己因为IP变动小,基本TTL都设置为1小时,这样会使得解析快点,但它的弊端就是当IP异常时它恢复时间会很长一般是1小时,最短可设1分钟,但1分钟又太短使得解析会很慢。
经过这次的事故,考虑了下设置为600,即10分钟比较合适。目前业务量并不大,网络波动出现后一个IP有影响也只是分钟级别,目前公司还可以接受。

总结:
1、这主要是自己对IP的连通性没有监控到位,使得IP异常自己未及时发现;
2、域名解析的IP最好不是直接对应的业务IP,而是在前端加一层负载均衡这样后端一个IP异常,也不影响解析结果。不过加了一层负载均衡后会增加预算,而且引入负载均衡后它的单点故障也需要考虑,这又增加了费用。但若企业愿意花钱买稳定,这还是值得的。

这次主要原因在于自己监控及报警未做到位,以致故障发生这么久才知道。









本文转自 紫色的茶碗 51CTO博客,原文链接:http://blog.51cto.com/chawan/2048741,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
爬虫风险管理DNS解析状态异常说明图文解析
当网站域名接入Anti-Bot后,您可以在爬虫风险管理控制台的 域名接入页面查看网站域名的接入状态,即DNS解析状态。
270 0
一次服务器被黑的全过程排查和思考
一次服务器被黑的全过程排查和思考
0 0
阿里云服务提供商分享CDN访问异常该如何排查
不知道大家对阿里云CDN产品有没有大概的了解,当我们使用 CDN 加速站点访问后,客户端的请求将首先发送到 CDN 的 L1 节点,再通过 L1 > L2 > 源站的网络路径回源获取资源。
3511 0
网站流量异常怎么办?网站流量异常正确反馈方式
再看本文前,我们先要查看网站为什么流量异常,对照以后如果网站流量一直没有恢复的话,我们就要把流量异常情况上报给百度官方。
0 0
排查服务器异常流量保姆级教程
这篇文章将介绍当WEB服务器报警,提示磁盘使用率问题和带宽满载时的一些排查思路和解决方案。
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
网络流量异常行为分析系统
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载