开发者社区> 科技小能手> 正文

明晚九点|一线互联网公司服务器监控系统架构分享

简介:
+关注继续查看

主题:一线互联网公司服务器监控系统架构

内容:

  • 自动运维的一点体会
  • 性能与可用性可扩展
  • 功能可扩展
  • 监控支撑业务扩展

主讲师:PC 老师

大学时期就负责学校官方网站的运维工作,实习期间加入豆瓣,有幸成为豆瓣 Top20 员工,从事 Python 开发及运维工作,后在 BAT 从事自动化运维,见证BAT 运维自动化从无到有。擅长系统底层、分布式系统开发,热衷于开源运动,给 memcached、SETI@Home 等多个开源项目贡献过代码。

自动化运维的一点体会

不同公司的需求差异

  • 监控?
  • 配置管理?
  • 自动部署?
  • 调度系统?
  • Iaas / Paas?
  • or more?

不同规模、不同行业的公司存在需求差异

自动运维的几个基础

  • 一本清晰的账本 (准确的基础信息)
  • 一个靠谱的监控
  • 一个靠谱的任务执行系统

    自动运维的基础

    明晚九点|一线互联网公司服务器监控系统架构分享

靠谱的监控

  • 本质:对被监控对象的指标进行状态判定
    一台服务器上 nginx 服务的连接数
  • 需要支持网络层、服务器、服务、业务四层
  • 精准智能
  • 适应机器 的规模与增长速度
  • 高效、高可用性
  • 支持纷繁多样的服务
    明晚九点|一线互联网公司服务器监控系统架构分享

明晚九点|一线互联网公司服务器监控系统架构分享

性能与可扩展

模块内性能

  • 通信
    长连接
    Epoll
  • 多进程/线程
    高并发
    并发度可调
    明晚九点|一线互联网公司服务器监控系统架构分享

    通信层剥离

  • 统一的高性能通信框架与通信协议
  • 业务开发简单清晰

    多进程工作模型

  • 单进程IO复用接收
  • 多进程(worker)并发处理
    明晚九点|一线互联网公司服务器监控系统架构分享

模块功能精简,便于组合

横向扩展

  • 任意环节支持横向扩展
  • 无状态、负载均衡
  • 可支持级联

    整体处理性能线性增长

  • 多路多点部署

高可用

去中心化

  • 无单点
  • 负载均衡
  • 横向扩展
  • 多点部署
  • 自动切换
  • 每个环节自动切换
  • WRR
  • 多路冗余
  • 无状态
  • Supervise保证存活
    明晚九点|一线互联网公司服务器监控系统架构分享

    数据传输可靠性

  • 传输过程中多次确认
    采集到汇聚
    转发到逻辑判断
    转发到存储
  • 外部状态监控
    传输起始端健康检查
    每个环节的外部监控
  • 内部判断

模块内扩展

明晚九点|一线互联网公司服务器监控系统架构分享

模块间可扩展

  • 采集
  • 汇聚转发
  • 过滤
  • 报警
  • 离线存储
  • 挖掘分析
  • 展示

模块间可扩展性

明晚九点|一线互联网公司服务器监控系统架构分享

七巧板搭配

  • 汇聚后的多路传输
  • 级联

    功能扩展简单

  • 存活监控
  • 端口监控
  • 集群

    核心模块高度复用

  • 模块之间联动反馈
  • 互联互通
  • 存活监控

    模块之间联动反馈

  • 互联互通
  • 存活监控

    功能扩展

明晚九点|一线互联网公司服务器监控系统架构分享

  • 基础监控 => 自定义监控
  • 端口 =>语义监控
  • URL监控 => HTTP语义监控
  • URL监控 => 访问质量监控
  • 服务器指标监控 => 集群指标监控

监控支撑业务扩展

预算与成本分摊 ---offline

  • 结合基础信息管理
  • 资源使用与服务器选型

    资源管理 --- offline

  • 空闲资源挖掘
  • 资源统计分析与基础信息校正
  • 容量管理

    空闲资源利用 --- offline

  • 存储资源
  • 计算资源

    调度决策的基础 --- online

  • 报警触发简单任务执行
  • 关联报警挖掘
  • 与业务评估模型结合

自动运维平台的一个架构简图

明晚九点|一线互联网公司服务器监控系统架构分享

详情:http://mp.weixin.qq.com/s/THG8WJeLWR3U47BoDLGlWg


本文转自 xjtuhit 51CTO博客,原文链接:http://blog.51cto.com/51reboot/2059459


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
从平台搭建准备着手,全方位梳理一对一直播源码开发部署准备工作(一)
搭建需要准备的内容开通流程还是比较复杂,内容较多的,本篇先整体概括下流程,然后再着重介绍下流媒体CDN服务的前期准备流程。 首先整理下直播平台搭建及运营过程中的重要环节:
1880 0
企查查支撑8000万+企业数据的大数据平台技术选型与实现
企查查终端所有企业工商信息均实时同步更新,汇集了目前国内市场中的80个产业链,8000个行业,6000个市场以及8000多万家企业数据。
6682 0
找优质的直播软件开发公司不用担心系统架构问题
文章标题中提到的系统架构问题,在直播软件开发过程中也是非常重要的一部分。为什么这么说呢?我们举个简单的例子,一个施工队盖楼肯定先要把整体的框架用钢筋扎好,然后再进行下一步的工作。开发直播软件也是一样,先把整体的架构设计好罗列出来,再把其中的功能挨个添加进去。
993 0
从用户扩张到技术更迭复盘社区的体系搭建
社区也借用了第三方数据产品——友盟+,不管是哪一家公司的数据产品,都会有对应的使用场景。在教育、医疗、金融等不同的行业,所用数据的使用目的都不同,用户分群而视之,如医疗行业是提高用户留存,金融行业进行网站优化、提高线索转化等,每个行业都有各自的数据优势。
421 0
京东首席系统架构师教你如何搭建高可用高并发系统架构
我们知道,高并发代表着大流量,高并发系统设计的魅力就在于我们能够凭借自己的聪明才智设计巧妙的方案,从而抵抗巨大流量的冲击,带给用户更好的使用体验。这些方案好似能操纵流量,让流量更加平稳得被系统中的服务和组件处理。 下面我会通过一本PDF实战跟大家一起深入了解亿级流量网站架构核心技术。 这本PDF实战总结并梳理了亿级流量网站高可用和高并发原则,通过实例详细介绍了如何落地这些原则。本书分为四部分:概述、高可用原则、高并发原则、案例实战,从负载均衡、限流、降级、隔离、超时与重试、回滚机制、压测与预案、缓存、池化、异步化、扩容、队列等多方面详细地介绍了亿级流量网站的架构核心技术,可以让大家看完后能
65 0
十年经验产品经理分享:如何搭建一个行之有效的“数据闭环”体系
打造数据闭环体系,就是要完成数据对于产品产生价值的闭环,让数据驱动产品增长。本文作者从数据闭环的概念出发,结合具体案例,从目标、洞察、迭代、落地这四个方面对搭建数据闭环体系的关键要点进行了分析讨论,一起来看看~
2599 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
大型企业基于互联网架构的业务敏捷实践
立即下载
去哪儿网应用运维自动化演进之路
立即下载
瓜子后端技术架构的变迁
立即下载