基于阿里云生态构建网聚宝业务监控系统

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文将为大家带来网聚宝在业务监控系统中,如何玩转阿里云生态链,构建我们的项目异常监控信息收集。我们使用阿里云数加流计算(Ali Stream)为核心中枢,上下游使用到 阿里云日志服务(SLS) 、 消息队列(ONS) 、阿里云数据库(RDS) 这些产品。

伊始 -- 网聚宝业务监控系统

今年网聚宝开始推进服务化进程,我有幸分在架构组,在公司产品服务化的过程中负责业务监控模块。在以前,我们发展工程还未服务化的时候,我们可能只单单关注单个请求的耗时等基本指标,对其作出优化或者业务上的调整,其内容往往也只是一人从顶到底,一人即可了解其中的逻辑层次。但随着服务化的到来以及业务逻辑愈来愈复杂,一个前端 web 层的请求需要调用很多服务才可以完成一次请求,当请求变的比较慢或者发生故障,我们很难看出是哪个服务或者哪台机器发生的问题,所以需要一个监控服务,来快速复原出完整的请求链,以及请求中的耗时、异常等信息。从而判断是哪里出现了问题,哪里我们还有改进的空间,所以服务化监控模块应运而生。

而我们的监控过程中,部分模块基于了阿里云的基础设施,使得我们在上业务监控的过程中如虎添翼。阿里云的基础设施在使用过程中具有使用非常便捷快速的优势,真正做到了只关注业务逻辑,阿里云也将其旗下各个产品链路打通,我们可以根据自己的需要自由选择组合,完成我们的构想,这种一体化的体验,让我们在上云的时间过程中,真真切切的感受到了云生态。

下面,我将带大家一起来看看,我们在做监控部分中,如何玩转阿里云生态链,构建我们的项目异常监控信息收集。我们使用阿里云数加流计算(Ali Stream)为核心中枢,上下游使用到 阿里云日志服务(SLS) 、 消息队列(ONS) 、阿里云数据库(RDS) 这些产品。SLS + Ali Stream + ONS + RDS 的链路打通也为我们开发过程中带来了极大的便捷。

尤其我们在选择以数加流计算平台作为数据流中枢,数据流的传输过程中我们都不需要写过多的代码,即可完成 上下游数据传输,是不是相当的炫酷呢?下面,我将带领大家一同探究其中的奥秘,选择一些实现细节与大家一同分享,领略下 “无代码编程” 的魅力所在。

构建 -- “无代码编程” 上云

前文提到,我们在针对异常监控的模块中 使用到了 SLS + Ali Stream + ONS + RDS 这条产品链路,那么有看官会好奇,我们是如何使用到这条链路从而达到 “无代码编程” 的呢,在上云过程中我们有遭遇哪些困难呢?

下面是我们业务监控结合阿里云产品链路的架构图:
_

现在,我们从我们工程中的几个模块来探究这条链路的实现细节:

监控客户端

我们使用在我们的 Dubbo 服务中依赖了网聚宝的自有监控客户端,里面嵌入了诸如调用链监控埋点,异常截获等模块,其主要作用是代码切面拦截等功能,我们对未捕获异常拦截也在此,我们使用 Java 自带的 Thread.UncaughtExceptionHandler 接口 下的 void uncaughtException(Thread t, Throwable ex) 方法对异常进行拦截,并获取异常信息以及异常堆栈。

public class ExceptionLoggerHandler implements Thread.UncaughtExceptionHandler {

    private static Logger log = Logger.getLogger(ExceptionLoggerHandler.class);

    @Value(value = "${dubbo.application.name}")
    private String exceptionDubboName;

    public ExceptionLoggerHandler() {
    }

    public void uncaughtException(Thread t, Throwable ex) {
        log.error("Uncaught exception in Application: " + exceptionDubboName, ex);
    }
}

将异常信息使用阿里云日志服务 com.aliyun.openservices.log.log4j.LoghubAppender 进行收集,并根据 log4j.xml 发送到 相对应的 logstore中去。
log4j.xml 关于SLS部分的配置:

 <!-- 阿里云监控日志 -->
 <appender name="loghub" class="com.aliyun.openservices.log.log4j.LoghubAppender">
     <!--阿里云日志服务信息配置-->
     <param name="projectName" value="${projectName}" />
     <param name="logstore" value="${logstore}" />
     <param name="endpoint" value="${endpoint}" />
     <param name="accessKeyId" value="${accessKeyId}"/>
     <param name="accessKey" value="${accessKey}"/>

     <!-- 填写监控的dubbo application名称 -->
     <param name="topic" value="${your dubbo application name}"/>

     <param name="packageTimeoutInMS" value="3000"/>
     <param name="logsCountPerPackage" value="4096"/>
     <param name="logsBytesPerPackage" value="5242880"/>
     <param name="memPoolSizeInByte" value="1048576000"/>
     <param name="ioThreadsCount" value="1"/>
     <param name="timeFormat" value="yyyy-MM-dd HH:mm:ss"/>
     <param name="timeZone" value="GMT+8"/>   
 </appender>

 <logger name="loghub" additivity="false">
     <level value="ERROR" />
     <appender-ref ref="loghub" />
 </logger>

 <root>
    <level value="WARN" />
     <appender-ref ref="loghub" />
 </root>

根据上面的配置,当项目中发生异常时,就可以在日志服务中就可以收到日志信息了。

到这里数据收集的工作就算完成了,下一站,Ali Stream!

阿里云流计算配置

现在我们数据到达了流计算这个中枢神经中,在 流计算中 我们在开发平台构建源表,数据源当然是 日志服务啦。

SLS 源表:
CREATE STREAM TABLE monitor_client_log_input (
    message STRING,
    time STRING ,
    level STRING,
    `location` STRING,
    thread STRING
) WITH (
    type='loghub',
    endpoint='${endpoint}',
    roleArn='${roleArn}',
    projectName='${projectName}',
    logstore='${logstore}',
    allowKeyNotExists=TRUE
);

流计算 “数据中枢” 的工作目前非常简单,收集到数据,重组数据,一边通知 ONS ,一边存储到 RDS 中,所以为了达成这个目的,我们需要构建两张结果表,分别指向不同的地址。

根据需要通知监控服务端的内容建立 ONS 结果表:
CREATE RESULT TABLE monitor_server_log_collect_exception_ons_result (
    message STRING,
    time STRING ,
    level STRING,
    `location` STRING,
    thread STRING,
    `topic` STRING
) WITH (
    type='mq',
    endpoint='${endpoint}',
    topic='${topic}',
    producerId='${producerId}',
    accessId='${accessId}',
    accessKey='${accessKey}',
    fieldDelimiter=",",
    domainSubGroup="nsaddr4client-internet"
);

根据RDS的对应列建立 RDS 结果表:

CREATE RESULT TABLE wjb_application_exceptions_rds_result
(
  `error_application_name` string,
  `error_stack` STRING,
  `gmt_create` timestamp,
  `status` int
) with (
      type = 'rds',
      url = '${url}',
      username = '${username}',
      password = '${password}',
      tableName = '${tableName}',
      cacheTTL = '120000',
      cacheType = 'LRU'
);

OK ,表的构建就结束了,下面我们当数据到来的时候,我们需要将数据插入进表格就可以了。

--通知 ONS
INSERT INTO TABLE monitor_server_log_collect_exception_ons_result
 SELECT 
    `message` as message,
    `time` as time,
    `level` as level,
    `location` as `location`,
    `thread` as `thread`,
    prop_get('__topic__') as `topic`
 FROM monitor_client_log_input
 WHERE
 level = 'ERROR';


--插入 rds 异常表
INSERT INTO TABLE wjb_application_exceptions_rds_result
 SELECT 
    prop_get('__topic__') as error_application_name,
    `message` as error_stack,
     `time` as gmt_create,
     1 as `status`
 FROM monitor_client_log_input
 WHERE
 level = 'ERROR';

TIPS:
我们在 日志服务 中,使用 topic 作为标识符 标示不同的异常服务,所以这个是loghub的系统字段 __topic__, 在 获取数据时 使用 prop_get('__topic__') 获得字段值。使用系统参数,还需要配置下任务参数(右边栏)。

在任务参数中添加:

`galaxy.input.props.keylist=string,__topic__`

好了,到此为止,这个 “数据中枢” 就构建完了,只需要点击 上线,启动,就OK了,是不是 so easy ?

启动之后可以在运维模块下 看到当前 流计算的状态:
_2017_07_31_11_40_00

监控服务端

服务端的工作只有一件事:

通过 建立 ONS 消费者监听,实时获得 异常信息,通知前端,以及响应及时处理机制。这样,我们就可以比客户反馈,快一步去处理去处理这些异常。

     Properties properties = new Properties();
     properties.put(PropertyKeyConst.ConsumerId, MonitorConstants.ONS_CID_EXCEPTION_HANDLER);
     properties.put(PropertyKeyConst.AccessKey, MonitorConstants.ACCESS_KEY_ID);
     properties.put(PropertyKeyConst.SecretKey,MonitorConstants.ACCESS_KEY_SECRET);
     Consumer consumer = ONSFactory.createConsumer(properties);
     consumer.subscribe(MonitorConstants.ONS_TOPIC_MONITOR, "*", (message, context) -> {
         //启动异常处理机制
         return Action.CommitMessage;
     });
     consumer.start();

成果 -- 先客户一步

到这里,异常监控的一条 基于阿里云的 “无代码编程” 链路就打通了,在我们的开发过程中,我们基本不需要写过多的代码,就可以将我们需要做的事情融入到 网聚宝的系统中,我们只需要真正关注我们的业务逻辑,我们的 异常监控数据 “腾云驾雾”,先客户一步到达我们的眼前,当客户来因为异常问题找到我们的时候,我们已经找到问题,处理完毕了,减少了交流的成本,让客户使用我们产品体验也得到巨大的提升。

网聚宝服务化的进程还在推进,我们云上的架构也在逐步完善扩充,根据阿里云生态的体系,我们相信可以找到更多适用于我们自己的“最佳实践“。

上海云贝网络科技有限公司
架构师 童煜

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
运维 Prometheus 监控
《云原生架构容器&微服务优秀案例集》——03 零售/电商——传音 基于 ARMS 构建全球一体化可观测平台高效支撑业务创新
《云原生架构容器&微服务优秀案例集》——03 零售/电商——传音 基于 ARMS 构建全球一体化可观测平台高效支撑业务创新
520 0
|
运维 Prometheus 监控
《2023云原生实战案例集》——01 汽车/制造——传音 基于ARMS构建全球一体化可观测平台,高效支撑业务创新
《2023云原生实战案例集》——01 汽车/制造——传音 基于ARMS构建全球一体化可观测平台,高效支撑业务创新
|
弹性计算 运维 Kubernetes
《2023云原生实战案例集》——02 零售/电商/本地生活——厨芯科技 加速业务容器化进程,成功实现增效降本
《2023云原生实战案例集》——02 零售/电商/本地生活——厨芯科技 加速业务容器化进程,成功实现增效降本
|
运维 监控 数据可视化
未来企业级IT运维的发展趋势-华汇数据
IT监控运维的高要求与低成本之间的矛盾日益突出,对企业的IT运维提出了严峻的挑战。基于大数据的智能系统,逐渐取代了仅由人来操控规则系统的传统,让运维从成本中心的定位发展成服务中心。
261 0
未来企业级IT运维的发展趋势-华汇数据
|
弹性计算 运维 Kubernetes
|
人工智能 运维 监控
助力企业提升运维效率 蚂蚁数科发布业务智能可观测平台
蚂蚁数科发布业务智能可观测平台 可助力企业提升运维效率3倍以上
303 0
助力企业提升运维效率 蚂蚁数科发布业务智能可观测平台
|
数据采集 人工智能 运维
运维监控走向数智融合时代,博睿数据发布一体化智能可观测平台 ONE
5 月 20 日,博睿数据正式推出了一体化智能可观测平台 ONE。据介绍,这是业界第一个将所有运维监控需求“All in ONE”的统一平台。
430 0
运维监控走向数智融合时代,博睿数据发布一体化智能可观测平台 ONE
|
存储 SQL 分布式计算
沉淀了3年的自研前端错误监控系统,打通你的脉络
沉淀了3年的自研前端错误监控系统,打通你的脉络
沉淀了3年的自研前端错误监控系统,打通你的脉络
|
供应链
质量基础设施一站式平台开发,NQI一站式线上系统建设
质量基础设施一站式平台,通过有机融合计量、标准、检测检测、认证认可、知识产权、质量管理、品牌培育,为企业提供“一站式”的服务,解决企业的质量服务需求。
110 0
|
监控 调度 存储
阿里基础设施的智能监控
IDC、网络、服务器等基础设施承载了一次又一次的双十一奇迹。随着阿里集团业务全球化、多元化发展,作为整个集团之根本的基础设施,其运营水平显得愈发重要,智能监控成为了重中之重。
2194 0