开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

运维领域的实时数据收集包括哪些方面?

运维领域的实时数据收集包括哪些方面?

展开
收起
Medusa 2021-10-27 12:37:39 667 0
1 条回答
写回答
取消 提交回答
  • 在实时数据收集层中,具体包括大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取、配置信息收集和第三方相关数据接入。其中:

    1.大数据平台各服务的日志数据由各服务(如 HDFS、HBase 等)按照设计的标准格式进行收集,然后汇总上报到 DataHub/Kafka 的日志 Topic 中;

    2.服务及主机的指标数据通过命令获取、日志数据提取、调用服务接口三种方式获取后上报到 DataHub/Kafka 中对应的原始数据 Topic 中;

    3.配置信息通过人工收集后直接入 MySQL 的配置表中,并在系统页面上提供对配置信息的增删改查;

    4.第三方相关数据由第三方系统提供,通过 HTTP 加载方式上报到 DataHub/Kafka 中对应的 Topic。

    资料来源:电子书《阿里云实时计算 Flink 版解决方案白皮书-2021版》,下载链接:https://developer.aliyun.com/topic/download?id=7968

    2021-10-27 14:32:35
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
智能开发,高效运维 立即下载
智能运维中的异常检测和根源分析 立即下载
智能运维里的时间序列 立即下载