5.22成都workshop:4. 游戏日志采集与分析

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 小吴负责公司的DevOps 以及 数据团队:在服务器和用户数上升后,开发花了非常多的时间在服务器查日志问题上。在支持移动入口、网页、推广渠道后,日志的来源也变得越来越多,加剧了他的困扰。除此之外,运营团队、BI团队、运维团队等对日志提出各自需求。

场景简介

小吴负责公司的DevOps 以及 数据团队:在服务器和用户数上升后,开发花了非常多的时间在服务器查日志问题上。在支持移动入口、网页、推广渠道后,日志的来源也变得越来越多,加剧了他的困扰。除此之外,运营团队、BI团队、运维团队等对日志提出各自需求。

因此小吴需要一套快捷灵活的日志系统,来解决游戏开发中的这些需求。

实验概述(实验第四环节)

  1. 日志数据如何上云:ECS上日志采集
  2. 常用日志处理的几种模式
    1. 索引与查询
    2. 实时计算:演示云监控 (可选)
    3. 离线存储:延时OSS 存储与计算(可选)

具体步骤

准备步骤(可跳过)

  1. 实验环境已经默认安装日志收集客户端(Logtail),如需要手动配置实验环境,请参考环境准备

步骤1. 日志采集步骤

  1. 登陆[日志服务控制台],开始创建配置
  2. 在“华东2区域”创建项目Project/Logstore

    • project: workshop-game(注意:project名称需要全局唯一,例如workshop-test-123)
    • logstore:gamelog

      image

  3. 创建日志收集配置文件

    1. 配置名称:gameserver
    2. 日志路径:目录 /root/demo 文件 game.log
    3. 模式:选择分隔符模式
  4. 将要ECS中的game.log获取一行,并放入日志样例中

     2017-05-16 09:20:05,123456,testuser,10499,24200,buy,item:123456,77,66,2500043,200,4G,Android 7.8.1
    
  5. 分隔符:选择自定义,使用","作为分隔符

  6. 为字段增加属性

    | Key | value |
    | ------------ | ------------------- |
    | time | 2017-05-16 09:20:05 |
    | user-id | 123456 |
    | username | testuser |
    | pos-x | 10499 |
    | pos-y | 24200 |
    | action | buy |
    | action-param | {"item":“1234567”} |
    | blood | 77 |
    | magic | 66 |
    | money | 2500043 |
    | status | 200 |
    | network | 4G |
    | device | Android 7.8.1 |

  7. 创建机器分组,将配置文件应用带机器分组后,日志就会自动开始采集

    1. 机器组名称:gameserver
    2. 在IP地址中填写ECS内网IP地址(在我们的例子中是“10.174.149.160”),可以通过ECS控制台进行查看,其中的内网IP

      image

    3. 创建完成后,将配置勾选,并应用到机器组

    4. 可以通过左边菜单:LogHub-实时采集 / Logtail机器组 / 查看状态,查看机器上Logtail 是否安装完成

      image

    5. 配置应用后一分钟内,日志就会被采集,通过监控或预览可以进行查看

      image

    6. 通过预览,我们可以看到日志已被实时收集了

      image

步骤2. 日志索引与查询

  1. 日志实时收集后,我们可以通过计算程序对日志进行流计算,例如监控等。除此之外,我们可以对日志建立索引,进行实时日志查询与分析。

  2. 在左侧菜单点击日志库,查询按钮进入日志查询页面

  3. 日志需要通过索引(类似搜索引擎)后,就能进行查询。我们对于不同Key建立不同索引

    image

  4. 在输入框中输入"username:testuser "获得用户名为testuser操作日志

  5. 可以加入更多条件,例如"username:testuser and action:sell" 查看满足这两个条件的日志

  6. 通过点击上下文浏览,可以查看某条日志在原始日志文件中的上下文(一般用来进行错误调查)

    image

  7. 我们还可以在搜索框中做一些查询统计功能,例如线上有一个需求:我们需要对线上玩得比较多,但血量比较少,金钱也不多但经常玩的用户提供一些代金券,可以提交如下query

    blood<400  and money<3000 | select username, count(*) as c group by username having count(*) > 100 order by c desc
    

    在控制台获得如下结果:
    image

  8. 更多查询SQL分析功能等你体验

步骤3. 演示通过云监控配置视图和报表功能(可选)

  1. 进入云监控下的日志监控页面
  2. 点击授权云监控读取日志服务权限
  3. 创建一个PV监控项,例如聚合每分钟的数据计数
    image
  4. 生成图表

步骤4. 演示将日志数据存储OSS/MaxCompute (可选)

  1. 具体参见日志投递文档

其他

  1. 日志服务主页 https://www.aliyun.com/product/sls/
  2. 欢迎加入日志服务钉钉群

image

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
7月前
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
435 1
|
8月前
|
存储 Kubernetes 监控
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
539 16
|
8月前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
316 0
|
9月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
1297 1
|
10月前
|
JSON 安全 网络安全
LoongCollector 安全日志接入实践:企业级防火墙场景的日志标准化采集
LoonCollector 是一款轻量级日志采集工具,支持多源安全日志的标准化接入,兼容 Syslog、JSON、CSV 等格式,适用于长亭 WAF、FortiGate、Palo Alto 等主流安全设备。通过灵活配置解析规则,LoonCollector 可将原始日志转换为结构化数据,写入阿里云 SLS 日志库,便于后续查询分析、威胁检测与合规审计,有效降低数据孤岛问题,提升企业安全运营效率。
|
10月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
1495 0
|
10月前
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
1029 1
|
10月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
11月前
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文总结了日志管理中的六大反模式及优化建议,涵盖日志轮转、存储选择、并发写入等常见问题,帮助提升日志采集的完整性与系统可观测性,适用于运维及开发人员优化日志管理策略。
400 5
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
2019 22

相关产品

  • 日志服务