高效采集与快速分析,SLS 为小天才提供一站式解决方案

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 高效采集与快速分析,SLS 为小天才提供一站式解决方案

更多存储标杆案例
欢迎点击下方链接查看

阿里云存储标杆案例样板间

公司介绍
小天才是步步高教育电子在2011年推出的智能产品品牌,专注打造引领潮流的高品质儿童智能产品,将优秀的儿童教育理念与现代科技进行创新应用,提供符合现代儿童需求的寓教于乐的产品。截止至2018年6月,小天才智能产品累计用户量已经突破千万。

image.png

业务介绍
小天才以儿童智能穿戴设备为主要产品,目前已推出多款电话手表及儿童平板,累计用户量突破千万。作为一家专注于儿童市场的企业,小天才与千千万万的家庭建立了深度的连接,为这些家庭提供更优质的产品和服务是小天才始终的追求。
而这就对于小天才提出了更加精细化运营的要求。在智能设备的产品场景下,除了需要不断完善IT系统层面产品服务的质量体系,保障服务的稳定性和连续性外,还需要能够更好地结合智能设备终端数据,提供能够细化到每一位用户的问题回溯能力。

如何统一采集数据,并解决快速定位的调整

  1. 智能设备数据稳定采集成为难点

小天才智能设备用户遍布海内外,涉及到多个不同的产品及型号,如何更加稳定地对智能设备数据进行稳定的收集,成为小天才业务发展面临的一个重要难题。

  1. 多元化的数据来源导致统一管理困难

小天才以智能设备为主营产品的业务特性,使得小天才的业务数据来源更加多样化。除IT系统平台的监控数据外,也包括了各个不同产品的智能终端数据,不同数据来源的不同的数据日志格式,导致了数据的统一管理困难。

  1. 业务及系统规模持续增长为问题快速定位带来挑战

小天才产品的用户群体以儿童为主,而儿童产品使用过程中的问题往往会得到家长们特别的重视,希望能够得到快速的定位和解决。但是随着小天才业务的不断增长,系统规模也在不断扩大,更多的日志以及更长的调用链路都将对于问题的快速定位带来极大的挑战。

高效采集与快速分析,日志服务为小天才提供一站式问题解决方案

image.png


针对小天才业务对于智能设备数据稳定采集,多元化数据统一管理,问题快速分析定位等方面需求,阿里云通过日志服务产品为客户提供一站式解决方案。

针对智能设备的数据采集,日志服务提供了Android、IOS的SDK用于智能机的日志采集,也具备了C-Producer采集各类IoT及智能设备的能力。可以很好的适应于小天才智能产品的终端设备采集需求。同时日志服务采集功能具备的异步、多并发、异常自动处理等机制,能够有效的提高数据采集的可靠性。

在多元化数据统一管理方面,日志服务提供可托管、高可用、可扩展的数据加工服务,包括200多个内置函数,400多个正则表达式模式,及灵活的自定义函数(UDF)的能力可以对于日志过滤,分裂,转换,富化进行支持,帮助小天才对于多元的数据进行统一的加工规整,以便于更好地投入后续的分析和应用中。

在问题快速分析定位方面,日志服务除了具备亿级日志秒级分析的能力外,还具备了上下文浏览,LiveTail实时监控分析,日志聚类,多维度查询分析,智能预测诊断等智能分析能力,能够帮助小天才快速定位到异常产生的根源,进行fix。

达到的效果
阿里云日志服务帮助小天才解决了智能终端稳定采集问题,整体终端支持采集成功率上升了10%,同时得益于日志服务的智能分析能力,小天才业务问题定位速度提升了30%。

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
3月前
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
677 20
|
4月前
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文总结了日志管理中的六大反模式及优化建议,涵盖日志轮转、存储选择、并发写入等常见问题,帮助提升日志采集的完整性与系统可观测性,适用于运维及开发人员优化日志管理策略。
121 5
|
10天前
|
存储 Kubernetes 监控
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
67 23
|
2月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
274 1
|
20天前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
|
9天前
|
运维 监控 安全
EventLog Analyzer:高效的Web服务器日志监控与审计解决方案
ManageEngine EventLog Analyzer是一款企业级Web服务器日志监控与审计工具,支持Apache、IIS、Nginx等主流服务器,实现日志集中管理、实时威胁检测、合规报表生成及可视化分析,助力企业应对安全攻击与合规挑战,提升运维效率。
|
3月前
|
JSON 安全 网络安全
LoongCollector 安全日志接入实践:企业级防火墙场景的日志标准化采集
LoonCollector 是一款轻量级日志采集工具,支持多源安全日志的标准化接入,兼容 Syslog、JSON、CSV 等格式,适用于长亭 WAF、FortiGate、Palo Alto 等主流安全设备。通过灵活配置解析规则,LoonCollector 可将原始日志转换为结构化数据,写入阿里云 SLS 日志库,便于后续查询分析、威胁检测与合规审计,有效降低数据孤岛问题,提升企业安全运营效率。
|
3月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
431 0
|
3月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html

相关产品

  • 日志服务