日志服务SLS 助力识货 APP,解决业务数据采集查询监控问题

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 日志服务SLS 助力识货 APP,解决业务数据采集查询监控问题

更多存储标杆案例
欢迎点击下方链接查看

阿里云存储标杆案例样板间

公司介绍
识货APP是虎扑体育旗下的导购应用,致力于为广大年轻用户提供专业的网购决策指导,为年轻人带来最及时最劲爆的运动、潮流、生活、时尚等网购资讯。同时识货运动装备的专业鉴定审核机制,也在行业内树立了良好的口碑。

image.png

业务介绍
识货是一家专门做运动潮流购物平台,成立初期主要为用户提供折扣、正品运动鞋商品导购,对于市场上热门的运动鞋都会进行评测,把真实的运动鞋体验传递给爱好者。而后逐步衍生出包括生活电器、服装、食品、家居等全品类优惠信息导购。2014年识货上线海淘频道,把海外主流商城的优质廉价商品也开始推荐给网购用户。
基于这样的业务场景,识货需要对接大量的平台数据,并对这些平台数据进行统一的加工富化,最终接入到实际业务平台中进行分析和决策。

如何解决数据收治与流量洪峰的问题

  1. 对接多平台数据,数据格式不统一,规整难度大

识货对接了包括天猫,京东等在内的海内外主流的平台,通过对数据进行分析和决策后,将物美价廉的商品推荐给用户,但是各平台数据的格式不统一,带来了处理上的困难。

  1. 数据分析需求方涵盖产品研发运维运营财务等,需提供界面化图表能力

识货除需要对平台商品数据进行分析外,还需要对接应用系统、后台服务器、k8s的日志数据,以及账单费用日志等。数据分析需求方涵盖产品研发运维运营财务,需提供更加界面化易用的报表能力满足各方诉求。

  1. 电商活动带来流量洪峰,突增流量场景下如何应对

识货平台的电商属性,在双十一等电商活动日或者运营品牌活动时,均会带来流量的洪峰。因此识货便需要有一款高弹性的日志平台来帮助平台在流量波峰波谷期实现资源的快速扩容和缩容。

日志服务产品为帮助识货解决业务数据采集查询监控问题
针对识货业务对于数据规整加工,多维度数据分析,多可视化平台能力,弹性能力方面的诉求,阿里云提供了日志服务产品作为方案帮助客户解决业务数据采集查询监控问题。

在数据规整加工方面,日志服务提供可托管、高可用、可扩展的数据加工服务,广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。具备全托管、免运维,开箱即用的特性,提供DSL编排能力,内置200+函数,内置算子,能够快速实现二次开发。帮助识货对于多平台的商品数,以及对于不同业务模块,包括社区业务,鉴定业务,基础服务等模块数据进行统一加工富化处理,进而实现业务价值。

image.png

在数据可视化方面,日志服务提供实时数据分析大盘,可以将常用的查询分析语句以图表形式展示,并将统计图表保存到仪表盘中。同时分析大盘支持Restful API 、 JDBC协议,页面可嵌入任何业务系统,除Dashboard外,与DataV、QuickBI、Grafana、Zipkin、Jeager等生态打通,实现更灵活的数据展示。帮助识货的不同团队,根据其具体的业务诉求创建相匹配简单直观的数据图表。

image.png

在弹性能力方面,日志服务可根据流量弹性伸缩,可以很好地适应识货平台由于促销活动带来突发流量,根据实际业务需求对服务进行扩缩容,帮助客户免除突发流量带来的顾虑,能够更加专注于业务本身。

达到的效果
通过日志服务能力,识货平台实现了多数据渠道的高效规整统一,满足了不同业务部门对于数据分析的不同维度诉求。帮助识货平台真正做到了数据驱动业务发展。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
1月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
295 122
基于docker搭建监控系统&日志收集
|
1月前
|
Prometheus 监控 Java
日志收集和Spring 微服务监控的最佳实践
在微服务架构中,日志记录与监控对系统稳定性、问题排查和性能优化至关重要。本文介绍了在 Spring 微服务中实现高效日志记录与监控的最佳实践,涵盖日志级别选择、结构化日志、集中记录、服务ID跟踪、上下文信息添加、日志轮转,以及使用 Spring Boot Actuator、Micrometer、Prometheus、Grafana、ELK 堆栈等工具进行监控与可视化。通过这些方法,可提升系统的可观测性与运维效率。
199 1
日志收集和Spring 微服务监控的最佳实践
|
1月前
|
存储 缓存 监控
用 C++ 红黑树给公司电脑监控软件的日志快速排序的方法
本文介绍基于C++红黑树算法实现公司监控电脑软件的日志高效管理,利用其自平衡特性提升日志排序、检索与动态更新效率,并结合实际场景提出优化方向,增强系统性能与稳定性。
66 4
|
5月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
6月前
|
监控 测试技术 Go
告别传统Log追踪!GOAT如何用HTTP接口重塑代码监控
本文介绍了GOAT(Golang Application Tracing)工具的使用方法,通过一个Echo问答服务实例,详细展示了代码埋点与追踪技术的应用。内容涵盖初始化配置、自动埋点、手动调整埋点、数据监控及清理埋点等核心功能。GOAT适用于灰度发布、功能验证、性能分析、Bug排查和代码重构等场景,助力Go项目质量保障与平稳发布。工具以轻量高效的特点,为开发团队提供数据支持,优化决策流程。
404 89
|
5月前
|
存储 数据可视化 开发工具
【Application Insights】Application Insights存储的Function App的日志存在"Operation Link" 为空的情况
在将 Azure Functions 升级到 .NET 8 和 Isolated Worker 模式后,Application Insights 的请求日志中 `operation_Link` 字段为空,导致分布式追踪无法正常关联。解决方法包括:确保引用正确的 SDK 包(如 `Microsoft.Azure.Functions.Worker.ApplicationInsights`),正确配置 Application Insights 服务,移除默认日志过滤规则,并使用最新依赖包以支持分布式追踪。通过这些步骤,可恢复端到端事务视图的可视化效果。
109 10
|
6月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
491 52
|
5月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
625 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
7月前
|
数据采集 运维 监控
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
351 7
数据采集监控与告警:错误重试、日志分析与自动化运维
|
6月前
|
存储 监控 API
【Azure App Service】分享使用Python Code获取App Service的服务器日志记录管理配置信息
本文介绍了如何通过Python代码获取App Service中“Web服务器日志记录”的配置状态。借助`azure-mgmt-web` SDK,可通过初始化`WebSiteManagementClient`对象、调用`get_configuration`方法来查看`http_logging_enabled`的值,从而判断日志记录是否启用及存储方式(关闭、存储或文件系统)。示例代码详细展示了实现步骤,并附有执行结果与官方文档参考链接,帮助开发者快速定位和解决问题。
186 23

相关产品

  • 日志服务