【活动回顾】StarRocks Singapore Meetup #2 @Shopee

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 Shopee、Grab 和 Pinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。

【活动回顾】StarRocks Singapore Meetup #2 @Shopee.JPEG

3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 Shopee、Grab 和 Pinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。

以下为本次活动的精彩回顾,演讲视频、PPT 及相关用户案例文章可通过文末链接获取更多信息。

Leveraging Big Data Infra for E-Commerce Online Applications by Shopee

5.jpg

Gong Chen, Senior Expert Engineer(左)
Yan Duan, StarRocks Active Contributor & Senior OLAP Engineer (右)

Gong Chen 分享了 Shopee 如何通过 Data Service Platform 支持电子商务在线应用,每日处理超过 2 亿次 OLAP 查询。由于旧的数据架构无法满足延迟一致性、高实时性和 SLA 保证等需求,Shopee 引入了 StarRocks,简化了架构并通过物化视图进行预计算,显著提升了性能。目前,平台已支持 100 多个 API,日均处理 200 万次查询,TP95 延迟低至 26 毫秒,支撑了广告、供应链、安全基础设施和反欺诈等核心业务场景。

Yan Duan 则分享了 Shopee 如何通过优化元数据缓存提升 ad-hoc 集群的查询性能。通过 Managed table、External table 和虚拟视图定制缓存策略,Shopee 将查询计划时间减少了 50% 以上,并将查询结果不匹配率从 3.1% 降至 0.9%,同时有效降低了 HMS 的压力。

StarRocks @ Grab

8.jpg

Gable Heng, Lead Data Engineer, Grab(左)
Huong Vuong, Senior Software Engineer, Grab(右)

Grab 是东南亚领先的超级应用平台,业务涵盖出行、外卖、配送、数字支付和金融服务等领域。Gable Heng 分享了 Grab 如何利用 StarRocks 优化交互式查询和 BI 报表场景。通过引入 StarRocks 的 Query Cache、异步物化视图和多 FE 节点等特性,Grab 将图表报表从平均 11.8 秒提升至 0.456 秒,性能提升了 25 倍。

Huong Vuong 则介绍了 Grab 如何通过 StarRocks 改进 Spark 任务的可观测性工具 Iris。StarRocks 解决了 TIG 栈(Telegraf、InfluxDB、Grafana)在处理高基数数据和复杂元数据时的性能瓶颈,并通过物化视图和动态分区功能简化了数据聚合和管理,显著提升了近实时数据的可用性。

How Pinterest Delivers Fast Customer-Facing Analytics

9.JPEG
(Zhenxiao Luo, Senior Staff Software Engineer,Pintrest)

Zhenxiao Luo 分享了 Pinterest 如何通过引入 StarRocks 替代传统的 Apache Druid,解决了 JOIN、物化视图和实时更新等功能的缺失问题。StarRocks 提供了完整的 SQL 支持、列式存储和向量化执行,显著提升了查询性能,并将实时数据分析的延迟降低了 50%。通过存算分离模式和 Archmage 集成,Pinterest 实现了更高效的数据处理,同时降低了成本,支持了广告报表、实验分析和反垃圾平台(anti-spam)等关键业务场景。

由于这段视频现场视频的收音效果不理想,我们最终采用了 Zhenxiao 老师此前在线上直播分享的视频片段。值得一提的是,在分享开始前,Zhenxiao 老师还与我们分享了他第一次到新加坡的激动心情。为了这次活动,他特意从加州飞了 17 个小时抵达新加坡(几乎是直飞的最远距离之一)。尽管旅途漫长,但他的分享热情丝毫未减,为活动增添了不少亮点。

Query Resilience: Achieving Low Latency with SLA

11.jpg
(Harrison Zhao, StarRocks TSC Member)

Harrison Zhao 作为产品负责人,分享了 StarRocks 在低延迟和高可用性方面的优化。他提到,稳定的低延迟对于用户体验、业务决策和客户信任至关重要。StarRocks 通过优化查询性能(如 poller-free 架构、runtime filter 下推)和确保缓存稳定性(如主动缓存预热、分段 LRU),能够在面对工作负载变化和基础设施故障时保持高可用性。智能工作负载管理和查询计划稳定性进一步帮助系统在满足严格 SLA 的同时,提供高效、可靠的实时分析服务。

活动现场花絮
2.jpg
01.jpg
以上就是本次新加坡 Meetup 的精彩内容回顾。未来,StarRocks 将持续分享更多来自国内外用户的实践故事与经验。我们也诚挚邀请更多技术专家加入我们的讲师团队,共同将技术干货分享给更多大数据行业的从业者!

相关链接:
🔽 PPT 下载:https://forum.mirrorship.cn/t/topic/18005
📺 视频:https://space.bilibili.com/1273141509/lists/3059098?type=season
📚 文章:
StarRocks 在 Shopee 数据产品的实践

Pinterest:从 Druid 到 StarRocks,实现 6 倍成本效益比提升

https://engineering.grab.com/building-a-spark-observability

相关文章
WiseMindAI:一款AI智能知识库,数据完全本地化,支持文档对话、10+种文档、10+AI大模型等
WiseMindAI 是一款由 Chris 开发的 AI 智能学习助手,支持数据完全本地化存储,确保用户隐私安全。它兼容多种文档格式(如 PDF、Markdown 等),并提供 AI 文档总结、智能笔记、沉浸式翻译、知识卡片生成等功能。此外,WiseMindAI 支持 10+ 大语言模型和自定义 AI 插件,适用于 Windows 和 Mac 平台,支持简体中文、繁体中文及英文。
393 74
WiseMindAI:一款AI智能知识库,数据完全本地化,支持文档对话、10+种文档、10+AI大模型等
百度智能云“千帆大模型平台”升级:大模型最多,Prompt模板最全(上)
百度智能云“千帆大模型平台”升级:大模型最多,Prompt模板最全
361 1
为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案?
本文将从技术选型的视角,从开放性、系统架构、实时写入、实时存储、实时查询等多方面,深入分析 Apache Doris 与 Elasticsearch 的能力差异及性能表现
为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案?
仅3步!即刻拥有 QwQ-32B,性能比肩全球最强开源模型
本文介绍如何将QwQ-32B开源模型部署到阿里云函数计算FC,并通过云原生应用开发平台CAP实现Ollama和Open WebUI两个FC函数的部署。Ollama负责托管QwQ-32B-GGUF模型,Open WebUI提供用户交互界面。借助CAP平台,用户可快速完成模型部署,无需关注底层资源管理与运维问题,专注于应用创新与开发。CAP提供免运维、弹性伸缩及高可用性的高效开发环境,并采用按量付费模式降低资源成本。方案使用华北2(北京)地域,默认配置部署,预计耗时10~12分钟。体验后建议清理资源以避免额外费用。
SWEET-RL:基于训练时信息的多轮LLM代理强化学习框架
SWEET-RL是一种基于训练时信息的逐步评估算法,显著提升了多轮大型语言模型(LLM)代理在强化学习中的成功率。相比现有方法,SWEET-RL将成功率提高6%,使小型开源模型如Llama-3.1-8B达到甚至超越GPT-4O等大型专有模型性能。通过非对称Actor-Critic结构、创新优势函数参数化及两阶段训练流程,SWEET-RL优化了信用分配机制与泛化能力,降低了计算成本。ColBench基准测试显示,SWEET-RL在后端编程和前端设计任务中表现卓越,为AI代理训练技术带来突破性进展。
132 2
SWEET-RL:基于训练时信息的多轮LLM代理强化学习框架
【赵渝强老师】Oracle数据库的闪回查询
本文介绍了Oracle数据库的闪回查询(Flashback Query)功能及其实际应用。闪回查询通过`AS OF`子句,结合时间戳或SCN号,可查询历史数据状态,帮助分析数据差异。文中通过具体示例演示了如何使用闪回查询:创建测试表、记录当前SCN号、更新数据并提交事务,最后通过闪回查询获取历史数据。附带的视频和代码块详细展示了操作步骤与结果。
148 4
Kubernetes监控:Prometheus与AlertManager结合,配置邮件告警。
完成这些步骤之后,您就拥有了一个可以用邮件通知你的Kubernetes监控解决方案了。当然,所有的这些配置都需要相互照应,还要对你的Kubernetes集群状况有深入的了解。希望这份指南能帮助你创建出适合自己场景的监控系统,让你在首次发现问题时就能做出响应。
176 22
Java方法重写(Override)与重载(Overload)的详细对比
在Java编程中,多态性是面向对象编程的核心概念之一。Java通过两种重要的机制来实现多态:方法重写(Override)和方法重载(Overload)。虽然这两个概念都与方法的不同实现有关,但它们在本质上有很大的区别。本文将详细对比这两种机制,帮助开发者更好地理解和应用它们。
379 5
如何排查常见的 Windows 应用程序错误和崩溃
本文介绍了如何通过事件日志分析来诊断Windows应用程序错误和崩溃的根本原因。文章首先解释了应用错误的表现形式及常见事件ID(如1000、1001等),并分析了导致崩溃的原因,包括硬件问题(如存储不足、外部因素)和软件问题(如编码错误、数据损坏、.NET Framework兼容性)。接着,提供了几种故障排除方法,例如运行系统文件检查器(SFC)、执行干净启动、检查更新以及重新安装.NET Framework。最后,探讨了使用日志管理工具(如EventLog Analyzer)集中分析崩溃事件的功能,包括预置报表、时间轴分析、实时警报和自动化响应,帮助管理员高效解决应用问题。
259 1
【直播回放】MongoDB全球开发者认证介绍线上直播 助力您掌握企业级实战能力
想通过MongoDB认证提升竞争力却无从下手?这场线上直播为你解惑!权威解读考试大纲、题型与评分标准,资深专家分享备考策略,涵盖学习计划、实战技巧及心理调整。更有最新认证激励政策、专属徽章与大礼包等你解锁!无论你是开发者、管理员还是学生,都能为职业发展铺路。立即预约3月26日直播回放,与MongoDB专家互动答疑,轻松迈向专业高峰!
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等