【活动回顾】StarRocks Singapore Meetup #2 @Shopee

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 Shopee、Grab 和 Pinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。

【活动回顾】StarRocks Singapore Meetup #2 @Shopee.JPEG

3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 Shopee、Grab 和 Pinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。

以下为本次活动的精彩回顾,演讲视频、PPT 及相关用户案例文章可通过文末链接获取更多信息。

Leveraging Big Data Infra for E-Commerce Online Applications by Shopee

5.jpg

Gong Chen, Senior Expert Engineer(左)
Yan Duan, StarRocks Active Contributor & Senior OLAP Engineer (右)

Gong Chen 分享了 Shopee 如何通过 Data Service Platform 支持电子商务在线应用,每日处理超过 2 亿次 OLAP 查询。由于旧的数据架构无法满足延迟一致性、高实时性和 SLA 保证等需求,Shopee 引入了 StarRocks,简化了架构并通过物化视图进行预计算,显著提升了性能。目前,平台已支持 100 多个 API,日均处理 200 万次查询,TP95 延迟低至 26 毫秒,支撑了广告、供应链、安全基础设施和反欺诈等核心业务场景。

Yan Duan 则分享了 Shopee 如何通过优化元数据缓存提升 ad-hoc 集群的查询性能。通过 Managed table、External table 和虚拟视图定制缓存策略,Shopee 将查询计划时间减少了 50% 以上,并将查询结果不匹配率从 3.1% 降至 0.9%,同时有效降低了 HMS 的压力。

StarRocks @ Grab

8.jpg

Gable Heng, Lead Data Engineer, Grab(左)
Huong Vuong, Senior Software Engineer, Grab(右)

Grab 是东南亚领先的超级应用平台,业务涵盖出行、外卖、配送、数字支付和金融服务等领域。Gable Heng 分享了 Grab 如何利用 StarRocks 优化交互式查询和 BI 报表场景。通过引入 StarRocks 的 Query Cache、异步物化视图和多 FE 节点等特性,Grab 将图表报表从平均 11.8 秒提升至 0.456 秒,性能提升了 25 倍。

Huong Vuong 则介绍了 Grab 如何通过 StarRocks 改进 Spark 任务的可观测性工具 Iris。StarRocks 解决了 TIG 栈(Telegraf、InfluxDB、Grafana)在处理高基数数据和复杂元数据时的性能瓶颈,并通过物化视图和动态分区功能简化了数据聚合和管理,显著提升了近实时数据的可用性。

How Pinterest Delivers Fast Customer-Facing Analytics

9.JPEG
(Zhenxiao Luo, Senior Staff Software Engineer,Pintrest)

Zhenxiao Luo 分享了 Pinterest 如何通过引入 StarRocks 替代传统的 Apache Druid,解决了 JOIN、物化视图和实时更新等功能的缺失问题。StarRocks 提供了完整的 SQL 支持、列式存储和向量化执行,显著提升了查询性能,并将实时数据分析的延迟降低了 50%。通过存算分离模式和 Archmage 集成,Pinterest 实现了更高效的数据处理,同时降低了成本,支持了广告报表、实验分析和反垃圾平台(anti-spam)等关键业务场景。

由于这段视频现场视频的收音效果不理想,我们最终采用了 Zhenxiao 老师此前在线上直播分享的视频片段。值得一提的是,在分享开始前,Zhenxiao 老师还与我们分享了他第一次到新加坡的激动心情。为了这次活动,他特意从加州飞了 17 个小时抵达新加坡(几乎是直飞的最远距离之一)。尽管旅途漫长,但他的分享热情丝毫未减,为活动增添了不少亮点。

Query Resilience: Achieving Low Latency with SLA

11.jpg
(Harrison Zhao, StarRocks TSC Member)

Harrison Zhao 作为产品负责人,分享了 StarRocks 在低延迟和高可用性方面的优化。他提到,稳定的低延迟对于用户体验、业务决策和客户信任至关重要。StarRocks 通过优化查询性能(如 poller-free 架构、runtime filter 下推)和确保缓存稳定性(如主动缓存预热、分段 LRU),能够在面对工作负载变化和基础设施故障时保持高可用性。智能工作负载管理和查询计划稳定性进一步帮助系统在满足严格 SLA 的同时,提供高效、可靠的实时分析服务。

活动现场花絮
2.jpg
01.jpg
以上就是本次新加坡 Meetup 的精彩内容回顾。未来,StarRocks 将持续分享更多来自国内外用户的实践故事与经验。我们也诚挚邀请更多技术专家加入我们的讲师团队,共同将技术干货分享给更多大数据行业的从业者!

相关链接:
🔽 PPT 下载:https://forum.mirrorship.cn/t/topic/18005
📺 视频:https://space.bilibili.com/1273141509/lists/3059098?type=season
📚 文章:
StarRocks 在 Shopee 数据产品的实践

Pinterest:从 Druid 到 StarRocks,实现 6 倍成本效益比提升

https://engineering.grab.com/building-a-spark-observability

目录
打赏
0
15
15
1
22
分享
相关文章
Flink全新周边正式上线!议题征集正在进行中!
Flink Forward Asia 2024 将于 11 月 29 日至 30 日在上海举办,现正征集议题。参与者可通过官网或二维码提交议题或报名参会,享受早鸟优惠,并有机会获得精美周边。这是了解 Flink 最新动态、分享生产实践经验及交流技术成果的重要平台。议题涵盖流式湖仓、流批一体、Data+AI 等多个方向,欢迎开发者和数据领域从业者踊跃参与,共襄行业盛会!
155 18
Flink全新周边正式上线!议题征集正在进行中!
活动预告|8月3日 Streaming Lakehouse Meetup · Online 与你相约!
Apache Paimon & StarRocks, 强强联合, 打造极速湖仓解决方案。8月3日14:00, 大咖云集, 包括Apache Paimon PMC, 阿里云, 饿了么等, 分享最佳实践与技术原理。预约直播, 不容错过!
210 12
活动预告|8月3日 Streaming Lakehouse Meetup · Online 与你相约!
|
9月前
|
【报名中】阿里云 x StarRocks:极速湖仓第二季—上海站
阿里云 x StarRocks:极速湖仓第二季,7月20日阿里巴巴上海徐汇滨江园区,现场签到丰富奖品等你拿,不见不散!
365 7
【报名中】阿里云 x StarRocks:极速湖仓第二季—上海站
活动预告|7月29日 Streaming Lakehouse Meetup·北京站
Streaming Lakehouse 首个 Meetup 来啦! 7 月 29 日 | 北京 | 线下,来一场 Streaming Lakehouse 实时数据湖的体验之旅!
842 0
活动预告|7月29日 Streaming Lakehouse Meetup·北京站
专家老师带教!现场答疑!阿里云实时计算 Flink 版线下训练营北京站来啦!
阿里云实时计算 Flink 版线下训练营北京站来啦!专家老师现场教学,真实还原实时计算业务和实时数仓场景,现场有机会领取 Flink 最新周边礼包!
656 0
专家老师带教!现场答疑!阿里云实时计算 Flink 版线下训练营北京站来啦!
5 小时玩转阿里云 Flink 实时湖仓,速速报名!
5 小时玩转阿里云 Flink 实时湖仓!阿里云 Flink 专家与传智教育高级顾问联合出品,真实还原实时计算业务和实时数仓场景!
1102 0
5 小时玩转阿里云 Flink 实时湖仓,速速报名!
上海 Meetup 邀你来|阿里云 × StarRocks 云上StarRocks极速湖仓
7月15日下午14:00-17:00,《上海线下Meetup I 云上StarRocks极速湖仓》,欢迎参加!
621 0
上海 Meetup 邀你来|阿里云 × StarRocks 云上StarRocks极速湖仓
北京 Meetup 邀你来|阿里云 × StarRocks 云上StarRocks极速湖仓
4月19日(周三)下午,水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家,将针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 实战经验等一系列超干货内容,为大家带来诚意满满的技术盛宴。
862 0
北京 Meetup 邀你来|阿里云 × StarRocks  云上StarRocks极速湖仓
活动预约|9.3 Lakehouse Meetup
9月3日下午 13:30 开始,一起探讨数据湖仓解决方案。
活动预约|9.3 Lakehouse Meetup

数据库

+关注