【活动回顾】StarRocks Singapore Meetup #2 @Shopee

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介: 3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 Shopee、Grab 和 Pinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。

【活动回顾】StarRocks Singapore Meetup #2 @Shopee.JPEG

3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 Shopee、Grab 和 Pinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。

以下为本次活动的精彩回顾,演讲视频、PPT 及相关用户案例文章可通过文末链接获取更多信息。

Leveraging Big Data Infra for E-Commerce Online Applications by Shopee

5.jpg

Gong Chen, Senior Expert Engineer(左)
Yan Duan, StarRocks Active Contributor & Senior OLAP Engineer (右)

Gong Chen 分享了 Shopee 如何通过 Data Service Platform 支持电子商务在线应用,每日处理超过 2 亿次 OLAP 查询。由于旧的数据架构无法满足延迟一致性、高实时性和 SLA 保证等需求,Shopee 引入了 StarRocks,简化了架构并通过物化视图进行预计算,显著提升了性能。目前,平台已支持 100 多个 API,日均处理 200 万次查询,TP95 延迟低至 26 毫秒,支撑了广告、供应链、安全基础设施和反欺诈等核心业务场景。

Yan Duan 则分享了 Shopee 如何通过优化元数据缓存提升 ad-hoc 集群的查询性能。通过 Managed table、External table 和虚拟视图定制缓存策略,Shopee 将查询计划时间减少了 50% 以上,并将查询结果不匹配率从 3.1% 降至 0.9%,同时有效降低了 HMS 的压力。

StarRocks @ Grab

8.jpg

Gable Heng, Lead Data Engineer, Grab(左)
Huong Vuong, Senior Software Engineer, Grab(右)

Grab 是东南亚领先的超级应用平台,业务涵盖出行、外卖、配送、数字支付和金融服务等领域。Gable Heng 分享了 Grab 如何利用 StarRocks 优化交互式查询和 BI 报表场景。通过引入 StarRocks 的 Query Cache、异步物化视图和多 FE 节点等特性,Grab 将图表报表从平均 11.8 秒提升至 0.456 秒,性能提升了 25 倍。

Huong Vuong 则介绍了 Grab 如何通过 StarRocks 改进 Spark 任务的可观测性工具 Iris。StarRocks 解决了 TIG 栈(Telegraf、InfluxDB、Grafana)在处理高基数数据和复杂元数据时的性能瓶颈,并通过物化视图和动态分区功能简化了数据聚合和管理,显著提升了近实时数据的可用性。

How Pinterest Delivers Fast Customer-Facing Analytics

9.JPEG
(Zhenxiao Luo, Senior Staff Software Engineer,Pintrest)

Zhenxiao Luo 分享了 Pinterest 如何通过引入 StarRocks 替代传统的 Apache Druid,解决了 JOIN、物化视图和实时更新等功能的缺失问题。StarRocks 提供了完整的 SQL 支持、列式存储和向量化执行,显著提升了查询性能,并将实时数据分析的延迟降低了 50%。通过存算分离模式和 Archmage 集成,Pinterest 实现了更高效的数据处理,同时降低了成本,支持了广告报表、实验分析和反垃圾平台(anti-spam)等关键业务场景。

由于这段视频现场视频的收音效果不理想,我们最终采用了 Zhenxiao 老师此前在线上直播分享的视频片段。值得一提的是,在分享开始前,Zhenxiao 老师还与我们分享了他第一次到新加坡的激动心情。为了这次活动,他特意从加州飞了 17 个小时抵达新加坡(几乎是直飞的最远距离之一)。尽管旅途漫长,但他的分享热情丝毫未减,为活动增添了不少亮点。

Query Resilience: Achieving Low Latency with SLA

11.jpg
(Harrison Zhao, StarRocks TSC Member)

Harrison Zhao 作为产品负责人,分享了 StarRocks 在低延迟和高可用性方面的优化。他提到,稳定的低延迟对于用户体验、业务决策和客户信任至关重要。StarRocks 通过优化查询性能(如 poller-free 架构、runtime filter 下推)和确保缓存稳定性(如主动缓存预热、分段 LRU),能够在面对工作负载变化和基础设施故障时保持高可用性。智能工作负载管理和查询计划稳定性进一步帮助系统在满足严格 SLA 的同时,提供高效、可靠的实时分析服务。

活动现场花絮
2.jpg
01.jpg
以上就是本次新加坡 Meetup 的精彩内容回顾。未来,StarRocks 将持续分享更多来自国内外用户的实践故事与经验。我们也诚挚邀请更多技术专家加入我们的讲师团队,共同将技术干货分享给更多大数据行业的从业者!

相关链接:
🔽 PPT 下载:https://forum.mirrorship.cn/t/topic/18005
📺 视频:https://space.bilibili.com/1273141509/lists/3059098?type=season
📚 文章:
StarRocks 在 Shopee 数据产品的实践

Pinterest:从 Druid 到 StarRocks,实现 6 倍成本效益比提升

https://engineering.grab.com/building-a-spark-observability

相关文章
|
11月前
|
存储 人工智能 搜索推荐
WiseMindAI:一款AI智能知识库,数据完全本地化,支持文档对话、10+种文档、10+AI大模型等
WiseMindAI 是一款由 Chris 开发的 AI 智能学习助手,支持数据完全本地化存储,确保用户隐私安全。它兼容多种文档格式(如 PDF、Markdown 等),并提供 AI 文档总结、智能笔记、沉浸式翻译、知识卡片生成等功能。此外,WiseMindAI 支持 10+ 大语言模型和自定义 AI 插件,适用于 Windows 和 Mac 平台,支持简体中文、繁体中文及英文。
1042 74
WiseMindAI:一款AI智能知识库,数据完全本地化,支持文档对话、10+种文档、10+AI大模型等
|
17天前
|
人工智能 决策智能 开发者
2026 深度解析:AI 智能体(Agent)逻辑引擎核心与产业落地全工作流
随着大模型从“对话时代”迈向“任务执行时代”,智能体工作流(Agentic Workflow)已成为企业级 AI 应用的核心。本文深度拆解 Agent 的感知、规划、记忆与行动闭环,结合 Gartner 与 McKinsey 的最新权威数据,为开发者提供一套可落地的 AI 智能体架构指南。
293 1
|
11月前
|
SQL 缓存 分布式计算
vivo 湖仓架构的性能提升之旅
聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。 在 **即席分析** 场景,StarRocks 使用占比达 70%,查询速度提升 3 倍,P50 耗时从 63.77 秒缩短至 22.30 秒,查询成功率接近 98%。 在 **敏捷 BI** 领域,StarRocks 已完成 25% 切换,月均查询成功数超 25 万,P90 查询时长缩短至 5 秒,相比 Presto 提升 75%。 在 **研发工具平台** 方面,StarRocks 支持准实时数据查询,数据可见性缩短至 3 分钟,查询加速使 P95 延迟降至 400 毫秒,开发效率提升 30%。
vivo 湖仓架构的性能提升之旅
|
10月前
|
存储 人工智能 自然语言处理
RAG 实战|用 StarRocks + DeepSeek 构建智能问答与企业知识库
本文由镜舟科技解决方案架构师石强与StarRocks TSC Member赵恒联合撰写,围绕RAG(检索增强生成)技术展开,结合DeepSeek和StarRocks构建智能问答系统。RAG通过外部知识检索与AI生成相结合,解决大模型知识静态、易编造信息的问题。文章详细介绍了系统组成、操作流程及优化方法,包括DeepSeek部署、StarRocks向量索引配置、知识存储与提取等环节,并通过代码示例演示了从文本向量化到生成回答的完整过程。最后,加入RAG机制后,系统性能显著提升,支持企业级知识库与智能客服场景。文中还提供了Web可视化界面实现方案,助力开发者快速上手。
|
10月前
|
运维 监控 数据库
[直播预告]StarRocks 小课堂 监控告警全覆盖,别等服务挂了才处理!
数据库告警不仅是发现问题,更是预防问题的关键。4月16日19:00-20:00,StarRocks小课堂特邀景丹解析FE/BE服务挂起、资源过载等监控与处理方案,助你掌握主动权。直播预约:https://mp.weixin.qq.com/s/H8e6scM-HQteS0MBQ8zgYw。参与互动还有机会赢取棒球帽、T恤等2025 StarRocks周边!回复“监控告警”或“T恤”获取专属海报,邀请好友助力赢好礼!
|
10月前
|
供应链 算法 BI
StarRocks 助力首汽约车精细化运营
本文由首汽约车大数据负责人任智红在StarRocks年度峰会上的演讲整理而成,分享了StarRocks在企业内部的应用实践。文章详细介绍了StarRocks如何助力首汽约车实现精细化运营,涵盖运效诊断、供需平衡联动及自助多维分析等核心业务场景。通过引入StarRocks,公司实现了秒级数据处理与查询性能提升,大幅降低了开发和维护成本,推动了数据驱动的业务发展。未来,首汽约车计划进一步整合系统、拓展应用场景,并优化存算分离与资源隔离策略,持续提升数据处理效率与业务稳定性。
|
11月前
|
SQL 分布式计算 运维
StarRocks 在爱奇艺大数据场景的实践
本文介绍了爱奇艺大数据OLAP服务负责人林豪在StarRocks年度峰会上的分享,重点讲述了爱奇艺OLAP引擎的演进及引入StarRocks后的显著效果。在广告业务中,StarRocks替换Impala+Kudu后,接口性能提升400%,P90查询延迟缩短4.6倍;在“魔镜”数据分析平台中,StarRocks替代Spark达67%,P50查询速度提升33倍,P90提升15倍,节省4.6个人天。未来,爱奇艺计划进一步优化存算一体和存算分离架构,提升整体数据处理效率。
StarRocks 在爱奇艺大数据场景的实践
|
11月前
|
SQL 算法 API
微信基于 StarRocks 的实时因果推断实践
本文介绍了因果推断在业务中的应用,详细阐述了基于 StarRocks 构建因果推断分析工具的技术方案,通过高效算子的支持,大幅提升了计算效率。例如,t 检验在 6亿行数据上的执行时间仅需 1 秒。StarRocks 还实现了实时数据整合,支持多种数据源(如 Iceberg 和 Hive)的无缝访问,进一步增强了平台的灵活性与应用价值。
|
11月前
|
存储 缓存 Apache
小红书湖仓架构的跃迁之路
小红书研发工程师李鹏霖(丁典)在StarRocks年度峰会上分享了如何通过结合StarRocks和Iceberg实现极速湖仓分析架构。新架构使P90查询性能提升了3倍,查询响应时间稳定在10秒以内,存储空间减少了一半。RedBI自助分析平台支持灵活、快速的即席查询,优化了排序键和Join操作,引入DataCache功能显著提升查询性能。未来将探索近实时湖仓分析架构,进一步优化处理能力。
|
12月前
|
数据挖掘 OLAP 云计算
[直播预约]StarRocks 2025 Roadmap 全面解读
2月19日19:00-20:30,StarRocks TSC Member赵恒、康凯森将解读2025 Roadmap,并邀请多位专家分享最新进展。欢迎参与交流!