相关文章
|
11月前
|
存储
消息中间件
OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享，围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术，解决当前流批存储不统一、实时数据可见性差等痛点，实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率，降低了使用门槛与成本，并规划未来在集团内推广湖仓一体架构，探索更多技术创新场景。
1800
3
6
|
12月前
|
存储
监控
数据挖掘
京东物流基于Flink & StarRocks的湖仓建设实践
本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享，聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程，解决复杂业务场景下的数据分析挑战，如多维OLAP分析、大屏监控等。同时，文章详细介绍了基于StarRocks的湖仓一体方案，优化存储成本并提升查询效率，以及存算分离的应用实践。最后，对未来数据服务的发展方向进行了展望，计划推广长周期数据存储服务和原生数据湖建设，进一步提升数据分析能力。
1087
1
1
|
7月前
|
存储
JSON
数据处理
Flink基于Paimon的实时湖仓解决方案的演进
本文源自Apache CommunityOverCode Asia 2025，阿里云专家苏轩楠分享Flink与Paimon构建实时湖仓的演进实践。深度解析Variant数据类型、Lookup Join优化等关键技术，提升半结构化数据处理效率与系统可扩展性，推动实时湖仓在生产环境的高效落地。
835
1
1
|
7月前
|
存储
人工智能
监控
淘宝闪购基于Flink&Paimon的Lakehouse生产实践：从实时数仓到湖仓一体化的演进之路
本文整理自淘宝闪购（饿了么）大数据架构师王沛斌在 Flink Forward Asia 2025 上海站的分享，深度解析其基于 Apache Flink 与 Paimon 的 Lakehouse 架构演进与落地实践，涵盖实时数仓发展、技术选型、平台建设及未来展望。
1266
0
0
|
11月前
|
存储
缓存
分布式计算
StarRocks x Iceberg：云原生湖仓分析技术揭秘与最佳实践
本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术，详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划，为您提供全面的技术解读。
作者：杨关锁，北京镜舟科技研发工程师
752
9
9
|
11月前
|
SQL
存储
NoSQL
Flink x Paimon 在抖音集团生活服务的落地实践
本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享，聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分：背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon，解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题，显著提升了开发运维效率、节省资源并增强了任务稳定性。同时，文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用，并介绍了其核心技术优化与未来规划。
1060
10
10
|
9月前
|
运维
算法
机器人
阿里云AnalyticDB具身智能方案：破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案，方案采用云原生架构，为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
2089
2
2
|
6月前
|
存储
人工智能
OLAP
AI Agent越用越笨？阿里云AnalyticDB「AI上下文工程」一招破解！
AI上下文工程是优化大模型交互的系统化框架，通过管理指令、记忆、知识库等上下文要素，解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术，实现上下文的采集、存储、组装与调度，提升AI Agent的准确性与协同效率，助力企业构建高效、稳定的智能应用。
740
0
0
|
7月前
|
存储
人工智能
关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025：统一架构破局HTAP，Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代，企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战，阿里云瑶池数据库AnalyticDB for PostgreSQL（简称ADB-PG）创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系，并自主研发Beam混合存储引擎与Laser向量化执行引擎，全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。
近日，相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025，标志着中国自研云数仓技术再次登上国际舞台。
738
1
1