阿里巴巴开发工程师，Apache Flink Committer 任庆盛，在 9 月 24 日 Apache Flink Meetup 的分享。
上海经证科技有限公司为有效推进软件项目管理和开发工作，选择了阿里云云效作为 DevOps 解决方案。通过云效，实现了从 0 开始，到现在近百个微服务、数百条流水线与应用交付的全面覆盖，有效支撑了敏捷开发流程。
Apache Paimon V0.9 版本即将发布，此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长，已成为Apache顶级项目，并广泛应用于阿里集团内外的多家企业。
当前大数据处理工业界非常重要的一个大趋势是一体化，尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同，湖仓一体架构通过将数据存储和处理融为一体，不仅提升了数据访问速度和处理效率，还简化了数据管理流程，降低了资源成本。企业可以更轻松地实现数据治理和分析，从而快速决策。paimon是国内开源的，也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
本文分享了AI场景下面临的数据处理与检索挑战及解决方案。AI内容生产涉及数据准备、模型训练、推理及应用四大环节，其中数据准备环节面临数据来源复杂、格式多样及数据量激增的挑战，模型训练环节需解决推理准确性问题，AI应用环节则需克服接口兼容性难题。 为应对这些挑战，阿里云存储OSS与智能媒体管理IMM提供百余种数据处理能力，并升级数据索引功能支持向量检索，助力构建多模态检索应用。此外，还介绍了Serverless数据处理方案，可日均处理百亿级别文件，通过OSS数据索引能力，客户能快速构建RAG检索增强，同时实现多模态检索的搭建，显著提升AI应用的效能和用户体验。
一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01
历经 15 载，如今的飞天盘古系统已迭代至第三代，数千万行代码和 1,000 余项专利，从大规模、到高性能、到高效能的分布式存储系统的演进，更高效地让数据中心成为一台计算机。
Hologres现在仍然是TPCH-30000榜单的全球第一，领先第二名高达23%，最新发布的2.2版本相比之前的1.x的版本性能大约提升100%。
