云原生大数据架构实践与思考-DataFunTalk
导读:
作者：振策-阿里云计算平台-产品解决方案, 20230805
本文将分享当前云原生大数据架构的发展历程/架构定义/核心能力/应用场景及趋势思考。主要包括以下四个部分：
- 从大数据上云看架构
- 云原生数据平台的核心能力
- Data+AI with Cloud-Native
- 未来趋势与思考
Apache Paimon 在蚂蚁的应用
本文整理自 Apache Paimon Committer 闵文俊老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享。Apache Paimon 是一种实时数据湖格式，设计用于流批一体处理，支持实时更新和OLAP查询。它采用LSM Tree结构，提供多种Changelog Producer和Merge Engine，支持高效的数据合并。Paimon适用于流读、批读及时间旅行查询，与多种查询引擎兼容。在蚂蚁集团的应用中，Paimon降低了资源开销，提升了查询性能，简化了研发流程，特别是在去重、核对场景和离线查询加速方面表现突出。
DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
本文介绍了阿里云 DataWorks 在 DA 数智大会 2024 上的最新进展，包括新一代智能数据开发平台 DataWorks Data Studio、全新升级的 DataWorks Copilot 智能助手、数据资产治理、全面云原生转型以及更开放的开发者体验。这些更新旨在提升数据开发和治理的效率，助力企业实现数据价值最大化和智能化转型。
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
通过对各个业务线实时需求的调研了解到，当前实时数据处理场景是各个业务线基于Java服务独自处理的。各个业务线实时能力不能复用且存在计算资源的扩展性问题，而且实时处理的时效已不能满足业务需求。鉴于当前大数据团队数据架构主要解决离线场景，无法承接更多实时业务，因此我们需要重新设计整合，从架构合理性，复用性以及开发运维成本出发，建设一套通用的大数据实时数仓链路。本次实时数仓建设将以游戏运营业务为典型场景进行方案设计，综合业务时效性、资源成本和数仓开发运维成本等考虑，我们最终决定基于Flink + Hudi + Hologres来构建阿里云云原生实时湖仓，并在此文中探讨实时数据架构的具体落地实践。
