Apache Flink Meetup · 上海站,超强数据湖干货等你!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Apache Flink x Iceberg Meetup 上海站

你是否有过流批技术栈不统一的抓狂?

你是否有过流批数据对不上的烦恼?

你是否有过,海量数据更新时效性跟不上的无奈?

Apache Flink 社区 2021 首场 Meetup 来啦!

4月17日 | 上海 | 线下

来一场 Flink x 数据湖的干货体验之旅~

本次 Meetup 邀请了来自阿里巴巴、腾讯、Dell 科技集团、汽车之家的四位技术专家,聚焦 Flink 数据湖应用主题,围绕湖仓一体架构实践、Iceberg 和对象存储的数据湖构建方案、超大规模数据入湖实践以及数据入湖面临的挑战等,全方位解析数据湖生产应用难题!

【活动亮点】

  • 超多实用干货,从数据湖应用面临的挑战入手,解析数据湖架构升级、对象存储与 Iceberg 的数据湖生态以及百亿数据入湖实践,轻松 get 数据湖正确打开方式;
  • 活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;
  • 丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!

▼ 扫码立即报名 ▼

image.png

报名链接:https://www.huodongxing.com/event/2590749926500

嘉宾及议题介绍

邸星星-圆.png

《汽车之家基于 Apache Iceberg 的湖仓一体架构实践》

邸星星 | 汽车之家 实时计算平台负责人

演讲简介:

近年来,批流一体、湖仓一体成为大数据领域十分火热的话题,汽车之家也在持续探索如何对大数据架构进行升级转型,充分发挥“新鲜”数据的价值,为用户带来更好的使用体验。本文将分享汽车之家基于 Apache Iceberg 进行数仓架构升级过程中的一些实践。

嘉宾简介:

邸星星,汽车之家实时计算平台负责人,长期从事实时计算与 OLAP 方面的平台建设工作,致力于为公司提供大规模、高效、稳定的计算与查询服务。

孙伟-圆.png

《Iceberg 和对象存储构建数据湖方案》

孙伟 | Dell科技集团 高级软件研发经理

演讲简介:

本演讲主题将论述如何基于对象存储和 Iceberg 来构建数据湖生态。讲述对象存储作为 Iceberg 的数据湖存储支撑所需要解决的一些问题以及优化思路,提供了开源 S3 catalog 可行实现方案,并给出对比其他存储方案(如 HDFS)的优势。

演讲将进一步给出商业对象存储与 Iceberg 适配的另一种最佳实践方法,并构建 Flink+Iceberg+对象存储的数据湖进行实例演示。同时本演讲将基于面向存储空间优化的思路,通过改造对象存储和 Iceberg 结合方式,给出一种源数据和 Iceberg table 共享数据源的方法来适配不同的应用场景。

嘉宾简介:

孙伟,Dell 科技集团,高级软件研发经理,2014年加入 Dell 科技集团,深入参与 Atmos 到 ECS 两代对象存储产品的设计和研发,有丰富的分布式系统和对象存储架构设计经验。现致力于将对象存储和开源大数据平台深度结合,帮助客户搭建完整数据湖方案。

陈俊杰-圆.png

《百亿级实时数据入湖实战》

陈俊杰 | 腾讯 数据湖研发高级工程师

演讲简介:

你是否有过流批技术栈不统一的抓狂?你是否有过流批数据对不上的烦恼?你是否有过,海量数据更新时效性跟不上的无奈?

腾讯应用业界最新技术 Flink + Iceberg 技术帮助多个业务方实现了业务数据实时入仓入湖,端到端数据可见性提高到秒级。本次分享将介绍腾讯如何将 Flink + Iceberg 技术应用到多个百亿级数据入湖任务,入湖过程中遇到的挑战,入湖数据如何进行优化保证分析引擎的高效查询。

嘉宾简介:

陈俊杰,腾讯数据湖研发高级工程师,多年大数据工作经验,开源大数据组件 Spark、 Iceberg、Parquet 等贡献者。

胡争-圆.png

《Flink 和 Iceberg 如何解决数据入湖面临的挑战》

胡争 | Apache Iceberg Committer,阿里巴巴技术专家

演讲简介:

我们经常会把来源不同的数据定期或实时地同步到数仓/数据湖中,其中有一些令人头痛的问题:

任务同步一半数据中断,导致原有的数据湖报表不准确,这时怎么办?
持续的数据导入后,业务方发现作业越跑越慢?
老板说:怎么把 MySQL 的数据报表做的更实时一些,比如分钟级别?
数据同步作业跑着跑着突然中断,原来是上游改了 schema ?
其他问题

本次分享我们将借助 Flink 和 Iceberg 来尝试解决上述数据入湖的相关挑战,帮助业务同学更加高效地聚焦在自身的业务挑战上。

嘉宾简介:

胡争(子毅),目前主要负责 Apache Flink 数据湖方案的设计和研发工作,是 Apache Iceberg 及 Apache Flink 项目的长期活跃贡献者。同时也是 Apache HBase PMC 成员,合著有《HBase 原理与实践》。

活动议程及报名

■ 活动议程

image.png

■ 活动详情

时间:4月17日 13:00-17:30
地点:上海市长宁区上海金钟路968号凌空SOHO 携程12号楼11层
直播观看:https://developer.aliyun.com/live/246619

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
18天前
|
监控 大数据 Java
使用Apache Flink进行大数据实时流处理
Apache Flink是开源流处理框架,擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构(包括客户端、作业管理器、任务管理器和数据源/接收器)和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用,讨论其实战挑战与优化。Flink作为大数据处理的关键组件,将持续影响实时处理领域。
137 5
|
13天前
|
存储 分布式计算 OLAP
Apache Paimon统一大数据湖存储底座
Apache Paimon,始于Flink Table Store,发展为独立的Apache顶级项目,专注流式数据湖存储。它提供统一存储底座,支持流、批、OLAP,优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长,集成Flink、Spark等计算引擎,阿里巴巴在内部广泛应用,旨在打造统一湖存储,打通Serverless Flink、MaxCompute等,欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。
13330 0
Apache Paimon统一大数据湖存储底座
|
2月前
|
数据处理 Apache 流计算
|
19天前
|
数据采集 关系型数据库 MySQL
使用Apache Flink实现MySQL数据读取和写入的完整指南
使用Apache Flink实现MySQL数据读取和写入的完整指南
120 0
使用Apache Flink实现MySQL数据读取和写入的完整指南
|
22天前
|
消息中间件 Kafka 数据处理
Apache Flink:流式数据处理的强大引擎
【6月更文挑战第8天】Apache Flink是开源的流处理框架,专注于高效、低延迟的无界和有界数据流处理。它提供统一编程模型,支持实时与批量数据。核心概念包括DataStreams、DataSets、时间语义和窗口操作。使用Flink涉及环境设置、数据源配置(如Kafka)、数据转换(如map、filter)、窗口聚合及数据输出。通过丰富API和灵活时间语义,Flink适于构建复杂流处理应用,在实时数据处理领域具有广阔前景。
|
6天前
|
消息中间件 分布式计算 Kafka
深度分析:Apache Flink及其在大数据处理中的应用
Apache Flink是低延迟、高吞吐量的流处理框架,以其状态管理和事件时间处理能力脱颖而出。与Apache Spark Streaming相比,Flink在实时性上更强,但Spark生态系统更丰富。Apache Storm在低延迟上有优势,而Kafka Streams适合轻量级流处理。选型考虑延迟、状态管理、生态系统和运维成本。Flink适用于实时数据分析、复杂事件处理等场景,使用时注意资源配置、状态管理和窗口操作的优化。
|
14天前
|
消息中间件 Oracle 关系型数据库
实时计算 Flink版操作报错合集之连接RabbitMQ时遇到Could not find any factory for identifier 'rabbitmq' that implements 'org.apache.flink.table.factories.DynamicTableFactory'错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
352 0
|
14天前
|
Kubernetes Oracle 关系型数据库
实时计算 Flink版操作报错合集之用dinky在k8s上提交作业,会报错:Caused by: org.apache.flink.table.api.ValidationException:,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
105 0
|
14天前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错合集之从hudi读数据,报错NoSuchMethodError:org.apache.hudi.format.cow.vector.reader.PaequetColumnarRowSplit.getRecord(),该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
14天前
|
Oracle 关系型数据库 Shell
实时计算 Flink版操作报错合集之遇到报错:Error: Could not find or load main class org.apache.flink.cdc.cli.CliFrontend,是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

热门文章

最新文章

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多