回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾(附PPT下载)

简介: 8 月最后一天,由 Apache Kafka 与 Apache Flink 联合举办的 Meetup 深圳站圆满落幕,现场站无虚席,来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享,全场干货满满!

8 月最后一天,由 Apache Kafka 与 Apache Flink 联合举办的 Meetup 深圳站圆满落幕,现场站无虚席,来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享,全场干货满满!

合照 .jpg

PPT下载链接:
https://files.alicdn.com/tpsservice/baeb4c569c57f04a38e4e9cd616ec37d.zip

《Apache Kafka 在现代数据驱动架构中的角色》

张子斌.jpg

张子斌
Confluent 大中华区资深系统工程师

Confluent 的张子斌老师现场分享了 Kafka 在架构、生态系统中的作用和优势,以及用于解决组织在管理数据流和数据可用性方面面临的挑战的几种设计模式。

  • Apache Kafka 是一个流媒体平台
  • Kafka 技术回顾
  • Apache Kafka 解决了什么问题
  • Apache Kafka 的架构模式

《Apache Flink 在中国农业银行的探索和实践》

2.jpg

侯鑫磊
中国农业银行研发中心高级工程师

Apache Flink 作为新一代批流计算引擎,在金融科技应用越来越广泛,中国农业银行的侯鑫磊老师本次分享主要介绍了农业银行以 Apache Flink 作为混合计算引擎,在反欺诈、系统异常检测、实时数据统计等应用中进行的探索和实践。

  • 背景介绍
  • 应用效果
  • 实践分享
  • 思考展望

《混合云、边缘计算下的实时计算平台设计》

3.jpg

陈仕明
虎牙数据平台负责人

虎牙的陈仕明老师本次分享介绍了在混合云、边缘计算等新的基础资源框架之下实时计算平台如何能够更好的服务于业务,并结合虎牙的实践与在座同学进行探讨。

  • 实时计算在虎牙的发展
  • 当前面临的挑战
  • 解决的方式及效果
  • 未来展望

《构建批流一体数据集成平台的一致性语义保证》

4.jpg

陈肃
博士,北京数见科技有限公司(DataPipeline)CTO

数见科技的陈肃博士本次分享介绍了 Kafka Connect 作为一个被广泛应用的数据集成框架如何进一步实现较为通用的精确一次(exactly once)语义保证。

  • 批流一体架构
  • DP的解决之道
  • 一致性语义保证
  • 问题和思考

《Flink SQL 1.9.0 技术内幕和最佳实践》

5.jpg

伍翀(云邪)
阿里巴巴 SQL 引擎技术专家

阿里巴巴的伍翀老师本次分享聚焦近期发布的 Flink 1.9 版本,以最新发布的 Flink SQL 为切入点,重点分享 Flink SQL 在 1.9 版本的新增功能,并结合 Demo 演示介绍最佳实践的姿势和调优经验。

  • Flink 1.9.0 的里程碑意义
  • 新架构和新功能
  • 如何使⽤用 Blink Planner
  • 性能优化指南
  • Demo

与深圳 Meetup 同步进行世界人工智能大会开发者日子单元 —— 大数据 + AI 生态专场也在魔都圆满落幕,现场来自阿里云机器学习平台资深技术专家李永、intel 高级软件工程师黄凯、中科院博士申毅杰、阿里巴巴人工智能高级技术专家肖允锋、阿里巴巴高级产品专家陈守元分享了大数据与 AI 的行业动态与先进技术。

《阿里云机器学习PAI核心技术与服务》
李永,阿里云机器学习平台资深技术专家
《利用Analytics Zoo构建统一的大数据分析和AI流水线》
黄凯,Intel高级软件工程师
《基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理》
申毅杰,中国科学院计算技术研究所博士生
《人工智能的大数据检索》
肖允锋,阿里巴巴高级技术专家
《Flink:下一代开源大数据引擎》
陈守元,阿里巴巴高级产品专家

PPT下载:

https://files.alicdn.com/tpsservice/58ceee0a32f325a276862861e90b862f.zip

感谢深圳、上海同学们的支持!Apache Flink 社区将一如既往地为大家呈现更多技术干货,9 月 7 日,Apache Flink Meetup · 上海站再见!


▼ Apache Flink 社区推荐 ▼

Apache Flink 及大数据领域顶级盛会 Flink Forward Asia 2019 重磅开启,目前正在征集议题,限量早鸟票优惠ing。了解 Flink Forward Asia 2019 的更多信息,请查看:

https://developer.aliyun.com/special/ffa2019

首届 Apache Flink 极客挑战赛重磅开启,聚焦机器学习与性能优化两大热门领域,40万奖金等你拿,加入挑战请点击:

https://tianchi.aliyun.com/markets/tianchi/flink2019

相关文章
消息中间件 存储 传感器
586 0
|
消息中间件 SQL 关系型数据库
Flink CDC + Kafka 加速业务实时化
Flink CDC 是一种支持流批一体的分布式数据集成工具,通过 YAML 配置实现数据传输过程中的路由与转换操作。它已从单一数据源的 CDC 数据流发展为完整的数据同步解决方案,支持 MySQL、Kafka 等多种数据源和目标端(如 Delta Lake、Iceberg)。其核心功能包括多样化数据输入链路、Schema Evolution、Transform 和 Routing 模块,以及丰富的监控指标。相比传统 SQL 和 DataStream 作业,Flink CDC 提供更灵活的 Schema 变更控制和原始 binlog 同步能力。
|
人工智能 监控 数据挖掘
6/14 上海,Apache Doris x 阿里云 SelectDB AI 主题线下 Meetup 正式开启报名!
6 月 14 日,由 Apache Doris 社区、飞轮科技、阿里云联合发起的湖仓数智融合、AI 洞见未来:Apache Doris x 阿里云 SelectDB 联合 Meetup 将在上海·汇付天下总部大楼正式开启,邀您一同探索 AI 与数据分析的融合实践!
614 76
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
386 11
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
在数字化转型中,企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00,阿里云三位技术专家将讲解Kafka与Flink的强强联合方案,帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景,具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师,参与还有机会领取定制好礼!扫描海报二维码或点击链接预约直播:[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)
789 35
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
|
12月前
|
存储 分布式计算 数据处理
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
阿里云实时计算Flink团队,全球领先的流计算引擎缔造者,支撑双11万亿级数据处理,推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才,地点覆盖北京、杭州、上海。技术深度参与开源核心,打造企业级实时计算解决方案,助力全球企业实现毫秒洞察。
957 0
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
|
消息中间件 关系型数据库 MySQL
Flink CDC 在阿里云实时计算Flink版的云上实践
本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享,重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括:Flink CDC的发展及其在流批数据处理中的作用;CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标;典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等;并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后,介绍了未来规划,如脏数据处理、数据限流及扩展数据源支持。
1146 0
Flink CDC 在阿里云实时计算Flink版的云上实践
|
存储 关系型数据库 BI
实时计算UniFlow:Flink+Paimon构建流批一体实时湖仓
实时计算架构中,传统湖仓架构在数据流量管控和应用场景支持上表现良好,但在实际运营中常忽略细节,导致新问题。为解决这些问题,提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式(如Paimon)和Flink CDC工具,简化开发流程,降低成本,并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table,实现了声明式ETL,优化了调度和执行模式,使用户能灵活调整新鲜度与成本。最终,UniFlow不仅提高了开发和运维效率,还提供了更实时的数据支持,满足业务决策需求。

相关产品

  • 实时计算 Flink版