回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾(附PPT下载)

简介: 8 月最后一天,由 Apache Kafka 与 Apache Flink 联合举办的 Meetup 深圳站圆满落幕,现场站无虚席,来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享,全场干货满满!

8 月最后一天,由 Apache Kafka 与 Apache Flink 联合举办的 Meetup 深圳站圆满落幕,现场站无虚席,来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享,全场干货满满!

合照 .jpg

PPT下载链接:
https://files.alicdn.com/tpsservice/baeb4c569c57f04a38e4e9cd616ec37d.zip

《Apache Kafka 在现代数据驱动架构中的角色》

张子斌.jpg

张子斌
Confluent 大中华区资深系统工程师

Confluent 的张子斌老师现场分享了 Kafka 在架构、生态系统中的作用和优势,以及用于解决组织在管理数据流和数据可用性方面面临的挑战的几种设计模式。

  • Apache Kafka 是一个流媒体平台
  • Kafka 技术回顾
  • Apache Kafka 解决了什么问题
  • Apache Kafka 的架构模式

《Apache Flink 在中国农业银行的探索和实践》

2.jpg

侯鑫磊
中国农业银行研发中心高级工程师

Apache Flink 作为新一代批流计算引擎,在金融科技应用越来越广泛,中国农业银行的侯鑫磊老师本次分享主要介绍了农业银行以 Apache Flink 作为混合计算引擎,在反欺诈、系统异常检测、实时数据统计等应用中进行的探索和实践。

  • 背景介绍
  • 应用效果
  • 实践分享
  • 思考展望

《混合云、边缘计算下的实时计算平台设计》

3.jpg

陈仕明
虎牙数据平台负责人

虎牙的陈仕明老师本次分享介绍了在混合云、边缘计算等新的基础资源框架之下实时计算平台如何能够更好的服务于业务,并结合虎牙的实践与在座同学进行探讨。

  • 实时计算在虎牙的发展
  • 当前面临的挑战
  • 解决的方式及效果
  • 未来展望

《构建批流一体数据集成平台的一致性语义保证》

4.jpg

陈肃
博士,北京数见科技有限公司(DataPipeline)CTO

数见科技的陈肃博士本次分享介绍了 Kafka Connect 作为一个被广泛应用的数据集成框架如何进一步实现较为通用的精确一次(exactly once)语义保证。

  • 批流一体架构
  • DP的解决之道
  • 一致性语义保证
  • 问题和思考

《Flink SQL 1.9.0 技术内幕和最佳实践》

5.jpg

伍翀(云邪)
阿里巴巴 SQL 引擎技术专家

阿里巴巴的伍翀老师本次分享聚焦近期发布的 Flink 1.9 版本,以最新发布的 Flink SQL 为切入点,重点分享 Flink SQL 在 1.9 版本的新增功能,并结合 Demo 演示介绍最佳实践的姿势和调优经验。

  • Flink 1.9.0 的里程碑意义
  • 新架构和新功能
  • 如何使⽤用 Blink Planner
  • 性能优化指南
  • Demo

与深圳 Meetup 同步进行世界人工智能大会开发者日子单元 —— 大数据 + AI 生态专场也在魔都圆满落幕,现场来自阿里云机器学习平台资深技术专家李永、intel 高级软件工程师黄凯、中科院博士申毅杰、阿里巴巴人工智能高级技术专家肖允锋、阿里巴巴高级产品专家陈守元分享了大数据与 AI 的行业动态与先进技术。

《阿里云机器学习PAI核心技术与服务》
李永,阿里云机器学习平台资深技术专家
《利用Analytics Zoo构建统一的大数据分析和AI流水线》
黄凯,Intel高级软件工程师
《基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理》
申毅杰,中国科学院计算技术研究所博士生
《人工智能的大数据检索》
肖允锋,阿里巴巴高级技术专家
《Flink:下一代开源大数据引擎》
陈守元,阿里巴巴高级产品专家

PPT下载:

https://files.alicdn.com/tpsservice/58ceee0a32f325a276862861e90b862f.zip

感谢深圳、上海同学们的支持!Apache Flink 社区将一如既往地为大家呈现更多技术干货,9 月 7 日,Apache Flink Meetup · 上海站再见!


▼ Apache Flink 社区推荐 ▼

Apache Flink 及大数据领域顶级盛会 Flink Forward Asia 2019 重磅开启,目前正在征集议题,限量早鸟票优惠ing。了解 Flink Forward Asia 2019 的更多信息,请查看:

https://developer.aliyun.com/special/ffa2019

首届 Apache Flink 极客挑战赛重磅开启,聚焦机器学习与性能优化两大热门领域,40万奖金等你拿,加入挑战请点击:

https://tianchi.aliyun.com/markets/tianchi/flink2019

相关文章
|
4月前
|
人工智能 运维 Cloud Native
2025 云栖精选资料:《从云原生到 AI 原生核心技术与最佳实践》PPT 免费下载
一本合集,四大主题,覆盖 AI 原生技术的核心版图。立即获取,与行业领跑者同行,抢占 AI 原生时代的技术先机!
|
4月前
|
存储 人工智能 安全
拔俗AI临床大数据科研分析平台:让医学研究更智能、更高效
阿里云原生AI临床大数据科研平台,打通异构医疗数据壁垒,实现智能治理、可视化分析与多中心安全协作,助力医院科研提速增效,推动精准医疗发展。
812 1
|
4月前
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
310 7
|
4月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
390 0
|
人工智能 大数据 安全
拔俗AI临床大数据科研分析平台:用智能技术加速医学研究新突破
AI临床大数据科研平台基于云原生架构,融合医疗NLP、联邦学习与智能分析技术,破解非结构化数据处理难、多源数据融合难、统计周期长等痛点,实现数据治理、智能分析与安全协作全链路升级,赋能医学科研高效、安全、智能化发展。
214 0
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
534 1
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
419 1
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
1446 9

相关产品

  • 实时计算 Flink版