开发者社区 > 开发与运维 > 正文

Apache Kafka × Apache Flink Meetup · 深圳站

发布者:开发者说 2019-08-28 18:48:24 5958
视频介绍

本次 Meetup 由 Apache Flink 与 Apache Kafka 联合举办,邀请到来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴等五位技术专家为大家呈现 Kafka 与 Flink 的技术盛宴。

议题信息

13:00 - 14:00 :签到
14:00 - 14:35 :张子斌 《Apache Kafka在现代数据驱动架构中的角色》
14:35 - 15:10 :侯鑫磊 《Apache Flink在中国农业银行的探索和实践 》
15:10 - 15:45 :陈仕明 《混合云、边缘计算下的实时计算平台设计 》
15:45 - 16:00 :中场休息
16:00 - 16:35 :陈肃 《构建批流一体数据集成平台的一致性语义保证》
16:35 - 17:10 :伍翀(云邪)《Flink SQL 1.9.0 技术内幕和最佳实践》
17:10 - 18:00 :合影与会后交流

出品人

秦江杰,Apache Kafka PMC,阿里巴巴高级技术专家

阿里巴巴实时计算平台高级技术专家。硕士毕业于卡耐基梅陇大学,曾任职于LinkedIn负责Apache Kafka的开发,是Apache Kafka PMC成员。目前在阿里巴巴参与Apache Flink的开发工作。

嘉宾信息

演讲标题:《Apache Kafka在现代数据驱动架构中的角色》

Kenneth 张,大中华区资深系统工程师, Confluent

嘉宾简介:张子斌先生(Kenneth Cheung)在 IT 产业拥有超过20年之丰富经验,是将大数据分析以及数据数据探索解决方案带进亚太市场的先锋之一。近10年来,他专注于教育大中华区场以新的方式新的观念进行商业分析,并且成功的将数据探索引入金融,零售和制造等众多企业。最大的部署中就有单一企业使用者千人以上。而在商业智能之前,长达5年的时间致力于资讯安全领域上,曾为许多企业提供稽核及咨询服务。

内容简介:Apache Kafka 是一个流平台,充当企业的“数据骨干”。通过在事件发生时将事件流式传输到 Kafka,它们可以在任何从属系统中实时或批量使用。Kafka 是一个平台支持整个企业中事件驱动,高性能,可扩展的数据集成,同时还提供直接驱动应用的消息传递功能。本演讲将讨论 Kafka 在架构,Kafka 生态系统中的作用和优势,以及用于解决组织在管理数据流和数据可用性方面面临的挑战的几种设计模式。

演讲标题:《Apache Flink在中国农业银行的探索和实践》

侯鑫磊,中国农业银行研发中心高级工程师

嘉宾简介:侯鑫磊,自09年起从事信贷领域信息系统建设,先后参与实施信贷管理系统(C3)、新一代核心业务系统(BoEing)等多个农行重大工程,曾2次获得中国人民银行科技发展奖,对商业银行信息系统设计有丰富经验。

内容简介:Apache Flink 作为新一代批流计算引擎,在金融科技应用越来越广泛,本次分享主要介绍农业银行以 Apache Flink 作为混合计算引擎,在反欺诈、系统异常检测、实时数据统计等应用中进行的探索和实践。

演讲标题:《混合云、边缘计算下的实时计算平台设计》

陈仕明,虎牙数据平台负责人

嘉宾简介:陈仕明 虎牙数据平台负责人,一直从事数据相关的工作,从最初的企业数仓,到互联网数仓架构,再到大数据系统架构,拥有十年以上的行业经验。

内容简介:在混合云、边缘计算等新的基础资源框架之下,实时计算平台,如何能够更好的利用服务于业务,我将会结合虎牙的实践,和大家进行分享和探讨。

演讲标题:《构建批流一体数据集成平台的一致性语义保证》

陈肃,博士, 北京数见科技有限公司(DataPipeline)CTO

嘉宾简介:陈肃致力于企业级数据集成平台的研发。曾就职于中国移动研究院(用户行为实验室负责人)、亿瑞互动科技有限公司(技术VP)。对消息中间件、推荐系统等领域都有丰富的实践经验。拥有十项发明专利。

内容简介:批量和流式是数据集成的两种任务形态。在实际应用中,批量和流式往往需要结合使用:前者处理历史数据,后者处理增量数据。数据同步的一致性语义保证是构建批流一体数据集成平台的基本要求。无论是批流切换,还是数据在流转环节中出现的运行异常,都不能影响数据的最终一致性。 Kafka Connect 作为一个被广泛应用的数据集成框架,只提供了数据同步端到端至少一次(at least once)的语义保证。我们在此框架之上,进一步实现了较为通用的精确一次(exactly once)语义保证。

演讲标题:《Flink SQL 1.9.0 技术内幕和最佳实践》

伍翀(云邪),阿里巴巴 SQL 引擎技术专家

嘉宾简介:北京理工大学硕士毕业,2015 年加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化,并活跃于 Flink 社区,于2017年初成为 Apache Flink Committer,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算,热爱开源,热爱分享。

内容简介:Apache Flink 是流批统一的新一代大数据计算引擎,以支持多种计算形态为目标,包括流计算,批计算,CEP 复杂事件处理,ML 机器学习等等。该演讲将以最新发布的 Flink SQL 为切入点,重点分享 Flink SQL 在 1.9 版本的新增功能,并结合 Demo 演示介绍最佳实践的姿势和调优经验。

Apache Flink 及大数据领域顶级盛会 Flink Forward Asia 2019 重磅开启,目前正在征集议题,限量早鸟票优惠ing。


视频标签: