Apache Flink Meetup 7.10 北京站,Flink x TiDB 专场等你来!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 7 月 10 日,Apache Flink Meetup 北京站,不见不散~

Flink,近年来广受欢迎,是最受认可的大数据计算引擎之一;TiDB 作为开源的 NewSQL 数据库也以其优秀的横向扩展能力和高可用特点,颇受业界的好评。那么当 Flink 遇上 TiDB,会迸发出怎样的火花呢?


Apache Flink 社区 Meetup 北京站又来啦


7月10日 | 北京 | 线下


Flink x TiDB 专场


本场 Meetup 将由 Flink 社区与 TiDB 社区合办。一如既往,我们邀请了各行业的技术大牛,来自阿里巴巴、TiDB、360、知乎、网易的 5 位技术专家将围绕 Flink 和 TiDB,分享如何实现准确稳定的实时计算业务、如何搭建实时数仓数据链路的最佳实践、如何利用两者的特点完成端对端实时计算的闭环交付,以及 Flink SQL 和 Flink-CDC 架构的感悟与实践等。


■ 活动亮点


  • 超多实用干货,Flink + TiDB 的结合能擦出怎样的火花,且看各位技术专家聚焦实时数据业务支撑、实时数仓、端到端实时计算等场景,用理论结合实践解析 Flink + TiDB 在各场景的应用。
  • 活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;
  • 丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!


特别鸣谢 360 提供场地
■ 活动议程

image.png


▼ 立即报名


https://1712399719478.huodongxing.com/event/6601410216600


஑᩻ग़ Fli

 嘉宾及议题介绍



《JFlink on TiDB——便捷可靠的实时数据业务支撑》

林佳-圆.png

林佳

网易互娱技术中心实时开发工程师

Apache Flink Contributor


【嘉宾简介】


林佳,网易互娱计费数据中心实时业务负责人,实时开发框架 JFlink-SDK 和实时业务平台 JFlink 的主程。


【演讲简介】


近几年的实时计算领域,Flink 已经成为了最热门的开源框架;TiDB 便捷而可靠的  HTAP 融合型分布式特性使其在数据中心业务中被广泛应用。本次分享将从数据中心的计算案例出发,结合数据中心实时框架 JFlink-SDK 的设计哲学和对 TiDB 的使用方式,讨论如何实现在实际业务场景下准确稳定的实时计算业务。



《Flink + TiDB,体验实时数仓之美》

王天宜-圆.png

王天宜

TiDB 社区部门 架构师


【嘉宾简介】


王天宜,TiDB 社区部门架构师。曾就职于 Fidelity Investment,Softbank Investment,拥有丰富的数据库高可用方案设计经验,对于对 TiDB、Oracle、PostgreSQL、MySQL等数据库的高可用架构与数据库生态有深入研究。


【演讲简介】


实时数仓的进化历程- lambada 架构

- Kappa 架构

- 目前实时数仓的基本技术栈架构

TiDB + Flink 搭建实时数仓的数据链路

- TiDB 的基础架构与扩展性

- TiDB + Flink 实时数仓的架构

TiDB + Flink 的最佳实践



《TiDB x Flink 的端到端实时计算》

孙晓光-圆.png

孙晓光

知乎基础研发架构师;TiDB 社区 TOC 主席

TiKV Maintainer


【嘉宾简介】


孙晓光,知乎基础研发团队架构师,长期从事分布式系统相关研发工作关注云原生技术。


【演讲简介】


Flink 被普遍用于高实时性场景下的实时计算,而 TiDB 则被广泛应用于大数据量级下 OLTP 交易场景。TiDB 优秀的横向扩展能力使其成为 Flink 实时计算任务一个理想的下游数据库存储,更好的满足高吞吐低时延的实时计算结果存储需求。而 Flink 极强的扩展能力也能够为持续高吞吐写入的 TiDB 集群提供充足的计算能力,为大流量数据计算的实时性提供充分的保障。在缺乏原生 TiDB Flink 流式计算能力的过去,用户需要采用迂回的手段利用针对 MySQL 设计的工具实现 TiDB 数据的流或批计算。这不但增加了学习上的额外负担,还难以充分利用 TiDB 独有的架构特点提升系统的整体效率。在知乎整体在线数据库系统向 TiDB 过渡的过程中,我们迫切的感受到 TiDB x Flink 原生批流一体解决方案的重要性。本次分享将介绍知乎在 TiDB x Flink 批流一体方面的部分工作,并以实际业务为例介绍如何充分利用两者的特点完成端对端实时计算的闭环交付。



《Flink SQL 在 360 的实践》

image.gif张超明-圆.png

张超明

Apache Hudi Contributor360大数据平台研发工程师


【嘉宾简介】


张超明,360 大数据平台研发工程师。热爱技术,对大数据相关技术非常感兴趣,尤其是对于实时计算的原理和发展非常着迷。目前就职于 360 系统部,参与实时计算相关技术在司内的落地和推广,负责 Flink SQL 的产品化和优化。


【演讲简介】


随着公司的搜索、 金融、广告、游戏等业务的不断发展,通过实时计算推进业务价值的更快迭代成为了迫切的需求,Flink 作为目前在司内主推的实时计算引擎,在司内也愈加广泛地被使用。为了加快开发效率,降低开发人员的学习成本,我们积极鼓励用户使用 Flink SQL 进行作业开发。

本次分享将围绕 Flink SQL 在 360 的产品化落地过程,分享我们在 Flink SQL  上的一些感悟、实践与改进。



《详解 Flink-CDC》

雪尽-圆的副本.png

徐榜江

Apache Flink Contributor

阿里巴巴高级开发工程师


【讲师简介】


徐榜江(雪尽),阿里巴巴高级开发工程师,专注于 Flink SQL 引擎开发。


【演讲简介】


如何将数据库中的数据接入数据仓库/数据湖是数仓建设需要考虑的关键一环。本次分享,对比 传统数据同步方案 和 Flink-CDC 数据同步方案的优缺点,分析 Flink-CDC 架构的优势,同时分享Flink-CDC 2.0 设计方案, 详细解读无锁设计和全量阶段并发设计。


活动报名


■ 活动详情


线下场地位置有限,先到先得哦!更多 Flink 相关技术问题,可扫码加入社区钉钉交流群~


image.png

GitHub 地址

https://github.com/apache/flink

欢迎大家给 Flink 点赞送 star~



活动推荐


阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启6月限时活动:

0元试用实时计算Flink版(包年包月、10CU)即可有机会获得 Flink 独家定制T恤;另包3个月及以上还有85折优惠!

了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
23天前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
312 33
The Past, Present and Future of Apache Flink
|
3月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
885 13
Apache Flink 2.0-preview released
|
3月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
113 3
|
2月前
|
分布式计算 大数据 Apache
Apache Spark & Paimon Meetup · 北京站,助力 LakeHouse 架构生产落地
2024年11月15日13:30北京市朝阳区阿里中心-望京A座-05F,阿里云 EMR 技术团队联合 Apache Paimon 社区举办 Apache Spark & Paimon meetup,助力企业 LakeHouse 架构生产落地”线下 meetup,欢迎报名参加!
110 3
|
3月前
|
存储 小程序 Apache
10月26日@杭州,飞轮科技 x 阿里云举办 Apache Doris Meetup,探索保险、游戏、制造及电信领域数据仓库建设实践
10月26日,由飞轮科技与阿里云联手发起的 Apache Doris 杭州站 Meetup 即将开启!
75 0
|
3月前
|
数据挖掘 物联网 数据处理
深入探讨Apache Flink:实时数据流处理的强大框架
在数据驱动时代,企业需高效处理实时数据流。Apache Flink作为开源流处理框架,以其高性能和灵活性成为首选平台。本文详细介绍Flink的核心特性和应用场景,包括实时流处理、强大的状态管理、灵活的窗口机制及批处理兼容性。无论在实时数据分析、金融服务、物联网还是广告技术领域,Flink均展现出巨大潜力,是企业实时数据处理的理想选择。随着大数据需求增长,Flink将继续在数据处理领域发挥重要作用。
221 0
|
4月前
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践,展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现,并对比自建Flink集群的优势。最后,报告评估了其成本效益,强调了其灵活扩展性和高投资回报率,适合各类实时数据处理需求。
|
2月前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
1385 73
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
zdl
|
2月前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
171 56
|
5天前
|
存储 关系型数据库 BI
实时计算UniFlow:Flink+Paimon构建流批一体实时湖仓
实时计算架构中,传统湖仓架构在数据流量管控和应用场景支持上表现良好,但在实际运营中常忽略细节,导致新问题。为解决这些问题,提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式(如Paimon)和Flink CDC工具,简化开发流程,降低成本,并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table,实现了声明式ETL,优化了调度和执行模式,使用户能灵活调整新鲜度与成本。最终,UniFlow不仅提高了开发和运维效率,还提供了更实时的数据支持,满足业务决策需求。

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多