必看!Apache Flink 运维&实战系列直播,揭秘生产环境技术难点

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 随着 Flink 社区的快速发展,其技术也逐渐走向成熟。在 2019 年,国内已经有大量的本土互联网公司开始采用 Apache Flink 作为主流的实时计算解决方案。同时,在全球范围内,优步、网飞、微软和亚马逊等国际互联网公司也逐渐开始使用 Apache Flink。

Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。

随着 Flink 社区的快速发展,其技术也逐渐走向成熟。在 2019 年,国内已经有大量的本土互联网公司开始采用 Apache Flink 作为主流的实时计算解决方案。同时,在全球范围内,优步、网飞、微软和亚马逊等国际互联网公司也逐渐开始使用 Apache Flink。

为了让大家更方便上手使用 Flink,Flink 中文社区邀请 Apache Flink 核心贡献者与国内外一线大厂线上直播分享 Flink 技术原理解析、应用上手实操、最佳实践应用等,揭秘 Flink 从基础、进阶到运维&实战等详细细节,助力社区开发者从小白成长为技术专家!

直播观看方式:

钉钉扫描下方二维码或搜索:23138101,即可加入Apache Flink社区大群,每周二或周四锁定群直播!

_

3.1 Flink 反压/延时监控和调参控制

【分享嘉宾】Rong Rong(Apache Flink Committer,Software Engineer at Uber)
视频回放

3.2 Metric 指标、监控、报警

【分享嘉宾】孙梦瑶(美团点评 研发工程师)
视频回放

3.3 如何利用 Flink 和深度学习模型实现垃圾图片分类

【分享嘉宾】陈戊超(阿里巴巴 技术专家)
视频回放

3.4 Flink CEP 实战

【分享嘉宾】刘博(哈啰出行 大数据实时平台资深开发)
视频回放
文章整理

3.5 Flink 实时数仓的应用

【分享嘉宾】黄伟伦(美团点评 数据系统研发工程师)
视频回放

3.6 State Processor API 介绍与演示

【分享嘉宾】戴资力(Apache Flink PMC)
视频回放

3.7 Flink 常见问题诊断

【分享嘉宾】杨阳(阿里巴巴 高级运维工程师)
视频回放

3.8 大规模场景的高阶运维

【分享嘉宾】王华(阿里巴巴 运维专家)
视频回放

3.9 Flink 作业问题分析和调优实践

【分享嘉宾】李康(虎牙 实时平台负责人)
视频回放

3.10 Flink 生产配置最佳实践

【分享嘉宾】席建刚(趣头条 实时平台负责人)
视频回放

3.11 基于 Apache Flink 的监控告警系统

【分享嘉宾】zhisheng(《Flink 实战与性能优化》专栏作者)
视频回放

3.12 30分钟教你如何入门 – Apache Flink 最全知识图谱详解

【分享嘉宾】程鹤群(军长)(Apache Flink Committer,阿里巴巴技术专家)
视频回放

3.13 【1.10特别篇】Demo: 基于 Flink SQL 构建离线应用

【分享嘉宾】李劲松(之信)(Apache Flink Committer,阿里巴巴技术专家)
视频回放

3.14 【1.10特别篇】Demo: 基于 Flink SQL 构建实时应用

【分享嘉宾】伍翀(云邪)(Apache Flink PMC,阿里巴巴技术专家)
视频回放

3.15 【1.10特别篇】Flink on Zeppelin: 极致体验(1) 入门 + Batch

【分享嘉宾】章剑锋(Apache Zeppelin PMC,阿里巴巴高级技术专家)
视频回放

3.16 【实时数仓篇】基于 Flink 的典型 ETL 场景实现

【分享嘉宾】买蓉(美团点评 高级技术专家)
视频回放

3.17 【1.10特别篇】Flink on Zeppelin: 极致体验(2) Streaming + 高级用法

【分享嘉宾】章剑锋(Apache Zeppelin PMC,阿里巴巴高级技术专家)
视频回放

3.18 【1.10特别篇】Alink 入门到实践

【分享嘉宾】杨旭(阿里巴巴资深算法专家)
直播:3月5日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

3.19 【实时数仓篇】利用 Flink 实现实时超时统计场景

【分享嘉宾】马汶园(菜鸟 数据工程师)
直播:3月10日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

3.20 【实时数仓篇】利用 Flink 实现实时状态复用场景

【分享嘉宾】李晨(菜鸟 数据工程师)
直播:3月12日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

3.21 【1.10特别篇】PyFlink 架构、应用案例及未来规划

【分享嘉宾】孙金城(Apache Flink PMC,Apache Beam Committer,阿里巴巴高级技术专家)
直播:3月17日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

3.22 【实时数仓篇】Flink CEP 及 应用场景

【分享嘉宾】薛康(滴滴 资深研发工程师)
直播:3月19日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

3.23 【实时数仓篇】Flink 窗口函数的应用场景

【分享嘉宾】张俊(Apache Flink Contributor,OPPO大数据平台研发负责人)
直播:3月26日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

3.24 【1.10特别篇】细粒度资源管理

【分享嘉宾】宋辛童(Apache Flink Contributor,阿里巴巴高级开发工程师)
直播:3月31日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

3.25 【1.10特别篇】native on Kubernetes

【分享嘉宾】王阳(阿里巴巴实时计算引擎团队研发专家)
直播:4月2日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

3.26 【直播主题】PyFlink 最新功能介绍

【分享嘉宾】程鹤群(军长)(Apache Flink Committer,阿里巴巴技术专家)
直播:4月16日 20:00-21:00 (UTC+8)
备注:视频、PPT待直播后更新

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
24天前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
2月前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
108 2
|
16天前
|
消息中间件 资源调度 API
Apache Flink 流批融合技术介绍
本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享,内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一,但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略,自动适应不同场景需求。文章详细介绍了如何通过量化指标(如isProcessingBacklog和isInsertOnly)实现这一目标,并展示了针对不同场景的具体优化措施。此外,还概述了社区当前进展及未来规划,包括将优化方案推向Flink社区、动态调整算子流程结构等。
279 31
Apache Flink 流批融合技术介绍
|
22天前
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次(micro-batch),然后利用Spark的批处理引擎进行处理,从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量,又能够处理实时数据流。
53 0
|
2月前
|
API C# Shell
WPF与Windows Shell完美融合:深入解析文件系统操作技巧——从基本文件管理到高级Shell功能调用,全面掌握WPF中的文件处理艺术
【8月更文挑战第31天】Windows Presentation Foundation (WPF) 是 .NET Framework 的关键组件,用于构建 Windows 桌面应用程序。WPF 提供了丰富的功能来创建美观且功能强大的用户界面。本文通过问题解答的形式,探讨了如何在 WPF 应用中集成 Windows Shell 功能,并通过具体示例代码展示了文件系统的操作方法,包括列出目录下的所有文件、创建和删除文件、移动和复制文件以及打开文件夹或文件等。
45 0
|
2月前
|
Java 微服务 Spring
驾驭复杂性:Spring Cloud在微服务构建中的决胜法则
【8月更文挑战第31天】Spring Cloud是在Spring Framework基础上打造的微服务解决方案,提供服务发现、配置管理、消息路由等功能,适用于构建复杂的微服务架构。本文介绍如何利用Spring Cloud搭建微服务,包括Eureka服务发现、Config Server配置管理和Zuul API网关等组件的配置与使用。通过Spring Cloud,可实现快速开发、自动化配置,并提升系统的伸缩性和容错性,尽管仍需面对分布式事务等挑战,但其强大的社区支持有助于解决问题。
42 0
|
2月前
|
消息中间件 Java 数据处理
揭秘Apache Flink的Exactly-Once神技:如何在数据流海中确保每条信息精准无误,不丢不重?
【8月更文挑战第26天】Apache Flink 是一款先进的流处理框架,其核心特性 Exactly-Once 语义保证了数据处理的精准无误。尤其在金融及电商等高要求场景下,该特性极为关键。本文深入解析 Flink 如何实现 Exactly-Once 语义:通过状态管理确保中间结果可靠存储;利用一致的检查点机制定期保存状态快照;以及通过精确的状态恢复避免数据重复处理或丢失。最后,提供一个 Java 示例,展示如何计算用户访问次数,并确保 Exactly-Once 语义的应用。
54 0
|
存储 SQL API
【对话科技】Flink技术介绍和新功能展望
2017年6月22号,由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员,来自德国DataArtisans公司的Till Rohrmann,在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。
|
11天前
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践,展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现,并对比自建Flink集群的优势。最后,报告评估了其成本效益,强调了其灵活扩展性和高投资回报率,适合各类实时数据处理需求。
|
3月前
|
存储 监控 大数据
阿里云实时计算Flink在多行业的应用和实践
本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践,对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术,并且提供一些在技术架构上的参考建议。
731 7
阿里云实时计算Flink在多行业的应用和实践

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多
    下一篇
    无影云桌面