实时数仓、1.10生产实践、AI 都来了,2020 首场 Flink 社区 Meetup,可!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 5月16日,2020 首场 Meetup 重磅上线。一如既往,本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家为您现场直播,让您足不出户,有直播看、有干货学、有奖品拿~

好久不见,2020 你们心心念念的 Meetup 重磅回归啦!从二月到现在小松鼠收到诸多关于 Meetup 的咨询和大家的一些心声,比如:

2020 Meetup 还有吗?什么时候办?
有没有 1.10 的生产环境实践,我想下手又犹豫不决
最近假期宅在家不能出门太无聊了,你们要不要搞点活动
作为 Flink 发烧友,没T恤不专业!我什么时候能拿到?

▼ 满足大家的心愿,机会来了 !▼

5月16日,2020 首场 Meetup 重磅上线。一如既往,本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家为您现场直播,让您足不出户,有直播看、有干货学、有奖品拿~

640.png

本次 Meetup 您将了解:

  1. 如何基于 Flink 实现分布式数据同步,原理是怎样的?
  2. 火了那么久的实时数仓在网易云音乐有哪些应用实践?
  3. 1.10 在生产环境中的实战,有赞的 Flink SQL 经验分享
  4. 揭秘 Flink 在 AI 场景中你知道或不知道的应用
  5. 多种丰富的社区周边送送送
  6. 高清画中画模式直播,体验好到爆

5月16日下午14:00-18:00,Flink 社区直播间不见不散!扫描下方二维码或点击下方链接即可马上报名~

# 报名链接 #
https://developer.aliyun.com/live/2772

640-2.png

《袋鼠云基于 Flink 实现的分布式数据同步工具 FlinkX 》

徐超 | Flink contributor,袋鼠云 资深技术专家

640-3.png

嘉宾介绍:

徐超,袋鼠云资深技术专家,Flink contributor,负责袋鼠云云原生一站式数据中台 PaaS-数栈从0到1的产品研发;参与的数栈产品应用于大型政企、金融、教育、新零售等行业客户,曾负责京东方、招商证券、宁波发改委、浙大、票付通等典型客户的数据中台项目的技术服务;目前专注于 Flink 实时计算周边扩展,包括袋鼠云 FlinkX、Flink Stream SQL 开源项目。

演讲简介:

一、为什么选择基于 Flink 实现

  1. 分布式,简单的并发配置
  2. 易于扩展
  3. 高效性
    二、整体结构(包括架构图)

三、如何实现控制并发和限流(原理和实现)
四、增量同步,断点续传(原理和实现)
五、实时采集(原理和实现)
六、当前版本插件的支持情况和未来的开发计划

《网易云音乐实时数仓实践》

汪磊 | 网易 数据平台开发专家

640.jpeg

嘉宾介绍:

汪磊,网易数据平台开发专家,目前负责云音乐实时、离线、以及机器学习平台的建设工作。

演讲简介:

云音乐随着业务的发展,对实时计算业务的需求越来愈多,要求越来越高,平台遇到挑战也越来越大。为了降低实时计算开发的门槛,更好的管控实时任务,提升系统的稳定性,我们整合了我们已有的底层服务开发了适合云音乐的实时数仓方案。

本次分享主要介绍我们整体的实践方案,面临的一些问题,以及未来的一些规划,整体大纲如下:

  1. 云音乐整体数据平台架构介绍
  2. 云音乐 Flink 实时数仓和元数据中心整合
  3. 目前面临的问题和挑战
  4. 批流一体的实践和规划

《Apache Flink SQL 1.10 在有赞的实践应用》

沈磊 | 有赞数据研发工程师

640-2.jpeg

嘉宾介绍:

沈磊,英文名 LakeShen,目前在有赞负责实时计算平台、以及 Flink 计算引擎相关研发和维护工作。积极参与 Flink 开源社区,喜欢和大家分享 Flink 技术,个人也写了很多 Flink 相关技术文章,帮助大家一起学习 Flink。

演讲简介:

本次演讲主要讲解 1.10 版本 Flink SQL 在有赞的实践应用,以及为什么选择 Flink SQL 。主要内容包括:

  1. 实时平台 Flink SQL 开发实践
  2. Flink Connector 的实践和优化
  3. Flink SQL 在有赞的业务支撑

《Apache Flink 在 AI 流程中的应用》

涂轶文(应言)| 阿里巴巴开发工程师

640-3.jpeg

嘉宾介绍:

涂轶文,花名应言,2019年7月加入阿里巴巴,担任开发工程师,专注于 Flink AI 生态领域的开发yiwen.png。

演讲简介:

在如今的 AI 场景中,Flink 在流模式下得天独厚的优势给 AI 的发展带来了更多的可能,为了能够更好地支持 AI 在不同场景下的发展,Flink 社区和 Flink 的生态项目也在不断地努力着,本文将介绍 Flink 在 AI 场景中的应用,主要内容包括:

  1. Background on Flink embracing AI
  2. What is AI flow
  3. Meet Flink AI flow
  4. An ML scenario

5月16日(下周六)下午14:00-16:00,我们在直播间期待您的到来!如果您还有其他感兴趣的主题、对社区的建议、喜欢的周边欢迎联系小松鼠(微信:Ververica2019),我们小本本记下来,下期给大家安排!

BTW,别忘了点击下方链接预约报名哦~

https://developer.aliyun.com/live/2772

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
目录
打赏
0
0
0
0
36032
分享
相关文章
Lalamove基于Flink实时湖仓演进之路
本文由货拉拉国际化技术部资深数据仓库工程师林海亮撰写,围绕Flink在实时数仓中的应用展开。文章首先介绍了Lalamove业务背景,随后分析了Flink在实时看板、数据服务API、数据监控及数据分析中的应用与挑战,如多数据中心、时区差异、上游改造频繁及高成本问题。接着阐述了实时数仓架构从无分层到引入Paimon湖仓的演进过程,解决了数据延迟、兼容性及资源消耗等问题。最后展望未来,提出基于Fluss+Paimon优化架构的方向,进一步提升性能与降低成本。
112 11
Lalamove基于Flink实时湖仓演进之路
京东物流基于Flink & StarRocks的湖仓建设实践
本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享,聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程,解决复杂业务场景下的数据分析挑战,如多维OLAP分析、大屏监控等。同时,文章详细介绍了基于StarRocks的湖仓一体方案,优化存储成本并提升查询效率,以及存算分离的应用实践。最后,对未来数据服务的发展方向进行了展望,计划推广长周期数据存储服务和原生数据湖建设,进一步提升数据分析能力。
143 1
京东物流基于Flink & StarRocks的湖仓建设实践
中国联通网络资源湖仓一体应用实践
本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲,介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%,同步延迟从3小时降至3分钟,存储成本降低50%,为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合,推动数字化升级。
中国联通网络资源湖仓一体应用实践
Hologres实时数仓在B站游戏的建设与实践
本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求,采用了Hologres作为核心组件优化传统Lambda架构,实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计(ODS、DWD、DIM、ADS)及关键技术挑战的解决方法,如高QPS点查、数据乱序重写等。目前,该实时数仓已广泛应用于运营分析、广告投放等多个场景,并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。
Hologres实时数仓在B站游戏的建设与实践
Hologres实时湖仓能力入门实践
本文由武润雪(栩染)撰写,介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体,极大提升数据开发效率。文章详细解析了两种湖仓架构:MaxCompute + Hologres实现离线实时一体化,以及Hologres + DLF + OSS构建开放湖仓架构,并深入探讨元数据抽象、权限互通等重点功能,同时提供具体使用说明与Demo演示。
Hologres计算组实例&分时弹性入门实践
本文由骆撷冬(Hologres PD)撰写,围绕Hologres计算组实例与分时弹性的入门实践展开。内容分为三部分:第一部分介绍Hologres计算组实例的原理与架构,解决负载隔离、资源浪费、大任务和运维难题;第二部分演示计算组实例的入门实践,包括管理、授权、连接及监控等操作;第三部分讲解分时弹性的使用,涵盖配置方法、成本优化及监控告警。通过具体案例与操作步骤,帮助用户更好地理解和应用Hologres的弹性计算能力。
Flink x Paimon 在抖音集团生活服务的落地实践
本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享,聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分:背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon,解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题,显著提升了开发运维效率、节省资源并增强了任务稳定性。同时,文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用,并介绍了其核心技术优化与未来规划。
59 10
Flink x Paimon 在抖音集团生活服务的落地实践
网易游戏 Flink 云原生实践
本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验,从Yarn到K8s云原生,再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案,包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构,网易游戏显著提升了资源利用率,降低了30%机器成本,小作业计算成本下降40%,并为未来性能优化、流批一体及智能运维奠定了基础。
网易游戏 Flink 云原生实践
抖音集团电商流量实时数仓建设实践
本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享,围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化,实现效率、质量、成本和稳定性全面提升,数据质量达99%以上,任务性能提升70%。未来将聚焦自动化、低代码化与成本优化,探索更高效的流批一体化方案。
140 11
抖音集团电商流量实时数仓建设实践
Flink + Doris 实时湖仓解决方案
本文整理自SelectDB技术副总裁陈明雨在Flink Forward Asia 2024的分享,聚焦Apache Doris与湖仓一体解决方案。内容涵盖三部分:一是介绍Apache Doris,一款高性能实时分析数据库,支持多场景应用;二是基于Doris、Flink和Paimon的湖仓解决方案,解决批流融合与数据一致性挑战;三是Doris社区生态及云原生发展,包括存算分离架构与600多位贡献者的活跃社区。文章深入探讨了Doris在性能、易用性及场景支持上的优势,并展示了其在多维分析、日志分析和湖仓分析中的实际应用案例。
220 17
Flink + Doris 实时湖仓解决方案

相关产品

  • 实时计算 Flink版
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等