实时数仓、1.10生产实践、AI 都来了,2020 首场 Flink 社区 Meetup,可!

简介: 5月16日,2020 首场 Meetup 重磅上线。一如既往,本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家为您现场直播,让您足不出户,有直播看、有干货学、有奖品拿~

好久不见,2020 你们心心念念的 Meetup 重磅回归啦!从二月到现在小松鼠收到诸多关于 Meetup 的咨询和大家的一些心声,比如:

2020 Meetup 还有吗?什么时候办?
有没有 1.10 的生产环境实践,我想下手又犹豫不决
最近假期宅在家不能出门太无聊了,你们要不要搞点活动
作为 Flink 发烧友,没T恤不专业!我什么时候能拿到?

▼ 满足大家的心愿,机会来了 !▼

5月16日,2020 首场 Meetup 重磅上线。一如既往,本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家为您现场直播,让您足不出户,有直播看、有干货学、有奖品拿~

640.png

本次 Meetup 您将了解:

  1. 如何基于 Flink 实现分布式数据同步,原理是怎样的?
  2. 火了那么久的实时数仓在网易云音乐有哪些应用实践?
  3. 1.10 在生产环境中的实战,有赞的 Flink SQL 经验分享
  4. 揭秘 Flink 在 AI 场景中你知道或不知道的应用
  5. 多种丰富的社区周边送送送
  6. 高清画中画模式直播,体验好到爆

5月16日下午14:00-18:00,Flink 社区直播间不见不散!扫描下方二维码或点击下方链接即可马上报名~

# 报名链接 #
https://developer.aliyun.com/live/2772

640-2.png

《袋鼠云基于 Flink 实现的分布式数据同步工具 FlinkX 》

徐超 | Flink contributor,袋鼠云 资深技术专家

640-3.png

嘉宾介绍:

徐超,袋鼠云资深技术专家,Flink contributor,负责袋鼠云云原生一站式数据中台 PaaS-数栈从0到1的产品研发;参与的数栈产品应用于大型政企、金融、教育、新零售等行业客户,曾负责京东方、招商证券、宁波发改委、浙大、票付通等典型客户的数据中台项目的技术服务;目前专注于 Flink 实时计算周边扩展,包括袋鼠云 FlinkX、Flink Stream SQL 开源项目。

演讲简介:

一、为什么选择基于 Flink 实现

  1. 分布式,简单的并发配置
  2. 易于扩展
  3. 高效性
    二、整体结构(包括架构图)

三、如何实现控制并发和限流(原理和实现)
四、增量同步,断点续传(原理和实现)
五、实时采集(原理和实现)
六、当前版本插件的支持情况和未来的开发计划

《网易云音乐实时数仓实践》

汪磊 | 网易 数据平台开发专家

640.jpeg

嘉宾介绍:

汪磊,网易数据平台开发专家,目前负责云音乐实时、离线、以及机器学习平台的建设工作。

演讲简介:

云音乐随着业务的发展,对实时计算业务的需求越来愈多,要求越来越高,平台遇到挑战也越来越大。为了降低实时计算开发的门槛,更好的管控实时任务,提升系统的稳定性,我们整合了我们已有的底层服务开发了适合云音乐的实时数仓方案。

本次分享主要介绍我们整体的实践方案,面临的一些问题,以及未来的一些规划,整体大纲如下:

  1. 云音乐整体数据平台架构介绍
  2. 云音乐 Flink 实时数仓和元数据中心整合
  3. 目前面临的问题和挑战
  4. 批流一体的实践和规划

《Apache Flink SQL 1.10 在有赞的实践应用》

沈磊 | 有赞数据研发工程师

640-2.jpeg

嘉宾介绍:

沈磊,英文名 LakeShen,目前在有赞负责实时计算平台、以及 Flink 计算引擎相关研发和维护工作。积极参与 Flink 开源社区,喜欢和大家分享 Flink 技术,个人也写了很多 Flink 相关技术文章,帮助大家一起学习 Flink。

演讲简介:

本次演讲主要讲解 1.10 版本 Flink SQL 在有赞的实践应用,以及为什么选择 Flink SQL 。主要内容包括:

  1. 实时平台 Flink SQL 开发实践
  2. Flink Connector 的实践和优化
  3. Flink SQL 在有赞的业务支撑

《Apache Flink 在 AI 流程中的应用》

涂轶文(应言)| 阿里巴巴开发工程师

640-3.jpeg

嘉宾介绍:

涂轶文,花名应言,2019年7月加入阿里巴巴,担任开发工程师,专注于 Flink AI 生态领域的开发yiwen.png。

演讲简介:

在如今的 AI 场景中,Flink 在流模式下得天独厚的优势给 AI 的发展带来了更多的可能,为了能够更好地支持 AI 在不同场景下的发展,Flink 社区和 Flink 的生态项目也在不断地努力着,本文将介绍 Flink 在 AI 场景中的应用,主要内容包括:

  1. Background on Flink embracing AI
  2. What is AI flow
  3. Meet Flink AI flow
  4. An ML scenario

5月16日(下周六)下午14:00-16:00,我们在直播间期待您的到来!如果您还有其他感兴趣的主题、对社区的建议、喜欢的周边欢迎联系小松鼠(微信:Ververica2019),我们小本本记下来,下期给大家安排!

BTW,别忘了点击下方链接预约报名哦~

https://developer.aliyun.com/live/2772

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
12月前
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
1890 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
11月前
|
人工智能 OLAP 数据处理
解锁数仓内AI流水线,AnalyticDB Ray基于多模ETL+ML提效开发与运维
AnalyticDB Ray 是AnalyticDB MySQL 推出的全托管Ray服务,基于开源 Ray 的丰富生态,经过多模态处理、具身智能、搜索推荐、金融风控等场景的锤炼,对Ray内核和服务能力进行了全栈增强。
|
7月前
|
人工智能 自然语言处理 Shell
我们开源了一款 AI 驱动的用户社区
KoalaQA 是一款开源的 AI 驱动用户社区,支持智能问答、语义搜索、自动运营与辅助创作,助力企业降低客服成本,提升响应效率与用户体验。一键部署,灵活接入大模型,快速构建专属售后服务社区。
697 5
我们开源了一款 AI 驱动的用户社区
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
971 17
|
缓存 人工智能 架构师
龙蜥社区走进中国农业大学,共探“AI+生命科学” 操作系统优化实践
“AI+生命科学”这一跨学科领域的巨大潜力与重要意义。
|
存储 消息中间件 分布式计算
Hologres实时数仓在B站游戏的建设与实践
本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求,采用了Hologres作为核心组件优化传统Lambda架构,实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计(ODS、DWD、DIM、ADS)及关键技术挑战的解决方法,如高QPS点查、数据乱序重写等。目前,该实时数仓已广泛应用于运营分析、广告投放等多个场景,并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。
Hologres实时数仓在B站游戏的建设与实践
|
存储 分布式计算 MaxCompute
Hologres实时湖仓能力入门实践
本文由武润雪(栩染)撰写,介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体,极大提升数据开发效率。文章详细解析了两种湖仓架构:MaxCompute + Hologres实现离线实时一体化,以及Hologres + DLF + OSS构建开放湖仓架构,并深入探讨元数据抽象、权限互通等重点功能,同时提供具体使用说明与Demo演示。
|
SQL 弹性计算 运维
Hologres计算组实例&分时弹性入门实践
本文由骆撷冬(Hologres PD)撰写,围绕Hologres计算组实例与分时弹性的入门实践展开。内容分为三部分:第一部分介绍Hologres计算组实例的原理与架构,解决负载隔离、资源浪费、大任务和运维难题;第二部分演示计算组实例的入门实践,包括管理、授权、连接及监控等操作;第三部分讲解分时弹性的使用,涵盖配置方法、成本优化及监控告警。通过具体案例与操作步骤,帮助用户更好地理解和应用Hologres的弹性计算能力。
|
9月前
|
人工智能 运维 云计算
|
存储 消息中间件 Java
抖音集团电商流量实时数仓建设实践
本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享,围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化,实现效率、质量、成本和稳定性全面提升,数据质量达99%以上,任务性能提升70%。未来将聚焦自动化、低代码化与成本优化,探索更高效的流批一体化方案。
774 12
抖音集团电商流量实时数仓建设实践

相关产品

  • 实时计算 Flink版