ApacheCon 亚洲峰会首次召开,阿里顶级开源项目演讲重磅来袭

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
应用实时监控服务-可观测链路OpenTelemetry版,每月50GB免费额度
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
简介: 阿里自 2011 年宣布第一波开源项目至今始终积极拥抱开源,回馈社区。目前,阿里开源项目突破2700个,GitHub Star 超过 100万,社区贡献者超3万。在今年 ApacheCon Asia的消息系统、API / 微服务、Web Server/Tomcat、流处理等多个论坛都有重磅演讲。三大顶级项目Apache Flink、Apache RocketMQ、Apache Dubbo committer 和用户也将同台给大家介绍社区演讲和最佳实践。

ApacheCon 是 Apache 软件基金会(ASF)的官方全球系列大会。作为久负盛名的开源盛宴,ApacheCon 在开源界备受关注,也是开源运动早期的知名活动之一。


1.png

First event was held in San Francisco, CA, October 1998 (the ASF incorporated ~6 months later).


自 1998 年开办以来,ApacheCon 已经吸引了超过 350 个技术项目和不同社区参与其中,汇聚海内外的业内专家与老师,分享全球最新的技术动态与实践,共同探讨 "明天的技术",让广大的技术爱好者们看到各技术前沿,有哪些最新趋势和进展,更好的升级自己的技术栈。


今年,为了更好地服务于亚太快速增长的 Apache 用户和贡献者,ApacheCon 组委会以及 Apache 软件基金会很高兴地宣布,首次针对亚太地区时区的 ApacheCon 在线会议 ApacheCon Asia 大会将于 2021 年 8 月 6 日至 8 日在线举行。Asia 大会将来自中国、日本、印度、美国等海内外的 140+ 议题,分为消息系统、大数据、Incubator、API / Microservice、互联网等 14 个论坛。

image.gif

阿里自 2011 年宣布第一波开源项目至今始终积极拥抱开源,回馈社区。目前,阿里开源项目突破2700个,GitHub Star 超过 100万,社区贡献者超3万。在今年 ApacheCon Asia的消息系统、API / 微服务、Web Server/Tomcat、流处理等多个论坛都有重磅演讲。三大顶级项目Apache Flink、Apache RocketMQ、Apache Dubbo committer 和用户也将同台给大家介绍社区演讲和最佳实践。


议题亮点


  • 阿里巴巴研究员、开源大数据平台负责人王峰将在 Keynote 分享十年来阿里巴巴开源大数据之路


  • Flink引擎架构师、Flink Committer 梅源分享Flink流批一体和Flink极致流计算的最新动向

  • Dubbo Committer 江河清分享 Dubbo 3.0 如何变得更加云原生、高性能、跨平台

  • RocketMQ开源负责人杜恒分享 RocketMQ 5.0 将如何升级为“消息、事件、流”超融合处理平台,帮助用户构建下一代事件驱动和流处理应用


议题全览



议题 1:阿里巴巴开源大数据之路


时间:2021/8/8 10:50


议题介绍:阿里巴巴在大数据技术方向上一直坚持着自研和开源双轨制发展模式,在做好自研的基础上积极拥抱开源生态,尤其是近年来随着阿里云业务的持续高速发展,基于开源技术生态的云产品体系越来越受到市场的青睐。阿里巴巴在 12 年前就开始基于 Apache Hadoop 构建第一代大数据平台-云梯,并从 2016 年开始大力推动 Apache Flink 社区的发展,目前阿里巴巴已经成为 Apache Flink 社区全球最大的贡献者和推动者。目前阿里开源大数据团队已经培养出超过 30名 Apache 顶级项目 Commiter / PMC Member 以及多名 ASF Member,本次 Talk 我们将向大家介绍阿里巴巴过去 10 年来的开源大数据技术发展历程以及未来规划。


2.png


Feng Wang (王 峰)


分享嘉宾:王峰

嘉宾介绍:阿里巴巴研究员,开源大数据平台负责人。目前带领团队基于开源大数据技术构建阿里云开源大数据产品体系,包括基于 Flink 的实时计算服务, 基于 Hadoop /Spark 的 E-MapReduce 平台以及新一代数据湖分析产品,不仅对内服务阿里巴巴集团所有实时数据业务,同时也通过阿里云为广大中小企业提供全球领先的开源大数据计算服务。



议题 2:Apache Dubbo 3.0 的演进之路


:2021/8/6 14:10


议题介绍:近年来,Apache Dubbo 被广泛用于基于 Java 语言的微服务治理。关于 Dubbo 3 有三个关键词,云原生、高性能、跨平台。在未来,我们计划让 Dubbo 3 变得更加云原生,Dubbo 可以以更云原生的方式与 Kubernetes、Istio 等云原生基础设施合作。对于高性能,我们将引入一种新的服务注册模型,并进行一系列的性能压力测试来加强 Dubbo。在跨平台方面,基于 HTTP/2 和 grpc 的下一代通信协议 triple 将使 Dubbo 与其他应用程序的通信更加容易,流量管理设施更加友好。另外,Dubbogo 将与 Java 实现同步发布。


3.jpeg

Albumen Kevin(江河清)


分享嘉宾Albumen Kevin(江河清)


嘉宾介绍:Apache Dubbo Committer 对微服务感兴趣,领导 Kubernetes Native Service 和 Dubbo 的 xDS 实施。



议题 3:Flink 在阿里巴巴的最新动态


时间:2021/8/7 13:30


议题介绍:在本次演讲中,我们将分享近年来阿里巴巴基于 Apache Flink 取得的一些最激动人心的成就,主要包括两个方面:流批一体的架构演进,以及近期为提高流式处理的高可用性所做的努力。阿里巴巴从 2016 年开始基于 Apache Flink 搭建流计算平台,并热衷于推动 Flink 开源发展。Apache Flink 近年来持续演进,已经成为事实上的实时计算标准。去年,Flink的流批一体功能首次正式应用于天猫双十一的核心场景:媒体大屏实时营销分析,我们将分享这背后的核心技术。此外,Flink从未停止探索更加极致的实时处理能力,在本次演讲中我们也将探讨社区近期在这方面的一些努力和进展。

image.gif

4.png

Yuan Mei(梅 源)


分享嘉宾:Yuan Mei(梅 源)

嘉宾介绍:Yuan Mei 目前是阿里巴巴 Flink 引擎的架构师,Apache Flink Committer。在加入阿里巴巴之前,她是 Facebook 的研究科学家。她是 Turbine(Facebook 的流处理服务管理平台,ICDE2020)的主要贡献者之一,有建立流处理系统(Puma & Stylus,VLDB2018)和 Facebook 许多其他数据系统(Presto)的丰富经验。她拥有麻省理工学院 CSAIL 的博士学位,导师是 Samuel Madden 教授和 Michael Stonebraker 教授。



议题 4:SPARK STRUCTURED STREAMING 在数据湖准实时场景中的应用


时间:2021/8/7 14:50


议题介绍:数据湖是目前流行的大数据存储和查询解决方案。基于 DeltaLake、Hudi、Iceburg 等主流数据湖格式,可以实现大规模数据的近实时写入。支持更新删除操作,实现数据库 binlog 等 CDC 类型数据源进入湖中。Spark Structured Streaming 是一种基于 MiniBatch 执行模式的流处理框架,它可以为数据湖格式的近实时写入提供更好的吞吐量性能。通过 Spark Structured Streaming 技术,可以有效地实现 CDC 数据的近实时写入操作。本文主要介绍 Spark Structured Streaming 在 CDC 数据源进入数据湖现场的应用,以及涉及的技术难点,包括实时合并性能优化、CDC数据的多版本问题以及 CDC Schema 变化场景下的解决方案。

image.gif

5.jpeg

Zhiwei Peng (彭志伟)


分享嘉宾:彭志伟


嘉宾介绍:阿里云EMR团队技术专家,Apache Hudi社区活跃贡献者,Apache Calcite Committer. 多年流计算SQL引擎开发经验,目前主要负责数据湖格式以及实时入湖方面的研究和开发工作。



议题 5:下一代消息和流平台 - APACHE ROCKETMQ 5.0


时间:2021/8/7 13:30


议题介绍:为了更好的服务于下一个十年,使得 Apache RocketMQ 成为云计算时代的数据基础设施,社区里面进行了无数的讨论以及探索,大家认为 RocketMQ 未来应该成为云原生的 messaging 以及 streaming 处理平台,用以构建事件驱动的应用,而 Apache RocketMQ 5.0 正承载着这一历史使命。此次分享分为四个部分:


  1. 从不同的视角,包括大中小型互联网公司、云厂商等总结 Apache RocketMQ 在过去十年中使用的场景及挑战;

  2. 云原生时代对消息队列这一传统基础设施带来的挑战与机遇;


  1. 重点分享Apache RocketMQ 5.0 社区正在进行的几个重要特性,包括全新的消费模型,服务端负载均衡,无损弹性扩缩,可分可合的存储计算分离等;

  2. Apache RocketMQ 5.0 roadmap,以及 Apache RocketMQ 始终坚持和与时俱进的设计思路。



image.png

Heng Du (杜 恒)



分享嘉宾:杜 恒


嘉宾介绍:Apache RocketMQ PMC Member/committer,Linux OpenMessaging TSC Member,目前在阿里云负责 RocketMQ 商业化以及开放生态构建。具有多年分布式中间件开发、规模化交付、系统化运维经验。目前对分布式消息中间件、K8s、微服务、物联网、Serverless 感兴趣。



议题 6:云原生时代下 Apache RocketMQ 演进之路


时间:2021/8/7 14:10


议题介绍:自从2017年成为国内首个中间件 Apache 开源顶级项目以来,Apache RocketMQ 以高性能、低延迟和高可靠的消息发布与订阅服务成为各厂商业务消息的首选。进入云原生时代,Apache RocketMQ 也在悄然成为云原生时代的通信基础设施。本次演讲将结合 Apache RocketMQ 开源历程,介绍在云原生时代 RocketMQ 核心竞争力、 最新的技术进展、开源社区生态以及未来展望。


7.jpeg

Rongtong Jin (金融通)


分享嘉宾:金融通


嘉宾介绍:Apache RocketMQ PMC Member,阿里巴巴研发工程师,对分布式系统特别是分布式消息队列有深刻理解。作为讲师曾在 Apache RocketMQ 社区和其他开源活动中进行过多次分享。



议题 7:Apache RocketMQ 的生态


时间:2021/8/7 15:30


议题介绍:本次演讲将重点介绍围绕 RocketMQ 的子项目。作为一个开源的统一消息引擎,RocketMQ 对于其开源项目的兼容性非常重要。因此,RocketMQ 社区推出了许多子项目来支持不同的技术方向。例如,RocketMQ Operator 主要用于支持 RocketMQ 在K8s平台上的自动部署和操作。多语言客户端项目可以使由C++、python、golang 等语言开发的应用程序使用 RocketMQ 等等。


主要介绍了 RocketMQ 子项目的基本功能、应用案例和最佳实践,并展望了 RocketMQ 未来可能推出的子项目。

image.gif


image.png

Qipeng Li (厉启鹏)


分享嘉宾:厉启鹏


嘉宾介绍:目前在阿里云工作,是技术专家和开源贡献者。他是 Apache RocketMQ 项目的 PMC 成员和 Committer,也是 Apache RocketMQ 城市社区的发起人。



议题 8:使用 Alibaba Arthas 进行 Tomcat 诊断


时间:2021/8/8 14:50


议题介绍:介绍如何使用 Alibaba Arthas 进行 Tomcat 应用诊断;介绍 Arthas 原理,以及 Tomcat 应用运行环境、运行原理;介绍在 Tomcat 环境下,Alibaba Arthas 如何抓取现场、分析问题、排查原因;常用的 Arthas 命令例子和一些 Tomcat 问题排查技巧。



image.png


Shengwei Pan (泮圣伟)


分享嘉宾:泮圣伟


嘉宾介绍:阿里云智能开发工程师,负责 Dubbo / Spring Cloud 商业化产品开发相关工作,目前主要关注云原生、微服务等技术方向



戳 👉  https://hopin.com/events/apachecon-asia-2021

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
Scala 流计算
Flink / Scala - 使用 CountWindow 实现按条数触发窗口
CountWindow 数量窗口分为滑动窗口与滚动窗口,类似于之前 TimeWindow 的滚动时间与滑动时间,这里滚动窗口不存在元素重复而滑动窗口存在元素重复的情况,下面 demo 场景为非重复场景,所以将采用滚动窗口。......
1064 0
Flink / Scala - 使用 CountWindow 实现按条数触发窗口
|
5月前
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
1150 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
11月前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
3259 73
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
|
11月前
|
存储 人工智能 大数据
直播预告|FFA 2024 上海主论坛,11月29日正式上线!
Flink Forward Asia 2024 将于11月29日至30日在上海举行,作为Apache Flink社区的重要活动,本次大会将聚焦Flink十年技术演进与未来规划,涵盖Flink 2.0新特性、Paimon数据湖格式、Fluss实时分析存储解决方案等内容,并设有圆桌讨论,探讨AI时代下大数据技术的发展方向。欢迎预约直播,参与互动赢取好礼。
461 68
直播预告|FFA 2024 上海主论坛,11月29日正式上线!
|
10月前
|
存储 人工智能 BI
Paimon 1.0: Unified Lake Format for Data + AI
本文整理自阿里云智能开源湖存储负责人李劲松在Flink Forward Asia 2024上海站主论坛的演讲。Apache Paimon于今年3月成为顶级项目,计划发布1.0版本,目标是Unified Lake Format for Data + AI,解决数据处理与AI应用中的关键问题。Paimon结合Flink打造Streaming Lakehouse解决方案,已在阿里巴巴集团及多个行业中广泛应用。来自淘天、抖音和vivo的嘉宾分享了基于Paimon + Flink技术栈的数据湖实时处理与分析实践案例。内容涵盖大数据从业者面临的痛点、Paimon的发展历程及大厂的应用经验。
862 2
Paimon 1.0: Unified Lake Format for Data + AI
|
存储 运维 关系型数据库
探索 Apache Paimon 在阿里智能引擎的应用场景
本文整理自Apache Yarn && Flink Contributor,阿里巴巴智能引擎事业部技术专家王伟骏(鸿历)老师在 5月16日 Streaming Lakehouse Meetup · Online 上的分享。
26070 34
探索 Apache Paimon 在阿里智能引擎的应用场景
|
存储 分布式计算 OLAP
Apache Paimon统一大数据湖存储底座
Apache Paimon,始于Flink Table Store,发展为独立的Apache顶级项目,专注流式数据湖存储。它提供统一存储底座,支持流、批、OLAP,优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长,集成Flink、Spark等计算引擎,阿里巴巴在内部广泛应用,旨在打造统一湖存储,打通Serverless Flink、MaxCompute等,欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。
18538 8
Apache Paimon统一大数据湖存储底座
|
存储 缓存 算法
Java中的内存管理:理解垃圾回收机制
本文将深入探讨Java中的内存管理,特别是垃圾回收机制。我们将从基本的内存分配开始,逐步解析垃圾回收的原理和过程,以及它对Java应用程序性能的影响。通过实例演示,我们会展示如何在Java中有效地管理和优化内存使用。最后,我们将讨论一些常见的内存泄漏问题及其解决方案。
|
存储 Java 关系型数据库
基于Servlet和JSP的Java Web应用开发指南
基于Servlet和JSP的Java Web应用开发指南
352 0
|
JSON 负载均衡 Java
SpringCloud Feign 远程调用(史上最详细讲解)
SpringCloud Feign 远程调用(史上最详细讲解)
13965 0
SpringCloud Feign 远程调用(史上最详细讲解)