58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密-阿里云开发者社区

开发者社区> 阿里云实时计算Flink> 正文

58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

简介: 本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 Storm 任务平滑迁移 Flink。
+关注继续查看

Flink-Storm 是 Flink 官方提供的用于 Flink 兼容 Storm 程序 beta 工具,并且在 Release 1.8 之后去掉相关代码。本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 Storm 任务平滑迁移 Flink。

背景

58 实时计算平台旨在为集团业务部门提供稳定高效实时计算服务,主要基于 Storm 和 Spark Streaming 构建,但在使用过程中也面临一些问题,主要包括 Storm 在吞吐量不足以及多集群带来运维问题,Spark Streaming 又无法满足低延迟的要求。Apache Flink 开源之后,其在架构设计、计算性能和稳定性上体现出的优势,使我们决定采用 Flink 作为新一代实时计算平台的计算引擎。同时基于 Flink 开发了一站式高性能实时计算平台 Wstream,支持 Flink jar,Stream Sql,Flink-Storm 等多样化任务构建方式。

在完善 Flink 平台建设的同时,我们也启动 Storm 任务迁移 Flink 计划,旨在提升实时计算平台整体效率,减少机器成本和运维成本。

Storm vs Flink

image

尽管 Flink 作为高性能计算引擎可以很好兼容 Storm,但在业务迁移过程中,我们仍然遇到了一些问题:

1 .用户对 Flink 的学习成本;

  1. 重新基于 Flink 开发耗费工作量;
  2. Stream-SQL 虽然可以满足快速开发减少学习成本和开发工作量但无法满足一些复杂场景。

因此我们决定采用 Flink 官方提供的 Flink-Storm 进行迁移,在保障迁移稳定性同时无需用户修改 Storm 代码逻辑。

Flink-Storm 原理

image

通过 Storm 原生 TopologyBuilder 构建好 Storm topology。
FlinkTopology.createTopology(builder) 将 StormTopology 转换为 Flink 对应的 Streaming Dataflow。
SpoutWrapper 用于将 spout 转换为 RichParallelSourceFunction,spout 的OutputFields转换成 source 的T ypeInformation。
BoltWrapper 用于将 bolt 转换成对应的 operator,其中 grouping 转换为对 spout 的 DataStream 的对应操作。
构建完 FlinkTopology 之后,就可以通过 StreamExecutionEnvironment 生成 StreamGraph 获取 JobGraph,之后将 JobGraph 提交到 Flink 运行时环境。

实践

Flink-Storm 作为官方提供 Flink 兼容 Storm 程序为我们实现无缝迁移提供了可行性,但是作为 beta 版本,在实际使用过程中存在很多无法满足现实场景的情况,主要包括版本,功能 bug,复杂逻辑兼容,无法支持 yarn 等,下面将主要分为平台层面和用户层面讲述我们的使用和改进。

image

平台层面

1. 版本

当前线上使用 Apache Flink 1.6 版本,Flink-Storm 模块基于 Storm 1.0 开发,我们平台运行 Storm 版本为 0.9.5 和 1.2 。

1.1 对于 Storm 1.2 运行任务,Storm 1.0 API 完全兼容 1.2 版本,因此只需切换 Flink-Storm 模块依赖的 storm-core 到 1.2.

image

1.2 对于 Storm 0.9.5 任务,由于 Storm 1.0 API 无法兼容 0.9.5,需要修改依赖 storm-core 为 0.9.5,同时修改 Flink-Storm 模块中所有与 Storm 相关的 API,主要是切换 package 路径。

image

1.3 重新构建 flink-storm 包 mvn clean package -Dmaven.test.skip=true -Dcheckstyle.skip=true

2.功能

2.1 传递语义保证

Storm 使用 ACK 机制来实现传递语义保证,我们没有将 Storm 的 ACK 机制移植到Flink-Storm。因此,某些依赖 ACK 机制的功能会受到限制。比如,Kafka spout 将消费状态存储在 ZK,状态的更新需要依赖 ACK 机制,tuple 树结束后,spout 才会触发状态更新,表示这条消息已经被完全处理,从而实现 at least once 的传递保证。Storm 也提供了at most once 的支持,spout 发送消息后,无需等待 tuple 树结束直接触发状态更新。我们使用了 Storm 的实现 at most once 的方式,在 Kafka spout 实现 at most once 的基础上,通过实现 Flink Checkpoint 的状态机制,实现了 Flink-storm 任务的 at least once。Storm 任务迁移到 Flink,传递保证不变。

image

2.2 tick tuple 机制

Storm 使用 tick tuple 机制实现定时功能,消息超时重发、Bolt 定时触发等功能都要依赖 tick tuple 机制。Storm 0.9.5 版本没有实现窗口功能,用户可以使用 tick tuple 机制简单实现窗口功能。我们同样为 Flink-Storm 增加了 tick tuple 机制的支持,使用方式也和 Storm 中使用方式一样,配置 topology.tick.tuple. freq.secs 参数,即开启了 tick tuple 功能。

image

2.3 多输入下 AllGrouping 支持

AllGrouping 分组方式对应于 Flink 是 Broadcast。如图,bolt-1 有两个输入,这种情况下,原 flink-storm 的实现,spout-2 到 bolt-1 的数据分区的表现形式和Rebalance(Flink 术语)一样,而不是 Broadcast。我们优化了这种场景,使其数据分组表现和 Storm 中是一样的。

image

3.Runtime

Flink-Storm 默认支持 local 和 standalong 模式任务提交,无法将任务提交到 yarn 集群,我们在建设 Flink 集群一开始就选择了 yarn 模式,便于集群资源管理和统一实时计算平台,因此需要自行实现支持 yarn 的 runtime 功能,这里主要涉及 yarn client 端设计。

YARN Client 实现机制

image

整个模块主要分为四个部分,其中 client 用于调用 Flink-Storm 程序转化接口,得到 Flink jobGraph。配置参数用于初始化 Flink 及 yarn 相关配置,构建运行时环境,命令行工具主要用于更加灵活的管理。yarnClient 主要实现 ApplicationClientProtocol 接口,完成与 ResourceManager 与 ApplicationMaster 的交互,实现 Flink job 提交和监控。

image

4.任务部署

为便于任务提交和集成到 Wstream 平台,提供类似 Flink 命令行提交方式:

image

用户层面

1.maven 依赖

平台将编译好的包上传到公司 maven 私服供用户下载对应版本 Flink-Storm 依赖包:

image

2.代码改动

用户需要将 Storm 提交任务的方式改成 Flink 提交,其他无需变动。

image

总结

通过对 Fink-Storm 的优化和使用,我们已经顺利完成多个 Storm 集群任务迁移和下线,在保障实时性及吞吐量的基础上可以节约计算资源 40% 以上,同时借助 yarn 统一管理实时计算平台无需维护多套 Storm 集群,整体提升了平台资源利用率,减轻平台运维工作量。

作者介绍:
万石康,来自 58 集团 TEG,后端高级工程师,专注于大数据实时计算架构设计。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
4028 0
有赞实时任务优化:Flink Checkpoint 异常解析与应用实践
本文结合 Flink 1.9 版本,重点讲述 Flink Checkpoint 原理流程以及常见原因分析,让用户能够更好的理解 Flink Checkpoint,从而开发出更健壮的实时任务。
1274 0
Massive MIMO 的系统性能分析(上) | 带你读《大规模天线波束赋形技术原理与设计 》之十七
系统级频谱效率是工业界评估蜂窝移动通信系统的一个重要指标,工业界 通常采用非常复杂耗时的系统级仿真得到。近年来,为了能够从理论上得到系 统级频谱效率与系统参数的关系,学术界进行了大量的探索研究。
1825 0
揭秘:宜信科技中心如何支持公司史上最大规模全员远程办公|上篇
宜信如何做到在最短的时间内支持上万人同时在线办公;如何解决多样网络以及各类电脑、操作系统全部安全快速部署;如何高效保障全部业务团队的技术支持。
4253 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
3965 0
非理想互易性对 Massive MIMO 容量的影响 | 带你读《大规模天线波束赋形技术原理与设计 》之十六
在大规模天线系统中,随着基站天线个数和空分用户数的增加,信道信息获 取成为系统实现的瓶颈。当采用 TDD 模式时,在相干时间内基站可以利用上行信 道估计信息来进行下行预编码的设计,进而减少下行导频以及用户 CSI 反馈的开 销。然而,实际系统中,整体通信信道不仅包括空中无线部分,还包括通信双方 收发机的射频电路。虽然空中信道满足上下行互易性,但是考虑到收发射频电路的 不一致性,如果不进行精准的电路校准,上下行整体信道无法保证互易性精度[21]。 本节将通过理论分析,研究非理想互易性对大规模 MIMO 系统性能的影响。
1236 0
时变信道下 Massive MIMO 容量分析 | 带你读《大规模天线波束赋形技术原理与设计 》之十五
随着高速铁路和高速公路场景下高数据传输速率业务需求的增加,如何提升高移动性下高数据传输速率问题成为移动通信的难点问题之一。为了解决高速移动场景下数据传输速率的瓶颈问题,采用大规模天线是主要的解决途径。
936 0
揭秘:宜信科技中心如何支持公司史上最大规模全员远程办公|下篇
分享宜信科技中心在保证呼叫中心远程办公方面的详细部署以及宜信科技中心在远程办公安全方面的关键举措。
3556 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
5712 0
570
文章
6
问答
来源圈子
更多
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载