Cassandra 扩容streaming拖数据

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: Cassandra 扩容streaming拖数据流程

在Cassandra中,streaming指的是从远端节点拷贝sstable中的一段数据的过程。通常用于数据修复或移动的过程。例如如下场景中通常都会有streaming的过程:

  • repair
  • bootstrap过程
  • gossip收到和本节点有关的REMOVED_TOKEN状态变化
  • nodetool里面会触发数据移动或修复的命令,例如repair,rebuild,removenode,move

Streaming过程中两个节点的网络交互如下图所示:

5.png

这个过程大致可以分为如下四个阶段:

  • 建立连接
  • streaming准备阶段
  • streaming阶段
  • 完成

1 建立连接

stream的发起节点创建一个StreamSession对象,初始化并调用start()方法。在start里面会创建一个ConnectionHandler对象,其中包含两个到远端节点的连接,一个用于后续的发送消息, 一个用于接收消息。之后会通过这两个连接向远端发送StreamInit消息,通知远端节点开启一次streaming,并标明每个连接的用途。

远端收到StreamInit消息后,也会创建自己的StreamSession对象,并将收到StreamInit消息的两个连接和StreamSession关联起来。连接建立完成后,调用onInitializationComplete方法,进入准备阶段。

2 准备阶段

在准备阶段,发起节点首先发送一个PrepareMessage,其中包含当前节点会向远端节点发送哪些文件或片段,以及需要对方提供哪些表的哪些range的数据。

远端节点收到请求后,会根据请求的range查找对应的sstable,然后向发起节点返回一个PrepareMessage,其中包含要发送哪些sstable的哪些片段,之后远端节点进入streaming阶段。

发起节点收到PrepareMessage后,记录要接收的sstable片段,然后进入streaming阶段。

3 streaming阶段

进入streaming阶段时,需要发送文件的节点会调用startStreamingFiles,这个方法里面会针对要进行streaming的文件,按顺序发送FileMessage。FileMessage由消息头FileMessageHeader和文件内容的流组成。当所有文件发送完成后,StreamTransferTask标记为完成。

接收端将收到的文件内容写入sstable。当一个StreamReceiveTask中的所有文件都接收完成后,将sstable加入到ColumnFamilyStore中。

如果接收过程中发生错误,接收端会发送一个SessionFailedMessage给发送端,并关闭StreamSession。

当所有发送和接收任务都完成后,进入完成阶段。

4 完成阶段

当一个节点完成所有的发送和接收任务后,如果该节点已经收到了CompleteMessage,则会向对方发送CompleteMessage并关闭session;如果还没有收到CompleteMessage,则会向对方发送CompleteMessage并等待对方返回。

入群邀约

为了营造一个开放的 Cassandra 技术交流环境,社区建立了微信群公众号和钉钉群,为广大用户提供专业的技术分享及问答,定期开展专家技术直播,欢迎大家加入。

另外阿里云提供商业化Cassandra使用,中国站和国际站都支持:https://www.aliyun.com/product/cds
6.jpg

目录
相关文章
|
流计算 Java SQL
Flink落HDFS数据按事件时间分区解决方案
0x1 摘要 Hive离线数仓中为了查询分析方便,几乎所有表都会划分分区,最为常见的是按天分区,Flink通过以下配置把数据写入HDFS, BucketingSink<Object> sink = new BucketingSink<>(path); //通过这样的方式来实现数据跨天分区 sink.
4413 0
|
5月前
|
消息中间件 资源调度 Java
实时计算 Flink版产品使用合集之部署yarn模式,怎么实现峰谷动态并行度扩容缩容
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
存储 SQL 关系型数据库
实时计算 Flink版产品使用问题之如何高效地将各分片存储并跟踪每个分片的消费位置
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
资源调度 Java Scala
实时计算 Flink版产品使用问题之如何实现ZooKeeper抖动导致任务失败时,能从最近的检查点重新启动任务
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
缓存 流计算
美团 Flink 大作业部署问题之根据已存在的 Checkpoint 副本进行增量的副本制作如何实现
美团 Flink 大作业部署问题之根据已存在的 Checkpoint 副本进行增量的副本制作如何实现
|
2月前
|
分布式计算 流计算
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
|
2月前
|
消息中间件 监控 Kafka
实时计算 Flink版产品使用问题之怎么调整Flink Web U显示的日志行数
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
分布式计算 Hadoop 关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时,无法在所有指定的数据节点上进行复制,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3月前
|
Kubernetes 关系型数据库 流计算
实时计算 Flink版产品使用问题之如何解决Flink集群在nativeKubernetes部署方式下日志无法映射到宿主机并容易丢失的问题
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
消息中间件 SQL Kafka
实时计算 Flink版产品使用问题之独立集群与hdfs集群不在一起,何配置checkpoint目录为hdfs
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。