Cassandra 扩容streaming拖数据

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Cassandra 扩容streaming拖数据流程

在Cassandra中,streaming指的是从远端节点拷贝sstable中的一段数据的过程。通常用于数据修复或移动的过程。例如如下场景中通常都会有streaming的过程:

  • repair
  • bootstrap过程
  • gossip收到和本节点有关的REMOVED_TOKEN状态变化
  • nodetool里面会触发数据移动或修复的命令,例如repair,rebuild,removenode,move

Streaming过程中两个节点的网络交互如下图所示:

5.png

这个过程大致可以分为如下四个阶段:

  • 建立连接
  • streaming准备阶段
  • streaming阶段
  • 完成

1 建立连接

stream的发起节点创建一个StreamSession对象,初始化并调用start()方法。在start里面会创建一个ConnectionHandler对象,其中包含两个到远端节点的连接,一个用于后续的发送消息, 一个用于接收消息。之后会通过这两个连接向远端发送StreamInit消息,通知远端节点开启一次streaming,并标明每个连接的用途。

远端收到StreamInit消息后,也会创建自己的StreamSession对象,并将收到StreamInit消息的两个连接和StreamSession关联起来。连接建立完成后,调用onInitializationComplete方法,进入准备阶段。

2 准备阶段

在准备阶段,发起节点首先发送一个PrepareMessage,其中包含当前节点会向远端节点发送哪些文件或片段,以及需要对方提供哪些表的哪些range的数据。

远端节点收到请求后,会根据请求的range查找对应的sstable,然后向发起节点返回一个PrepareMessage,其中包含要发送哪些sstable的哪些片段,之后远端节点进入streaming阶段。

发起节点收到PrepareMessage后,记录要接收的sstable片段,然后进入streaming阶段。

3 streaming阶段

进入streaming阶段时,需要发送文件的节点会调用startStreamingFiles,这个方法里面会针对要进行streaming的文件,按顺序发送FileMessage。FileMessage由消息头FileMessageHeader和文件内容的流组成。当所有文件发送完成后,StreamTransferTask标记为完成。

接收端将收到的文件内容写入sstable。当一个StreamReceiveTask中的所有文件都接收完成后,将sstable加入到ColumnFamilyStore中。

如果接收过程中发生错误,接收端会发送一个SessionFailedMessage给发送端,并关闭StreamSession。

当所有发送和接收任务都完成后,进入完成阶段。

4 完成阶段

当一个节点完成所有的发送和接收任务后,如果该节点已经收到了CompleteMessage,则会向对方发送CompleteMessage并关闭session;如果还没有收到CompleteMessage,则会向对方发送CompleteMessage并等待对方返回。

入群邀约

为了营造一个开放的 Cassandra 技术交流环境,社区建立了微信群公众号和钉钉群,为广大用户提供专业的技术分享及问答,定期开展专家技术直播,欢迎大家加入。

另外阿里云提供商业化Cassandra使用,中国站和国际站都支持:https://www.aliyun.com/product/cds
6.jpg

玄陵
+关注
目录
打赏
0
0
0
0
10383
分享
相关文章
前端项目实战壹佰贰拾捌react-admin+material ui-react-admin之SavedQueriesList之使用
前端项目实战壹佰贰拾捌react-admin+material ui-react-admin之SavedQueriesList之使用
115 0
Ubuntu LNMPR环境搭建(Ubuntu 20.04 + Nginx1.8 + PHP 7.3 + Mysql8.0 + Redis5.0)
Ubuntu LNMPR环境搭建(Ubuntu 20.04 + Nginx1.8 + PHP 7.3 + Mysql8.0 + Redis5.0)
474 1
Ubuntu LNMPR环境搭建(Ubuntu 20.04 + Nginx1.8 + PHP 7.3 + Mysql8.0 + Redis5.0)
ZZULIOJ-1025,最大字符(Python)
ZZULIOJ-1025,最大字符(Python)
《懒人Shell脚本》之八——定期备份Mysql数据库表的实现
实际开发环境中,前端程序需要在给定时间段内,将数据更新/插入到mysql指定的库表中。随着数据量的增多,基础库表基数的增长,每更新一次都会有5s左右的卡顿。 本文来了几种解决方案,请到文中寻找吧!
739 0
struts2和spring mvc混合使用
     最近有个需求,就是把目前的项目由struts2平滑切换到spring mvc。网上貌似这个资料不是很多,不知道是太简单了,还是没有这种需求。东拼西凑的算是搞定了。分享一下,欢迎拍砖。
1445 0
kde
|
12天前
|
Docker镜像加速指南:手把手教你配置国内镜像源
配置国内镜像源可大幅提升 Docker 拉取速度,解决访问 Docker Hub 缓慢问题。本文详解 Linux、Docker Desktop 配置方法,并提供测速对比与常见问题解答,附最新可用镜像源列表,助力高效开发部署。
kde
8578 50
|
10天前
typora免费版,激活方法,Typora使用教程
Typora是一款简洁高效的Markdown编辑器,支持即时渲染。本教程涵盖安装方法、文件操作、视图控制、格式排版、字体样式及Markdown语法,助你快速上手使用Typora进行高效写作。
2283 4

数据库

+关注
AI助理
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问

你好,我是AI助理

可以解答问题、推荐解决方案等