Cassandra 扩容streaming拖数据

简介: Cassandra 扩容streaming拖数据流程

在Cassandra中,streaming指的是从远端节点拷贝sstable中的一段数据的过程。通常用于数据修复或移动的过程。例如如下场景中通常都会有streaming的过程:

  • repair
  • bootstrap过程
  • gossip收到和本节点有关的REMOVED_TOKEN状态变化
  • nodetool里面会触发数据移动或修复的命令,例如repair,rebuild,removenode,move

Streaming过程中两个节点的网络交互如下图所示:

5.png

这个过程大致可以分为如下四个阶段:

  • 建立连接
  • streaming准备阶段
  • streaming阶段
  • 完成

1 建立连接

stream的发起节点创建一个StreamSession对象,初始化并调用start()方法。在start里面会创建一个ConnectionHandler对象,其中包含两个到远端节点的连接,一个用于后续的发送消息, 一个用于接收消息。之后会通过这两个连接向远端发送StreamInit消息,通知远端节点开启一次streaming,并标明每个连接的用途。

远端收到StreamInit消息后,也会创建自己的StreamSession对象,并将收到StreamInit消息的两个连接和StreamSession关联起来。连接建立完成后,调用onInitializationComplete方法,进入准备阶段。

2 准备阶段

在准备阶段,发起节点首先发送一个PrepareMessage,其中包含当前节点会向远端节点发送哪些文件或片段,以及需要对方提供哪些表的哪些range的数据。

远端节点收到请求后,会根据请求的range查找对应的sstable,然后向发起节点返回一个PrepareMessage,其中包含要发送哪些sstable的哪些片段,之后远端节点进入streaming阶段。

发起节点收到PrepareMessage后,记录要接收的sstable片段,然后进入streaming阶段。

3 streaming阶段

进入streaming阶段时,需要发送文件的节点会调用startStreamingFiles,这个方法里面会针对要进行streaming的文件,按顺序发送FileMessage。FileMessage由消息头FileMessageHeader和文件内容的流组成。当所有文件发送完成后,StreamTransferTask标记为完成。

接收端将收到的文件内容写入sstable。当一个StreamReceiveTask中的所有文件都接收完成后,将sstable加入到ColumnFamilyStore中。

如果接收过程中发生错误,接收端会发送一个SessionFailedMessage给发送端,并关闭StreamSession。

当所有发送和接收任务都完成后,进入完成阶段。

4 完成阶段

当一个节点完成所有的发送和接收任务后,如果该节点已经收到了CompleteMessage,则会向对方发送CompleteMessage并关闭session;如果还没有收到CompleteMessage,则会向对方发送CompleteMessage并等待对方返回。

入群邀约

为了营造一个开放的 Cassandra 技术交流环境,社区建立了微信群公众号和钉钉群,为广大用户提供专业的技术分享及问答,定期开展专家技术直播,欢迎大家加入。

另外阿里云提供商业化Cassandra使用,中国站和国际站都支持:https://www.aliyun.com/product/cds
6.jpg

目录
相关文章
|
运维 安全 中间件
云计算万字长文 - 企业上云策略全览与最佳实践(长文)1
云计算万字长文 - 企业上云策略全览与最佳实践(长文)
1370 0
|
消息中间件 存储 Java
聊聊 Kafka: 在 Linux 环境上搭建 Kafka
聊聊 Kafka: 在 Linux 环境上搭建 Kafka
943 0
|
10月前
|
人工智能 自然语言处理 机器人
把品牌塞进AI的“嘴”里——数聚酷亲测有效的3个小动作
数聚酷亲测3招:改官网为Q&A、拆白皮书碎片、蹭热点评论,让AI主动引用品牌。短内容+数据背书+高权重平台互动,轻松把品牌“喂”进AI答案。
535 1
|
存储 数据库 开发工具
HarmonyOS APP应用开发项目- MCA助手(Day04持续更新中~)
本项目为基于HarmonyOS的端云一体化记账App,集成华为AGC云数据库与认证服务,实现用户注册登录及数据云端存储。通过DevEco Studio开发,解决CloudProgram模块显示问题,完成云数据库初始化与用户信息关联功能。
471 1
HarmonyOS APP应用开发项目- MCA助手(Day04持续更新中~)
|
11月前
|
监控 安全 数据建模
如何通过SSL证书等级提升企业官网可信度?浏览器绿色标识技术解析
本文解析SSL证书等级如何提升企业官网可信度,介绍DV、OV、EV三类证书差异及浏览器绿色标识技术演进。EV证书经严格审核,触发绿色地址栏,显著增强用户信任。结合TLS 1.3配置、CAA防护与OCSP实时验证,保障安全。金融行业合规首选,助力SEO与品牌信任双提升。转载链接:https://www.ffy.com/latest-news/1917097167982432256
437 0
|
机器学习/深度学习 算法 算法框架/工具
埃式质数筛及性质
【10月更文挑战第8天】本文介绍质数,或素数,指大于1且仅能被1和自身整除的自然数。它们在数学中有独特地位,如算术基本定理指出任何大于1的自然数可唯一分解为质数乘积。质数的寻找方法多样,包括试除法、埃拉托斯特尼筛法等,后者通过筛除合数高效找出质数。质数在密码学中尤为重要,如RSA加密算法依赖大质数的乘积安全性。此外,还有多种算法和理论,如欧拉筛法、费马小定理、梅森质数等,丰富了质数的研究领域。
1066 2
|
机器学习/深度学习 人工智能 运维
Python:简洁高效的万能编程胶水
Python:简洁高效的万能编程胶水
|
存储 JSON API
Elasticsearch Pipeline 详解
Elasticsearch Pipeline 详解
1107 0
|
存储 NoSQL 算法
全链路营销|基于事件驱动的流程编排系统
本文主要介绍了 AE 策略中心的技术方案选型与落地实战。
|
人工智能 机器人
LLM活动 | 与 UP 主“老陈打码”一起使用 PAI×LLaMA Factory 搭建 AI 诸葛亮
LLaMA Factory是一款开源低代码大模型微调框架,集成了业界最广泛使用的微调技术,支持通过Web UI界面零代码微调大模型,目前已经成为开源社区内最受欢迎的微调框架,GitHub星标超过2万。本次活动基于Meta AI开源的Llama-3 8B模型,使用PAI平台及LLaMA Factory训练框架完成模型的中文化与角色扮演微调和评估,搭建专属“ AI 诸葛亮”问答机器人,7×24小时为你出谋划策!