Cassandra 扩容streaming拖数据

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: Cassandra 扩容streaming拖数据流程

在Cassandra中,streaming指的是从远端节点拷贝sstable中的一段数据的过程。通常用于数据修复或移动的过程。例如如下场景中通常都会有streaming的过程:

  • repair
  • bootstrap过程
  • gossip收到和本节点有关的REMOVED_TOKEN状态变化
  • nodetool里面会触发数据移动或修复的命令,例如repair,rebuild,removenode,move

Streaming过程中两个节点的网络交互如下图所示:

5.png

这个过程大致可以分为如下四个阶段:

  • 建立连接
  • streaming准备阶段
  • streaming阶段
  • 完成

1 建立连接

stream的发起节点创建一个StreamSession对象,初始化并调用start()方法。在start里面会创建一个ConnectionHandler对象,其中包含两个到远端节点的连接,一个用于后续的发送消息, 一个用于接收消息。之后会通过这两个连接向远端发送StreamInit消息,通知远端节点开启一次streaming,并标明每个连接的用途。

远端收到StreamInit消息后,也会创建自己的StreamSession对象,并将收到StreamInit消息的两个连接和StreamSession关联起来。连接建立完成后,调用onInitializationComplete方法,进入准备阶段。

2 准备阶段

在准备阶段,发起节点首先发送一个PrepareMessage,其中包含当前节点会向远端节点发送哪些文件或片段,以及需要对方提供哪些表的哪些range的数据。

远端节点收到请求后,会根据请求的range查找对应的sstable,然后向发起节点返回一个PrepareMessage,其中包含要发送哪些sstable的哪些片段,之后远端节点进入streaming阶段。

发起节点收到PrepareMessage后,记录要接收的sstable片段,然后进入streaming阶段。

3 streaming阶段

进入streaming阶段时,需要发送文件的节点会调用startStreamingFiles,这个方法里面会针对要进行streaming的文件,按顺序发送FileMessage。FileMessage由消息头FileMessageHeader和文件内容的流组成。当所有文件发送完成后,StreamTransferTask标记为完成。

接收端将收到的文件内容写入sstable。当一个StreamReceiveTask中的所有文件都接收完成后,将sstable加入到ColumnFamilyStore中。

如果接收过程中发生错误,接收端会发送一个SessionFailedMessage给发送端,并关闭StreamSession。

当所有发送和接收任务都完成后,进入完成阶段。

4 完成阶段

当一个节点完成所有的发送和接收任务后,如果该节点已经收到了CompleteMessage,则会向对方发送CompleteMessage并关闭session;如果还没有收到CompleteMessage,则会向对方发送CompleteMessage并等待对方返回。

入群邀约

为了营造一个开放的 Cassandra 技术交流环境,社区建立了微信群公众号和钉钉群,为广大用户提供专业的技术分享及问答,定期开展专家技术直播,欢迎大家加入。

另外阿里云提供商业化Cassandra使用,中国站和国际站都支持:https://www.aliyun.com/product/cds
6.jpg

目录
相关文章
|
4天前
|
弹性计算 人工智能 安全
云上十五年——「弹性计算十五周年」系列客户故事(第二期)
阿里云弹性计算十五年深耕,以第九代ECS g9i实例引领算力革新。携手海尔三翼鸟、小鹏汽车、微帧科技等企业,实现性能跃升与成本优化,赋能AI、物联网、智能驾驶等前沿场景,共绘云端增长新图景。
|
10天前
|
存储 弹性计算 人工智能
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
2025年9月24日,阿里云弹性计算团队多位产品、技术专家及服务器团队技术专家共同在【2025云栖大会】现场带来了《通用计算产品发布与行业实践》的专场论坛,本论坛聚焦弹性计算多款通用算力产品发布。同时,ECS云服务器安全能力、资源售卖模式、计算AI助手等用户体验关键环节也宣布升级,让用云更简单、更智能。海尔三翼鸟云服务负责人刘建锋先生作为特邀嘉宾,莅临现场分享了关于阿里云ECS g9i推动AIoT平台的场景落地实践。
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
|
2天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
9天前
|
人工智能 自然语言处理 自动驾驶
关于举办首届全国大学生“启真问智”人工智能模型&智能体大赛决赛的通知
关于举办首届全国大学生“启真问智”人工智能模型&智能体大赛决赛的通知
|
5天前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
472 14
|
3天前
|
编解码 文字识别 算法
一张图能装下“千言万语”?DeepSeek-OCR 用视觉压缩长文本,效率提升10倍!
一张图能装下“千言万语”?DeepSeek-OCR 用视觉压缩长文本,效率提升10倍!
367 10
|
10天前
|
编解码 自然语言处理 文字识别
Qwen3-VL再添丁!4B/8B Dense模型开源,更轻量,仍强大
凌晨,Qwen3-VL系列再添新成员——Dense架构的Qwen3-VL-8B、Qwen3-VL-4B 模型,本地部署友好,并完整保留了Qwen3-VL的全部表现,评测指标表现优秀。
678 7
Qwen3-VL再添丁!4B/8B Dense模型开源,更轻量,仍强大
|
12天前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
805 2