如何选择压实策略

简介: 要选择合适的压实策略:1. 需要了解压实和压实策略是如何工作的,请阅读“如何维护数据?“2. 审视您的应用程序的需求,使用此信息来回答下面的问题。3. 配置表使用最合适的策略。4. 根据你的数据测试压实策略。

官方技术文档翻译,英文原文链接:

https://docs.datastax.com/en/dse/6.7/dse-dev/datastax_enterprise/config/configChooseCompactStrategy.html?spm=a2c6h.12873639.0.0.e52f23ab7LVCX6"

要选择合适的压实策略:

  1. 需要了解压实和压实策略是如何工作的,请阅读“如何维护数据?“
  2. 审视您的应用程序的需求,使用此信息来回答下面的问题。
  3. 配置表使用最合适的策略。
  4. 根据你的数据测试压实策略。

一、 哪种压实策略是最好的?

以下问题是基于使用这些压实策略的开发者和用户的经验提出的

Ø 您的表是否处理时间序列数据?

如果是,您最好的选择是TWCS.如果不是,下面的问题会引入其他考虑,以指导您的选择。

Ø 您的表是读多写少,还是写多读少?

LCS是一个很好的选择,如果你的表数据读取是写入的两倍甚至更多,特别是随机读。如果读写的比例接近,LCS的性能消耗可能并不值得使用。请注意,LCS很快会被大量的写入压垮。

Ø 您表中的数据是否经常发生变化?

LCS的一个优点是,它将相关联的数据保存在一小组SSTable中。如果您的数据是静态不变或不频繁更改,STCS压缩可以完成同样的SSTable分组,而不需要LCS一样的性能开销。

Ø 您是否需要可预测的读写活动级别?

LCS压实策略保持SSTable文件在可预测的大小和数量。例如,如果您的表的读/写比率很小(写多读少),但是期望读操作符合SLA,则为了在可预测的水平上保持读速率和读延迟,可能值得使用LCS,牺牲表的写性能,您可以通过水平扩展(添加更多的节点)来克服这种写性能问题。

Ø 您的表是否用于批处理进程?

在批量读和批量写过程中,STCS的性能优于LCS.批处理过程很少或没有碎片,因此不能发挥LCS的长处;批处理进程可能压跨使用LCS压实策略的表。

Ø 您的系统磁盘空间是否非常有限?

LCS处理磁盘空间比STCS更有效率:基于正在压实的数据文件的占用空间,它仅需要大约10%的额外空间。在某些情况下,STCS和DTCS通常需要50%的额外空间。(DateTieredStorageStrategy (DTCS)废弃)

Ø 你的系统达到I/O极限了吗?

LCS比DTCS或STCS的I/O强度要大得多,使用LCS可能会引入额外的I/O负载,从而抵消了LCS带来的优势。

二、 配置和运行压实

使用CREATE TABLE或者ALTER TABLE设置表的压实策略,具体请参见表_配置项

您可以手动使用nodetool compact命令启动压实操作。

三、 测试压实策略

关于哪个压实策略最适合您的系统的建议:

  1. 创建一个三节点的集群,使用一个压实策略,用cassandra-streess工具对集群进行压测,并分析结果。
  2. 在现有集群上建立一个节点,并使用写调查模式来对实时数据采样。
目录
相关文章
|
安全 搜索推荐 Shell
看完这篇 教你玩转渗透测试靶机vulnhub——DC7
看完这篇 教你玩转渗透测试靶机vulnhub——DC7
546 0
看完这篇 教你玩转渗透测试靶机vulnhub——DC7
thinkphp6.0 集成Alipay 手机和电脑端支付的方法
第一步   下载 Alipay 的PHP SDK :https://docs.open.alipay.com/54/103419/ 第二步   解压下载都到的压缩包:   解压后得到的文件内容如图    第三步、上传得到的目录中的 aop 文件夹到 thinkphp 6.
6201 0
|
5月前
|
算法 大数据 Java
仅用10MB内存,你能从100亿个数中找到中位数吗?
大家好,我是小米,一名热爱技术分享的程序员。今天探讨如何在内存有限(仅10MB)时找到100亿个整数的中位数。面对庞大的数据量(约400GB)及内存限制,我们将采用分治策略:先依据整数的最高二进制位将数据分为非负数与负数两个文件,逐步缩小范围直至能在内存中处理。当内存充足时,可直接加载所有数据并排序找到中位数。这一问题不仅考验算法能力,也是处理大数据时资源管理的关键。
216 13
|
5月前
|
机器学习/深度学习 存储 人工智能
智能化运维:构建未来IT服务的蓝图
在数字化浪潮的推动下,运维领域正经历一场革命性的变革。本文将探讨如何通过引入人工智能、机器学习等技术,实现运维工作的智能化,从而提高服务质量和效率。我们将一起探索智能运维的核心要素,包括自动化、实时监控、预测性维护和持续改进策略,并讨论这些技术如何塑造未来的IT服务。
|
弹性计算 监控 安全
如何选择阿里云服务器配置?
如何选择阿里云服务器配置?阿里云服务器配置选择方法包括云服务器类型、CPU内存、操作系统、公网带宽、系统盘存储、网络带宽选择、安全配置、监控等,阿里云百科分享阿里云服务器配置选择方法,选择适合自己的云服务器配置
103 0
|
弹性计算 容灾 安全
如何选择阿里云服务器配置?
如何选择阿里云服务器配置?2023阿里云服务器选购流程更新,选购云服务器有两个入口,一个是选择活动机,只需要选择云服务器地域、系统、带宽即可;另一个是在云服务器页面,自定义选择云服务器配置,这种方式购买云服务器较为复杂,需要选付费方式、地域及可用区、ECS实例规格、镜像、网络、公网IP、安全组等配置,阿里云百科来阿里云服务器购买流程指南2023新版教程:
136 0
|
弹性计算 CDN .NET
如何选择阿里云服务器配置
简介: 什么配置的阿里云服务器是适合自己的呢?下面我们就来说说如何选择阿里云服务器配置。
如何选择阿里云服务器配置
|
弹性计算 容灾 网络安全
阿里云服务器默认专有网络和交换机是什么?
2023阿里云服务器默认专有网络和交换机是什么?阿里云服务器网络及可用区,网络指的是专有网络VPC,可用区是指同一个地域下网络和电力相互独立的区域,专有网络是用户在云端的私有网络,专有网络之间逻辑上彻底隔离,用户可以在专有网络上设置IP地址段、交换机和路由表等。阿里云百科来详细说下什么是专有网络以及可用区选择方法:
396 0
阿里云服务器默认专有网络和交换机是什么?
|
机器学习/深度学习 算法 数据挖掘
全网最快入门———R语言机器学习实战篇1
R 语言是为数学研究工作者设计的一种数学编程语言,主要用于统计分析、绘图、数据挖掘。 机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
全网最快入门———R语言机器学习实战篇1
|
传感器 数据采集 机器学习/深度学习
NVRadarNet:基于纯Radar的障碍物和可行驶区域检测(英伟达最新)
Free space定义为可行驶的网格区域。通过引入Lidar的标记数据对毫米波进行监督,能够有效增强毫米波对静态目标的感知能力的同时解决了毫米波数据难以标注的问题。另一方面作者通过预测dense occupancy probability map以生成RDM(radial distance map)用于自动驾驶路径规划。
NVRadarNet:基于纯Radar的障碍物和可行驶区域检测(英伟达最新)