智能存储解决方案:探索 TDengine 的多级存储功能

简介: 在当今数据驱动的时代,如何高效地存储和管理海量数据已成为企业面临的一大挑战。为了应对这一需求,TDengine Enterprise 不仅支持使用对象存储(S3),还早已引入了独特的多级存储功能。这一功能不仅能够降低存储成本,还能显著提升数据写入性能,并简化系统维护流程。

在当今数据驱动的时代,如何高效地存储和管理海量数据已成为企业面临的一大挑战。为了应对这一需求,TDengine Enterprise 不仅支持使用对象存储(S3),还早已引入了独特的多级存储功能。这一功能不仅能够降低存储成本,还能显著提升数据写入性能,并简化系统维护流程。

多级存储的设计理念是将数据根据热度进行分级管理。热度较高的数据被存储在高速介质上,以便快速访问和处理;而时间久远、热度较低的数据则存放在低成本的存储介质上,从而实现经济性的最大化。这种策略的实施,不仅为企业节省了存储费用,更使得数据的写入和查询变得更加高效。

在江河信息水利物联感知服务平台的升级中,TDengine 多级存储功能就发挥了重要作用。借助这一功能,江河信息将原有的 10 多台 NVME 存储服务器精简为仅 3 台高效云盘与机械硬盘的服务器,这一转变不仅大幅节省了硬件成本开销,更有效降低了运维的工作量,提升了整体资源的利用效率。

本文将深入探讨 TDengine 的多级存储功能,介绍其配置方式、负载均衡策略以及如何实现高效的数据管理。通过对这一功能的全面解析,我们希望帮助更多用户充分利用 TDengine 的优势,优化数据存储策略,提升整体系统性能。

TDengine 多级存储好在哪?

降低存储成本是 TDengine 多级存储功能的一个显著优势。通过将数据按照热度进行分级存储,企业能够有效地将大量极冷数据存放在更为廉价的存储介质上。这一策略的实施,不仅显著减少了存储费用,还为企业提供了更高的经济效益。随着数据量的不断增加,传统的存储方式往往导致成本急剧上升,给企业的运营带来了压力。而多级存储的设计理念则在根本上解决了这一问题,让企业在实现数据存储的同时,可以灵活应对未来的各种挑战。

与此同时,提升写入性能也是 TDengine 多级存储功能的一大亮点。每级存储支持多个挂载点,这意味着在进行数据写入时,可以实现更高的并发处理能力。得益于这一设计,WAL(预写日志)可以支持 0 级的多挂载点并行写入,从而极大地提升了写入性能。

在实际应用场景中,我们测得 TDengine 能够支持持续写入每秒超过 3 亿个测点,这对于数据密集型应用尤为重要,确保了系统能够高效处理实时数据。此外,TDengine 在机械硬盘上的表现也相当出色,磁盘 IO 吞吐量实测可达 2GB/s,这不仅为大规模数据的实时处理奠定了坚实的基础,也使得企业在面对海量数据时能够游刃有余。

除了成本和性能的提升,方便维护也是多级存储功能的一大优势。一旦各级存储的挂载点配置完成,后续的系统数据迁移等工作便无需人工干预。这种自动化的管理方式大大降低了运维人员的工作负担,提升了系统的可靠性。而且,存储扩容变得更加灵活和方便,企业可以根据实际需求随时调整存储策略,灵活应对业务变化。

最后,TDengine 的多级存储功能在 SQL 查询方面也展现出其透明性。无论用户查询的数据是否跨越不同的存储级别,一条 SQL 语句都可以轻松返回所有相关数据。这种设计不仅简化了用户的操作流程,还提高了查询的效率。用户无需关注数据存储的具体位置,只需专注于数据的分析和应用,真正实现了简单高效的数据管理。这种用户友好的设计理念,使得 TDengine 不仅适合技术专家,也能满足各种层次用户的需求。

多级存储的负载均衡与挂载点选择策略

在多级存储中,负载均衡是提升写入性能的关键因素。每个 dnode 仅有一个主挂载点,这一主挂载点负责存储系统中最重要的元数据,并且各个 vnode 的主目录也均位于该主挂载点上。这种设计虽然保证了数据的集中管理,但同时也限制了该 dnode 的写入性能,因为其 IO 吞吐能力受限于单个磁盘。

从 TDengine 3.1.0.0 版本开始,系统引入了对多个 0 级挂载点的支持。当一个 dnode 配置了多个 0 级挂载点时,所有 vnode 的主目录将被均衡分布到这些挂载点上,由此实现了写入负荷的共享。这一优化策略不仅提高了整体系统的写入能力,还使得系统在网络 I/O 和其他处理资源不成为瓶颈的情况下,能够实现线性增长的写入性能。测试结果表明,随着 0 级挂载点数量的增加,整个系统的写入能力也成倍提升,极大地增强了数据处理的效率。

除了负载均衡,多级存储还对同级挂载点的选择策略进行了优化。通常情况下,TDengine 会采用 round robin 策略从同级挂载点中选择一个用于生成新的数据文件。然而,在实际环境中,各磁盘的容量可能存在差异,或者虽然容量相同,但写入的数据量却不同,这会导致每个磁盘的可用空间不均衡,在实际进行选择时有可能会选择到一个剩余空间已经很小的磁盘。

为了解决这一问题,从 TDengine 3.1.1.0 版本开始,我们引入了新的配置项 minDiskFreeSize。当某个磁盘的可用空间小于等于该阈值时,该磁盘将不再被选中用于生成新的数据文件。该配置项的单位为字节,并建议其值大于 2GB(即会跳过可用空间小于 2GB 的挂载点)。这样的设计确保了在进行数据写入时,能够有效避免选择到已接近满载的磁盘,从而提升了存储的整体效率。

进一步地,从 3.3.2.0 版本开始,TDengine 引入了新的配置项 disable_create_new_file,用于控制某个挂载点上是否可以生成新文件。其缺省值为 false,即默认情况下,每个挂载点都可以生成新文件。这一策略为运维人员提供了更大的灵活性,使他们能够根据实际需求对挂载点进行管理,从而优化系统的存储性能。

通过这些负载均衡和挂载点选择策略的优化,TDengine 多级负载功能得到了显著提升,不仅提高了数据写入的效率,还确保了存储资源的合理利用,为用户在海量数据处理时提供了强有力的支持。

配置方式

TDengine 的多级存储功能支持最多 3 级,每级可配置多达 128 个挂载点。典型的配置方案包括:

  • 0 级:配置多个挂载点,每个挂载点对应一块 SAS 硬盘;
  • 1 级:配置多个挂载点,每个挂载点可以对应单块或多块 SATA 硬盘;
  • 2 级:可配置为 S3 存储或其他廉价的网络存储。

在 TDengine 中,多级存储的配置方式如下(在配置文件 /etc/taos/taos.cfg 中):
dataDir [path]
其中,各参数的含义如下:

  • path:挂载点的文件夹路径。
  • level:介质存储等级,取值为 0、1 或 2。
    • 0 级用于存储最新的数据;
    • 1 级用于存储次新的数据;
    • 2 级用于存储最旧的数据。
  • 如果省略该参数,默认为 0。各级存储之间的数据流向为:0 级存储 → 1 级存储 → 2 级存储。需要注意的是,同一存储等级可以挂载多个硬盘,而同一存储等级上的数据文件将分布在该存储等级的所有硬盘上。数据在不同级别存储介质之间的移动是由系统自动完成的,用户无需干预。
  • primary:标识是否为主挂载点,取值为 0(否)或 1(是)。如果省略该参数,默认为 1。在配置中,只允许存在一个主挂载点(即 level=0,primary=1)。以下是一个示例配置方式:
    jdataDir /mnt/data1 0 1
    dataDir /mnt/data2 0 0
    dataDir /mnt/data3 1 0
    dataDir /mnt/data4 1 0
    dataDir /mnt/data5 2 0
    dataDir /mnt/data6 2 0
    
    需要注意的是:
  1. 多级存储不允许跨级配置。合法的配置方案包括:仅 0 级;仅 0 级 + 1 级;以及 0 级 + 1 级 + 2 级。禁止只配置 level=0 和 level=2,而不配置 level=1。
  2. 禁止手动移除使用中的挂载盘,并且挂载盘目前不支持非本地的网络盘。

结语

综上所述,TDengine 的多级存储功能为企业提供了一种灵活、高效的数据管理解决方案。通过合理配置不同级别的存储介质,企业能够在降低存储成本的同时,提升数据写入性能和维护效率。此外,TDengine 还支持对象存储 S3,使得企业可以利用云存储的高可扩展性和低成本优势,进一步优化其数据存储策略。结合这两大特性,TDengine 不仅强化了其作为企业级数据库的竞争力,也为用户在应对海量数据挑战时提供了强有力的支持,帮助他们实现数字化转型的目标。

目录
相关文章
|
6天前
|
弹性计算 双11 开发者
阿里云ECS“99套餐”再升级!双11一站式满足全年算力需求
11月1日,阿里云弹性计算ECS双11活动全面开启,在延续火爆的云服务器“99套餐”外,CPU、GPU及容器等算力产品均迎来了全年最低价。同时,阿里云全新推出简捷版控制台ECS Lite及专属宝塔面板,大幅降低企业和开发者使用ECS云服务器门槛。
|
23天前
|
存储 弹性计算 人工智能
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
阿里云弹性计算产品线、存储产品线产品负责人Alex Chen(陈起鲲)及团队内多位专家,和中国电子技术标准化研究院云计算标准负责人陈行、北京望石智慧科技有限公司首席架构师王晓满两位嘉宾,一同带来了题为《通用计算新品发布与行业实践》的专场Session。本次专场内容包括阿里云弹性计算全新发布的产品家族、阿里云第 9 代 ECS 企业级实例、CIPU 2.0技术解读、E-HPC+超算融合、倚天云原生算力解析等内容,并发布了国内首个云超算国家标准。
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
|
5天前
|
人工智能 弹性计算 文字识别
基于阿里云文档智能和RAG快速构建企业"第二大脑"
在数字化转型的背景下,企业面临海量文档管理的挑战。传统的文档管理方式效率低下,难以满足业务需求。阿里云推出的文档智能(Document Mind)与检索增强生成(RAG)技术,通过自动化解析和智能检索,极大地提升了文档管理的效率和信息利用的价值。本文介绍了如何利用阿里云的解决方案,快速构建企业专属的“第二大脑”,助力企业在竞争中占据优势。
|
4天前
|
人工智能 自然语言处理 安全
创新不设限,灵码赋新能:通义灵码新功能深度评测
自从2023年通义灵码发布以来,这款基于阿里云通义大模型的AI编码助手迅速成为开发者心中的“明星产品”。它不仅为个人开发者提供强大支持,还帮助企业团队提升研发效率,推动软件开发行业的创新发展。本文将深入探讨通义灵码最新版本的三大新功能:@workspace、@terminal 和 #team docs,分享这些功能如何在实际工作中提高效率的具体案例。
|
7天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
3911 2
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
10天前
|
负载均衡 算法 网络安全
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
阿里云平台WoSign品牌SSL证书是由阿里云合作伙伴沃通CA提供,上线阿里云平台以来,成为阿里云平台热销的国产品牌证书产品,用户在阿里云平台https://www.aliyun.com/product/cas 可直接下单购买WoSign SSL证书,快捷部署到阿里云产品中。
2177 6
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
|
3天前
|
安全 数据建模 网络安全
2024阿里云双11,WoSign SSL证书优惠券使用攻略
2024阿里云“11.11金秋云创季”活动主会场,阿里云用户通过完成个人或企业实名认证,可以领取不同额度的满减优惠券,叠加折扣优惠。用户购买WoSign SSL证书,如何叠加才能更加优惠呢?
831 1
|
22天前
|
编解码 Java 程序员
写代码还有专业的编程显示器?
写代码已经十个年头了, 一直都是习惯直接用一台Mac电脑写代码 偶尔接一个显示器, 但是可能因为公司配的显示器不怎么样, 还要接转接头 搞得桌面杂乱无章,分辨率也低,感觉屏幕还是Mac自带的看着舒服
|
1天前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
392 7
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
|
29天前
|
存储 人工智能 缓存
AI助理直击要害,从繁复中提炼精华——使用CDN加速访问OSS存储的图片
本案例介绍如何利用AI助理快速实现OSS存储的图片接入CDN,以加速图片访问。通过AI助理提炼关键操作步骤,避免在复杂文档中寻找解决方案。主要步骤包括开通CDN、添加加速域名、配置CNAME等。实测显示,接入CDN后图片加载时间显著缩短,验证了加速效果。此方法大幅提高了操作效率,降低了学习成本。
5408 15