TDengine 3.2.3.0 版本发布,流计算等八大板块功能更新

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: 据了解,3.2.3.0 版本涉及到的更新内容包括流计算、传输压缩、授权机制、监控、数据接入、Explorer、性能优化、运维优化八大模块。

自发布以来,TDengine 3.0 版本在研发人员和社区用户的共同努力下不断优化,产品的稳定性和易用性获得了大幅提升,在知轮科技的智慧轮胎系统黑格智能 3D 打印业务韵达快递业务中国地震台网中心中移物联智慧出行场景等众多企业项目中获得了成功应用。近期,TDengine 3.2.3.0 成功发布,本文将向大家简单介绍一下该版本涉及到的重大更新。

据了解,3.2.3.0 版本涉及到的更新内容包括流计算、传输压缩、授权机制、监控、数据接入、Explorer、性能优化、运维优化八大模块。具体更新信息展示如下。

开源的时序数据库功能更新(所有版本同步更新)

1、计数窗口(Count Window)

TDengine 流式计算新增对计数窗口的支持。计数窗口会按照固定的个数,对一段数据集进行截取。

window_clause: {
      SESSION(ts_col, tol_val)
      | STATE_WINDOW(col)
      | INTERVAL(interval_val [, interval_offset]) [SLIDING (sliding_val)] [FILL(fill_mod_and_val)]
      | EVENT_WINDOW START WITH start_trigger_condition END WITH end_trigger_condition
      | COUNT_WINDOW(count_val[, sliding_val])
    }

典型场景示例:在公路的收费站,每通过一辆车就产生一条记录,可通过计数窗口实时显示车辆密集程度。

CREATE STREAM  stream_name
    TRIGGER at_once IGNORE EXPIRED 1 IGNORE UPDATE 0 WATERMARK 100s
    INTO stream_stb_name
    AS
        SELECT _wstart AS ts, count(*) c1, sum(b), max(c)
        FROM st
        PARTITION BY tbname, ta, a
        COUNT_WINWOW(9);

相关技术文档请移步至 https://docs.taosdata.com/taos-sql/stream/#%E5%88%9B%E5%BB%BA%E6%B5%81%E5%BC%8F%E8%AE%A1%E7%AE%97 查看。

2、传输压缩

RESTful / WebSocket 协议下的传输压缩:该扩展允许在 RESTful / WebSocket 连接上对消息进行压缩,以减少传输的数据量,提高性能。

3、监控

TDengine 监测:功能重构,包括 taosd 资源信息、业务统计信息、慢查询和一些健康信息。

4、性能优化

  • 多表低频场景查询优化
  • Last 遗留问题
  • last() / last_row()同时查询时的性能优化

5、运维优化

  • 副本数目修改(alter replica):通过 learner 机制,把读写阻塞时间缩短为成员变更时间
  • 副本节点迁移(redistribute vgroup):通过 learner 机制,把读写阻塞时间缩短为成员变更时间
  • 节点删除(drop dnode):空 dnode,无论是否在线均可正常删除

TDengine Enterprise(企业级功能更新)

1、TDengine 授权机制

  • 采用单一授权码,覆盖所有现存组件,提供自定义授权项以便支持新增组件
  • 支持按功能授权
  • 支持通过 cluster ID 授权
  • 支持完整授权和叠加授权

2、传输压缩

  • 从 taosX Agent 到 taosX 的数据传输压缩
  • 基于 taosX 进行 TDengine 同步复制时的数据传输压缩

3、监控

taosX 监控:包括资源信息、业务统计信息、健康信息、任务状态。

4、数据接入

  • Wonderware Historian -> TDengine 3.0
  • taosX 可观测性
  • 数据源统一参数 Advanced Options
  • CSV 支持更多配置参数
  • OPC 点位过滤和下载机制优化
  • 2.6->3.0 数据复制与同步支持新建表自动同步
  • Transformer 用户体验优化

5、Explorer

  • 支持 HTTPS
  • 可以查询任务日志

6、性能优化

  • Pi -> TD 性能优化
  • OPC -> TD 性能优化
  • 多表低频数据迁移性能优化(2.6->3.0)

7、运维优化

虚拟节点组分裂(split vgroup):通过 learner 机制,把读写阻塞时间缩短为子表元数据重整以及成员变更时间。

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 https://github.com/taosdata/TDengine/releases/tag/ver-3.2.3.0 查看发布说明。

欢迎大家下载使用,也欢迎在评论区提出建议和意见,如有任何问题请及时联系我们获得支持。

目录
相关文章
|
3月前
|
存储 分布式计算 监控
实时数仓 Hologres产品使用合集之如何实现弱感知或无感知升级
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
机器学习/深度学习 监控 大数据
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持
|
4月前
|
SQL 运维 监控
|
5月前
|
存储 监控 安全
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
作为基于 Apache Doris 打造的现代化数据仓库,SelectDB 不拘泥于传统数仓的限制,针对日志数据的特点引入了多项创新性技术,使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台, 截至目前已在近百家行业内知名企业中落地。
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
|
6月前
|
存储 Rust 数据库
重磅发布!!!蚂蚁图团队开源高性能原生图存储系统CStore
CStore是一款专门为图分析场景而设计的原生图存储引擎,它采用了Rust语言编写,使用基于图的存储结构,针对图分析场景进行特定优化。CStore可以存储包含千亿级点和万亿级边的图数据,在蚂蚁集团内部的多场景使用中,已经积累了多年的经验,存储容量达到了PB级别。
重磅发布!!!蚂蚁图团队开源高性能原生图存储系统CStore
|
6月前
|
资源调度 算法 关系型数据库
实时计算 Flink版产品使用合集之如何查看任务的上下游依赖关系
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
消息中间件 SQL Kafka
实时计算 Flink版产品使用合集之构建实时数据仓库时,如何操作在几分钟内一直变化的表
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
SQL 测试技术 API
回顾 2023:Hudi 的重点新功能一览
回顾 2023:Hudi 的重点新功能一览
104 1
|
SQL 安全 搜索推荐
隐语V0.8.0发版:基于多方安全计算的数据分析引擎SCQL上线
隐语V0.8.0发版:基于多方安全计算的数据分析引擎SCQL上线
232 0
|
存储 大数据 项目管理
带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标
带你读《升舱 - 数据仓库升级交付标准白皮书》——2.1 数仓升级的三个目标
276 0