开发者社区> 中间件小哥> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

面向万物互联的时序数据库HiTSDB

简介: HiTSDB (High-performance Time Series Database) 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品,物联网场景下数以百万的设备上千万级数据采集点每秒都在产生时序数据,这些海量时序数据是企业最宝贵的财富,能够帮助企业实时关注数据业务趋势,进行决策分析,监控设备性能和运行情况,帮助企业创造价值;但是业务高并发写入压力,海量数据存储成本,以及低效查询分析能力让传统数据库成为了制约业务发展的羁绊。
+关注继续查看

现在填写调查问卷,将优先获得公测资格

当前物联网的浪潮席卷全球,甚至于人们还没有真正意识到物联网的存在,但它已经无处不在 。个人智能手环,家庭里使用的智能空调,空气净化器,电饭煲,到社会化共享经济的共享单车,共享汽车,再到汽车制造车间生产线,IT机房的网络设备和服务器,交通监控和信号设备,甚至于全球气候的监测设备等等,这一切都通过物联网进行连接,设备和设备之间,人和设备之间万物互联。

透过现象看本质,物联网的本质是数据的采集和价值利用,而物联网领域最广泛和典型的数据类型就是时间序列数据。时间序列数据是同一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。如:股票的交易点数,随着时间的推进,产生一系列的数据点。

据Gatener 2017年的报告数据显示,到2020年将有200亿的物联网设备被使用,市场规模达到2万亿美金,面对大规模的时序数据场景,对数据库产品的技术服务能力提出了更大的挑战 ,HiTSDB在这个背景下应运而生。

HiTSDB (High-performance Time Series Database) 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品 。在物联网及相关领域HiTSDB主要解决以下问题。

1. 大规模的物联网设备的时序数据高并发写入:

物联网场景一个特点是设备规模巨大,设备上的数据采集点更是达到百万以上的级别,数据采集就更加庞大。比如我们说气温的波动,每秒测量一次,一天是86400秒,如果是我们做系统监控,或者像气温这样的科学仪器持续的调数据的话,24小时都要用,平均每一个仪器仪表在一个时间点上产生一个数据点,一个仪表就产生86400个数据,如果把全国各个县都布一个采样点,那一天数据就上亿了,实际上对气象采样来说每一个县对应一个温度传感器显然有点不够的,可能是每一个街道甚至每个小区都有这样的传感器,那么这个数据加起来实际上是一个非常惊人的数字。

这种场景下,平均每秒需要写入几十万甚至上百万的数据点到数据库,传统数据库由于自己数据架构的限制,完全不能够支持这么大规模的并发写入。 HiTSDB 时序数据库则可以轻松应对。阿里内部双十一可以支持到每秒 10,000,000 时序数据点写入。

2. 低成本的存储

物联网时序数据的另外一个特点是数据持续写入,在高并发写入的情况下持续写入,那么就会产生海量的数据。比如工业领域某客户每个厂区具有 20000 个监测点,500 毫秒一个采集周期,一共 20 个厂区。一年将产生的 26 万亿个数据点,假设每个点 50Byte,数据总量将达 1P,如果每台服务器 10T 的硬盘,那么总共需要 100 多台服务器。这个存储成本对企业来说是非常巨大的。

HiTSDB采用独有的算法可以对原始数据进行有效压缩,实际平均压缩比例可以10:1,存储机器成本从100台减少到10台。

3. 灵活高效的数据分析能力

数据分析是物联网应用的重要环节。设备上采集到的数据需要进行统计和分析和展现才可以让数据的价值得到直观体现。比如我们需要把一年的温度数据按照天的纬度的提取展示出来,单日的温度数据按照当天采样数据的平均值计算,那么就需要数据库能够提供高效的基于时间纬度的数据读取分析能力。

HiTSDB 提供时序数据聚合分析能力,百万数据点读取分析响应时间小于5秒 。同时可以将用户的查询结果通过图标直观的呈现给客户。能够解决用户高效的数据分析的需求。

现在填写调查问卷,将优先获得公测资格

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
推荐物联网项目中采用时序数据库
时间数据库的产品已经比较成熟。在物联网项目、制造业信息化项目中,使用时序数据库有很大益处。 于是简要编写一篇文章,供大家参考🤝
0 0
基于Tablestore的一站式物联网存储解决方案-场景篇
## 前言 随着5G时代的来临,万物互联概念的兴起,物联网渐渐覆盖到了各行各业中。本系列文章将为大家介绍基于表格存储Tablestore的一站式物联网存储解决方案。以共享充电宝场景为例,实现物联网场景下元数据、时序数据存储,高并发更新、分析计算等需求。 ## 背景 共享经济是近年来兴起的一种概念,共享概念极大方便了人们的生活。例如共享单车、共享车位、共享充电宝等等。这些场景里包含了大量的设备元
0 0
基于Tablestore的一站式物联网存储解决方案-数据湖分析
## 背景 在共享充电宝场景中,一些日常的运维操作可能会要求存储系统能够提供快速的OLAP解决方案。例如运维人员可能不具备开发环境,但会有一些简单查询或计算的需求。、表格存储Tablestore控制台提供了主键查询和多元索引查询两种方式。在已经创建了多元索引的表上,可以通过Tablestore控制台实现快速查询;在未建立多元索引的表上,则不能直接根据属性列进行查询、计算。所以,需要存储系统能够提供
0 0
基于Lindorm的车联网数据存储处理方案
本文从车联网的定义出发,结合行业趋势和国家规范,给出车联网通常需要采集的数据以及可以提供的服务。根据对车联网的业务特征的分析给出了为什么Lindorm作为一个数据存储为什么是车联网业务的合适选择。
0 0
为物联网而生:高性能时间序列数据库HiTSDB商业化首发!
近日,阿里云宣布高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 正式商业化。
4362 0
HiTSDB 时序数据库技术架构和产品解析
8月24日阿里云数据库技术峰会上,来自阿里数据库事业部高级专家钟宇带来HiTSDB 时序数据库方面的演讲。本文主要从时序数据开始介绍,包括时序序列数据的特点,接着介绍了时序数据业务场景,以及OpenTSDB在HBase上的优化,最后分享了HiTSDB的优化和提高。
8337 0
Aliware打造史上最强时序数据库,HiTSDB每秒写入时序数据达1000万!
近日,Aliware对外正式发布HiTSDB高性能时序数据库。HiTSDB引入了高效压缩算法,能够将每个数据点的平均内存开销压缩到2字节以下,并且支持最高每秒1000 万的时序数据点写入,同时可以通过“预降精度”的方式,将业务精度的数据在入库的过程中计算完成,提升查询的效率。
7217 0
⑱云上场景:施耐德,基于OTS的海量数据存储
施耐德电气采用阿里云服务开发的施耐德远程能源管理系统,采用开放结构化数据存储(OTS)保存客户海量用能数据。
2029 0
+关注
中间件小哥
阿里中间件(Aliware)官方账号
文章
问答
文章排行榜
最热
最新
相关电子书
更多
阿里云TSDB:拥抱物联网的新型时序数据库
立即下载
时序数据库(HiTSDB)技术解析与实践
立即下载
TSDB——云边一体化持续时空数据库技术解密
立即下载