面向万物互联的时序数据库HiTSDB

简介: HiTSDB (High-performance Time Series Database) 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品,物联网场景下数以百万的设备上千万级数据采集点每秒都在产生时序数据,这些海量时序数据是企业最宝贵的财富,能够帮助企业实时关注数据业务趋势,进行决策分析,监控设备性能和运行情况,帮助企业创造价值;但是业务高并发写入压力,海量数据存储成本,以及低效查询分析能力让传统数据库成为了制约业务发展的羁绊。

现在填写调查问卷,将优先获得公测资格

当前物联网的浪潮席卷全球,甚至于人们还没有真正意识到物联网的存在,但它已经无处不在 。个人智能手环,家庭里使用的智能空调,空气净化器,电饭煲,到社会化共享经济的共享单车,共享汽车,再到汽车制造车间生产线,IT机房的网络设备和服务器,交通监控和信号设备,甚至于全球气候的监测设备等等,这一切都通过物联网进行连接,设备和设备之间,人和设备之间万物互联。

透过现象看本质,物联网的本质是数据的采集和价值利用,而物联网领域最广泛和典型的数据类型就是时间序列数据。时间序列数据是同一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。如:股票的交易点数,随着时间的推进,产生一系列的数据点。

据Gatener 2017年的报告数据显示,到2020年将有200亿的物联网设备被使用,市场规模达到2万亿美金,面对大规模的时序数据场景,对数据库产品的技术服务能力提出了更大的挑战 ,HiTSDB在这个背景下应运而生。

HiTSDB (High-performance Time Series Database) 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品 。在物联网及相关领域HiTSDB主要解决以下问题。

1. 大规模的物联网设备的时序数据高并发写入:

物联网场景一个特点是设备规模巨大,设备上的数据采集点更是达到百万以上的级别,数据采集就更加庞大。比如我们说气温的波动,每秒测量一次,一天是86400秒,如果是我们做系统监控,或者像气温这样的科学仪器持续的调数据的话,24小时都要用,平均每一个仪器仪表在一个时间点上产生一个数据点,一个仪表就产生86400个数据,如果把全国各个县都布一个采样点,那一天数据就上亿了,实际上对气象采样来说每一个县对应一个温度传感器显然有点不够的,可能是每一个街道甚至每个小区都有这样的传感器,那么这个数据加起来实际上是一个非常惊人的数字。

这种场景下,平均每秒需要写入几十万甚至上百万的数据点到数据库,传统数据库由于自己数据架构的限制,完全不能够支持这么大规模的并发写入。 HiTSDB 时序数据库则可以轻松应对。阿里内部双十一可以支持到每秒 10,000,000 时序数据点写入。

2. 低成本的存储

物联网时序数据的另外一个特点是数据持续写入,在高并发写入的情况下持续写入,那么就会产生海量的数据。比如工业领域某客户每个厂区具有 20000 个监测点,500 毫秒一个采集周期,一共 20 个厂区。一年将产生的 26 万亿个数据点,假设每个点 50Byte,数据总量将达 1P,如果每台服务器 10T 的硬盘,那么总共需要 100 多台服务器。这个存储成本对企业来说是非常巨大的。

HiTSDB采用独有的算法可以对原始数据进行有效压缩,实际平均压缩比例可以10:1,存储机器成本从100台减少到10台。

3. 灵活高效的数据分析能力

数据分析是物联网应用的重要环节。设备上采集到的数据需要进行统计和分析和展现才可以让数据的价值得到直观体现。比如我们需要把一年的温度数据按照天的纬度的提取展示出来,单日的温度数据按照当天采样数据的平均值计算,那么就需要数据库能够提供高效的基于时间纬度的数据读取分析能力。

HiTSDB 提供时序数据聚合分析能力,百万数据点读取分析响应时间小于5秒 。同时可以将用户的查询结果通过图标直观的呈现给客户。能够解决用户高效的数据分析的需求。

现在填写调查问卷,将优先获得公测资格

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
传感器 SQL 存储
为物联网而生:高性能时间序列数据库HiTSDB商业化首发!
近日,阿里云宣布高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 正式商业化。
5510 16
|
存储 监控 算法
Aliware打造史上最强时序数据库,HiTSDB每秒写入时序数据达1000万!
近日,Aliware对外正式发布HiTSDB高性能时序数据库。HiTSDB引入了高效压缩算法,能够将每个数据点的平均内存开销压缩到2字节以下,并且支持最高每秒1000 万的时序数据点写入,同时可以通过“预降精度”的方式,将业务精度的数据在入库的过程中计算完成,提升查询的效率。
8985 13
|
机器学习/深度学习 存储 算法
时间序列数据库(HiTSDB)压缩算法的FPGA加速
时间序列数据库(HiTSDB)压缩算法的FPGA加速,软件开发人员也可以快速的来开发FPGA应用了,本项目中时间压缩模块就是采用openCL实现。
6495 0
|
新零售 存储 物联网
HiTSDB高性能时间序列数据库产品解析
2018云栖大会武汉峰会IOT物联网专场,阿里巴巴数据库产品专家艾乐强带来题为HiTSDB高性能时间序列数据库产品解析的演讲。主要内容从四个方面进行解说,首先介绍了物联网数据特征和数据库困境,然后是对HiTSDB 核心能力进行介绍,紧接着对物联网平台方案和架构设计进行了讲解,最后对时序数据库应用场景进行了详细的阐述。
2131 0
|
存储 分布式数据库 数据库
深度解读!时序数据库HiTSDB:分布式流式聚合引擎
背景 HiTSDB时序数据库引擎在服务于阿里巴巴集团内的客户时,根据集团业务特性做了很多针对性的优化。 然而在HiTSDB云产品的打磨过程中逐渐发现,很多针对性的优化很难在公有云上针对特定用户去实施。
4977 0
|
6月前
|
存储 SQL 多模数据库
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
|
5月前
|
安全 数据管理
DataphinV4.1大升级:支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
DataphinV4.1大升级:支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
|
6月前
|
数据采集 安全 API
DataphinV4.1大升级: 支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.1版本升级中,Dataphin 引入了Lindorm等多项新功能,并开启公共云半托管模式,优化代码搜索,为用户提供更加高效、灵活、安全的数据管理和运营环境,提升用户体验,促进企业数据资产的建设和价值挖掘。
1580 3
DataphinV4.1大升级: 支持Lindorm开启高性价比数据治理,迎来“公共云半托管”云上自助新模式
|
5月前
|
SQL 分布式计算 BI
实时计算 Flink版产品使用问题之基于宽表数据展示实时报表,该如何实现
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

热门文章

最新文章