面向万物互联的时序数据库HiTSDB

简介: HiTSDB (High-performance Time Series Database) 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品,物联网场景下数以百万的设备上千万级数据采集点每秒都在产生时序数据,这些海量时序数据是企业最宝贵的财富,能够帮助企业实时关注数据业务趋势,进行决策分析,监控设备性能和运行情况,帮助企业创造价值;但是业务高并发写入压力,海量数据存储成本,以及低效查询分析能力让传统数据库成为了制约业务发展的羁绊。

现在填写调查问卷,将优先获得公测资格

当前物联网的浪潮席卷全球,甚至于人们还没有真正意识到物联网的存在,但它已经无处不在 。个人智能手环,家庭里使用的智能空调,空气净化器,电饭煲,到社会化共享经济的共享单车,共享汽车,再到汽车制造车间生产线,IT机房的网络设备和服务器,交通监控和信号设备,甚至于全球气候的监测设备等等,这一切都通过物联网进行连接,设备和设备之间,人和设备之间万物互联。

透过现象看本质,物联网的本质是数据的采集和价值利用,而物联网领域最广泛和典型的数据类型就是时间序列数据。时间序列数据是同一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。如:股票的交易点数,随着时间的推进,产生一系列的数据点。

据Gatener 2017年的报告数据显示,到2020年将有200亿的物联网设备被使用,市场规模达到2万亿美金,面对大规模的时序数据场景,对数据库产品的技术服务能力提出了更大的挑战 ,HiTSDB在这个背景下应运而生。

HiTSDB (High-performance Time Series Database) 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品 。在物联网及相关领域HiTSDB主要解决以下问题。

1. 大规模的物联网设备的时序数据高并发写入:

物联网场景一个特点是设备规模巨大,设备上的数据采集点更是达到百万以上的级别,数据采集就更加庞大。比如我们说气温的波动,每秒测量一次,一天是86400秒,如果是我们做系统监控,或者像气温这样的科学仪器持续的调数据的话,24小时都要用,平均每一个仪器仪表在一个时间点上产生一个数据点,一个仪表就产生86400个数据,如果把全国各个县都布一个采样点,那一天数据就上亿了,实际上对气象采样来说每一个县对应一个温度传感器显然有点不够的,可能是每一个街道甚至每个小区都有这样的传感器,那么这个数据加起来实际上是一个非常惊人的数字。

这种场景下,平均每秒需要写入几十万甚至上百万的数据点到数据库,传统数据库由于自己数据架构的限制,完全不能够支持这么大规模的并发写入。 HiTSDB 时序数据库则可以轻松应对。阿里内部双十一可以支持到每秒 10,000,000 时序数据点写入。

2. 低成本的存储

物联网时序数据的另外一个特点是数据持续写入,在高并发写入的情况下持续写入,那么就会产生海量的数据。比如工业领域某客户每个厂区具有 20000 个监测点,500 毫秒一个采集周期,一共 20 个厂区。一年将产生的 26 万亿个数据点,假设每个点 50Byte,数据总量将达 1P,如果每台服务器 10T 的硬盘,那么总共需要 100 多台服务器。这个存储成本对企业来说是非常巨大的。

HiTSDB采用独有的算法可以对原始数据进行有效压缩,实际平均压缩比例可以10:1,存储机器成本从100台减少到10台。

3. 灵活高效的数据分析能力

数据分析是物联网应用的重要环节。设备上采集到的数据需要进行统计和分析和展现才可以让数据的价值得到直观体现。比如我们需要把一年的温度数据按照天的纬度的提取展示出来,单日的温度数据按照当天采样数据的平均值计算,那么就需要数据库能够提供高效的基于时间纬度的数据读取分析能力。

HiTSDB 提供时序数据聚合分析能力,百万数据点读取分析响应时间小于5秒 。同时可以将用户的查询结果通过图标直观的呈现给客户。能够解决用户高效的数据分析的需求。

现在填写调查问卷,将优先获得公测资格

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
存储 分布式数据库 数据库
深度解读!时序数据库HiTSDB:分布式流式聚合引擎
背景 HiTSDB时序数据库引擎在服务于阿里巴巴集团内的客户时,根据集团业务特性做了很多针对性的优化。 然而在HiTSDB云产品的打磨过程中逐渐发现,很多针对性的优化很难在公有云上针对特定用户去实施。
4796 0
|
存储 监控 算法
Aliware打造史上最强时序数据库,HiTSDB每秒写入时序数据达1000万!
近日,Aliware对外正式发布HiTSDB高性能时序数据库。HiTSDB引入了高效压缩算法,能够将每个数据点的平均内存开销压缩到2字节以下,并且支持最高每秒1000 万的时序数据点写入,同时可以通过“预降精度”的方式,将业务精度的数据在入库的过程中计算完成,提升查询的效率。
8679 0
|
监控 物联网 数据库
高性能时序数据库 HiTSDB 启动公测,为物联网而生的数据库!
2017云栖大会·上海峰会上,阿里云发布了面向物联网场景的高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 。HiTSDB 可支持每秒1000万时序数据点写入;具备PB级别的数据存储能力,提供高效压缩算法,整体存储成本降低90%;提供时序数据插值计算,降精度计算,时间纬度聚合计算,空间纬度聚合计算的能力。
11496 0
|
1天前
|
存储 人工智能 Cloud Native
阿里云瑶池数据库训练营权益:《玩转Lindorm》学习资料开放下载!
阿里云瑶池数据库训练营权益:《玩转Lindorm》学习资料开放下载!
|
5月前
|
存储 SQL 机器学习/深度学习
VLDB论文解读|一文剖析阿里云Lindorm数据库在DB for AI领域的探索
论文主要针对大规模监控场景下海量时序数据的存储、访问、分析和管理带来的挑战,描述了阿里云多模数据库 Lindorm 带来的一站式解决方案。
|
5月前
|
存储 Java 数据挖掘
阿里云时序数据库简介和购买使用流程
阿里云时序数据库(Lindorm Time Series Database,简称TSDB)是阿里云原生多模数据库Lindorm中的核心组件,专门负责处理时序数据。它具有许多优势,包括高并发写入、高压缩比存储、实时时序指标聚合、统计、预测以及ML/AI计算等强大功能。 时序数据是指表示物理设备、系统、应用过程或行为随时间变化的数据,这类数据在物联网、工业物联网、基础运维系统等场景中有着广泛的应用。阿里云TSDB可以解决大规模时序数据的可靠写入问题,显著降低数据存储成本,并且能够实时灵活地完成业务数据的聚合分析。 TSDB针对不同应用场景,支持多元数据存储与索引,具有高效的写入性能和实时数据分析能
|
5月前
|
人工智能 自然语言处理 多模数据库
视野数科联合阿里云Lindorm多模数据库推动AIGC应用在金融领域落地
野数科与阿里云Lindorm多模数据库达成AIGC应用联合创新合作
|
7月前
|
SQL 消息中间件 监控
阿里云云原生多模数据库Lindorm简介和购买流程
Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库,支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理,并兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多种标准接口和无缝集成三方生态工具,是日志、监控、账单、广告、社交、出行、风控等场景首选数据库
|
9月前
|
Cloud Native 多模数据库
《阿里云产品手册2022-2023 版》——云原生多模数据库 Lindorm
《阿里云产品手册2022-2023 版》——云原生多模数据库 Lindorm
102 0
|
11月前
|
时序数据库
《阿里云时序数据库TSDB For InfluxDB?介绍》电子版地址
阿里云时序数据库TSDB For InfluxDB®介绍
124 0
《阿里云时序数据库TSDB For InfluxDB?介绍》电子版地址

热门文章

最新文章