开发者社区> 中间件小哥> 正文

面向万物互联的时序数据库HiTSDB

简介: HiTSDB (High-performance Time Series Database) 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品,物联网场景下数以百万的设备上千万级数据采集点每秒都在产生时序数据,这些海量时序数据是企业最宝贵的财富,能够帮助企业实时关注数据业务趋势,进行决策分析,监控设备性能和运行情况,帮助企业创造价值;但是业务高并发写入压力,海量数据存储成本,以及低效查询分析能力让传统数据库成为了制约业务发展的羁绊。
+关注继续查看

现在填写调查问卷,将优先获得公测资格

当前物联网的浪潮席卷全球,甚至于人们还没有真正意识到物联网的存在,但它已经无处不在 。个人智能手环,家庭里使用的智能空调,空气净化器,电饭煲,到社会化共享经济的共享单车,共享汽车,再到汽车制造车间生产线,IT机房的网络设备和服务器,交通监控和信号设备,甚至于全球气候的监测设备等等,这一切都通过物联网进行连接,设备和设备之间,人和设备之间万物互联。

透过现象看本质,物联网的本质是数据的采集和价值利用,而物联网领域最广泛和典型的数据类型就是时间序列数据。时间序列数据是同一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。如:股票的交易点数,随着时间的推进,产生一系列的数据点。

据Gatener 2017年的报告数据显示,到2020年将有200亿的物联网设备被使用,市场规模达到2万亿美金,面对大规模的时序数据场景,对数据库产品的技术服务能力提出了更大的挑战 ,HiTSDB在这个背景下应运而生。

HiTSDB (High-performance Time Series Database) 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品 。在物联网及相关领域HiTSDB主要解决以下问题。

1. 大规模的物联网设备的时序数据高并发写入:

物联网场景一个特点是设备规模巨大,设备上的数据采集点更是达到百万以上的级别,数据采集就更加庞大。比如我们说气温的波动,每秒测量一次,一天是86400秒,如果是我们做系统监控,或者像气温这样的科学仪器持续的调数据的话,24小时都要用,平均每一个仪器仪表在一个时间点上产生一个数据点,一个仪表就产生86400个数据,如果把全国各个县都布一个采样点,那一天数据就上亿了,实际上对气象采样来说每一个县对应一个温度传感器显然有点不够的,可能是每一个街道甚至每个小区都有这样的传感器,那么这个数据加起来实际上是一个非常惊人的数字。

这种场景下,平均每秒需要写入几十万甚至上百万的数据点到数据库,传统数据库由于自己数据架构的限制,完全不能够支持这么大规模的并发写入。 HiTSDB 时序数据库则可以轻松应对。阿里内部双十一可以支持到每秒 10,000,000 时序数据点写入。

2. 低成本的存储

物联网时序数据的另外一个特点是数据持续写入,在高并发写入的情况下持续写入,那么就会产生海量的数据。比如工业领域某客户每个厂区具有 20000 个监测点,500 毫秒一个采集周期,一共 20 个厂区。一年将产生的 26 万亿个数据点,假设每个点 50Byte,数据总量将达 1P,如果每台服务器 10T 的硬盘,那么总共需要 100 多台服务器。这个存储成本对企业来说是非常巨大的。

HiTSDB采用独有的算法可以对原始数据进行有效压缩,实际平均压缩比例可以10:1,存储机器成本从100台减少到10台。

3. 灵活高效的数据分析能力

数据分析是物联网应用的重要环节。设备上采集到的数据需要进行统计和分析和展现才可以让数据的价值得到直观体现。比如我们需要把一年的温度数据按照天的纬度的提取展示出来,单日的温度数据按照当天采样数据的平均值计算,那么就需要数据库能够提供高效的基于时间纬度的数据读取分析能力。

HiTSDB 提供时序数据聚合分析能力,百万数据点读取分析响应时间小于5秒 。同时可以将用户的查询结果通过图标直观的呈现给客户。能够解决用户高效的数据分析的需求。

现在填写调查问卷,将优先获得公测资格

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
9065 0
再不懂时序就 OUT 啦!,DBengine 排名第一时序数据库,阿里云数据库 InfluxDB 正式商业化!
阿里云数据库 InfluxDB® 版已于近日正式启动商业化 。 InfluxDB 是 DBengine 网站时序数据库类目排名第一的数据库产品,广泛应用于互联网基础资源监控,容器监控,业务运营监控分析,物联网设备远程实时监控,工业安全生产监控,生产质量评估和故障回溯。
3247 0
DTCC 2019 | 阿里云TSDB: 教你解锁时序时空数据库的种种黑科技 | 今日云栖夜读
在本刊开篇文章中,讲述了:阿里云TSDB是阿里自研的一种高性能,低成本,稳定可靠的在线时序时空数据库产品。该产品统一了阿里巴巴集团90%以上的APM数据和事件型数据的存储和计算,并在广泛应用于外部的物联网,工业制造,电力,化工以及IT运维等行业。
3149 0
零距离接触阿里云时序时空数据库TSDB
最近,Amazon新推出了完全托管的时间序列数据库Timestream,可见,各大厂商对未来时间序列数据库的重视与日俱增。阿里云TSDB是阿里巴巴集团数据库事业部研发的一款高性能分布式时序时空数据库(面向智联网领域),在即将过去的2018年,我们对TSDB进行了多次的系统架构改进,引入了倒排索引、无限时间线支持、时序数据高压缩比算法、内存缓存、数据预处理、分布式并行聚合、GPU加速等多项核心技术,并且引入了新的计算引擎层和分布式SQL层,使得引擎核心能力有了质的提升,也基本上统一了集团内部的监控存储业务。
9994 0
【玩转ElasticSearch】降维打击!使用ElasticSearch作为时序数据库
本篇分享最近把ElasticSearch当作时序数据库来用的心得。• 需求需求是这样的:提供一个后台,选用户画像标签(多选),点确认后弹出“选出了xxx个用户”,再继续点就把用户dump出来、推送消息。现在要做这个后台的数据仓库层。详细分析一下需求:1. 我们的用户画像走流式计算,每秒大量更新,所以对插入/更新性能要求很高。2. 查询条件翻译成SQL就是类似 se
8612 0
重磅 | 物联网数据分析利器 阿里云发布时序数据库InfluxDB版
近年来,由于IOT,APM等系统的需求,一种以时间戳为主键的数据模型,越来越流行,存储该数据模型的数据库被称为时序数据库。
1468 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
19696 0
Aliware打造史上最强时序数据库,HiTSDB每秒写入时序数据达1000万!
近日,Aliware对外正式发布HiTSDB高性能时序数据库。HiTSDB引入了高效压缩算法,能够将每个数据点的平均内存开销压缩到2字节以下,并且支持最高每秒1000 万的时序数据点写入,同时可以通过“预降精度”的方式,将业务精度的数据在入库的过程中计算完成,提升查询的效率。
8044 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
17986 0
+关注
中间件小哥
阿里中间件(Aliware)官方账号
1126
文章
52
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载