开发者社区> 桃子红了呐> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

时间序列数据库概览——基于文件(RRD)、K/V数据库(influxDB)、关系型数据库

简介:
+关注继续查看

一般人们谈论时间序列数据库的时候指代的就是这一类存储。按照底层技术不同可以划分为三类。

另外一类数据库其表结构是:

[timestamp] [d1] [d2] .. [dn] [v1] [v2] .. [vn]

其优化的查询方式不限于查询原始数据,而是可以组合查询条件并且做聚合计算,比如:

SELECT d2, sum(v1) / sum(v2) FROM metric WHERE d1 =
 “A” AND timestamp >= B AND timestamp < C GROUP BY d2

我们希望时间序列数据库不仅仅可以提供原始数据的查询,而且要支持对原始数据的聚合能力。这种聚合可以是在入库阶段完成的,所谓物化视图。也可以是在查询阶段完成,所谓实时聚合。根据实际情况,可以在这两种方式中进行取舍。

想要在在查询阶段做数据的聚合和转换,需要能够支持以下三点。

  • 用索引检索出行号:能够从上亿条数据中快速过滤出几百万的数据。
  • 从主存储按行号加载:能够快速加载这过滤出的几百万条数据到内存里。
  • 分布式计算:能够把这些数据按照GROUP BY 和 SELECT 的要求计算出最终的结果集。

要想尽可能快的完成整个查询过程,需要在三个环节上都有绝招。传统上说,这三个步骤是三个不同的技术领域。

  • 检索:这是搜索引擎最擅长的领域。代表产品是Lucene。其核心技术是基于高效率数据结构和算法的倒排索引。
  • 加载:这是分析型数据库最擅长的领域。代表产品是C-storeMonetdb。其核心技术是按列组织的磁盘存储结构。
  • 分布式计算:这是大数据计算引擎最擅长的领域。代表产品是Hadoopspark。其核心技术是sharding 和 map/reduce等等。

前面提到的时间序列库(比如opentsdb)有不少从功能上来说是没有问题。它们都支持过滤,也支持过滤之后的聚合计算。在数据量小的时候勉强是可用的。但是如果要实时从十亿条里取百万记录出来,再做聚合运算,对于这样的数据量可能就勉为其难了。满足海量数据实时聚合要求的数据库不多,比较常见的有这么几种:

 

摘自:http://www.infoq.com/cn/articles/database-timestamp-01














本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/6432562.html,如需转载请自行联系原作者


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
RH358配置MariaDB SQL数据库--安装MariaDB数据库
RH358配置MariaDB SQL数据库--安装MariaDB数据库
39 0
RH358配置MariaDB SQL数据库--在MariaDB中使用SQL
RH358配置MariaDB SQL数据库--在MariaDB中使用SQL
20 0
RH358配置MariaDB SQL数据库--在MariaDB中使用SQL
RH358配置MariaDB SQL数据库--在MariaDB中使用SQL
30 0
SAP CRM数据库表COMM_PR_FRG_ROD的存储逻辑
SAP CRM数据库表COMM_PR_FRG_ROD的存储逻辑
41 0
开源项目推荐:IM开源即时通讯软件收集,请重点关注Telegram/野火/flamingo
开源项目推荐:IM开源即时通讯软件收集,请重点关注Telegram/野火/flamingo
1234 0
使用资源编排服务(ROS)轻松玩转分布式关系型数据库(DDRS)
(备注:代双翎发布本文) 前言 资源编排(ROS)是用户贴身的资源管理助手。用户只要在ROS模板中书写详细的配置参数,即可一键生成想要的资源。 阿里云各产品的控制台十分方便,但是也有其缺点:当用户想要创建多组类似的资源,需要重复地去访问各产品控制台,点到手抽筋。这时候,聪明的用户就会思考使用OpenApi或者SDK来创建和管理资源,可这样又面临着前期准备所花费的大
8486 0
关系型数据库全表扫描分片详解
关系型数据库全表扫描分片详解导读:数据总线(DBus)专注于数据的实时采集与实时分发,可以对IT系统在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数据使用方订阅和消费,充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。
863 0
在树莓派上借助Mono + Jexus 布署 .Net 4.0 WebForm应用
介绍 树莓派 树莓派是一种微型电脑,不到300元的成本就可以拥有一个4核1G的低功耗Linux环境,并且自带了40针IO,HDMI,WIFI,USB,100M网卡,SPI显示屏接口。
1954 0
jQuery中resetForm与clearForm的区别?
reset是重置成最初状态,最初状态是可能有默认值的clear是清空form控件的值
1606 0
2015-10-22 前思后想,决定重构表结构,免得这个APP死在数据表设计上
新的设计稿出来了,如下,原来旧的是第二张       -------         原来的评论级数只有2级,现在是不限,2级的意思是,用户评论该帖是一级,用户的评论能被人评论,这是第2级,评论评论的评论不能够再被评论。
638 0
4267
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载