DataV 使用时间轴实现实时动态查询数据库、sls 等数据源

简介: DataV 使用时间轴实现实时动态查询数据库、sls 等数据源

SLS 配置

DataV 可以使用日志服务作为组件的数据源,数据源配置:
sls1

查询参数如下:

{
  "projectName": "xxx",
  "logStoreName": "xxx",
  "from":150000000,  
  "to": 1514164461, 
  "topic": "",
  "query": "select count(*) as c",
  "line": 1000,
  "offset": 0
}

参数说明:
projectName: 日志服务的 project 名
logStoreName: 日志服务的 logStore 名
query: 日志服务 GetLogs接口的 query 查询,详细见文档:
https://help.aliyun.com/document_detail/29029.html
from 和 to 是以秒计算的起止时间
其余的参数和 GetLogs接口的参数含义相同

产生动态回调

由于 sls 的查询里需要指定起止时间,是以秒为单位的时间戳,如果我们需要实现的查询时间段是动态的,比如最近一天,那么这个 from 和 to 就需要动态产生。

在 DataV 里,动态参数的产生使用回调 id 实现,但是多数的组件的回调 id 的产生需要联动,也就是需要人工操作,如果希望能够实时地不断地产生回调 id,需要使用时间轴组件+过滤器。

时间轴可以设置定时产生回调 id,而回调 id 的值会在时间轴的数据里轮播。我们可以通过设置时间轴的数据自动更新和配置过滤器,从而让时间轴的数据动态生成,然后通过时间轴定时产生回调 id 的功能,提供这个动态的数据给其他的组件使用。
流程如下:
时间轴数据自动更新 -> 过滤器 -> 定时产生回调 id -> 其他组件使用回调 id(数据库、sls 等)

首先产生 sls查询的 from字段:
准备时间轴的数据,由于我们需要的是最近一天的 from,不需要额外的信息,所以数据使用静态数据即可:
sls2

设置自动更新,时间根据自己的需求来确定。
设置了自动更新之后,数据会每隔一段时间自动更新。由于我们的数据是静态数据,实际上每次自动更新的数据并没有发生变化,我们设置自动更新,只是为了执行过滤器,在过滤器里面产生当前时间前一天的时间戳。
过滤器编辑:

return [{
  from: Math.round((Date.now() - 24*60*60*1000)/1000)
}];

sls3
过滤器产生的时间轴数据:
sls4

这样,时间轴就会每一秒产生一个新的数据,里面有一个字段是 from,就是一天前的以秒计算的时间戳,如果你想要产生其他的数据,就在过滤器里计算就可以了,也可以对数据源的数据进行加工、格式转换。由于这里是产生时间戳,实际上对数据源查询的数据并没有使用。

接下来就要将时间轴的数据作为回调设置:

sls5
sls7
sls6

使用回调 id

现在,我们已经有了一个动态的 from 回调 id,这个值就是一天前的时间戳,我们可以再 sls 的查询中使用:

{
  "projectName": "xxx",
  "logStoreName": "xxx",
  "from":":from",  
  "to": 1515567884, 
  "topic": "",
  "query": "select count(*) as c",
  "line": 1000,
  "offset": 0
}

也可以在 sql 中使用:

select :from as a

之后只有再加一个时间轴来产生 to 回调,值为当前的时间戳,name 动态的 sls 查询就是:

{
  "projectName": "xxx",
  "logStoreName": "xxx",
  "from":":from",  
  "to":":to", 
  "topic": "",
  "query": "select count(*) as c",
  "line": 1000,
  "offset": 0
}

总结

时间轴组件的左右就是定期地产生一个回调的值,典型应用就是轮播一系列的数据。比如轮播2010年-2017年的数据。现在我们利用其定期产生回调的特性,在过滤器里面算出一个我们需要的值(本文里是需要的 from、to),就实现了定期产生一个动态的回调值的效果,来让需要动态参数的查询,比如 sls、sql 等可以使用动态的参数作为查询条件。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
8月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
413 6
|
9月前
|
缓存 Java 应用服务中间件
Spring Boot配置优化:Tomcat+数据库+缓存+日志,全场景教程
本文详解Spring Boot十大核心配置优化技巧,涵盖Tomcat连接池、数据库连接池、Jackson时区、日志管理、缓存策略、异步线程池等关键配置,结合代码示例与通俗解释,助你轻松掌握高并发场景下的性能调优方法,适用于实际项目落地。
1631 5
|
存储 缓存 监控
【YashanDB数据库】数据库运行正常,日志出现大量错误metadata changed
数据库运行正常,日志出现大量错误metadata changed
|
SQL 监控 Java
在IDEA 、springboot中使用切面aop实现日志信息的记录到数据库
这篇文章介绍了如何在IDEA和Spring Boot中使用AOP技术实现日志信息的记录到数据库的详细步骤和代码示例。
在IDEA 、springboot中使用切面aop实现日志信息的记录到数据库
|
10月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
943 0
|
存储 消息中间件 Kafka
聊一聊日志背后的抽象
本文从思考日志的本质开始,一览业界对日志使用的最佳实践,然后尝试给出分布式存储场景下对日志模块的需求抽象,最后是技术探索路上个人的一点点感悟。
797 81
|
SQL 关系型数据库 MySQL
【揭秘】MySQL binlog日志与GTID:如何让数据库备份恢复变得轻松简单?
【8月更文挑战第22天】MySQL的binlog日志记录数据变更,用于恢复、复制和点恢复;GTID为每笔事务分配唯一ID,简化复制和恢复流程。开启binlog和GTID后,可通过`mysqldump`进行逻辑备份,包含binlog位置信息,或用`xtrabackup`做物理备份。恢复时,使用`mysql`命令执行备份文件,或通过`innobackupex`恢复物理备份。GTID模式下的主从复制配置更简便。
2018 2
|
SQL 数据库 数据安全/隐私保护
SQL Server数据库Owner导致事务复制log reader job无法启动的解决办法
【8月更文挑战第14天】解决SQL Server事务复制Log Reader作业因数据库所有者问题无法启动的方法:首先验证数据库所有者是否有效并具足够权限;若非,使用`ALTER AUTHORIZATION`更改为有效登录名。其次,确认Log Reader使用的登录名拥有读取事务日志所需的角色权限。还需检查复制配置是否准确无误,并验证Log Reader代理的连接信息及参数。重启SQL Server Agent服务或手动启动Log Reader作业亦可能解决问题。最后,审查SQL Server错误日志及Windows事件查看器以获取更多线索。
337 0
|
JSON Java 关系型数据库
Hutool创建数据源工厂动态查询不同数据库不同数据表的数据
Hutool创建数据源工厂动态查询不同数据库不同数据表的数据
374 2
|
数据库
【YashanDB数据库】YAS-02079 archive log mode must be enabled when database is in replication mode
YAS-02079 archive log mode must be enabled when database is in replication mode