AI 助理
备案控制台
开发者社区 数据库 文章 正文

玩转Tablestore：使用Grafana快速展示时序数据

2020-01-31 1757
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
云数据库 RDS MySQL，高可用系列 2核4GB
简介： Grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，可以通过将采集的数据查询然后可视化的展示，实现报警通知；Grafana拥有丰富的数据源，官方支持以下数据源:Graphite，Elasticsearch，InfluxDB，Prometheus，Cloudwatch，MySQ

Grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，可以通过将采集的数据查询然后可视化的展示，实现报警通知；Grafana拥有丰富的数据源，官方支持以下数据源:Graphite，Elasticsearch，InfluxDB，Prometheus，Cloudwatch，MySQL和OpenTSDB等。Tablestore基于DLA，能提供标准的SQL读能力，所以天然就可以使用MySQL插件接入Tablestore的时序数据。

Data Lake Analytics（DLA）是Serverless化的交互式联合查询服务。无需ETL，使用标准SQL即可分析与集成对象存储(OSS)、数据库(PostgreSQL/MySQL等)、NoSQL(Tablestore等)数据源的数据。

表格存储（Tablestore）是阿里云自研的面向海量结构化数据存储的Serverless NoSQL多模型数据库，被广泛用于社交、物联网、人工智能、元数据和大数据等业务场景。提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型Timestream，可提供PB级存储、千万TPS以及毫秒级延迟的服务能力。

 

Tablestore不仅支持阿里云自研的计算生态，比如MaxCompute、Blink；还是支持开源的计算生态，比如Spark、Flink等，因此成为计算下游Sink结果表的绝佳选择，同时依托底层优秀的架构，提供毫秒级实时的查询能力，配合DLA服务，实现在线的交互式分析能力。如图所示，这一套标准的数据处理流程，数据经过加工计算，生成高附加值的内容，持久化到数据库中，并为客户提供在线的访问能力。

 

image.png

 

今天这篇文章正如标题所示，借助DLA 标准SQL的能力，通过Grafana展示Tablestore中存储的监控数据。为了方便起见，Grafana我们采用本地部署的模式，我们在阿里云上购买一台按量的VPC环境的ECS（CentOS），用于搭建Grafana和注入数据。

 

准备资源

 

Tablestore资源

第一步，我们要准备一个Tablestore的实例，细节我们可以参考《快速入门》。并记录得到实例名、VPC域名、云账户AccessKeyId信息。

 

# 样例
# VPC域名：https://ecs-metric.cn-hangzhou.vpc.tablestore.aliyuncs.com
# 实例名：ecs-metric
# AccessKeyId：test-accessid
# AccessKeySecret：test-accesskey

 

为了方便起见，以下对Tablestore的操作，都使用Tablestore Cli来执行

 

下载解压Cli，并配置Cli的访问信息：

 

./ts config --endpoint https://{VPC域名} --instance {实例名} --id {AccessKeyId} --key {AccessKeySecret}

# 样例
# ./ts config --endpoint https://ecs-metric.cn-hangzhou.vpc.tablestore.aliyuncs.com --instance ecs-metric --id test_accessid --key test_accesskey

 

使用Cli，创建一张表，表名为metric，schema如下：

 

字段

是否主键

类型

描述

machine

是

string

机器的Host name

ts

是

integer

Unix时间戳，单位为秒

load

否

double

机器负载

network_in

否

double

网络流入流量

network_out

否

double

网络流出流量

diskutil

否

double

磁盘负载

 

 

创建表的命令

# Tablestore是Schema Free模式，只用创建主键即可，非主键列不用预先定义
./ts create -t metric --pk '[{"c":"machine", "t":"string"}, {"c":"ts", "t":"integer"}]'
./ts lt
./ts use -t metric

 

注入一部分数据

 

#注入2个ECS模拟监控数据, 分别是machineA,machineB, 时间范围是2020-01-18 12:50:00到2020-01-18 12:50:45
./ts put --pk '["machineA", 1579323000]' --attr '[{"c":"load", "v":3.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineA", 1579323005]' --attr '[{"c":"load", "v":7.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":31.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineA", 1579323010]' --attr '[{"c":"load", "v":3.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineA", 1579323015]' --attr '[{"c":"load", "v":2.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineA", 1579323020]' --attr '[{"c":"load", "v":6.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":172.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineA", 1579323025]' --attr '[{"c":"load", "v":2.0}, {"c":"network_in", "v":32.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineA", 1579323030]' --attr '[{"c":"load", "v":4.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":4.0}]'
./ts put --pk '["machineA", 1579323035]' --attr '[{"c":"load", "v":7.0}, {"c":"network_in", "v":70.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineA", 1579323040]' --attr '[{"c":"load", "v":2.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":112.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineA", 1579323045]' --attr '[{"c":"load", "v":3.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":2.0}]'

./ts put --pk '["machineB", 1579323000]' --attr '[{"c":"load", "v":3.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineB", 1579323005]' --attr '[{"c":"load", "v":7.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":31.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineB", 1579323010]' --attr '[{"c":"load", "v":3.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineB", 1579323015]' --attr '[{"c":"load", "v":2.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineB", 1579323020]' --attr '[{"c":"load", "v":6.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":172.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineB", 1579323025]' --attr '[{"c":"load", "v":2.0}, {"c":"network_in", "v":32.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineB", 1579323030]' --attr '[{"c":"load", "v":4.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":4.0}]'
./ts put --pk '["machineB", 1579323035]' --attr '[{"c":"load", "v":7.0}, {"c":"network_in", "v":70.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineB", 1579323040]' --attr '[{"c":"load", "v":2.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":112.0}, {"c":"diskutil", "v":1.0}]'
./ts put --pk '["machineB", 1579323045]' --attr '[{"c":"load", "v":3.0}, {"c":"network_in", "v":120.0}, {"c":"network_out", "v":120.0}, {"c":"diskutil", "v":2.0}]'

 

DLA资源

第二步，我们要开通DLA服务，并配置DLA到Tablestore的映射。

 

在DLA控制台创建一个子账户："账户管理"

 

# 样例
# redchen_s1604337383174619

 

在DLA中新增实例的Schema信息，在DLA控制台 "SQL"->"SQL执行" 同步执行如下命令

CREATE SCHEMA {Schema名} with DBPROPERTIES(LOCATION ='https://{VPC域名}', catalog='ots', instance ='{实例名}');                   

# 样例
# CREATE SCHEMA ecs_metric_schema with DBPROPERTIES(LOCATION ='https://ecs-metric.cn-hangzhou.vpc.tablestore.aliyuncs.com', catalog='ots', instance ='ecs-metric');

 

在创建一个外表

 

# 注意，这里的表名和字段一定要和Tablestore一致
CREATE EXTERNAL TABLE metric (
    machine VARCHAR NOT NULL , 
    ts BIGINT NOT NULL,
    load DOUBLE,
    network_in DOUBLE,
    network_out DOUBLE,
    diskutil DOUBLE,
    primary key(machine, ts));

 

授权子账户能操作以上Schema

 

# 样例
# grant all on ecs_metric_schema.* to redchen_s1604337*********;

 

创建成功之后，可以在DLA界面找到JDBC的接入信息：DLA控制台->访问站点管理，如图所示：

 

image.png

 

配置完成之后，可以使用mysql客户端连接以上的接入地址，确认连接是否正常。

 

mysql -h{DLA外网地址} -P{端口} -u{账户} -p{密码} -D{Schema}

# 样例
# mysql -h*.cn-hangzhou.datalakeanalytics.aliyuncs.com -P10000 -u* -p* -Decs_metric_schema

 

 

安装Grafana

网上也有很多文档，这里就不单独在介绍；

 

使用Grafana

Grafana使用介绍，可以参见官网，其中最主要的概念包括， DataSources（数据源）、Dashboard（仪表盘）、Panel（面板）

 

第一步：配置数据源

我们这里使用使用MySQL接入，接入信息可以参见mysql客户端访问的信息ecs_metric_schema

 

image.png

 

配置接入信息并保存

image.png

 

第二步：新增一个Dashboard

 

配置一个Graph，读取metric表中的时序数据

 

image.png

 

 

image.png

 

文章标签：
域名
云服务器 ECS
可观测可视化 Grafana 版
云数据库 RDS MySQL 版
表格存储
专有网络VPC
数据可视化
弹性计算
SQL
关系型数据库
NoSQL
监控
MySQL
Serverless
数据库
存储
关键词：
表格存储数据
可观测可视化 Grafana 版数据
表格存储时序
chen1255
目录
相关文章
听风de歌
|
存储 索引
表格存储根据多元索引查询条件直接更新数据
表格存储是否可以根据多元索引查询条件直接更新数据？
听风de歌
114 3
嘟嘟嘟嘟嘟嘟
|
5月前
|
DataWorks NoSQL 关系型数据库
DataWorks产品使用合集之如何从Tablestore同步数据到MySQL
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
63 0
久绊A
|
5月前
|
JSON Prometheus 监控
Prometheus+Grafana主机运行数据
Prometheus 是一款开源监控工具，Node Exporter 是其官方插件，用于收集服务器硬件和系统指标。要安装 Node Exporter，下载最新二进制文件，解压并移动到目标位置。启动二进制文件或设置为服务。在 Prometheus 配置文件 `prometheus.yml` 中添加 Node Exporter 目标配置
久绊A
46 0
yuanzhengme
|
6月前
|
时序数据库
时序数据库工具grafana里的$timeFilter查询1个小时内的数据如何写查询条件
【6月更文挑战第24天】时序数据库工具grafana里的$timeFilter查询1个小时内的数据如何写查询条件
yuanzhengme
695 0
讓丄帝愛伱
Grafana数据下钻
Grafana数据下钻
讓丄帝愛伱
242 0
听风de歌
|
JSON 监控 Shell
用shell脚本如何获取grafana上的监控数据
用shell脚本如何获取grafana上的监控数据
听风de歌
310 2
三分钟热度的鱼
|
7月前
|
分布式计算 DataWorks API
DataWorks常见问题之按指定条件物理删除OTS中的数据失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
三分钟热度的鱼
108 0
小周sir
|
7月前
|
DataWorks NoSQL 关系型数据库
可以使用dataworks从tablestore同步数据到mysql吗？
可以使用dataworks从tablestore同步数据到mysql吗？
小周sir
75 1
冰点.
|
NoSQL 开发工具
TableStore表格存储（阿里云OTS）多行数据操作查询,支持倒序,过滤条件和分页
1. 批量读取操作 批量读取操作可以通过多种方式进行，包括： GetRow：根据主键读取一行数据。 BatchGetRow：批量读取多行数据。 GetRange：根据范围读取多行数据。
冰点.
885 0
云课程笔记
|
存储 消息中间件 NoSQL
物联网数据通过规则引擎流转到OTS|学习笔记
快速学习物联网数据通过规则引擎流转到OTS
云课程笔记
341 15
物联网数据通过规则引擎流转到OTS|学习笔记

热门文章

最新文章

  • 1
    5分钟搭建网站实时分析：Grafana+日志服务实战
  • 2
    阿里云监控grafana数据源使用说明文档
  • 3
    基于Docker+Prometheus+Grafana监控SpringBoot健康信息
  • 4
    Grafana+Prometheus系统监控之webhook
  • 5
    【监控利器Prometheus】——Prometheus+Grafana监控服务器资源
  • 6
    Grafana+prometheus变量支持include all设置方法
  • 7
    快速部署Grafana日志监控+Nginx封禁IP
  • 8
    一文带你吃透MySQL性能监控解决方案：Prometheus+Grafana
  • 9
    Grafana图表工具Graph使用教程-通过Grafana绘制折线图
  • 10
    基于Prometheus+Grafana的应用监控系统建设（二）
  • 1
    DataWorks常见问题之按指定条件物理删除OTS中的数据失败如何解决
    108
  • 2
    可以使用dataworks从tablestore同步数据到mysql吗？
    76
  • 3
    在DataWorks的数据集成中，对于Tablestore数据源的增量同步，你可以按照以下步骤进行配置：
    73
  • 4
    表格存储中，你可以使用任意类型的值作为单元格的值
    73
  • 5
    表格存储根据多元索引查询条件直接更新数据
    114
  • 6
    表格存储表删除后重建，为什么会占用空间
    102
  • 7
    Tablestore 物联网存储全面升级 -- 分析存储公测
    279
  • 8
    OTS（Table Store）
    4376
  • 9
    TableStore表格存储（阿里云OTS）多行数据操作查询,支持倒序,过滤条件和分页
    885
  • 10
    带你读《云存储应用白皮书》之18：5. 表格存储
    147

    • 相关课程

    更多
  • 最新大版本解读：Grafana 10 新特性 & 新能力
  • 可观测Grafana入门课程
  • 阿里云表格存储使用教程
  • StarRocks 数据导入、建表查询以及manger管理
  • 日志服务 SLS 可观测数据分析平台介绍
  • 实时数仓Hologres 干货20讲

    • 相关电子书

    更多
  • TableStore在社交类场景下的应用
  • 表格存储实时数据流Steam的技术揭秘和应用场景
  • 表格存储（TableStore）

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Hologres轻松玩转一站式实时仓库
  • 基于Hologres轻量实时的高性能OLAP分析
  • DataV静态数据源与数据过滤器
  • 通过Lindorm-cli连接并使用宽表引擎
  • 基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务

    • 推荐镜像

    更多
  • grafana
  • kubernetes
  • clickhouse
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月