InfluxDB结合Blink使用手册

简介: 本文将介绍在Blink实时计算平台如何使用InfluxDB作为流计算的结果表,以及建立相应的作业流程。

前言

本文将介绍在Blink实时计算平台如何使用InfluxDB作为流计算的结果表,以及建立相应的作业流程。

InfluxDB Writer

 InfluxDB Sink 是 Blink 的一个插件,实现了将数据点写入到阿里云时序数据库Influxdb版中。

Quick Start

DDL定义

流计算支持使用InfluxDB作为结果输出。示例代码如下:

create table stream_test_influxdb(
    `metric` varchar,
    `timestamp` BIGINT,
    `tag_value1` varchar,
    `field_fieldValue1` Double
)with(
    type = 'influxdb',
    endpoint = 'https://localhost:3242',
    database = 'blink',
    batchPutsize = '1',
    username = 'test', 
    password = 'Test1111'
);   

建表默认格式:
第1列:metric,varchar
第2列:timestamp,BIGINT 单位:毫秒
第3列:tag_value1,varchar
第4列:field_fieldValue1,Double
注意:
1、 metric和timestamp必须存在。
2、支持多个tag和field,但至少添加1个tag_和1个field_
3、结果表中只支持metric、timestamp、tag_和field_,不能出现其他的字段。
4、endpoint支持http和https。

WITH参数

参数 参数说明 是否必填 备注
type 必填 固定为influxdb
endpoint 协议://host:port,支持http和https 例如:https://localhost:3242,或者http://localhost:8086
database 写入InfluxDB的数据库名 例如:db-blink或者blink
username InfluxDB的用户名 需要对写入的数据库有写权限
password InfluxDB的密码 默认为0。
retentionPolicy 保留策略 不先写的话,默认写入每个database的默认保留策略
batchPutSize 批量提交的记录条数 默认每次提交500个数据点。

FAQ:

Question:field_fieldValue支持多少个?
答:默认和InfluxDB支持的一致。
Question:多个field_fieldValue如何写入?
答:field_fieldValue1 类型,
   field_fieldValue2 类型,
   ...
   field_fieldValueN 类型
   例如:
   field_fieldValue1 Double,
   field_fieldValue2 INTERGER,
   ...
   field_fieldValueN INTERGER

使用步骤

创建新的任务:

在Blink实时计算平台数据开发模块建立新任务,并填写节点类型、Blink版本、节点名称以及目标文件夹等相关内容

定义任务DDL

新建任务之后,进入该任务,点击切换为SQL模式按钮。按照之前介绍的DDL定义开发自己的任务。如下图所示:
123
所用的DDL语句参看DDL定义一节。

发布和启动:

作业完成之后,点击发布,选择运行环境及配置可用CU,此次建立的流式作业就正式启动了,可通过运维界面管理作业以及查看作业运行相关信息。

目录
相关文章
|
4月前
|
SQL API 索引
Superset对接ElasticSearch服务展示
Superset对接ElasticSearch服务展示
419 2
|
NoSQL
Cassandra CDC初体验
CDC(Change data capture)是Cassandra提供的一种用于捕获和归档数据写入操作的机制,这个功能在3.8以上版本支持。当对一个表设置了“cdc=true”属性之后,包含有这个表的数据的CommitLog在丢弃时会被移动到指定的目录中,用户可以自己编写程序消费(解析并删除)这些日志,实现诸如增量数据导出、备份等功能。
2722 0
|
1月前
|
存储 数据挖掘 Apache
Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)
如何在 Docker 环境下快速搭建 Apache Doris + Apache Iceberg 测试 & 演示环境,并展示各功能的使用操作
Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)
|
3月前
|
SQL 运维 Serverless
阿里云 EMR StarRocks VS 开源版本功能差异介绍
阿里云 E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务,提供高性能、全场景、极速统一的数据分析体验,具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。内核 100% 兼容 StarRocks,性能比传统 OLAP 引擎提升 3-5 倍,助力企业高效构建大数据应用。本篇文章重点介绍阿里云 EMR StarRocks 与开源 StarRocks 的对比与客户案例。
301 5
|
4月前
|
SQL Java 关系型数据库
实时计算 Flink版产品使用合集之怎么连接 Elasticsearch
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
存储 监控 物联网
InfluxDB简介与场景
InfluxDB简介与场景
88 1
|
4月前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
632 3
|
10月前
|
存储 关系型数据库 分布式数据库
OpenTSDB简介
这个时候OpenTSDB就应运而生。 首先它做了数据存储的优化,可以大幅度提升数据查询的效率和减少存储空间的使用。其次它基于hbase做了常用时序数据查询的API,比如数据的聚合、过滤等。另外它也针对数据热度倾斜做了优化。接下来挨个说下它分别是怎么做的。
146 0
|
存储 分布式计算 Hadoop
hudi的安装部署以及基本使用方法
hudi的安装部署以及基本使用方法
|
SQL 存储 分布式计算
Presto - 简介(一)
Presto - 简介(一)
339 0
Presto - 简介(一)