InfluxDB结合Blink使用手册

简介: 本文将介绍在Blink实时计算平台如何使用InfluxDB作为流计算的结果表,以及建立相应的作业流程。

前言

本文将介绍在Blink实时计算平台如何使用InfluxDB作为流计算的结果表,以及建立相应的作业流程。

InfluxDB Writer

 InfluxDB Sink 是 Blink 的一个插件,实现了将数据点写入到阿里云时序数据库Influxdb版中。

Quick Start

DDL定义

流计算支持使用InfluxDB作为结果输出。示例代码如下:

create table stream_test_influxdb(
    `metric` varchar,
    `timestamp` BIGINT,
    `tag_value1` varchar,
    `field_fieldValue1` Double
)with(
    type = 'influxdb',
    endpoint = 'https://localhost:3242',
    database = 'blink',
    batchPutsize = '1',
    username = 'test', 
    password = 'Test1111'
);   

建表默认格式:
第1列:metric,varchar
第2列:timestamp,BIGINT 单位:毫秒
第3列:tag_value1,varchar
第4列:field_fieldValue1,Double
注意:
1、 metric和timestamp必须存在。
2、支持多个tag和field,但至少添加1个tag_和1个field_
3、结果表中只支持metric、timestamp、tag_和field_,不能出现其他的字段。
4、endpoint支持http和https。

WITH参数

参数 参数说明 是否必填 备注
type 必填 固定为influxdb
endpoint 协议://host:port,支持http和https 例如:https://localhost:3242,或者http://localhost:8086
database 写入InfluxDB的数据库名 例如:db-blink或者blink
username InfluxDB的用户名 需要对写入的数据库有写权限
password InfluxDB的密码 默认为0。
retentionPolicy 保留策略 不先写的话,默认写入每个database的默认保留策略
batchPutSize 批量提交的记录条数 默认每次提交500个数据点。

FAQ:

Question:field_fieldValue支持多少个?
答:默认和InfluxDB支持的一致。
Question:多个field_fieldValue如何写入?
答:field_fieldValue1 类型,
   field_fieldValue2 类型,
   ...
   field_fieldValueN 类型
   例如:
   field_fieldValue1 Double,
   field_fieldValue2 INTERGER,
   ...
   field_fieldValueN INTERGER

使用步骤

创建新的任务:

在Blink实时计算平台数据开发模块建立新任务,并填写节点类型、Blink版本、节点名称以及目标文件夹等相关内容

定义任务DDL

新建任务之后,进入该任务,点击切换为SQL模式按钮。按照之前介绍的DDL定义开发自己的任务。如下图所示:
123
所用的DDL语句参看DDL定义一节。

发布和启动:

作业完成之后,点击发布,选择运行环境及配置可用CU,此次建立的流式作业就正式启动了,可通过运维界面管理作业以及查看作业运行相关信息。

目录
相关文章
|
2月前
|
SQL 运维 网络安全
【实践】基于Hologres+Flink搭建GitHub实时数据查询
本文介绍了如何利用Flink和Hologres构建GitHub公开事件数据的实时数仓,并对接BI工具实现数据实时分析。流程包括创建VPC、Hologres、OSS、Flink实例,配置Hologres内部表,通过Flink实时写入数据至Hologres,查询实时数据,以及清理资源等步骤。
|
NoSQL
Cassandra CDC初体验
CDC(Change data capture)是Cassandra提供的一种用于捕获和归档数据写入操作的机制,这个功能在3.8以上版本支持。当对一个表设置了“cdc=true”属性之后,包含有这个表的数据的CommitLog在丢弃时会被移动到指定的目录中,用户可以自己编写程序消费(解析并删除)这些日志,实现诸如增量数据导出、备份等功能。
2759 0
|
4月前
|
SQL 消息中间件 Java
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
通过兼容 Connector 插件,Apache Doris 能够支持 Trino/Presto 可对接的所有数据源,而无需改动 Doris 的内核代码。
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
|
7月前
|
SQL Java 关系型数据库
技术心得记录:开源BI分析工具Metabase配置与完全使用手册
技术心得记录:开源BI分析工具Metabase配置与完全使用手册
959 0
|
8月前
|
关系型数据库 MySQL 数据库连接
实时计算 Flink版产品使用合集之是否支持MySQL 5.7以下的版本
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8月前
|
消息中间件 监控 Kafka
实时计算 Flink版产品使用合集之是否支持在k8s1.27版本上运行
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8月前
|
Oracle 关系型数据库 MySQL
Flink CDC产品常见问题之用superset连接starrocks报错如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
8月前
|
消息中间件 资源调度 Kafka
2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)
2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)
193 0
|
存储 关系型数据库 分布式数据库
OpenTSDB简介
这个时候OpenTSDB就应运而生。 首先它做了数据存储的优化,可以大幅度提升数据查询的效率和减少存储空间的使用。其次它基于hbase做了常用时序数据查询的API,比如数据的聚合、过滤等。另外它也针对数据热度倾斜做了优化。接下来挨个说下它分别是怎么做的。
192 0
|
存储 分布式计算 Hadoop
hudi的安装部署以及基本使用方法
hudi的安装部署以及基本使用方法