创建数据总线(DataHub)结果表

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介:

数据总线(DATAHUB)

DataHub作为一个流式数据总线,为阿里云数加平台提供了大数据的入口服务。结合阿里云众多云产品,可以构建一站式的数据处理平台。实时计算 Flink通常使用DataHub作为流式数据存储头和输出目的端。同时,上游众多流式数据,包括DTS、IOT等均选择DataHub作为大数据平台的数据入口。
DataHub本身是流数据存储,实时计算只能将其作为流式数据输入或者流式数据输出。

DDL定义

实时计算支持使用Datahub作为结果输出。

 
 
  1. create table datahub_output(
  2. id int,
  3. len int,
  4. content VARCHAR
  5. ) with (
  6. type='datahub',
  7. endPoint='',
  8. project='',
  9. accessKey='',
  10. accessId='',
  11. topic=''
  12. );

Datahub DDL

 
 
  1. create table datahub_output(
  2. name varchar,
  3. age BIGINT,
  4. birthday BIGINT
  5. )with(
  6. type='datahub',
  7. endPoint='http://10XXXXXXX9100',
  8. project='blink_connector_datahub_test',
  9. topic='topic_1',
  10. accessId='LTXXXXXXh',
  11. accessKey='CLYqVPjRCIXXXXXXXXATUGoS',
  12. batchSize='1',
  13. batchWriteTimeoutMs='500'
  14. );

注意:推荐使用数据存储功能。如何使用情您参见数据总线(DATAHUB)

WITH参数

参数 注释说明 备注
endPoint Endpoint地址 参见DataHub的Endpoint地址
project 项目名
topic topic表名
accessId accessId
accessKey accessKey
maxRetryTimes 最大尝试插入次数 可选,默认为3
batchSize 每次写的批次大小 可选,默认为300
batchWriteTimeoutMs 缓存数据的最大超时时间 可选,默认为5000
maxBlockMessages 每次写入的最大Block数 可选,默认为100
本文转自实时计算—— 创建数据总线(DataHub)结果表
相关文章
|
大数据 测试技术 流计算
|
8月前
|
消息中间件 分布式计算 DataWorks
DataWorks常见问题之kafka数据导入datahub失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
SQL 关系型数据库 数据管理
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
1574 1
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
588 2
|
7月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之mysql-cdc读取数据写入到datahub中,datahub如何转换时区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
67 1
|
8月前
|
存储 监控 Apache
Flink整库同步 如何把数据丢入到 datahub 中
Flink整库同步 如何把数据丢入到 datahub 中
|
数据采集 大数据 数据挖掘
企业级数据治理工作怎么开展?Datahub这样做
企业级数据治理工作怎么开展?Datahub这样做
195 0
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub
将 MySQL 数据抽取并写入 DataHub
286 3
|
Java API Maven
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
116 1