创建数据总线(DataHub)结果表

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介:

数据总线(DATAHUB)

DataHub作为一个流式数据总线,为阿里云数加平台提供了大数据的入口服务。结合阿里云众多云产品,可以构建一站式的数据处理平台。实时计算 Flink通常使用DataHub作为流式数据存储头和输出目的端。同时,上游众多流式数据,包括DTS、IOT等均选择DataHub作为大数据平台的数据入口。
DataHub本身是流数据存储,实时计算只能将其作为流式数据输入或者流式数据输出。

DDL定义

实时计算支持使用Datahub作为结果输出。

 
 
  1. create table datahub_output(
  2. id int,
  3. len int,
  4. content VARCHAR
  5. ) with (
  6. type='datahub',
  7. endPoint='',
  8. project='',
  9. accessKey='',
  10. accessId='',
  11. topic=''
  12. );

Datahub DDL

 
 
  1. create table datahub_output(
  2. name varchar,
  3. age BIGINT,
  4. birthday BIGINT
  5. )with(
  6. type='datahub',
  7. endPoint='http://10XXXXXXX9100',
  8. project='blink_connector_datahub_test',
  9. topic='topic_1',
  10. accessId='LTXXXXXXh',
  11. accessKey='CLYqVPjRCIXXXXXXXXATUGoS',
  12. batchSize='1',
  13. batchWriteTimeoutMs='500'
  14. );

注意:推荐使用数据存储功能。如何使用情您参见数据总线(DATAHUB)

WITH参数

参数 注释说明 备注
endPoint Endpoint地址 参见DataHub的Endpoint地址
project 项目名
topic topic表名
accessId accessId
accessKey accessKey
maxRetryTimes 最大尝试插入次数 可选,默认为3
batchSize 每次写的批次大小 可选,默认为300
batchWriteTimeoutMs 缓存数据的最大超时时间 可选,默认为5000
maxBlockMessages 每次写入的最大Block数 可选,默认为100
本文转自实时计算—— 创建数据总线(DataHub)结果表
相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
相关文章
|
Java Apache Maven
阿里云数据总线(DataHub)使用Flume插件导入数据示例
Flume NG是Cloudera提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。本文主要演示如何使用Flume-DataHub插件导入数据到阿里云数据总线(DataHub)。
2707 0
阿里云数据总线(DataHub)使用Flume插件导入数据示例
|
大数据 测试技术 流计算
|
6月前
|
SQL 关系型数据库 数据管理
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
781 1
|
8月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
314 2
|
4月前
|
存储 监控 Apache
Flink整库同步 如何把数据丢入到 datahub 中
Flink整库同步 如何把数据丢入到 datahub 中
|
6月前
|
数据采集 大数据 数据挖掘
企业级数据治理工作怎么开展?Datahub这样做
企业级数据治理工作怎么开展?Datahub这样做
|
8月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub
将 MySQL 数据抽取并写入 DataHub
178 3
|
10月前
|
Java API Maven
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
77 1
|
JSON 物联网 数据格式
物联网平台数据流转到datahub时报错
记录一次物联网平台数据流转到datahub时的报错
412 0
物联网平台数据流转到datahub时报错