AI 助理
备案控制台
开发者社区 云服务技术课堂 文章 正文

Dataworks实时数据同步(Kafka -> maxcompute)

2020-07-29 2054
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
大数据开发治理平台DataWorks，Serverless资源组抵扣包300CU*H
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： DataWorks支持实时同步数据，本文主要演示如果将Kafka中的数据同步到maxcompute中。

Step By Step

前提

目前实时同步处于灰度阶段，如果您需要使用相关功能，请提交工单或者加入钉钉群：30002661 申请开通。

创建Kafka实例

建议创建：公网/VPC实例 类型实例，且区域是和maxcompute在同一个区域。

图片.png

在实例下面：创建Topic和Consumer Group。
图片.png

创建数据集成资源组
图片.png

配置实时数据同步任务
图片.png

图片.png

提交到运维中心启动实时同步任务
图片.png

Kafka发送消息

ProducerRecord kafkaMessage = new ProducerRecord(topic, "id","test123456789");

Maxcompute查询情况
图片.png

更多参考链接

配置Kafka输入
Kafka消息发送的三种模式

文章标签：
云消息队列 Kafka 版
大数据开发治理平台 DataWorks
云原生大数据计算服务 MaxCompute
消息中间件
分布式计算
运维
Kafka
MaxCompute
DataWorks
关键词：
云原生大数据计算服务 MaxCompute kafka
大数据开发治理平台 DataWorks maxcompute
数据同步maxcompute
数据同步云原生大数据计算服务 MaxCompute
云原生大数据计算服务 MaxCompute dataworks
taro_秋刀鱼
目录
相关文章
武子康
|
13天前
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案： jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案： jconsole、Kafka Eagle
武子康
36 2
武子康
|
13天前
|
消息中间件 关系型数据库 MySQL
大数据-117 - Flink DataStream Sink 案例：写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例：写出到MySQL、写出到Kafka
武子康
63 0
武子康
|
13天前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
29 0
武子康
|
13天前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
40 0
武子康
|
12天前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
武子康
28 3
武子康
|
12天前
|
消息中间件 druid 大数据
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析（二）
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析（二）
武子康
21 2
武子康
|
12天前
|
消息中间件 分布式计算 druid
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析（一）
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析（一）
武子康
37 1
武子康
|
13天前
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1：消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1：消费Kafka写到Redis
武子康
59 0
武子康
|
13天前
|
消息中间件 资源调度 大数据
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
武子康
25 0
武子康
|
13天前
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
武子康
29 0

云服务技术课堂

热门文章

最新文章

  • 1
    深度 ｜ 大数据算法应用的测试发展之路
  • 2
    Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
  • 3
    使用MaxCompute访问TableStore（OTS） 简明手册
  • 4
    丰富、连接、待集成—MaxCompute 生态再出发
  • 5
    【大数据干货】数据进入阿里云数加-分析型数据库AnalyticDB（原ADS）的N种方法
  • 6
    日交易笔百万级，Ping++的大数据平台架构
  • 7
    MaxCompute计算长尾问题
  • 8
    北京供销大数据集团荣获“2016-2017年度数据中心优秀创新企业奖”
  • 9
    大数据平台搭建（容器环境）——Spark3.X on Yarn安装配置
  • 10
    大数据将彻底颠覆招聘产业
  • 1
    高效易用的数据同步：阿里云瑶池 Zero-ETL服务来啦！
    606
  • 2
    多源数据同步与自动化日志分析
    43
  • 3
    DataWorks操作报错合集之DataWorks ODPS数据同步后，timesramp遇到时区问题，解决方法是什么
    84
  • 4
    DataWorks操作报错合集之在DataWorks中进行数据同步时，遇到数据量大的表同步时报链接异常，该怎么办
    82
  • 5
    DataWorks产品使用合集之DataWorks一键maxcompute数据同步的操作步骤是什么
    88
  • 6
    DataWorks产品使用合集之在DataWorks中，从数据同步到最终的大屏幕展示的基本流程如何解决
    69
  • 7
    DataWorks产品使用合集之在 DataWorks 中，有一个 MySQL 数据表，数据量非常大且数据会不断更新将这些数据同步到 DataWorks如何解决
    80
  • 8
    DataWorks产品使用合集之DataWorks 数据集成任务中，将数据同步到 Elasticsearch（ES）中，并指定 NESTED 字段中的 properties 类型如何解决
    77
  • 9
    DataWorks操作报错合集之在阿里云DataWorks的数据同步任务中，过滤条件不生效，如何解决
    117
  • 10
    PolarDB产品使用合集之PolarDB 2.3.0 版本的 CDC 功能支持 Polardb-X 到 Polardb-X 的数据同步吗
    279

    • 相关课程

    更多
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
  • 2020版大数据实战项目之DMP广告系统（第五阶段）
  • 2020版大数据实战项目之DMP广告系统（第七阶段）

    • 相关电子书

    更多
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
  • MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute

    • 相关实验场景

    更多
  • 基于Hologres轻量实时的高性能OLAP分析
  • 基于DTS构建一站式实时数据服务
  • 基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
  • 倚天大数据电商数据分析快速实践
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
    • 下一篇
    AI助理直击要害，从繁复中提炼精华——使用CDN加速访问OSS存储的图片