备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

你们实时读取广业务库到kafka是通过什么读的？kafka connector 的原理是定时去轮询，

你们实时读取广业务库到kafka是通过什么读的？kafka connector 的原理是定时去轮询，这样如果表多了，会不会影响业务库的性能？甚至把业务库搞挂？本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击这里欢迎加入感兴趣的技术领域群。

展开

收起

黄一刀 2019-12-11 15:13:48 1878 0

1 条回答

写回答

取消提交回答

黄二刀

用canal

2019-12-11 15:14:05

赞同展开评论打赏

问答分类：

消息中间件 Kafka 开发者实时计算 Flink版云消息队列 Kafka 版

问答标签：

云消息队列 Kafka 版原理库云消息队列 Kafka 版云消息队列 Kafka 版connector 云消息队列 Kafka 版实时云消息队列 Kafka 版业务

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

实时计算 Flink版

Flink CDC中dinky整库同步到kafka，datetime类型变成毫秒数，怎么解决？

197

3

0

flink connector kafka 一直重复消费数据怎么回事呢？开启了checkpoint

316

4

0

Flink CDC 里做全库同步的时候mysql到kafka、报这个错误是少什么东西了？

19

0

0

Flink使用 kafka connector 报错 Caused by:有人知道为什么吗？

40

2

0

在阿里函数计算中，fc的kafka触发器和kafka的connector有什么区别?

41

4

0

flinkcdc oracle 的整库同步需要先到kafka 么？

149

1

0

DataWorks中Kafka Reader实现原理是什么？

35

1

0

Flink中cdas整库同步是否支持sink段到kafka形成一个topic？目前我知道是不可以的，

69

3

0

请问flink cdc 有没有办法，通过sql的方式，将整库的binlog写到kafka呢？

88

1

0

有没有大佬搞过 Flink CDC 整库同步 oracle 到 kafka , 合并的那种 ?

82

1

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

Flink-CDC 文档网站地址是什么？

Caused by: org.apache.kafka.common.errors.TimeoutE

flink1.15启动后无法访问webui的问题有人遇到过吗

使用Flink CDC，生产环境要申请的服务器如何评估

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

flink 1.18必须配套JDK11吗 1.8是不是不行了呢？

现在flink消费kafka限速是怎么做的?

"flink-cdc-connector-mysql，这个报错怎么解决的？

展开全部

数据仓库介绍与实时数仓案例

权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算

OPPO数据中台之基石：基于Flink SQL构建实数据仓库

通过Flink实时构建搜索引擎的索引

Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示

阿里云实时计算产品案例&解决方案汇总

流计算精品翻译: The Dataflow Model

Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现

Apache Flink 的迁移之路，2 年处理效果提升 5 倍

基于实时计算（Flink）打造一个简单的实时推荐系统

展开全部

相关课程

更多

消息队列Kafka入门课程

3098

4

去学习

分布式消息系统 Kafka 快速入门

640

24

去学习

实时数据接入：5分钟上手 Flink MySQL 连接器

204

1

去学习

消息队列 RocketMQ 全类型业务消息学习课程

2008

2

去学习

消息队列 RocketMQ 消息集成

331

8

去学习

数据采集系统 Flume 快速入门

677

20

去学习

相关电子书

更多

Java Spring Boot开发实战系列课程【第16讲】：Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载

MaxCompute技术公开课第四季之如何将Kafka数据同步至MaxCompute 立即下载

消息队列kafka介绍 立即下载

相关实验场景

更多