Flink CDC支持计算列吗？

展开

收起

雪哥哥 2022-10-30 10:11:45 935 0

8 条回答

写回答

取消提交回答

游客6452zoafl6k3g

学无止境！

支持

2022-11-30 12:03:50

赞同展开评论打赏
游客6452zoafl6k3g

学无止境！

支持

2022-11-30 12:03:50

赞同展开评论打赏
wljslmz

公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云云享专家，BOSS直聘创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com

当然支持，而且支持的很好，可以多多练习哦

2022-11-28 10:05:17

赞同展开评论打赏
申公豹

资深技术专家，全网粉丝10W+。主攻技术开发，擅长分享、写文、测评。

Flink CDC支持计算列，MySQL CDC 是 Flink CDC 中使用最多也是最重要的 Connector

2022-11-24 20:18:05

赞同展开评论打赏
喜欢猪猪

网站：http://ixiancheng.cn/ 微信订阅号：小马哥学JAVA

肯定是可以的，首先，Flink CDC支持全量同步以及增量的同步功能，Flink是支持全自动的数据集成。Flink CDC已经具备了全增量自动切换的能力，这个是Flink CDC的两点之一。自动的发现是否已经增加新列以及删除列的数据等等。整个的流：全增量自动切换（Flink CDC）、元信息自动发现(Flink Catalog)、表结构自动同步(Schema Evolution)、整库同步(CDAS语法、Source合并)

2022-11-24 20:10:10

赞同展开评论打赏
飞云觅宙

十年摸盘键，代码未曾试。今日码示君，谁有上云事。

Flink CDC 是由 Flink 社区开发的集数据采集、数据转换、数据装载一体的组件，可以直接从 MySQL、PostgreSQL、Oracle 等数据源直接读取全量或增量数据并写入下游的 OLAP 数据存储系统。使用 Flink CDC 后，可以简单高效的抓取上游的数据变更，同步到下游的 OLAP 数据仓库中。

由于上游的数据源不一致，可能会在数据采集层接入不同的同步与采集工具，比如采集 Oracle 中的数据时，通常选择 GoldenGate，而对于 MySQL，我们可能会选择 Canal 或 Debezium。

数据经过采集层后，会传输到消息队列中如 Kafka，然后通过 Flink 消费 Kafka 中的增量数据再写入下游的 OLAP 数据仓库或者数据湖中。

使用 Flink CDC 拉取 MySQL 中的增量数据，通过 Flink SQL 创建事实与维度的 MySQL CDC 表，并在 Flink 中进行打宽操作，将结果写入到下游的 StarRocks 中。

2022-11-24 11:14:39

赞同展开评论打赏
穿过生命散发芬芳
在模式中声明proctime属性，可以使用Computed Column语法来声明从proctime（）内置函数生成的计算列。计算列是不存储在物理数据中的虚拟列。
```
CREATE TABLE MyTable (
  MyField1 INT,
  MyField2 STRING,
  MyField3 BOOLEAN
  MyField4 AS PROCTIME() -- declares a proctime attribute
) WITH (
  ...
)
```
2022-11-24 07:30:28

赞同展开评论打赏
魏红斌

天下风云出我辈，一入江湖岁月催，皇图霸业谈笑中，不胜人生一场醉。

不支持水平扩展，因为 Flink CDC 底层是基于 Debezium，起架构是单节点，所以Flink CDC 只支持单并发。在全量阶段读取阶段，如果表非常大 (亿级别)，读取时间在小时甚至天级别，用户不能通过增加资源去提升作业速度。

2022-11-23 16:15:34

赞同展开评论打赏