实时计算 Flink版产品使用合集之读取kafka数据然后入库到starrocks,出现未知问题如何解决

简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:我刚刚看了一下Flink文档,好像没有哪里说支持动态topic,所以是不支持?


我刚刚看了一下Flink文档,好像没有哪里说支持动态topic,所以是不支持?


参考回答:

支持的,根据正则来匹配的,new FlinkKafkaConsume时,参数可以是正则匹配


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573372


问题二:Flink CDC 我flink 读取kafka数据然后入库到starrocks不知道问题出在哪了?


Flink CDC 各位我flink 读取kafka数据然后入库到starrocks

CREATE TABLE mall_activity (

id bigint,

create_time TIMESTAMP,

create_by bigint,

create_by_name string,

update_time TIMESTAMP,

update_by bigint,

update_by_name string,

activity_name string,

appointment_start_time TIMESTAMP,

end_time TIMESTAMP,

exchange_end_time TIMESTAMP,

exchange_start_time TIMESTAMP,

pick_end_time TIMESTAMP,

pick_start_time TIMESTAMP,

term string,

year int,

PRIMARY KEY (id) NOT ENFORCED

) WITH (

'connector' = 'starrocks',

'jdbc-url' = 'jdbc:mysql://devdata2:9030',

'load-url' = 'devdata2:8030',

'database-name' = 'service_geek_coin',

'table-name' = 'mall_activity',

'username' = 'xxxx',

'password' = 'xxxxx',

'sink.semantic' = 'exactly-once',

'sink.label-prefix' = 'mall_activity_20231118',

'sink.properties.partial_update' = 'true'

);

不知道问题出在哪了?


参考回答:

排查下看看日志的log有没有异常输出,如果没有看下自己的任务是不是全量同步(全量同步如果资源不足, 任务也会卡住,不报错,也不写数据到Starrocks)


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572337


问题三:Flink CDC有那位大佬有成功的写出OracleCDC的DDL同步吗?


Flink CDC有那位大佬有成功的写出OracleCDC的DDL同步吗? 有没有什么特殊的配置需要开启的?


参考回答:

Flink CDC 支持 Oracle DDL 同步功能,并不需要特殊的配置。在 Oracle 数据源上启用日志挖掘功能。具体步骤如下:

  1. 执行 FLINK-CDC 工具安装包中的 enable_miner.sh 脚本。
  2. 修改 Oracle 用户的权限,授予必要的权限给 FLINK-CDC 用户。
  3. 在 FLINK-CDC 客户端的属性文件中指定 Oracle 日志文件的位置及格式,以及 Oracle 的服务器 IP 地址等信息。
  4. 启动 FLINK-CDC 客户端,并指定相应的 Oracle 数据源及 DDL 信息。
  5. 当新的 DDL 变更发生时,FLINK-CDC 将自动检测并同步到目标库中。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572336


问题四:我看到最新的flink cdc, postgresql 依然不支持 这个模式,请问是底层不太好实现?


我看到最新的flink cdc, postgresql 依然不支持 StartupOptions.specificOffset 这个模式,请问是底层不太好实现嘛,还是有其他有问题?有没有位大佬自己实现该功能的


参考回答:

应该是Debezium不支持吧,得看dbz支不支持


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572329


问题五:Flink CDC有什么办法或者什么方法可以回滚这种操作之类的吗?


Flink CDC我现在有个这个场景就是监听mysql读出来的数据我会落库到日志表中,但是如果这条数据因为网络原因反正各种原因抛出了异常,虽然有重新执行机制但是有次数限制,打比方3次执行完3次都异常然后监听会停止,这个时候我重新启动监听,那么他不会读我异常的这条数据,而是继续读取新的数据,这样就永远丢失这条数据了,有什么办法或者什么方法可以回滚这种操作之类的吗?


参考回答:

flink-cdc就是保证你不多不少,建议你从上一个执行的检查点继续,报错是绕不过去这个binlog对应的数据吧,从flink官网看哈,但其实你还是绕不过去那个错误的点位,建议全量重跑下


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572334



相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
消息中间件 存储 传感器
615 0
|
存储 分布式计算 数据处理
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
阿里云实时计算Flink团队,全球领先的流计算引擎缔造者,支撑双11万亿级数据处理,推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才,地点覆盖北京、杭州、上海。技术深度参与开源核心,打造企业级实时计算解决方案,助力全球企业实现毫秒洞察。
1012 0
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
|
消息中间件 SQL 关系型数据库
Flink CDC + Kafka 加速业务实时化
Flink CDC 是一种支持流批一体的分布式数据集成工具,通过 YAML 配置实现数据传输过程中的路由与转换操作。它已从单一数据源的 CDC 数据流发展为完整的数据同步解决方案,支持 MySQL、Kafka 等多种数据源和目标端(如 Delta Lake、Iceberg)。其核心功能包括多样化数据输入链路、Schema Evolution、Transform 和 Routing 模块,以及丰富的监控指标。相比传统 SQL 和 DataStream 作业,Flink CDC 提供更灵活的 Schema 变更控制和原始 binlog 同步能力。
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
414 11
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
在数字化转型中,企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00,阿里云三位技术专家将讲解Kafka与Flink的强强联合方案,帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景,具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师,参与还有机会领取定制好礼!扫描海报二维码或点击链接预约直播:[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)
805 35
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
|
消息中间件 关系型数据库 MySQL
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
1611 0
|
消息中间件 关系型数据库 MySQL
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
本教程展示如何使用Flink CDC YAML快速构建从MySQL到Kafka的流式数据集成作业,涵盖整库同步和表结构变更同步。无需编写Java/Scala代码或安装IDE,所有操作在Flink CDC CLI中完成。首先准备Flink Standalone集群和Docker环境(包括MySQL、Kafka和Zookeeper),然后通过配置YAML文件提交任务,实现数据同步。教程还介绍了路由变更、写入多个分区、输出格式设置及上游表名到下游Topic的映射等功能,并提供详细的命令和示例。最后,包含环境清理步骤以确保资源释放。
1245 2
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
|
消息中间件 Kafka 流计算
docker环境安装kafka/Flink/clickhouse镜像
通过上述步骤和示例,您可以系统地了解如何使用Docker Compose安装和配置Kafka、Flink和ClickHouse,并进行基本的验证操作。希望这些内容对您的学习和工作有所帮助。
1655 28
|
消息中间件 关系型数据库 MySQL
Flink CDC 在阿里云实时计算Flink版的云上实践
本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享,重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括:Flink CDC的发展及其在流批数据处理中的作用;CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标;典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等;并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后,介绍了未来规划,如脏数据处理、数据限流及扩展数据源支持。
1194 0
Flink CDC 在阿里云实时计算Flink版的云上实践

相关产品

  • 实时计算 Flink版