实时计算 Flink版产品使用合集之从SQLServer到SQLServer进行数据迁移时,遇到反压,该如何处理

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:Flink CDC中sqlserver--->sqlserver。反压严重,大家有啥好办法不?

Flink CDC中sqlserver--->sqlserver。反压严重,大家有啥好办法不?



参考答案:

控制source 的读的速度,控制读取大小。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/577469



问题二:Flink CDC有rocketmq的连接器吗?

Flink CDC有rocketmq的连接器吗?



参考答案:

ververica-connector-mq



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/577467



问题三:Flink CDC中mysql cdc 抽取这个时间字段的值为null 有什么好的解决方案吗 ?

Flink CDC中mysql cdc 抽取这个时间字段的值为null 有什么好的解决方案吗 ?



参考答案:

建flink的cdc表的时候字段改为string



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/577466



问题四:请问 Flink CDC是不支持Oracle中文表名列名的同步吗?

在使用Flink CDC 同步Oracle的时候,由于Oracle表名和列名是中文,报错如下:”Caused by: io.debezium.DebeziumException: com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.errors.ConnectException: The Kafka Connect schema name 'oracle_logminer.hub.结算记录.Value' is not a valid Avro schema name and its replacement 'oracle_logminer.ZLHIS.__.Value' conflicts with another different schema 'oracle_logminer.hub.费用记录.Value'

at io.debezium.relational.RelationalSnapshotChangeEventSource.lambda$createSchemaChangeEventsForTables$2(RelationalSnapshotChangeEventSource.java:277)

at io.debezium.pipeline.EventDispatcher.dispatchSchemaChangeEvent(EventDispatcher.java:297)

at io.debezium.relational.RelationalSnapshotChangeEventSource.createSchemaChangeEventsForTables(RelationalSnapshotChangeEventSource.java:272)

at io.debezium.relational.RelationalSnapshotChangeEventSource.doExecute(RelationalSnapshotChangeEventSource.java:125)

at io.debezium.pipeline.source.AbstractSnapshotChangeEventSource.execute(AbstractSnapshotChangeEventSource.java:69)

... 6 more

Caused by: com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.errors.ConnectException: The Kafka Connect schema name 'oracle_logminer.hub.结算记录.Value' is not a valid Avro schema name and its replacement 'oracle_logminer.ZLHIS.__.Value' conflicts with another different schema 'oracle_logminer.hub.费用记录.Value'

at io.debezium.util.SchemaNameAdjuster.lambda$create$0(SchemaNameAdjuster.java:151)

at io.debezium.util.SchemaNameAdjuster.lambda$create$1(SchemaNameAdjuster.java:168)

at io.debezium.util.SchemaNameAdjuster$ReplacementOccurred.lambda$firstTimeOnly$0(SchemaNameAdjuster.java:103)

at io.debezium.util.SchemaNameAdjuster.validFullname(SchemaNameAdjuster.java:331)

at io.debezium.util.SchemaNameAdjuster.lambda$create$5(SchemaNameAdjuster.java:201)

at io.debezium.relational.TableSchemaBuilder.create(TableSchemaBuilder.java:104)

at io.debezium.relational.RelationalDatabaseSchema.buildAndRegisterSchema(RelationalDatabaseSchema.java:130)

at io.debezium.c”请问 Flink CDC是不支持Oracle中文表名列名的同步吗?



参考答案:

是的,Flink CDC不支持Oracle中文表名列名的同步。在处理Oracle数据库时,如果表名或列名包含非ASCII字符(如中文),可能会导致Kafka Connect抛出异常。为了解决这个问题,可以尝试以下方法:

  1. 将Oracle表名和列名转换为ASCII字符。可以使用Python或其他编程语言编写脚本来实现这一点。
  2. 修改Flink CDC的配置,允许使用非ASCII字符作为表名和列名。这可能需要修改Debezium Connector的源代码或配置文件。
  3. 使用其他支持Oracle中文表名和列名的CDC工具,如Apache NiFi、Talend等。这些工具可能已经解决了这个问题,或者提供了相应的解决方案。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/577465



问题五:Flink CDC如果b为空的时候 哪怕a有数据也查询不到?

Flink CDC如果b为空的时候 哪怕a有数据也查询不到?a left join b on b.status=2



参考答案:

where条件里字段的null值是不参与计算的吧 ,此回答整理自钉群“Flink CDC 社区”



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/577464

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
12天前
|
SQL DataWorks NoSQL
DataWorks产品使用合集之如何将SQL Server中的数据转存到MongoDB
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
241 1
|
30天前
|
SQL DataWorks 分布式数据库
实时计算 Flink版产品使用合集之如何与SQLServer实时对接
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5天前
|
SQL 弹性计算 API
云服务器 ECS产品使用问题之如何通过API调用阿里云服务器上SQL Server数据库中的数据
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
30天前
|
SQL 存储 监控
实时计算 Flink版产品使用合集之Checkpoint监控和反压监控在哪里看
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5天前
|
消息中间件 Java 关系型数据库
实时计算 Flink版操作报错合集之从 PostgreSQL 读取数据并写入 Kafka 时,遇到 "initial slot snapshot too large" 的错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
560 0
|
5天前
|
存储 SQL 关系型数据库
实时计算 Flink版操作报错合集之按时间恢复时,报错:在尝试读取binlog时发现所需的binlog位置不再可用,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
492 0
|
5天前
|
消息中间件 资源调度 Java
实时计算 Flink版操作报错合集之遇到了缺少包的错误,已经添加了相应的 jar 包,仍然出现同样的报错,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
530 2
|
5天前
|
监控 Oracle 关系型数据库
实时计算 Flink版操作报错合集之在配置连接时,添加了scan.startup.mode参数后,出现报错。是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
606 0
|
5天前
|
消息中间件 Oracle 关系型数据库
实时计算 Flink版操作报错合集之连接RabbitMQ时遇到Could not find any factory for identifier 'rabbitmq' that implements 'org.apache.flink.table.factories.DynamicTableFactory'错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
259 0
|
5天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版操作报错合集之CDC任务在异常后整个record sent从0初始化开始,是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
365 0

热门文章

最新文章

相关产品

  • 实时计算 Flink版