一朵蘑菇云
一朵蘑菇云_个人页
一朵蘑菇云
文章
0
问答
5
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
2023年09月
-
09.27 18:35:13
回答了问题
2023-09-27 18:35:13
-
09.27 18:24:28回答了问题
2023-09-27 18:24:28
各位大佬 请教一下 flink 1.7.0 集成 cdc 有没有大佬遇到过？
赞0 踩0 评论0 -
09.27 18:23:31回答了问题
2023-09-27 18:23:31
-
09.27 18:22:10回答了问题
2023-09-27 18:22:10
-
09.27 18:20:56回答了问题
2023-09-27 18:20:56
Flink CDC 2.4.0啥时候出来？
赞0 踩0 评论0
暂无更多信息
-
回答了问题
2023-09-27
Flink CDC 中mysql到mysql数据实时同步，大概有100多张表，flink cdc能?
Flink CDC 可以处理大规模的实时数据同步任务，包括 MySQL 到 MySQL 的数据同步。对于100多张表的情况，Flink CDC 可以扩展到处理这样的规模。 然而，需要考虑一些因素来确保 Flink CDC 能够顺利地处理这个工作负载： 硬件资源：确保你有足够的计算资源和存储资源来支持 Flink CDC 任务的运行。根据具体情况，可能需要调整 Flink 集群的资源分配。 并发连接数：如果你将同时处理大量的并发表更新，那么需要确保目标 MySQL 数据库可以处理这样的并发连接数。你可能需要调整 MySQL 数据库的配置，例如增加连接池大小、调整线程数等，以适应高并发的写入操作。 CDC 配置：对于每个表，需要配置正确的 CDC 参数，以确保数据能够正确捕获和同步。这可能涉及到指定正确的主键、确定是否需要使用时间戳等。 增量数据量：根据你的表结构和业务负载，需要评估增量数据的大小和速率。如果增量数据非常大，可能需要考虑合理的数据分区和分流策略，以避免过多的网络传输和任务负载。 监控和调优：持续监控 Flink CDC 任务的性能和资源使用情况，以及目标 MySQL 数据库的性能指标。根据需要进行调优，例如调整 Flink 的并行度、调整 CDC 配置等。 总体而言，Flink CDC 在合适的硬件和资源配置下，可以处理大规模的实时数据同步任务。但具体的性能和可扩展性仍取决于你的具体环境和配置。建议进行实际的测试和评估，以确保 Flink CDC 能够满足你的需求。赞0 踩0 评论0 -
回答了问题
2023-09-27
各位大佬 请教一下 flink 1.7.0 集成 cdc 有没有大佬遇到过？
报错信息 'Caused by: java.lang.AbstractMethodError: com.ververica.cdc.debezium.internal.FlinkOffsetBackingStore.get(Ljava/util/Collection;Lorg/apache/kafka/connect/util/Callback;)Ljava/util/concurrent/Future' 表示你正在使用的版本组合不兼容。这个问题通常是因为 Flink CDC Connector 和 Flink 版本之间存在不匹配的情况。 根据你提供的信息，你正在使用 Flink 1.7.0 和 Flink CDC Connector 2.3.0。然而，Flink CDC Connector 2.3.0 是为更高版本的 Flink（例如 Flink 1.11.x）设计的，与 Flink 1.7.0 不兼容，因此导致了该错误。 解决这个问题的方法是： 升级 Flink 版本：将 Flink 升级到与 Flink CDC Connector 2.3.0 兼容的版本（例如 Flink 1.11.x）。然后，确保使用与所选 Flink 版本对应的 Flink CDC Connector。 降级 Flink CDC Connector 版本：如果你必须使用 Flink 1.7.0 版本，那么你需要使用与该版本兼容的 Flink CDC Connector。请检查 Flink CDC Connector 的文档或查找与 Flink 1.7.0 兼容的版本。 请注意，确保 Flink CDC Connector 与所使用的 Flink 版本完全兼容非常重要，以避免出现不匹配和类似的错误。赞0 踩0 评论0 -
回答了问题
2023-09-27
大佬们，有个Flink CDC问题。我提交一个计算总数的任务，然后算完以后，又重新开始计算？
在 Flink CDC 中，如果你提交一个计算总数的任务，然后任务完成后又想重新开始计算，你可以采取以下两种方式之一： 重新提交任务：可以停止当前任务，然后重新提交相同的任务。这将导致 Flink 重新启动作业，并从头开始计算总数。使用有状态的计算：如果你想在任务计算过程中保留中间结果，并允许从上次离开的地方继续计算，可以使用 Flink 的有状态计算。通过将中间结果保存到状态后端（如 RocksDB、HDFS 等），任务可以在失败或重新启动后从保存的状态继续计算。选择哪种方式取决于你的具体需求和场景。如果你只需要简单地重新计算，可以选择重新提交任务。但如果你需要保留中间结果并支持容错性和恢复功能，那么有状态的计算可能更适合你的需求。赞0 踩0 评论0 -
回答了问题
2023-09-27
有老哥知道Flink CDC中python如何用flink ml呀？也是需要调用ml的jar包是吗,
在 Flink CDC 中使用 Flink ML（Machine Learning）需要以下步骤： 确保已经安装了 Flink 和 Python 环境。导入所需的 Python 包，包括 pyflink 和 flink-ml。创建一个 Flink 的流数据源，并将数据源传递给 Flink ML 算法。使用 Flink ML 提供的算法进行模型训练和预测。下面是一个简单的示例代码，展示了如何在 Flink CDC 中使用 Flink ML 进行线性回归： from pyflink.dataset import ExecutionEnvironmentfrom pyflink.table import BatchTableEnvironmentfrom pyflink.table.descriptors import Schema, OldCsv, FileSystemfrom pyflink.ml.api import LinearRegression 创建一个执行环境和表环境 env = ExecutionEnvironment.get_execution_environment()t_env = BatchTableEnvironment.create(env) 定义数据源的格式和位置 t_env.connect(FileSystem().path('/path/to/input/data')) \ .with_format(OldCsv() .field('x', 'DOUBLE') .field('y', 'DOUBLE') .line_delimiter('\n') .field_delimiter(',')) \ .with_schema(Schema() .field('x', 'DOUBLE') .field('y', 'DOUBLE')) \ .create_temporary_table('source_table') 使用 Flink ML 进行线性回归训练和预测 source_table = t_env.from_path('source_table')lin_reg = LinearRegression() \ .set_params(LinearRegression().set_epsilon(0.1)) \ .set_input_cols(['x']) \ .set_output_col('y_pred')model = lin_reg.fit(source_table)result_table = model.transform(source_table) 输出结果 result_table.execute().print()请确保将代码中的 /path/to/input/data 替换为实际数据源的位置，并根据实际需求进行修改和调整。此示例仅为演示目的，实际使用可能需要更多的配置和调整。赞0 踩0 评论0 -
回答了问题
2023-09-27
Flink CDC 2.4.0啥时候出来？
Flink CDC 2.4.0已经发布，发布日期是2021年11月2日。赞0 踩0 评论0
滑动查看更多
暂无更多信息