开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个问题是就我碰到吗还是说postgres用中文做字段的会比较少一点?

Flink CDC这个我也没看出wal_log的处理哪里是会出现乱码的,cdc版本和postgres版本我都换过,并且postgres的编码格式也确定是utf-8,但依旧是每次增量时中文字段是乱码,而且只是字段,如果数据是中文,那抽取时数据是正常的。这个问题是就我碰到吗还是说postgres用中文做字段的会比较少一点?https://github.com/ververica/flink-cdc-connectors/issues/2471

展开
收起
真的很搞笑 2023-09-19 20:40:10 75 0
1 条回答
写回答
取消 提交回答
  • 根据您提供的信息,Flink CDC 在增量模式下遇到中文字段乱码的问题。这可能是由于以下原因导致的:

    数据库和表的编码设置:请确保数据库和相关表的编码设置正确,并且与 Flink CDC 的配置一致。确保 PostgreSQL 数据库和表的编码都设置为 UTF-8。

    Flink CDC 的字符编码配置:请检查 Flink CDC 的字符编码配置,确保与数据库的编码一致。在 Flink CDC 的配置中,您可以设置 cdc.postgres.schema-registry.encoding 参数为 UTF-8。

    序列化和反序列化配置:Flink CDC 使用 Avro 或其他序列化格式将数据从 PostgreSQL 读取并发送到 Kafka,然后再从 Kafka 读取并写入目标系统。请确保序列化和反序列化的配置正确,并且字符编码设置一致。

    其他字符编码问题:如果以上配置都正确,并且只有中文字段出现乱码,则可能是由于其他字符编码问题导致的。请确保读取和写入该中文字段的系统(例如 Flink 和目标系统)都正确地处理了字符编码。特别是确保读取和写入的过程中,字符编码没有被意外地转换或修改。

    从您提供的 GitHub Issue(https://github.com/ververica/flink-cdc-connectors/issues/2471)来看,这个问题可能不是特定于您的情况,可能是 Flink CDC 连接器本身在处理中文字段时的一般性问题。建议您在该 Issue 中提供更多细节并跟进相关讨论,以获取更准确的帮助。

    同时,您还可以参考 Flink CDC 和 PostgreSQL 的官方文档,以获取更多关于字符编码和乱码处理的信息。如果问题仍然存在,建议向相应的社区和支持团队咨询,以获取更具体和准确的解决方案。

    2023-09-27 14:03:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载