开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文
1
0
分享

flink cdc paimon设置了file.format为parquet但生成的文件依然是orc

问题描述

我在使用Flink + Flink cdc + Paimon + oss 做数据同步,在cdc的yaml里指定了paimon的文件格式是parquet,但生成的文件依然是默认的文件格式orc,请问是什么原因?
image.png

软件版本

  • Flink :1.18.1
  • Flink CDC : 3.1.0
  • Paimon: 0.8.0

cdc yaml

source:
  type: mysql
  name: MySQL Source
  hostname: 192.168.xxx.xxx
  port: 3306
  username: xxxx
  password: xxxx
  tables: paimon_test.users,paimon_test.products,paimon_test.order_details,paimon_test.orders
  server-id: 5401-5404
  scan.startup.mode: initial
  jdbc.properties.useSSL: false
  server-time-zone: Asia/Shanghai

sink:
  type: paimon
  name: Paimon Sink
  catalog.properties.file.format: parquet
  catalog.properties.metastore: filesystem
  catalog.properties.warehouse: oss://paimon-test/warehouse
  catalog.properties.fs.oss.endpoint: oss-cn-shenzhen.aliyuncs.com
  catalog.properties.fs.oss.accessKeyId: xxxxx
  catalog.properties.fs.oss.accessKeySecret: xxx


pipeline:
  name: MySQL to Paimon Pipeline OSS
  parallelism: 1

展开
收起
carl.zeiss 2024-10-29 17:06:44 124 0 发布于广东
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
实时计算 Flink 版
5000CU*H 3个月
额度3个月内有效
1 条回答
写回答
取消 提交回答
  • 请检查您的Flink CDC Paimon连接器配置,确保file.format确实设置为了parquet,并且没有其他配置项冲突,如sink.format等,如果问题依旧,建议询问一下阿里云的工作人员。如果对您有帮助的话,可以帮忙采纳一下。谢谢。

    2025-02-10 16:47:05 举报
    赞同 39 评论 打赏

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载