开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我想用cdas同步整库到paimon ,但是mysql库里面有个视图,Flink有其他办法排出吗?

问题1:我这边想用cdas同步整库到paimon ,但是mysql库里面有个视图,我试着加EXCLUDING TABLE 不生效,Flink有其他办法排出吗?7abf6cb203b458dc5b833121c69dede3.png
问题2:老师我这边是建立mysql catlog 里面有视图也读过来了这种EXCLUDING TABLE 不生效,只写这个INCLUDING TABLE是可以的b3e8d33f7bf2529e83859e137dd1cc8a.png

展开
收起
三分钟热度的鱼 2023-07-19 16:58:04 48 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在使用 CDAS 将 MySQL 整库同步到 Paimon 时,如果您需要排除某些表或视图,可以使用 Flink CDC 的过滤功能来实现。您可以在 Flink CDC 的配置文件中添加过滤条件,以便仅同步您需要的表格数据。

    具体来说,您可以在 Flink CDC 的配置文件中使用 table.whitelist 和 table.blacklist 参数来指定要同步的表格或要排除的表格。例如,假设您要排除名为 my_view 的视图,可以在配置文件中添加以下行:

    Copy
    table.blacklist=my_view
    这将告诉 Flink CDC 不要同步名为 my_view 的视图数据。如果您要排除多个表格,可以以逗号分隔它们的名称。例如:

    Copy
    table.blacklist=my_view,my_table2
    这将告诉 Flink CDC 不要同步名为 my_view 和 my_table2 的表格数据。

    需要注意的是,table.whitelist 和 table.blacklist 参数是互斥的,您只能使用其中之一。

    2023-07-29 20:38:10
    赞同 展开评论 打赏
  • 根据提供的信息,您想使用CDAS将整个MySQL库同步到Paimon,但MySQL库中有一个视图,而使用EXCLUDING TABLE参数无效。在这种情况下,Flink可以尝试以下方法来排除视图:

    问题1:对于整个库同步,可以尝试使用以下格式:

    CREATE DATABASE IF NOT EXISTS 
    [COMMENT database_comment]
    [WITH (key1=val1, key2=val2, ...)]
    AS DATABASE 
    INCLUDING { ALL TABLES | TABLE 'table_name' }
    [EXCLUDING TABLE 'table_name']
    [/+ OPTIONS(key1=val1, key2=val2, ... ) /]
    
    :
    [catalog_name.]db_name
    

    其中,使用EXCLUDING TABLE参数指定要排除的表名。

    问题2:如果在建立MySQL Catalog时已经包含了视图,但EXCLUDING TABLE参数无效,可以考虑缩小账户权限,仅授予访问表而不是视图的权限。

    2023-07-29 18:50:38
    赞同 展开评论 打赏
  • 针对问题1的回答:参考下如下格式呢?
    CREATE DATABASE IF NOT EXISTS
    [COMMENT database_comment]
    [WITH (key1=val1, key2=val2, ...)]
    AS DATABASE
    INCLUDING { ALL TABLES | TABLE 'table_name' }
    [EXCLUDING TABLE 'table_name']
    [/+ OPTIONS(key1=val1, key2=val2, ... ) /]

    :
    [catalog_name.]db_name

    :
    [catalog_name.]db_name针对问题2的回答:把你这个账户的权限缩小,只能到表,不能到视图层面。此回答整理自钉群“实时计算Flink产品交流群”

    2023-07-19 17:30:59
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像