开发者社区 > 大数据与机器学习 > 正文

大佬,FlinkCDC读取表,源表是不是得所有列有权限可见,不能只授权部分字段可读?

大佬,FlinkCDC读取表,源表是不是得所有列有权限可见,不能只授权部分字段可读?image.png

展开
收起
真的很搞笑 2023-05-23 17:10:20 166 0
6 条回答
写回答
取消 提交回答
  • 对于使用 Flink CDC 读取表的情况,源表不需要所有列都有权限可见。你可以只授权部分字段的读取权限,然后通过 Flink CDC 配置相应的 SQL 查询来仅捕获这些字段的变化。

    在 Flink CDC 的配置中,你可以指定要捕获的表名和相应的查询语句。例如,你可以使用 SELECT 语句来指定要捕获的字段,例如:

    SELECT column1, column2 FROM source_table
    

    这里只有 column1 和 column2 字段会被捕获并传输到 Flink 的下游应用程序中,而其他列则不会被读取或传输。

    因此,你可以根据需要授权源表中特定字段的读取权限,并通过 Flink CDC 的配置来仅捕获这些字段的变化,而不需要授权对整个表的访问权限。

    2023-08-26 07:49:04
    赞同 1 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,在使用阿里云Flink CDC读取表时,源表的所有列不一定需要有权限可见,但是需要具备以下条件:

    1. 需要有读取该表的权限。
    2. 需要有读取表的所有主键和 Flink CDC 配置文件中指定的列的权限。
    3. 如果 Flink CDC 配置文件中指定了需要读取的列,则需要有读取这些列的权限。

    总的来说,Flink CDC 读取表需要有足够的权限才能正常进行。如果只授权部分字段可读,则可能会导致无法读取完整的数据,并且可能会出现其他问题。因此,建议按照上述条件授予合适的权限,以确保 Flink CDC 能够正常读取表。

    2023-08-21 13:52:22
    赞同 展开评论 打赏
  • 是的,Flink CDC读取表时,源表的所有列都应该具有读取权限,否则无法正确读取数据。因此,不能只授权部分字段可读。

    2023-08-17 09:59:35
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    在使用 Flink CDC 时,源表的所有列必须对 Flink CDC 具有可见权限,而不能只授权部分字段可读。这是因为 Flink CDC 需要读取源表的完整数据,包括所有列,以便进行数据的变化捕获和同步。

    如果你只授权了部分字段可读,Flink CDC 将无法读取未授权的字段数据,从而导致同步过程中缺少必要的信息。这可能会导致数据同步的不完整或出现错误。

    因此,为了确保 Flink CDC 正常工作,源表的所有列都应该具有对 Flink CDC 可见的权限。你可以检查并修改源表的权限设置,确保 Flink CDC 能够完整读取源表的数据。

    请注意,这里的权限要求是指 Flink CDC 访问源表的权限,而不是指其他用户或应用程序访问源表的权限。你可以与数据库管理员或安全团队合作,确保 Flink CDC 在操作源表时具有必要的权限。

    另外,如果源表中包含敏感信息或你希望限制 Flink CDC 访问的列,你可以考虑创建一个视图或者在 Flink CDC 中使用自定义查询(Custom SQL Query)来选择需要同步的列。这样可以在不改变源表权限的情况下,实现对部分字段的同步。

    2023-08-14 18:57:52
    赞同 展开评论 打赏
  • 是,您需要为源表的所有列授予访问权限。否则,Flink CDC可能会遇到数据不一致的问题,因为它无法访问某些列的数据。
    86eafbddf02ee9ff72fc3a3660d0e48a_p358545.png

    在授权策略中,您可以根据需要限制对特定列的访问权限。但是,请确保为所有其他需要访问的列提供足够的权限。
    daf707f6b89ec3862823d7ceed4998f6_p358549.png

    2023-08-14 14:32:29
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    是的,如果您使用Flink CDC读取表,那么您需要确保源表的所有列都有权限可见。因为Flink CDC是通过读取源表的所有数据来实现数据同步的,如果源表的某些列没有权限可见,那么Flink CDC将无法读取这些列的数据,从而导致数据同步失败。
    需要注意的是,如果您只授权部分字段可读,那么这些字段将无法被Flink CDC读取,从而导致数据同步失败。因此,如果您使用Flink CDC读取表,那么您需要确保源表的所有列都有权限可见。

    2023-08-14 13:29:43
    赞同 展开评论 打赏
滑动查看更多

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载