Flink现在1.19版本flink有做基于catalog得表字段血缘吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
是的,Flink 1.19 版本支持基于 Catalog 的表字段血缘功能。根据知识库中的信息,实时计算 Flink 版在平台侧新增了对字段粒度的 SQL 作业数据血缘的支持。这意味着用户可以通过查看血缘关系,找到使用某张表的某个字段的 Flink 作业,并能够查看 Flink 作业上下游的字段级关系。
字段级血缘能力
在 Flink 1.19 版本中,用户可以查看表级别和字段级别的血缘关系。通过字段级别的血缘关系,您可以明确某个字段被哪些作业中的哪个表引用,并能快速定位到对应的字段。这对于数据变更影响分析、故障排查以及优化数据处理流程非常有帮助。
从元数据角度查看字段血缘
如果需要从元数据角度查看字段血缘,可以通过以下步骤操作:
从作业角度查看字段血缘
如果需要从作业角度查看字段血缘,可以按照以下步骤操作:
搜索功能
当血缘关系图较为复杂时,您可以通过节点名称或字段名称进行模糊搜索,快速定位目标并查看相关信息。
Flink 1.19 版本确实支持基于 Catalog 的表字段血缘功能,并且提供了表级别和字段级别的血缘查看能力。这为用户在数据管理和作业运维中提供了更细粒度的洞察,有助于提升数据分析效率、优化数据资产成本以及快速定位问题根源。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。