Flink现在1.19版本flink有做基于catalog得表字段血缘吗?

Flink现在1.19版本flink有做基于catalog得表字段血缘吗?

展开
收起
真的很搞笑 2024-04-11 08:42:17 83 分享 版权
阿里云 AI 助理回答

是的,Flink 1.19 版本支持基于 Catalog 的表字段血缘功能。根据知识库中的信息,实时计算 Flink 版在平台侧新增了对字段粒度的 SQL 作业数据血缘的支持。这意味着用户可以通过查看血缘关系,找到使用某张表的某个字段的 Flink 作业,并能够查看 Flink 作业上下游的字段级关系。

具体说明

  1. 字段级血缘能力
    在 Flink 1.19 版本中,用户可以查看表级别和字段级别的血缘关系。通过字段级别的血缘关系,您可以明确某个字段被哪些作业中的哪个表引用,并能快速定位到对应的字段。这对于数据变更影响分析、故障排查以及优化数据处理流程非常有帮助。

  2. 从元数据角度查看字段血缘
    如果需要从元数据角度查看字段血缘,可以通过以下步骤操作:

    • 登录实时计算控制台。
    • 进入目标工作空间的 数据管理 页面。
    • 双击目标数据库下的表名称。
    • 血缘关系 页签,选择 字段级别 查看字段级别的血缘关系。
    • 单击目标字段后,系统会通过淡蓝色实线指引,显示该字段被哪些作业中的表和字段引用。
  3. 从作业角度查看字段血缘
    如果需要从作业角度查看字段血缘,可以按照以下步骤操作:

    • 登录实时计算控制台。
    • 进入 运维中心 > 作业运维 页面。
    • 单击目标作业名称。
    • 血缘关系 页签,选择 字段级别 查看字段级别的血缘关系。
    • 系统默认展示三层血缘关系(上游表、中心作业、下游表),如果需要进一步追溯,可以单击上游或下游的加号进行扩展。
  4. 搜索功能
    当血缘关系图较为复杂时,您可以通过节点名称或字段名称进行模糊搜索,快速定位目标并查看相关信息。

注意事项

  • 使用限制:仅支持查看项目空间内作业和元数据间的血缘关系,不支持跨项目空间查看血缘关系。
  • 依赖条件:从元数据角度查看血缘需要使用 Catalog,而从作业角度查看血缘则不依赖 Catalog。
  • 支持的操作类型:目前仅支持 QueryOperation、SinkModifyOperation 和 CreateTableAsTableOperation 三种类型操作,对于 CDAS 语法以及过滤条件、Join 条件等间接血缘,数据血缘信息无法被追踪和显示。

总结

Flink 1.19 版本确实支持基于 Catalog 的表字段血缘功能,并且提供了表级别和字段级别的血缘查看能力。这为用户在数据管理和作业运维中提供了更细粒度的洞察,有助于提升数据分析效率、优化数据资产成本以及快速定位问题根源。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理