开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks收集和查看元数据开启元数据收集?

DataWorks收集和查看元数据开启元数据收集?

展开
收起
芯在这 2023-04-20 08:17:49 209 0
4 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    元数据是数据的描述信息,包括数据的结构、属性、关系等。在数据库中,元数据包括数据库对象(如表、视图、存储过程等)的定义信息、访问权限信息、索引信息等。收集和查看元数据可以帮助我们更好地了解数据库的结构和内容,从而更好地进行数据库管理和优化。

    要开启元数据收集,需要先确定数据库管理系统(DBMS)支持哪些元数据收集方法。不同的DBMS可能有不同的元数据收集方式和工具。在Oracle数据库中,可以使用以下方法收集元数据:

    使用Oracle Data Dictionary视图:Oracle数据库中有许多Data Dictionary视图,这些视图包含了数据库对象的定义信息、访问权限信息、索引信息等。可以使用这些视图来查询元数据信息。

    使用Oracle Enterprise Manager:Oracle Enterprise Manager是Oracle提供的一个数据库管理工具,可以通过它来收集和查看元数据信息。

    使用PL/SQL程序:可以编写PL/SQL程序来查询Data Dictionary视图,从而收集元数据信息。

    在收集元数据后,可以使用各种工具来查看元数据信息。例如,可以使用SQL Developer、Toad等工具来查看Oracle数据库的元数据信息。这些工具提供了丰富的功能,可以帮助我们更好地了解数据库的结构和内容。

    2023-04-20 18:51:38
    赞同 展开评论 打赏
  • 可以参考阿里与提供的收集和查看元数据文档

    2023-04-20 15:03:43
    赞同 展开评论 打赏
  • 在DataWorks中,元数据收集是通过元数据采集器来实现的。元数据采集器可以采集各种数据源的元数据信息,并将其存储到DataWorks的元数据管理库中,方便用户进行元数据的查看和管理。以下是元数据收集的具体步骤:

    1. 开启元数据收集功能:在DataWorks的项目管理页面中,选择“元数据管理”->“元数据采集器”,点击“启用”按钮即可开启元数据收集功能。

    2. 添加数据源:在元数据采集器页面中,选择需要采集的数据源类型,如MySQL、MaxCompute、Hive等,然后添加相应的数据源信息,包括数据源名称、连接地址、用户名、密码等。

    3. 开始采集:添加完数据源后,点击“开始采集”按钮,元数据采集器就会开始自动采集该数据源的元数据信息。

    4. 查看元数据:在元数据管理页面中,可以查看已经采集的元数据信息,包括表、字段、分区等信息。

    需要注意的是,元数据收集功能需要在DataWorks的工作空间和项目中开启,并且需要为每个需要采集元数据的数据源添加相应的数据源信息。此外,元数据采集器也需要配置合适的权限,以便正常采集元数据信息。

    2023-04-20 14:30:02
    赞同 展开评论 打赏
  • 进入数据发现页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。单击左上方的image.png 图标,选择全部产品 > 数据治理 > 数据地图。在顶部菜单栏,单击数据发现。在E-MapReduce元数据采集页面,单击新建采集器。在新增采集器对话框中,选择引擎实例后,单击前往开启授权。image.png在E-MapReduce控制台中所选引擎实例的元数据页面,单击开启元数据收集。 image.png 在确认开关变更对话框中,单击确定。成功开启元数据收集后,返回数据地图中的新增采集器对话框,单击刷新。授权状态刷新为已授权后,单击提交,即可开启元数据收集。在E-MapReduce元数据采集页面,单击新建的采集器后的运行全量获取。单击页面右上角的刷新,待EMR采集实例的运行状态显示为收集成功即可。说明 全量采集E-MapReduce元数据后,系统会开启自动增量采集,自动同步表中新增的元数据。 https://help.aliyun.com/document_detail/146699.html ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-20 12:57:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    低代码开发师(初级)实战教程 立即下载
    冬季实战营第三期:MySQL数据库进阶实战 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载