开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks中odps有没有系统表看表的热度?

dataworks中odps有没有系统表看表的热度?

展开
收起
真的很搞笑 2024-01-07 16:51:22 106 0
3 条回答
写回答
取消 提交回答
  • 在阿里云DataWorks中的MaxCompute(原名ODPS)中,没有直接提供查看表热度的系统表。通常所说的表热度是指某个表在一段时间内被查询或更新的频率,这通常是通过用户日志、作业执行记录等间接统计得出的。

    不过,可以通过以下方法获取表访问信息:

    1. 作业审计

      • 在DataWorks的工作流中,可以查看到基于该表的所有SQL任务运行历史记录,通过对这些记录进行分析,可以了解表的使用频次和热度。
    2. 项目资源管理

      • 虽然不直接显示热度,但可以在DataWorks项目的“数据开发”模块中查看表的基本信息,包括最近更新时间等,间接判断表的活跃度。
    3. 自定义监控与统计

      • 如果需要更准确地衡量表热度,可能需要自己编写脚本或者设置监控策略,定期统计SQL查询日志中涉及到的表,并记录查询次数等指标。
    4. MaxCompute SQL查询

      • 可以通过查询MaxCompute的元数据表或其他内部系统表来获得部分信息,但这通常不能直接反映表热度,而是提供有关表结构变更、分区创建时间等基本信息。
    5. 结合服务端日志

      • 阿里云的MaxCompute服务端会有详细的访问日志,但是这些日志通常不是通过内置系统表提供给用户直接查询的,而是需要通过云平台提供的日志服务(如SLS)或者其他数据分析工具进一步处理分析。
    2024-01-09 14:31:30
    赞同 展开评论 打赏
  • 在DataWorks中,您可以通过多种方式来了解和评估表的使用情况,其中包括查看表的热度。DataWorks提供了数据地图功能,可以帮助您查看和管理MaxCompute表,包括表的基本信息、元数据详情、数据预览、血缘关系等。

    要查看表的热度,您可以关注以下几个维度:

    1. 表的基础信息:在数据地图中,表的基础信息包括了表的读取次数和收藏次数。读取次数反映了表被读取的频次,而收藏次数则表明了表被用户收藏的情况。这两个指标可以从一定程度上反映出表的使用情况和受欢迎程度。

    2. 字段热度:除了表的热度之外,您还可以查看字段的热度,这通过字段被引用的次数来衡量。在数据地图中,您可以查看字段信息,包括字段热度等细节。

    3. 数据质量监控:DataWorks还提供了数据质量监控功能,您可以设置数据质量的规则,例如检查字段是否为空、字段值的范围是否合理等。通过数据质量报告,您可以了解到哪些表或字段经常出现问题,从而判断出这些表或字段的重要性和使用频率。

    4. 访问统计:在数据地图中,您还可以查看更详细的访问统计信息,包括频繁关联的表和字段,以及最近访问过的表和字段。这些信息可以帮助您了解哪些表正在被频繁地使用。

    综合以上几点,虽然DataWorks本身不直接提供系统表来专门查看表的热度,但您可以通过查看表和字段的基础信息、热度、访问统计以及进行数据质量监控来间接了解表的使用热度情况。

    2024-01-09 11:07:16
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks的ODPS中,您可以通过查询系统表来查看表的热度。具体来说,您可以使用如下命令来查看当前项目中所有表的元数据信息:

    select * from Information_Schema.tables;
    

    此外,您还可以通过执行一些特定的SQL语句来获取更具体的表热度信息,例如表的读取次数、写入次数等。这需要根据您对"热度"的具体定义来进行相应的查询。

    2024-01-07 16:55:11
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载