【MaxCompute 常见问题】 元数据

简介: 通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute 中的时间?不支持,查看不了,可以看表元数据的 LastModifiedTime 时间,但具体某个记录看不到时间。

元数据(Information Schema


MaxCompute Information Schema 常见使用问题


1.    请问能从 MaxCompute 中导出所有任务明细吗?

可以定时利用元数据来保存 MaxCompute 中的任务做任务对比。 参考本篇文章


2.    MaxCompute中有没有一条命令只显示自己当前用户角色创建的表,比如 show tables 这种命令?

show tables 看到的是这个 project 所有的表。 只查询某个账号的 table 可以使用元数据 tables 通过 owner_name 过滤, 参考官方文档


3.    information_schema.tables里面没有查到 odps 项目下所有的表,应该怎么解决?

可能是因为延迟的缘故,目前 MaxCompute 元数据更新会有一定的延迟,至少 3 个小时,比对一下建表时间。


4.    PyODPS如何获取表的元数据?

直接查询Information_Schema 表就可以。可以参考元数据使用说明文档。


5.    通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute 中的时间?

不支持,查看不了,可以看表元数据的 LastModifiedTime 时间,但具体某个记录看不到时间。


6.    如何查看 information_schema tables

在使用 MaxCompute 建表时,有可能会建出几千张表,那我们寻找需要的表时就需要知道表名称,可以在数据地图中查看表,也可以使用 PyODPS 批量获取表名称。具体可参考文档


>>快来点击免费下载《阿里云MaxCompute百问百答》了解更多详情!<<


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
2月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之maxcompute资源打开失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
8月前
|
SQL 存储 分布式计算
MaxCompute元数据使用实践--项目信息统计
MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息,您可以一次性拉取您同一个元数据中心下所有Project的某类元数据,从而进行各类元数据的统计分析。
526 0
|
存储 SQL 缓存
使用实践:Hologres对接MaxCompute常见问题排查
本文总结了Hologres对接MaxCompute时的常见问题与处理方法。
3049 3
使用实践:Hologres对接MaxCompute常见问题排查
|
14天前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用合集之大数据计算MaxCompute如何限制用户只能访问特定的元数据信息,而不是整个工作空间
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2月前
|
数据采集 分布式计算 DataWorks
DataWorks常见问题之dataworks引用maxcompute资源失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
5月前
|
分布式计算 项目管理 MaxCompute
MaxCompute元数据使用实践--数据权限统计
本文主要介绍通过元数据的相关权限的视图进行数据权限的统计。
101509 2
|
5月前
|
存储 缓存 NoSQL
大数据 | HDFS 元数据持久化笔记
大数据 | HDFS 元数据持久化笔记
64 0
|
7月前
|
SQL 分布式计算 DataWorks
MaxCompute元数据使用实践--作业统计
通过MaxCompute租户级别Information Schema的“TASKS_HISTORY”视图可以统计查看MaxCompute计算作业的元数据信息,方便您进行作业审计以及各类统计,指导作业性能、成本优化。
1232 0
|
8月前
|
SQL 分布式计算 大数据
MaxCompute元数据使用实践 -- 数据下载审计
通过MaxCompute租户级别Information Schema的“TUNNELS_HISTORY”视图可以统计查看通过Tunnel通道进行数据上传下载的相关详细信息,方便您进行数据流转的审计排查。
583 0
|
10月前
|
SQL 分布式计算 Hadoop
【大数据】Sqoop使用常见问题
【大数据】Sqoop使用常见问题
314 0

热门文章

最新文章