开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute API能获取到MC 外部表的路径码?

大数据计算MaxCompute API能获取到MC 外部表的路径码?我查了下API,发现一个GetMetaTableFullInfo,但是他最细到字段,没有location等信息的,我想获取有办法吗?我需要批量的,不要show external的方式

展开
收起
真的很搞笑 2023-10-20 19:03:01 43 0
5 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    对于您的问题,MaxCompute API的GetMetaTableFullInfo方法可以获取到外部表的字段信息,但是没有包括location等位置信息。如果您需要批量获取外部表路径码,且不想使用show external的方式,目前并没有直接的API支持这个功能。

    不过,您可以考虑使用SDK来操作。例如,阿里云提供了MaxCompute SDK,您可以使用该SDK搜索MaxCompute外部表数据。此外,在创建外部表的时候,MaxCompute会将查询出来的数据写入到OSS上,这里也涉及了数据的生成数量的控制问题。

    2023-10-22 19:21:55
    赞同 展开评论 打赏
  • 对于您的问题,尽管MaxCompute API的GetMetaTableFullInfo接口提供了关于表的详细信息,但是关于外部表location的信息并没有明确提供。这就意味着使用API无法直接获取到外部表的路径码。

    不过,您可以考虑使用SDK来获取这些信息。虽然使用SDK搜索MaxCompute外部表数据的速度可能会比较慢,但它是一种可行的方式。此外,阿里云还提供了交互式分析功能,可以加速查询MaxCompute中的数据,并将其封装成数据服务API,对接BI工具调用API,实现从数据源--数据查询分析--数据服务--数据可视化展现的最佳实践。

    2023-10-22 13:40:52
    赞同 展开评论 打赏
  • MaxCompute API确实可以获取到MC外部表的路径码。您可以使用GetMetaTableFullInfo API来获取外部表的详细信息,包括字段、类型、注释等。

    如果您需要获取更详细的信息,如location等,您可以使用GetMetaData API,该API可以返回表的元数据信息,包括路径、数据库名称、表名称、列信息等。这两种方式都可以满足您的需求,而且都可以批量获取信息,无需使用show external的方式。

    2023-10-21 16:23:54
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute中,外部表的存储路径信息通常不包含在MaxCompute的API中。如果你需要获取外部表的存储路径信息,你可以使用OSS的API获取。
    OSS提供了获取Object的元数据信息的API,你可以在OSS中获取到外部表的存储路径信息。具体的API使用方法可以参考OSS的官方文档。
    如果你需要批量获取外部表的存储路径信息,你可以使用OSS的批量操作API,例如OSS的ListObjects API。具体的API使用方法可以参考OSS的官方文档。
    另外,如果你的MaxCompute集群中有很多外部表,你可以考虑使用MaxCompute的MapReduce API来获取外部表的存储路径信息。MaxCompute的MapReduce API提供了读取和处理外部表的能力,你可以使用MapReduce API来批量获取外部表的存储路径信息。

    2023-10-21 15:05:43
    赞同 展开评论 打赏
  • 当前查不到哈。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-10-20 19:48:12
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载