开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute就是我这边有好几个系统,可能一个需求到了之后会用到不同系统的表,为啥?

大数据计算MaxCompute就是我这边有好几个系统,每个系统都有自己的库,我现在把这些系统的库都同步到maxcompute里面,是建一个项目呢还是多个项目,可能一个需求到了之后会用到不同系统的表?image.png

展开
收起
真的很搞笑 2024-02-25 08:41:12 35 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储,直接对外部数据进行操作,从而提供了数据处理的灵活性和方便性。

    在实际应用中,您可能会遇到以下几种情况,导致需要使用不同系统的表:

    1. 数据量较大:当表中的部分字段被更新时,例如用户的地址、产品的描述信息、订单的状态和手机号码等,如果这些数据量较大,可能需要跨多个系统来存储和处理。
    2. 数据类型多样:MaxCompute的内部表支持任意一种数据类型,而外部表可以存放在OSS或OTS中,这样的设计可以满足不同类型的数据处理需求。
    3. 实时性要求高:外部表允许用户直接对存储在外部系统如OSS中的数据进行操作,这样可以在不导入数据的情况下进行实时查询和分析,提高了数据处理的效率。
    4. 成本控制:使用外部表可以减少数据迁移和存储的成本,因为不需要将所有数据都导入到MaxCompute中,而是直接在原始存储位置上进行处理。
    5. 系统整合:在企业级应用中,通常需要整合多个系统的数据来进行全面的分析和决策支持,这就需要跨系统使用不同的表来获取完整的数据视图。

    综上所述,使用不同系统的表可以帮助企业更高效地处理和分析大量和多样化的数据,同时也能够更好地控制成本和满足实时性的需求。

    2024-02-25 18:45:55
    赞同 展开评论 打赏
  • 如果一个需求会用到不同系统的表,尽量同步到一个project,用自定义表名或者是schema来区分不同的系统。
    https://help.aliyun.com/zh/maxcompute/user-guide/schema-related-operations?spm=a2c4g.11174283.0.i10 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-02-25 13:22:29
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载