开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute postgresql 用的不熟 然后holo好多要自己选择行列?

大数据计算MaxCompute postgresql 用的不熟 然后holo好多要自己选择行列存啥的才能发挥最大存储读取效用,不太会用, 然后单一个holo每个月 N w+,就有点昂贵被diss

展开
收起
cuicuicuic 2023-08-08 20:20:41 76 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    MaxCompute 存储和读取优化建议:

    分区和分桶:使用合适的分区和分桶策略可以提高查询性能。通过将数据按照某个列进行分区,可以减少查询的数据量。分桶则可以提高数据的均衡性和查询效率。

    数据压缩:考虑对数据进行压缩,以减少存储空间和提高读取性能。MaxCompute 提供了一些压缩算法,例如 Snappy、LZO、Gzip 等。选择适合你数据特点的压缩算法可以节省存储空间并加快数据的读取速度。

    数据倾斜处理:如果某些数据在分布上存在倾斜,可能会导致查询性能下降。可以采取一些方法来解决数据倾斜问题,例如重新设计分区策略、使用随机前缀等。

    PostgreSQL 存储和读取优化建议:

    表设计和索引:合理设计表结构和索引可以提高查询性能。根据查询的特点和频率,选择合适的数据类型、表关系和索引类型,以加快查询速度。

    查询优化:了解 PostgreSQL 的查询执行计划,根据需要进行索引优化、表连接顺序调整等。使用 EXPLAIN 和 EXPLAIN ANALYZE 命令可以帮助你分析查询的执行计划和性能瓶颈。

    数据分区:对于大型表,可以考虑使用表分区技术,将数据按照某个列进行分区管理。这样可以减少查询的数据量,提高查询性能。

    自动化工具和框架:PostgreSQL 提供了一些自动化工具和框架,如 pg_autoindex、pg_stat_statements 等,可以帮助你自动管理索引、收集统计信息等,从而优化存储和查询性能。

    2023-08-13 20:54:21
    赞同 展开评论 打赏
  • Hologres的表,默认是列存,可以不做选择。如果没有kv场景的话,直接默认就可以。
    费用问题,看跟哪个产品对比,性能和价格都合适,比较难。
    Hologres可以选择不同的计费方式,计算抵扣包和存储抵扣包也发布了,可以抵扣按量的资源,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-08-09 12:30:53
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载

    相关镜像