开发者社区 > 大数据与机器学习 > 正文

阿里云E-MapReduce有ck大佬吗 ?现在dwd的数据都放在了ck 而且都是有变化的数据 导?

阿里云E-MapReduce有ck大佬吗 ?现在dwd的数据都放在了ck 而且都是有变化的数据 导致每次查ck的数据是要加final或者要先聚合一遍 数据量上来了就导致非常慢 请问大佬们有什么好办法吗 ?感觉是我这边没把ck用好

展开
收起
真的很搞笑 2023-07-13 15:01:41 81 0
1 条回答
写回答
取消 提交回答
  • 关于阿里云 E-MapReduce 的 CK 使用,我有以下几点建议:

    尽量使用 CK 的 Dataset API 来进行数据查询,这样可以避免数据加载和聚合的开销。
    可以考虑使用 CK 的 snapshot 功能,来创建一个当前数据的快照,然后在查询的时候使用快照。这样可以避免每次查询都需要重新加载数据。
    如果数据量比较大,可以考虑使用 CK 的分片功能,来将数据分成多个分片。这样可以提高查询的效率。
    可以考虑使用 CK 的 TTL 功能,来自动删除过期的数据。这样可以避免数据积累过多,影响查询速度。
    可以考虑使用 CK 的其他功能,如表管理、权限管理等,来更好地管理 CK 的数据。
    希望这些建议对你有所帮助。

    2023-09-28 10:55:37
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 开源大数据平台 E-MapReduce
  • 热门讨论

    热门文章

    相关电子书

    更多
    阿里云 ClickHouse 企业版技术白皮书 立即下载
    ClickHouse在手淘流量分析应用实践Jason Xu 立即下载
    云数据库clickhouse最佳实践 立即下载