AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 正文

用Delta Lake 为什么不直接从ODS计算？

用Delta Lake 为什么不直接从ODS计算？ 求大佬解答

展开
收起
爱吃鱼的程序员 2020-12-28 11:28:00 813 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 爱吃鱼的程序员
    https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    以核桃的到课指标为例，数据源是kafka的埋点topic，需要计算的指标有个人维度到课数据，学期维度，班级维度，学期维度，市场渠道维度。每个维度都需要消费所有的埋点数据，从中挑出到课相关的事件。并且每个维度的计算程序都需要53>DeltaLake深度解析查询HBase/Mysql关联相关的学期，班级，unit等维表。一旦有整体逻辑的调整，例如过滤测试班数据，不可能从ods层就把数据过滤掉(这样从底层就开始丢失数据，后期无法追查)，那么所有程序都需要重新调整，添加这个过滤逻辑。

    2020-12-28 11:28:18
    赞同 展开评论
问答分类：
开源大数据平台 E-MapReduce
问答地址：
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 问答
相关问答
Delta Lake里的表可以分为哪几类？
447
1
0
Delta Lake当前应用情况是怎么样的？
324
1
0
Delta Lake要解决的问题是什么？
406
1
0
Delta Lake是什么？
1864
2
0
Delta lake数据入湖的意思是什么呢？
1640
1
0
Data Lake Delta、Hudi、 Iceberg不同点有什么？
841
1
0
Data Lake Delta 不同点有什么？
919
1
0
Delta Lake关键特性是什么？
376
1
0
Delta Lake可以线上使用吗？
1664
2
0
Delta lake的一站式数据是什么呢？
500
1
0
大数据与机器学习

开源大数据平台 E-MapReduce

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

我要提问

相关文章

  • 有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
  • 拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
  • EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
  • 美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台

    • 热门讨论

    热门文章

  • Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？
  • hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？
  • sprak是什么
  • EMR StarRocks有hive或spark的炸裂函数，类似explode可以用吗?
  • Hologres 是对标 ClickHouse + Hbase + ...？,是如何把这些能力全部都
  • Ray是什么？
  • Mem usage has exceed the limit of BE - com.mysql.j
  • 咨询个问题，starrocks，如何像mysql一样，查询有无锁以及造成锁的sql？
  • 我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？
  • starrocks通过DLF2.0建立外部表，可以进行delete或者update表数据的操作吗？
    • 展开全部
  • 现代流式计算的基石：Google DataFlow
  • 梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • JindoFS解析 - 云上大数据高性能数据湖存储方案
  • HIVE MapJoin异常问题处理总结
  • 漫谈分布式计算框架
  • 首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 5W1H(六何分析法)全景洞察大数据
  • 助力云上开源生态 - 阿里云开源大数据平台的发展
  • 基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
    • 展开全部
    还有其他疑问?
    咨询AI助理