开发者社区

开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

大规模文件元数据下的耗时操作优化

发布者：Dev-Talk 2020-04-21 11:32:50 1162

Dev-Talk

+关注

视频介绍

本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。

讲师介绍

孙大鹏，花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

相关视频

大数据与机器学习

开源大数据平台 E-MapReduce

+关注

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

热门文章

热门讨论

阿里封神谈hadoop生态学习之路

JindoFS: 云上大数据的高性能数据湖存储方案

Spark in action on Kubernetes - Playground搭建与架构浅析

漫谈分布式计算框架

JindoFS概述：云原生的大数据计算存储分离方案

5W1H(六何分析法)全景洞察大数据

助力云上开源生态 - 阿里云开源大数据平台的发展

Apache Spark 3.0 将内置支持 GPU 调度

钉钉群直播【Spark Relational Cache 原理和实践】

使用Hive进行OSS数据处理的一个最佳实践

展开全部

阿里云E-MapReduce查看刷新物化视图任务是失败状态，如何解决？

spark3.0 在实时性和flink差异大吗？

Spark3.0在实时数仓易用性方面有何提升吗？例如读取binlog写入delta lake

Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？

大佬，可以请教下，有没有遇到 com.aliyun.oss

Cosco的优势是什么？

k8s配置spark.kubernetes.driver.podTemplateFile不生效

请问emr机器买的hbase日志在哪

阿里云Data bricks数据洞察(DDI)架构是什么？

请问各位有遇到这样的情况吗？

展开全部

+关注

Dev-Talk

文章

问答

视频

来源圈子

更多

阿里云E-MapReduce

2323

+ 订阅

相关产品

开源大数据平台 E-MapReduce

文档详情产品详情

相关文章

更多

数据库 mysql 优化一听说发第二遍全网程序员都不会单身下数据库 mysql 优化一听说发第二遍全网程序员都不会单身上以小博大外小内大,Db数据库SQL优化之小数据驱动大数据 Mysql数据库优化 MySQL数据库-优化-详细优化-必看软件自动化测试的步骤软件自动化测试公开课全国展开霜皮剥落紫龙鳞，下里巴人再谈数据库SQL优化，索引(一级/二级/聚簇/非聚簇)原理软件自动化测试成功公式自动化测试之自动卸载软件