备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

4月23日JindoFS系列直播【大规模文件元数据下的耗时操作优化】

2020-04-21 845
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。

主题：

大规模文件元数据下的耗时操作优化

时间：

2020.4.23（周四）19:00

参与方式：

扫描下方二维码加入钉钉群，群内直接观看

或点击直播间链接：

https://developer.aliyun.com/live/2684

讲师：

孙大鹏花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

直播简介：

本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。
大规模文件元数据下的耗时操作优化 4.23.png

文章标签：
开源大数据平台 E-MapReduce
Apache
存储
大数据
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
目录
相关文章
工程师甲
|
存储 弹性计算 自然语言处理
PB级数据量背后阿里云 Elasticsearch 的内核优化实践
本文将揭秘阿里云在面对 PB 级数据量挑战下所做的内核优化实践。
工程师甲
5009 0
PB级数据量背后阿里云 Elasticsearch 的内核优化实践
cuicuicuic
|
2月前
|
存储 分布式计算 MaxCompute
MaxCompute资源问题之有延迟如何解决
MaxCompute资源指的是在MaxCompute项目中使用的计算资源和存储资源；本合集旨在向用户展示如何高效管理MaxCompute资源，包括资源包管理、配额调整和性能优化等方面。
cuicuicuic
31 0
aly109u0
|
4月前
|
人工智能 数据管理 Linux
并行文件存储的优势
并行文件存储的优势
aly109u0
96 0
阿里云实时计算Flink
|
存储 消息中间件 SQL
Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint
Generic Log-Based Incremental Checkpointing 功能介绍
阿里云实时计算Flink
3648 5
Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint
阿里云E-MapReduce团队
|
SQL 存储 分布式计算
数据湖实操讲解【 JindoTable 计算加速】第二十二讲：对 Hive 数仓表进行高效小文件合并
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
1069 0
数据湖实操讲解【 JindoTable 计算加速】第二十二讲：对 Hive 数仓表进行高效小文件合并
阿里云E-MapReduce团队
|
SQL 存储 缓存
数据湖实操讲解【 JindoTable 计算加速】第二十讲：Spark 对 OSS 上的 ORC 数据进行查询加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
543 0
数据湖实操讲解【 JindoTable 计算加速】第二十讲：Spark 对 OSS 上的 ORC 数据进行查询加速
阿里云E-MapReduce团队
|
存储 缓存 分布式计算
数据湖实操讲解【JindoFS 缓存加速】第十四讲：指定表和分区来预先缓存，查询分析更高效
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
5121 0
数据湖实操讲解【JindoFS 缓存加速】第十四讲：指定表和分区来预先缓存，查询分析更高效
阿里云E-MapReduce团队
|
SQL 缓存 分布式计算
数据湖实操讲解【JindoFS 缓存加速】第十五讲：云上计算云下数据：HDFS 缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
5274 0
数据湖实操讲解【JindoFS 缓存加速】第十五讲：云上计算云下数据：HDFS 缓存加速
阿里云E-MapReduce团队
|
SQL 存储 缓存
数据湖实操讲解【JindoFS 缓存加速】第十三讲：Presto 访问 OSS 透明缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
11234 0
数据湖实操讲解【JindoFS 缓存加速】第十三讲：Presto 访问 OSS 透明缓存加速
阿里云E-MapReduce团队
|
存储 SQL 缓存
数据湖实操讲解【JindoFS 缓存加速】第十二讲：Spark 访问 OSS 透明缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
1775 0
数据湖实操讲解【JindoFS 缓存加速】第十二讲：Spark 访问 OSS 透明缓存加速
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    如何使用Kafka Connect实现同步RDS binlog数据
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 4
    HIVE MapJoin异常问题处理总结
  • 5
    阿里封神-大数据处理技术漫谈
  • 6
    JindoFS概述：云原生的大数据计算存储分离方案
  • 7
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 8
    【译】使用Spark SQL 运行大规模基因组工作流
  • 9
    YARN中的CPU资源隔离-CGroups
  • 10
    使用Ranger对Hive数据进行脱敏
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    77
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    238
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    145
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    60
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    399
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117492
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    393
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    194
  • 9
    1688API接口推荐：1688口令转换真实链接接口
    15
  • 10
    1688API接口推荐：1688按图搜索拍立淘数据接口
    291

    • 相关课程

    更多
  • 分布式文件存储系统技术及实现
  • 阿里云实时数仓实战 - 数据生成及采集
  • 大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析
  • MaxCompute行业应用及调优
  • 阿里云实时数仓实战 - 用户行为数仓搭建
  • Sqoop 企业级大数据迁移方案实战

    • 相关电子书

    更多
  • 实战-如何基于HBase构建图片视频数据的统一存储检索方案
  • 基于etcd的超大规模生产级弹性键值存储实践与优化
  • 听云平台RUM业务数据的实时流式处理实践

    • 相关实验场景

    更多
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 利用大模型大规模分发技术，实现AIGC在线应用秒级弹性
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 基于Flink+Tair搭建实时监控大屏
  • 使用OSS助力游戏资源加速
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）