AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

4月23日JindoFS系列直播【大规模文件元数据下的耗时操作优化】

2020-04-21 1022
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。

主题：

大规模文件元数据下的耗时操作优化

时间：

2020.4.23（周四）19:00

参与方式：

扫描下方二维码加入钉钉群，群内直接观看

或点击直播间链接：

https://developer.aliyun.com/live/2684

讲师：

孙大鹏花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

直播简介：

本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。
大规模文件元数据下的耗时操作优化 4.23.png

文章标签：
开源大数据平台 E-MapReduce
Apache
存储
大数据
开源大数据EMR
目录
相关文章
开发者小助理
|
存储 人工智能 分布式计算
开发者社区精选直播合集（十九）|走进开源大数据平台 EMR
主要介绍EMR产品历史、选择理由、产品形态介绍，核心组件简介和使用、常用引擎使用示例、数据开发等
开发者小助理
805 0
开发者社区精选直播合集（十九）|走进开源大数据平台 EMR
阿里云E-MapReduce团队
|
分布式计算 大数据 Spark
阿里云大数据+AI技术沙龙上海站
EMR 团队在国内运营最大的 Spark 社区，为了更好地传播和分享业界最新技术和最佳实践，现在联合Intel及开源社区同行，打造一个纯粹的技术交流线下沙龙《大数据 + AI》，定期为大家做公益分享。首站上海开站，请猛戳链接报名！https://www.slidestalk.com/m/61
阿里云E-MapReduce团队
1840 0
阿里云大数据+AI技术沙龙上海站
阿里云安全_
|
4天前
|
云安全 人工智能 运维
阿里云SecOps Agent，全新安全跨产品执行体验
自然语言驱动 云安全中心/WAF/CFW/ 等多款安全产品联动
阿里云安全_
1594 2
暴走的莉莉酱
|
1天前
|
人工智能 定位技术 SEO
我学 GEO 第 15 天：终于知道AI GEO该如何做？
我是暴走的莉莉酱，边旅行边研究AI GEO的数字游民。专注普通人如何提升“AI可见度”——让AI在回答用户问题时准确识别、理解并推荐你。不讲玄学，只做可测、可调、可持续的GEO实践。
暴走的莉莉酱
344 121
bailiantest1
|
3天前
|
机器学习/深度学习 人工智能 调度
🐴 HappyHorse 1.1 现已上线阿里云百炼！快来查收模型使用指南，现在调用享 6 折～
HappyHorse 1.1 是新一代视频生成大模型，全面升级动态表现力、角色一致性、指令遵循、视觉质感与音画协同能力。支持I2V/T2V/R2V三类生成，适配短剧、电商广告、品牌营销等场景，提供高质、流畅、可控的AI视频生产力。
bailiantest1
569 3
🐴 HappyHorse 1.1 现已上线阿里云百炼！快来查收模型使用指南，现在调用享 6 折～
游客37x5chh37o32g
|
14天前
|
缓存 测试技术 API
Qwen 3.7 Plus 与 Max 实测：性价比与多模态能力差异解析（2026）
2026 年 6 月 1 日，阿里悄无声息地发布了 Qwen 3.7 Plus，距 Qwen 3.7 Max 上线刚好 11 天。同样的 1M 上下文，同样的 35 小时自治上限。但价格才是头条：Plus 是 0.40/M输入，Max是 2.50/M——便宜约 6 倍——并且还能看图、看视频。Vision Arena 上 Plus 已经排到 #16。所以这周真正值得讨论的问题不是”要不要为视觉能力买单”，而是”Max 凭什么用 6 倍价格换来 2 个百分点的 benchmark 领先”。
游客37x5chh37o32g
807 14
顾念a
|
15天前
|
JavaScript 定位技术 API
CodeGraph 爆火：编程 Agent 需要的不是更多上下文，而是一张提前画好的代码地图
CodeGraph 是一款爆火的本地代码智能工具，通过 tree-sitter 解析 AST 构建结构化知识图谱（存于 SQLite），为编程 Agent 提前生成“代码地图”。它显著降低 Agent 在中大型项目中的探索成本——实测工具调用减少71%、Token 降57%、速度提升46%，支持19+语言及主流框架路由识别，完全离线、无需 API Key。
顾念a
909 11
CodeGraph 爆火：编程 Agent 需要的不是更多上下文，而是一张提前画好的代码地图
小鲸云
|
7天前
|
缓存 人工智能 运维
GLM 5.2自托管全流程实战：硬件选型、vLLM/SGLang部署与成本盈亏测算
2026年智谱发布GLM 5.2超大混合专家模型，区别于以往仅开放API的闭源大模型，该模型权重以MIT开源协议对外发布，企业与开发者可完整下载、本地审计、私有化部署，实现数据不出环境、自定义微调、自主调度推理资源。GLM 5.2拥有753B总参数，原生支持百万级上下文窗口，在代码生成、长文档推理、数学逻辑等多项基准测试中对标国际顶尖商用模型，是首款可完整自托管的前沿代码向大模型。
小鲸云
641 0
阿里云云原生
|
2天前
|
消息中间件 人工智能 Kafka
AI 时代，实时入湖正在告别 ETL：从 Kafka 到 Iceberg 的架构减法
本文围绕“零 ETL”这一趋势，讨论流数据入湖为什么需要做架构减法，并结合 Kafka × Table Bucket 的实践，分析一种将通用入湖能力前移到消息与表存储链路中的方案，如何在降低复杂度的同时，兼顾实时性、一致性、Schema 演进、CDC 语义与开放生态兼容。
阿里云云原生
189 121
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 4
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 5
    HIVE MapJoin异常问题处理总结
  • 6
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 7
    阿里封神-大数据处理技术漫谈
  • 8
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 9
    【译】使用Spark SQL 运行大规模基因组工作流
  • 10
    钉钉群直播【Spark Relational Cache 原理和实践】
  • 1
    优路教育借助阿里云Flink+StarRocks+Paimon湖仓一体化构建职业教育业务全链路实时数据服务平台
    467
  • 2
    OpenClaw + QQ 机器人！保姆级图文教程，一步到位
    585
  • 3
    1688商品详情API（1688.item_get）Python实战：构建B2B供应链数据中台
    361
  • 4
    迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升
    288
  • 5
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    726
  • 6
    一套底座支撑多场景：高德地图基于 Paimon + StarRocks 轨迹服务实践
    477
  • 7
    EMR Serverless Spark 携手 PAI/百炼，开启“SQL 即 AI”的新篇章
    327
  • 8
    诗悦游戏基于DLF与EMR StarRocks降本38%
    397
  • 9
    基于DLF构建实时数据湖
    301
  • 10
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    421

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！