AI 助理
备案控制台
开发者社区 云计算 文章 正文

HDSF小结

2023-09-21 46
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： HDSF小结

1、Active Namenode

2、Standby NameNode

3、Datanode

4、Client

文件切分

HDFS的一

些拓扑结构

HDFS可靠性策略

文件完整性

校验码CRC32，用其他的副本取代损坏文件

Heartbeat

Datanode 定期向Namenode发送心跳

元数据信息

FSImage（文件系统镜像）、Editlog（操作日志）

多份备份

道亦无名
目录
相关文章
全栈ing小甘
|
存储 数据采集 传感器
大数据概述
大数据概述
全栈ing小甘
232 0
阿丸
|
存储 运维 分布式计算
首次揭秘！小米大数据体系的建设与实践
首次揭秘！小米大数据体系的建设与实践
阿丸
716 0
liuyunshengsir
|
存储 监控 物联网
InfluxDB 的优缺点，哪些应用场景
InfluxDB是一种专门用于处理和存储时间序列数据的开源数据库。以下是InfluxDB的一些优点和缺点，以及适用的应用场景： 优点： 1. 高性能：InfluxDB在设计上针对时间序列数据进行了优化，具有高写入和高查询性能，可以处理大规模的数据量。 2. 简单易用：InfluxDB具有简单的数据模型和查询语言，易于上手和使用。其查询语言InfluxQL和新版本的Flux具有强大的查询和聚合功能。 3. 数据压缩：InfluxDB通过使用时间序列数据的特性进行数据压缩，可以有效地减小数据存储的大小。 4. 可扩展性：InfluxDB支持水平扩展，可以通过添加更多的节点来增加存储和查询能力。
liuyunshengsir
3185 0
EdgePlus
秒懂边缘云 | 什么是边缘云？
1分钟了解边缘云
EdgePlus
1754 0
秒懂边缘云 | 什么是边缘云？
EdgePlus
|
边缘计算 人工智能 安全
Gartner边缘计算第一阵营出炉，阿里云、亚马逊、微软等上榜
近日，权威咨询机构Gartner发布了首个边缘计算领域的全球竞争格局报告，全面分析了全球科技公司在边缘计算领域的布局和技术优势，阿里云、亚马逊、微软、谷歌等七家公司悉数上榜，组成边缘计算第一阵营，在技术和战略上领衔全球。
EdgePlus
5215 0
Gartner边缘计算第一阵营出炉，阿里云、亚马逊、微软等上榜
选型宝
|
安全 数据管理 大数据
选型宝分享Informatica中国数据管理5大经典案例
写在前面 5月18日，选型直播曾做过一期题为“移动+社交时代，如何治理大数据洪水？”的节目，在那期节目中，Informatica北方区总经理李晨先生系统地介绍了Informatica公司的背景、大数据治理的完整框架，以及最新的“智能数据湖”解决方案。
选型宝
2271 0
武耀文
|
搜索推荐
聊聊DMP
武耀文
3242 0
玄学酱
|
监控 JavaScript 前端开发
15.4. 内容监控
玄学酱
1094 0
阿里云基础设施.
|
16小时前
|
人工智能 自动驾驶 大数据
预告 | 阿里云邀您参加2024中国生成式AI大会上海站，马上报名
大会以“智能跃进 创造无限”为主题，设置主会场峰会、分会场研讨会及展览区，聚焦大模型、AI Infra等热点议题。阿里云智算集群产品解决方案负责人丛培岩将出席并发表《高性能智算集群设计思考与实践》主题演讲。观众报名现已开放。
阿里云基础设施.
11620 4
弹性计算-百晓生
|
17天前
|
存储 人工智能 弹性计算
阿里云弹性计算_加速计算专场精华概览 | 2024云栖大会回顾
2024年9月19-21日，2024云栖大会在杭州云栖小镇举行，阿里云智能集团资深技术专家、异构计算产品技术负责人王超等多位产品、技术专家，共同带来了题为《AI Infra的前沿技术与应用实践》的专场session。本次专场重点介绍了阿里云AI Infra 产品架构与技术能力，及用户如何使用阿里云灵骏产品进行AI大模型开发、训练和应用。围绕当下大模型训练和推理的技术难点，专家们分享了如何在阿里云上实现稳定、高效、经济的大模型训练，并通过多个客户案例展示了云上大模型训练的显著优势。
弹性计算-百晓生
104516 9