为数据计算提供强力引擎,阿里云文件存储HDFS v1.0公测发布

简介: 在2019年3月的北京云栖峰会上,阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力,降低用户TCO。阿里云文件存储HDFS的发布真正解决了HDFS文件系统不适应云上场景的缺陷问题,用户无须花费精力维护和优化底层存储。

在2019年3月的北京云栖峰会上,阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力,降低用户TCO。阿里云文件存储HDFS的发布真正解决了HDFS文件系统不适应云上场景的缺陷问题,用户无须花费精力维护和优化底层存储。
云时代,通过借助虚拟化技术,大数据分析的计算框架在云上逐渐实现了快速部署和弹性伸缩。但是作为数据底座的HDFS文件系统,它在设计之初并没有考虑到上云场景。其数据的扩缩容、故障硬件排除都依赖大量手工运维,因此其服务质量难以保证。在随着其他计算引擎一起弹性部署时,HDFS会成为整个计算框架的短板,限制了业务的整体弹性伸缩能力,增加了规划和运维难度。

test


为响应用户在云上使用HDFS的诉求,文件存储HDFS应运而生。产品设计方面,得益于文件存储HDFS兼容标准Hadoop文件接口,基于HDFS进行开发的分析服务无须进行改造即可直接连接文件存储HDFS进行数据分析,可作为serverless计算架构的后端数据引擎。用户无须花费精力维护和优化底层存储,聚焦在计算和业务本身。
用户场景方面,文件存储HDFS的多租户和权限控制能力可以有效支撑企业内部多业务数据管理的场景。用户可以将生产集群的数据直接写入文件存储HDFS,也可以将存储在自建HDFS、阿里云OSS、文件存储NAS中的数据导入到文件存储HDFS,再利用Spark/Mapreduce/Flink/Hive/Tensoflow等不同的分析框架对文件存储HDFS上的数据进行处理,处理结果可以按需输出到不同的系统中。广泛用于实时统计与分析、离线用户画像、实时分析、机器学习等业务场景中。

test


技术能力方面,作为聚焦大数据分析场景的云存储产品,文件存储HDFS针对计算中最关注的吞吐性能进行了软硬一体的优化,提供远超自建HDFS的吞吐能力。在模拟离线分析场景的Terasort测试中,在使用同等数量的CPU和内存的情况下,用文件存储HDFS替代HDFS可以使整体的分析性能提升一倍。

test


了解更多关于文件存储HDFS的产品信息和申请公测资格,欢迎访问 https://www.aliyun.com/product/alidfs
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
9月前
|
存储 缓存 负载均衡
分布式文件存储与数据缓存 FastDFS(一)
分布式文件存储与数据缓存 FastDFS(一)
|
9月前
|
缓存 监控 NoSQL
分布式文件存储与数据缓存 Redis高可用分布式实践(下)(三)
分布式文件存储与数据缓存 Redis高可用分布式实践(下)(三)
|
9月前
|
存储 缓存 NoSQL
分布式文件存储与数据缓存 Redis高可用分布式实践(下)(四)
分布式文件存储与数据缓存 Redis高可用分布式实践(下)(四)
|
9月前
|
存储 缓存 NoSQL
分布式文件存储与数据缓存 Redis高可用分布式实践(下)(二)
分布式文件存储与数据缓存 Redis高可用分布式实践(下)(二)
|
9月前
|
缓存 NoSQL 算法
分布式文件存储与数据缓存 Redis高可用分布式实践(下)(一)
分布式文件存储与数据缓存 Redis高可用分布式实践(下)(一)
|
9月前
|
缓存 NoSQL Java
分布式文件存储与数据缓存 Redis高可用分布式实践(上)(四)
分布式文件存储与数据缓存 Redis高可用分布式实践(上)(四)
|
9月前
|
存储 缓存 NoSQL
分布式文件存储与数据缓存 Redis高可用分布式实践(上)(三)
分布式文件存储与数据缓存 Redis高可用分布式实践(上)(三)
|
9月前
|
存储 缓存 NoSQL
分布式文件存储与数据缓存 Redis高可用分布式实践(上)(二)
分布式文件存储与数据缓存 Redis高可用分布式实践(上)(二)
|
9月前
|
缓存 NoSQL 关系型数据库
分布式文件存储与数据缓存 Redis高可用分布式实践(上)(一)
分布式文件存储与数据缓存 Redis高可用分布式实践(上)(一)
|
9月前
|
存储 缓存 应用服务中间件
分布式文件存储与数据缓存 FastDFS(二)
分布式文件存储与数据缓存 FastDFS(二)