存储初创企业Versity公司S3对象存储接口

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介:

存储初创企业Versity公司提供S3对象存储接口

 大量数字化处理对象。

Versity公司是一家采用多线程SAM-QFS的归档软件初创企业。

这家年轻的公司成立于2011年3月,CEO Bruce Gilpin拥有风险投资背景,而CTO则为Harriet Coverston。她自1986年起即在LSC(即Large Storage Configurations)公司工作并担任技术负责人职务,而该公司正是QFS(即快速文件系统)的开发方。

QFS能够对磁盘驱动器进行分组,并为其提供一套文件系统。该软件后被Sun公司收购,Coverston亦在工作一段时间后随甲骨文收购Sun而转投数据库巨头旗下。

在Sun公司中,QFS与存储及归档管理器(简称SAM)配合使用,后者负责管理磁盘与磁带等批量存储资源,而SAM-QFS即由此而生。Sun公司于2008年3月将其纳入OpenSolaris项目。这是一款层级化存储管理产品(简称HSM),能够将冷门文件由前端磁盘复制至磁带(IBM、LTO与甲骨文格式),整个过程以后台方式运行并可根据需要随时恢复至磁盘内。

甲骨文公司目前的Hierarchical Storage Manager正是基于SAM-QFS。

Versity公司为自筹资金所建立,并在其后的两年中一直以节俭与延迟结款方式进行运作,直到2013年7月获得来自克雷公司的A轮资助。克雷公司为其高性能计算市场上的一家分销合作伙伴。2014年4月,Versity存储管理器(简称VSM)软件产品正式发布。

该软件已经拥有10到20家客户,其中包括利用其管理250 PB数据的Ovation Data公司。另外,去年Versity公司签下了一份总额达100万美元的订单。

Gilpin在采访时指出,VSM是一款开源软件,用户以订阅方式加以使用。具体来讲,VSM属于专有开源产品,其以合法方式使用SAM-QFS源代码,并由Versity方面基于CDDL进行授权。

其架构特性包括:

专门构建的归档文件系统提供业界领先的性能表现。

基于策略的数据管理应用提供自动化存储分层,从而实现持续存储优化效果。

基于开源SAM-QFS的技术方案目前已经在为全球范围内的数百座客户站点服务。

写入为open tar文件格式以降低供应商依赖性。

  • 存储初创企业Versity公司提供S3对象存储接口

      软件的运行速度据称亦相当出色:

    Tunable系统参数调整可面向任意应用、网络类型或者存储技术起效。

    以接近存储硬件原始速度的水平实现文件归档移动。

    元数据可进行拆分存储以提升吞吐能力,或者根据环境内事务处理情况进行穿插存储。

    可变DAU(即磁盘分配单元)机制拥有出色的大型与小型文件处理性能,且可调整以支持多种不同工作负载。

    VSM并非对象存储方案,亦不属于并行文件系统。具体来讲,这是一套适用于那些不希望面向对象API进行写入,但又需要保留自身现有POSIX接口的企业客户的归档存储方案。

    发展

    Versity公司正着手为其后端存储发布S3接口,旨在将其作为公有云或者内部S3所能使用的对象存储机制。目前已经有一家客户选择这种使用方式,Gilpin表示其"硬件供应商正是内部对象存储厂商之一。"

    为什么Versity公司要支持对象接口?该公司给出的答案是,"因为Web规模数据中心虽然已经建立起对象存储体系,但其余企业仍然在使用POSIX,而且二者之间无法往来迁移。"

    Versity公司还在着手添加一套二级对象存储接口,旨在利用较S3更快速也更简单的方式将VSM与内部对象存储体系加以结合。根据我们掌握的情况,由此构建的系统在使用成本上仅为Amazon S3存储的三分之一。

    我们猜测其后端对象存储供应商很可能是Cloudian公司。

    多线程

    多个文件被打包为单一TAR文件,即所谓流量重塑机制,其随后作为单一条目被写入至归档备份存储内。此TAR文件的大小可通过策略进行设置。

    VSM随后会使用运行在一个或者多个处理器核心上的线程进行多线程IO。该软件的部分开发人员来自Lustre公司,且对并行文件系统拥有深刻理解。Gilpin就速度水平给出说明,表示VSM在使用5000美元戴尔服务器(配备双10 GbitE网卡)的情况下能够实现每秒1.8 GB的后端存储写入速度。其读取速度则为每秒2.1 GB。

    这一水平与DataCore所使用的Parallel Server技术基本类似。

    Gilpin指出,VSM的速度水平高于Avere文件管理器、对象存储与云访问加速产品。

    向外扩展文件系统

    Versity公司正在着手开发一套向外扩展POSIX文件系统,其可应对高达1万亿个文件。这套方案将匹配对象存储系统,而且已经拥有8个月的过往开发周期。该公司希望在今年10月推出这套文件系统的alpha演示版本。

    这将是一套对等系统,其中不存在主节点,同时采用字节范围锁定与B树数据结构。

    Gilpin指出,其专门针对归档需求所设计,而对字节范围内的POSIX加以忽略,意味着默认情况下不存在文件锁定。如果出现可能将其速度拖慢至NFS水平的资源竞争情况,元数据会得到优先处理。

    而这将成为Versity公司的下一代产品。

    Gilpin同时指出,Versity公司正在考量如何更好地从Lustre系统中提取文件,甚至直接支持Lustre文件格式。

    竞争关系与评论意见

    其竞争对手包括IBM(LTFS LE、TSM与HPSS)、甲骨文(SAM-QFS、甲骨文HSM)、SGI(DSM)以及昆腾(StorNext)。他表示,昆腾可能是其最为强劲的竞争对手,当然IBM与甲骨文则拥有更强大的销售渠道与客户基础。

    SpectraLogic据称已经成为Versity公司的一位合作伙伴。

    在我们看来,业务规模有限与来自克雷的投资并不能说明什么;必须承认,这是一家严肃的厂商,其拥有出色的归档方案,而且VSM的多线程速度也的确令人印象深刻。

    其向外扩展发展思路也解决了各对象存储厂商在构建文件系统时始终存在的扩展能力有限这一问题。S3后端接口将使得VSM成为一套面向面向POSIX应用用户的对象存储网关,其它后续对象存储API的推出也将进一步强化这种能力。另外,向外扩展文件系统的开发显得颇具潜力,因此我们将期待着这家年轻的企业在4个月后会交出怎样一份实际答卷。

    本文转自d1net(转载)

    相关实践学习
    对象存储OSS快速上手——如何使用ossbrowser
    本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
    相关文章
    |
    8月前
    |
    存储 人工智能 Cloud Native
    阿里云渠道商:OSS与传统存储系统的差异在哪里?
    本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
    |
    10月前
    |
    存储 运维 安全
    阿里云国际站OSS与自建存储的区别
    阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
    |
    存储 人工智能 Kubernetes
    AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
    阿里云对象存储OSS是一款海量、安全、低成本、高可靠的云存储服务,是用户在云上存储的高性价比选择…
    |
    存储 Kubernetes 对象存储
    StrmVol存储卷:如何解锁K8s对象存储海量小文件访问性能新高度?
    如何提升海量文件的数据读取速率,对于AI训练集管理、量化回测、时序日志分析等场景尤为重要。阿里云容器服务(ACK))支持StrmVol类型存储卷,基于底层虚拟块设备及内核态文件系统,显著降低海量小文件访问延迟。
    |
    存储 Kubernetes 对象存储
    StrmVol 存储卷:解锁 K8s 对象存储海量小文件访问性能新高度
    本文介绍了阿里云容器服务(ACK)支持的StrmVol存储卷方案,旨在解决Kubernetes环境中海量小文件访问性能瓶颈问题。通过虚拟块设备与内核态文件系统(如EROFS)结合,StrmVol显著降低了小文件访问延迟,适用于AI训练集加载、时序日志分析等场景。其核心优化包括内存预取加速、减少I/O等待、内核态直接读取避免用户态切换开销,以及轻量索引快速初始化。示例中展示了基于Argo Workflows的工作流任务,模拟分布式图像数据集加载,测试结果显示平均处理时间为21秒。StrmVol适合只读场景且OSS端数据无需频繁更新的情况,详细使用方法可参考官方文档。
    2315 145
    |
    存储 弹性计算 数据管理
    阿里云对象存储oss怎么收费?存储费用+流量收费标准
    阿里云对象存储OSS收费标准包含存储费、流量费及请求费等,支持按量付费与包年包月两种模式。标准型本地冗余存储按量付费价格为0.09元/GB/月,包年包月500GB预留空间优惠价118元/年。流量费仅收取公网出方向费用,忙时0.50元/GB,闲时0.25元/GB。更多详情可参考官方页面。
    2644 91
    |
    存储 人工智能 测试技术
    AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
    OSSFS 2.0通过轻量化协议设计、协程化技术及FUSE3低级API重构,实现大文件顺序读写与小文件高并发加载的显著提升,在实际测试中表现出高达数十倍的吞吐量增长。适用于机器学习训练、推理等对高带宽低延迟要求严苛的场景,同时支持静态和动态挂载方式,方便用户在ACK集群中部署使用。
    1608 34
    |
    存储 关系型数据库 MySQL
    成本直降30%!RDS MySQL存储自动分层实战:OSS冷热分离架构设计指南
    在日均订单量超500万的场景下,MySQL数据年增200%,但访问集中在近7天(85%)。通过冷热数据分离,将历史数据迁移至OSS,实现存储成本下降48%,年省72万元。结合RDS、OSS与Redis构建分层架构,自动化管理数据生命周期,优化查询性能与资源利用率,支撑PB级数据扩展。
    825 3