存储初创企业Versity公司S3对象存储接口

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

存储初创企业Versity公司提供S3对象存储接口

 大量数字化处理对象。

Versity公司是一家采用多线程SAM-QFS的归档软件初创企业。

这家年轻的公司成立于2011年3月,CEO Bruce Gilpin拥有风险投资背景,而CTO则为Harriet Coverston。她自1986年起即在LSC(即Large Storage Configurations)公司工作并担任技术负责人职务,而该公司正是QFS(即快速文件系统)的开发方。

QFS能够对磁盘驱动器进行分组,并为其提供一套文件系统。该软件后被Sun公司收购,Coverston亦在工作一段时间后随甲骨文收购Sun而转投数据库巨头旗下。

在Sun公司中,QFS与存储及归档管理器(简称SAM)配合使用,后者负责管理磁盘与磁带等批量存储资源,而SAM-QFS即由此而生。Sun公司于2008年3月将其纳入OpenSolaris项目。这是一款层级化存储管理产品(简称HSM),能够将冷门文件由前端磁盘复制至磁带(IBM、LTO与甲骨文格式),整个过程以后台方式运行并可根据需要随时恢复至磁盘内。

甲骨文公司目前的Hierarchical Storage Manager正是基于SAM-QFS。

Versity公司为自筹资金所建立,并在其后的两年中一直以节俭与延迟结款方式进行运作,直到2013年7月获得来自克雷公司的A轮资助。克雷公司为其高性能计算市场上的一家分销合作伙伴。2014年4月,Versity存储管理器(简称VSM)软件产品正式发布。

该软件已经拥有10到20家客户,其中包括利用其管理250 PB数据的Ovation Data公司。另外,去年Versity公司签下了一份总额达100万美元的订单。

Gilpin在采访时指出,VSM是一款开源软件,用户以订阅方式加以使用。具体来讲,VSM属于专有开源产品,其以合法方式使用SAM-QFS源代码,并由Versity方面基于CDDL进行授权。

其架构特性包括:

专门构建的归档文件系统提供业界领先的性能表现。

基于策略的数据管理应用提供自动化存储分层,从而实现持续存储优化效果。

基于开源SAM-QFS的技术方案目前已经在为全球范围内的数百座客户站点服务。

写入为open tar文件格式以降低供应商依赖性。

  • 存储初创企业Versity公司提供S3对象存储接口

      软件的运行速度据称亦相当出色:

    Tunable系统参数调整可面向任意应用、网络类型或者存储技术起效。

    以接近存储硬件原始速度的水平实现文件归档移动。

    元数据可进行拆分存储以提升吞吐能力,或者根据环境内事务处理情况进行穿插存储。

    可变DAU(即磁盘分配单元)机制拥有出色的大型与小型文件处理性能,且可调整以支持多种不同工作负载。

    VSM并非对象存储方案,亦不属于并行文件系统。具体来讲,这是一套适用于那些不希望面向对象API进行写入,但又需要保留自身现有POSIX接口的企业客户的归档存储方案。

    发展

    Versity公司正着手为其后端存储发布S3接口,旨在将其作为公有云或者内部S3所能使用的对象存储机制。目前已经有一家客户选择这种使用方式,Gilpin表示其"硬件供应商正是内部对象存储厂商之一。"

    为什么Versity公司要支持对象接口?该公司给出的答案是,"因为Web规模数据中心虽然已经建立起对象存储体系,但其余企业仍然在使用POSIX,而且二者之间无法往来迁移。"

    Versity公司还在着手添加一套二级对象存储接口,旨在利用较S3更快速也更简单的方式将VSM与内部对象存储体系加以结合。根据我们掌握的情况,由此构建的系统在使用成本上仅为Amazon S3存储的三分之一。

    我们猜测其后端对象存储供应商很可能是Cloudian公司。

    多线程

    多个文件被打包为单一TAR文件,即所谓流量重塑机制,其随后作为单一条目被写入至归档备份存储内。此TAR文件的大小可通过策略进行设置。

    VSM随后会使用运行在一个或者多个处理器核心上的线程进行多线程IO。该软件的部分开发人员来自Lustre公司,且对并行文件系统拥有深刻理解。Gilpin就速度水平给出说明,表示VSM在使用5000美元戴尔服务器(配备双10 GbitE网卡)的情况下能够实现每秒1.8 GB的后端存储写入速度。其读取速度则为每秒2.1 GB。

    这一水平与DataCore所使用的Parallel Server技术基本类似。

    Gilpin指出,VSM的速度水平高于Avere文件管理器、对象存储与云访问加速产品。

    向外扩展文件系统

    Versity公司正在着手开发一套向外扩展POSIX文件系统,其可应对高达1万亿个文件。这套方案将匹配对象存储系统,而且已经拥有8个月的过往开发周期。该公司希望在今年10月推出这套文件系统的alpha演示版本。

    这将是一套对等系统,其中不存在主节点,同时采用字节范围锁定与B树数据结构。

    Gilpin指出,其专门针对归档需求所设计,而对字节范围内的POSIX加以忽略,意味着默认情况下不存在文件锁定。如果出现可能将其速度拖慢至NFS水平的资源竞争情况,元数据会得到优先处理。

    而这将成为Versity公司的下一代产品。

    Gilpin同时指出,Versity公司正在考量如何更好地从Lustre系统中提取文件,甚至直接支持Lustre文件格式。

    竞争关系与评论意见

    其竞争对手包括IBM(LTFS LE、TSM与HPSS)、甲骨文(SAM-QFS、甲骨文HSM)、SGI(DSM)以及昆腾(StorNext)。他表示,昆腾可能是其最为强劲的竞争对手,当然IBM与甲骨文则拥有更强大的销售渠道与客户基础。

    SpectraLogic据称已经成为Versity公司的一位合作伙伴。

    在我们看来,业务规模有限与来自克雷的投资并不能说明什么;必须承认,这是一家严肃的厂商,其拥有出色的归档方案,而且VSM的多线程速度也的确令人印象深刻。

    其向外扩展发展思路也解决了各对象存储厂商在构建文件系统时始终存在的扩展能力有限这一问题。S3后端接口将使得VSM成为一套面向面向POSIX应用用户的对象存储网关,其它后续对象存储API的推出也将进一步强化这种能力。另外,向外扩展文件系统的开发显得颇具潜力,因此我们将期待着这家年轻的企业在4个月后会交出怎样一份实际答卷。

    本文转自d1net(转载)

    相关实践学习
    借助OSS搭建在线教育视频课程分享网站
    本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
    相关文章
    |
    4月前
    |
    存储 关系型数据库 MySQL
    MySQL——数据库备份上传到阿里云OSS存储
    MySQL——数据库备份上传到阿里云OSS存储
    193 0
    |
    16天前
    |
    存储 弹性计算 数据管理
    阿里云对象存储OSS收费标准:存储、流量和请求等多个计费项详解
    阿里云对象存储OSS提供多样化的计费模式,涵盖存储、流量、请求等多项费用。存储费用方面,按量付费标准型为0.09元/GB/月,包年包月则有9元40GB等多种选择。流量费用仅对公网出方向收费,价格区间从0.25至0.50元/GB不等,支持按量付费与流量包抵扣两种方式。更多详情及精准报价,欢迎访问阿里云OSS官方页面。
    1287 1
    |
    1月前
    |
    存储 弹性计算 数据管理
    阿里云对象存储OSS收费标准,存储、流量和请求等多个计费项
    阿里云对象存储OSS提供按量付费与包年包月两种计费方式,涵盖存储、流量、请求等费用。标准存储按量付费0.09元/GB/月,包年包月40GB起售,价格9元/年。公网流量出方向收费,内网及上传免费。具体费用视使用情况而定,详情见官网。
    309 0
    |
    3月前
    |
    存储 监控 数据可视化
    SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
    【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
    179 9
    |
    4月前
    |
    存储 JavaScript 前端开发
    Vue中实现图片上传,上传后的图片回显,存储图片到服务器 【使用对象存储OSS】
    这篇文章介绍了在Vue中实现图片上传到阿里云OSS对象存储服务的完整流程,包括服务端签名直传的前提知识、后端设置、前端组件封装以及图片上传和回显的效果展示。
    |
    4月前
    |
    存储 Java 关系型数据库
    实时计算 Flink版产品使用问题之以jar包方式同步数据是否需要定义存储oss的位置
    实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
    |
    5月前
    |
    运维 Serverless 对象存储
    函数计算产品使用问题之如何配合OSS实现接口收到的图片或文件直接存入OSS
    函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
    |
    6月前
    |
    存储 分布式计算 大数据
    MaxCompute产品使用合集之是否支持创建OSS外部表为分区表,并访问OSS上以分区方式存储的数据
    MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
    |
    6月前
    |
    文字识别 算法 API
    视觉智能开放平台产品使用合集之在调用接口传入的图片URL参数,文件在本地或者非上海地域OSS链接,该怎么办
    视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
    |
    6月前
    |
    存储 分布式计算 关系型数据库
    实时数仓 Hologres产品使用合集之是否提供相应的功能接口和指令,可以将数据从OSS存储同步到Hologres中进行分析
    实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
    下一篇
    DataWorks