存储初创企业Versity公司提供S3对象存储接口

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

存储初创企业Versity公司提供S3对象存储接口

大量数字化处理对象。

Versity公司是一家采用多线程SAM-QFS的归档软件初创企业。

这家年轻的公司成立于2011年3月,CEO Bruce Gilpin拥有风险投资背景,而CTO则为Harriet Coverston。她自1986年起即在LSC(即Large Storage Configurations)公司工作并担任技术负责人职务,而该公司正是QFS(即快速文件系统)的开发方。

QFS能够对磁盘驱动器进行分组,并为其提供一套文件系统。该软件后被Sun公司收购,Coverston亦在工作一段时间后随甲骨文收购Sun而转投数据库巨头旗下。

在Sun公司中,QFS与存储及归档管理器(简称SAM)配合使用,后者负责管理磁盘与磁带等批量存储资源,而SAM-QFS即由此而生。Sun公司于2008年3月将其纳入OpenSolaris项目。这是一款层级化存储管理产品(简称HSM),能够将冷门文件由前端磁盘复制至磁带(IBM、LTO与甲骨文格式),整个过程以后台方式运行并可根据需要随时恢复至磁盘内。

甲骨文公司目前的Hierarchical Storage Manager正是基于SAM-QFS。

Versity公司为自筹资金所建立,并在其后的两年中一直以节俭与延迟结款方式进行运作,直到2013年7月获得来自克雷公司的A轮资助。克雷公司为其高性能计算市场上的一家分销合作伙伴。2014年4月,Versity存储管理器(简称VSM)软件产品正式发布。

该软件已经拥有10到20家客户,其中包括利用其管理250 PB数据的Ovation Data公司。另外,去年Versity公司签下了一份总额达100万美元的订单。

Gilpin在采访时指出,VSM是一款开源软件,用户以订阅方式加以使用。具体来讲,VSM属于专有开源产品,其以合法方式使用SAM-QFS源代码,并由Versity方面基于CDDL进行授权。

其架构特性包括:

• 专门构建的归档文件系统提供业界领先的性能表现。

• 基于策略的数据管理应用提供自动化存储分层,从而实现持续存储优化效果。

• 基于开源SAM-QFS的技术方案目前已经在为全球范围内的数百座客户站点服务。

• 写入为open tar文件格式以降低供应商依赖性。

• <Li<Standard POSIX文件系统能够支持更为广泛的应用类型。

存储初创企业Versity公司提供S3对象存储接口

软件的运行速度据称亦相当出色:

• Tunable系统参数调整可面向任意应用、网络类型或者存储技术起效。

• 以接近存储硬件原始速度的水平实现文件归档移动。

• 元数据可进行拆分存储以提升吞吐能力,或者根据环境内事务处理情况进行穿插存储。

• 可变DAU(即磁盘分配单元)机制拥有出色的大型与小型文件处理性能,且可调整以支持多种不同工作负载。

VSM并非对象存储方案,亦不属于并行文件系统。具体来讲,这是一套适用于那些不希望面向对象API进行写入,但又需要保留自身现有POSIX接口的企业客户的归档存储方案。

发展

Versity公司正着手为其后端存储发布S3接口,旨在将其作为公有云或者内部S3所能使用的对象存储机制。目前已经有一家客户选择这种使用方式,Gilpin表示其"硬件供应商正是内部对象存储厂商之一。"

为什么Versity公司要支持对象接口?该公司给出的答案是,"因为Web规模数据中心虽然已经建立起对象存储体系,但其余企业仍然在使用POSIX,而且二者之间无法往来迁移。"

Versity公司还在着手添加一套二级对象存储接口,旨在利用较S3更快速也更简单的方式将VSM与内部对象存储体系加以结合。根据我们掌握的情况,由此构建的系统在使用成本上仅为Amazon S3存储的三分之一。

我们猜测其后端对象存储供应商很可能是Cloudian公司。

多线程

多个文件被打包为单一TAR文件,即所谓流量重塑机制,其随后作为单一条目被写入至归档备份存储内。此TAR文件的大小可通过策略进行设置。

VSM随后会使用运行在一个或者多个处理器核心上的线程进行多线程IO。该软件的部分开发人员来自Lustre公司,且对并行文件系统拥有深刻理解。Gilpin就速度水平给出说明,表示VSM在使用5000美元戴尔服务器(配备双10 GbitE网卡)的情况下能够实现每秒1.8 GB的后端存储写入速度。其读取速度则为每秒2.1 GB。

这一水平与DataCore所使用的Parallel Server技术基本类似。

Gilpin指出,VSM的速度水平高于Avere文件管理器、对象存储与云访问加速产品。

向外扩展文件系统

Versity公司正在着手开发一套向外扩展POSIX文件系统,其可应对高达1万亿个文件。这套方案将匹配对象存储系统,而且已经拥有8个月的过往开发周期。该公司希望在今年10月推出这套文件系统的alpha演示版本。

这将是一套对等系统,其中不存在主节点,同时采用字节范围锁定与B树数据结构。

Gilpin指出,其专门针对归档需求所设计,而对字节范围内的POSIX加以忽略,意味着默认情况下不存在文件锁定。如果出现可能将其速度拖慢至NFS水平的资源竞争情况,元数据会得到优先处理。

而这将成为Versity公司的下一代产品。

Gilpin同时指出,Versity公司正在考量如何更好地从Lustre系统中提取文件,甚至直接支持Lustre文件格式。

竞争关系与评论意见

其竞争对手包括IBM(LTFS LE、TSM与HPSS)、甲骨文(SAM-QFS、甲骨文HSM)、SGI(DSM)以及昆腾(StorNext)。他表示,昆腾可能是其最为强劲的竞争对手,当然IBM与甲骨文则拥有更强大的销售渠道与客户基础。

SpectraLogic据称已经成为Versity公司的一位合作伙伴。

在我们看来,业务规模有限与来自克雷的投资并不能说明什么;必须承认,这是一家严肃的厂商,其拥有出色的归档方案,而且VSM的多线程速度也的确令人印象深刻。

其向外扩展发展思路也解决了各对象存储厂商在构建文件系统时始终存在的扩展能力有限这一问题。S3后端接口将使得VSM成为一套面向面向POSIX应用用户的对象存储网关,其它后续对象存储API的推出也将进一步强化这种能力。另外,向外扩展文件系统的开发显得颇具潜力,因此我们将期待着这家年轻的企业在4个月后会交出怎样一份实际答卷。


原文发布时间为:2016年6月24日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
2月前
|
存储 安全 开发工具
oss加密存储
阿里云OSS为数据安全提供多种加密机制,包括服务器端的SSE-S3(AES-256透明加密)、SSE-C(用户管理密钥)和CSE-KMS(结合KMS进行密钥管理)。此外,OSS支持客户端加密SDK和HTTPS传输加密,确保数据在传输和存储时的安全。通过ACL、Bucket策略和访问密钥身份验证,实现权限控制与身份验证,全方位保障用户数据的安全性和隐私。用户可按需选择适合的加密方式。
128 2
|
1月前
|
存储 分布式计算 大数据
MaxCompute产品使用合集之是否支持创建OSS外部表为分区表,并访问OSS上以分区方式存储的数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1月前
|
存储 DataWorks 关系型数据库
DataWorks产品使用合集之在使用数据集成中的同步任务从mysql同步表到oss,存储为csv时,最终生成的文件中没有表头,这个属性可以在哪里配置么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
22天前
|
文字识别 算法 API
视觉智能开放平台产品使用合集之在调用接口传入的图片URL参数,文件在本地或者非上海地域OSS链接,该怎么办
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
1月前
|
存储 分布式计算 关系型数据库
实时数仓 Hologres产品使用合集之是否提供相应的功能接口和指令,可以将数据从OSS存储同步到Hologres中进行分析
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
2月前
|
存储 SQL 关系型数据库
存储系统、数据库和对象存储 | 青训营
存储系统、数据库和对象存储 | 青训营
|
2月前
|
存储 安全 数据安全/隐私保护
oss数据加密与存储
阿里云OSS提供多种数据加密(SSE-S3, SSE-KMS, SSE-C, CSE-KMS)与存储安全措施,包括服务器和客户端加密、数据在磁盘上加密存储、多重冗余备份、访问控制列表和HTTPS安全传输。KMS支持密钥管理,确保数据静态和传输时的安全。严格的访问策略和身份验证保护资源免受未授权访问,满足高安全性和合规性需求。
111 3
|
2月前
|
存储 安全 API
对象存储OSS产品常见问题之附件上传后存储存在被窃取的风险如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
118 0
|
2月前
|
存储 移动开发 安全
对象存储OSS产品常见问题之目前只看到能够下载对账单,但是想通过接口获取数据获取如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
|
2月前
|
存储 对象存储 Python
Python中使用阿里云OSS存储实现文件上传和下载功能
Python中使用阿里云OSS存储实现文件上传和下载功能
887 2