阿里云基因公共数据集使用说明文档

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 基因常用参考注释文件、大型科研项目数据、以及最新测序平台标准等有价值的数据文件,分散且体量庞大,不利于传播和使用。以云的方式,我们建立集中开放的共享环境,免除数据重复下载和拷贝,同时借助阿里云的计算规模和产品技术,用户可以立刻开始分析研究工作。2019新型冠状病毒毒株数据已经上线,欢迎大家使用。

使用说明文档

在申请数据集权限之前请先登录阿里云账号,并申请加入BIO-IT计划,点击申请

ED323AF6-8F6C-438f-B8EC-5A70274B51E0.png

快速开始
浏览目前提供数据集列表,查看具体项目信息,并申请权限。在收到审批通过邮件后,就可以开始使用了。您可以在具体项目详情页面提供的文件浏览器中,查看数据集文件。

数据存储说明
阿里云基因公共数据集使用对象存储OSS产品作为底层存储,数据文件按照源站目录结构进行梳理和组织,并提供必要的索引文件和元数据文件来进行说明。如果有准确性问题,欢迎帮助我们反馈改进

项目数据同时存储在阿里云一个或者多个数据中心,以保证用户的就近访问。项目存储信息包括该数据集支持的可用区域(Region),存储桶(Bucket)和访问域名(Endpoint)。用户可以根据实际情况选择合适的存储访问域名。

存储信息
TB14qk3qAL0gK0jSZFxXXXWHVXa-692-548.png

注意:在存储信息支持以外的区域,或者通过外网访问域名下载数据时,标识有“请求者”付费的项目,用户会产生流量费用。

基因公共数据集计划为所有项目提供免费存储,数据文件由数据提供方或者管理者进行上传,更新和维护。

使用限制

访问权限
所有项目数据默认不对外开放,用户按照步骤加入Bio-IT计划后,才可以申请指定项目权限。对于非完全公开的项目,可能还需要提供额外的资料,用于数据所有者的单独审批。所有的在线申请阿里云会在2-3个工作日内处理,您也可以通过ali-genomics@alibabacloud.com联系我们。

地域限制
项目数据存储具有地域性。用户在不同的地点和环境下访问数据,将会存在访问速度,访问费用上的差异。 在阿里云环境内,如华北2(北京),通过ECS等阿里云计算产品来访问同一区域的项目数据,可使用内网的访问域名(oss-cn-beijing-internal.aliyuncs.com), 能够高速下载数据,并且不产生任何费用。 如果用户需要通过外网访问域名(oss-cn-beijing.aliyuncs.com),在项目不支持的区域或者环境下下载数据文件,速度将主要取决您的网络带宽。在存储信息中标有"请求者付费”标签时,产生的"下载流量费用",将由您使用的阿里云账号承担。

数据可用性限制
根据更新策略,基因公共数据集文件可能会不定期进行更新和维护。在经过阿里云和数据提供方共同讨论后,数据集项目也可能会对外停止服务。用户被要求使用前,加入阿里云Bio-IT计划,并提供正确的联系方式。在发生影响原有数据可用性的事件前,该项目的已有用户将会收到提前通知。

具体使用方法
除网页浏览外,用户可以使用任何支持对象存储OSS的访问工具或者计算服务来使用基因公共数据集文件

1.准备工作
用户账号AK信息,你可以登录阿里云控制台,查看或者创建AK信息
1.png

申请需要的数据集权限,并已经审批通过
2.png

查看数据集的存储信息,了解数据集支持的区域,存储桶,访问域名和请求者付费等信息。
3.png

注意:请充分了解数据集的地域限制,根据你使用的阿里云产品或服务,选择正确的存储桶和访问域名。

2.使用OSS工具访问数据
OSS Browser客户端
下载并安装OSS Browser, 填入AK信息,并且选择正确的Region,和Preset OSS Path, 点击Login后,查看和下载数据
11.png

**注意:标注有请求者付费的项目,需要勾选“请求者付费”的选项。
**

Ossutil命令行工具
根据您的操作系统选择对应版本的软件下载并配置ossutil, 以linux系统(64位)为例

$./ossutil64 config
$./ossutil64 ls -e oss-cn-beijing.aliyuncs.com -d oss://gatk-test-data/
$./ossutil64 cp -e oss-cn-beijing.aliyuncs.com -r oss://gatk-test-data/wgs_ubam/NA12878_20k/ ./
注意:标注有请求者付费的项目,需要提供加上 --payer=requester , 用于表示您需要为数据的外网下载流量付费。

$./ossutil64 cp -e oss-cn-beijing.aliyuncs.com --payer=requester -r oss://gatk-test-data/wgs_ubam/NA12878_20k/ ./

开发SDK
你可以选择指定开发语言的SDK,并且参考网站提供的样例代码来访问数据文件。

3.使用阿里云计算服务访问数据
阿里云的计算产品,都可以直接支持OSS访问,例如批量计算,EMR作业中,用户指定基因数据集文件作为作业输入即可。以GATK4的WDL流程所需的input.json为例,用户可以指定Broad参考基因组文件,和GATK测试数据集中的比对参考序列和Demo的WGS fastq数据文件的OSS URL作为输入。
{
“reference”: “oss://broad-references/hg38/v0/Homo_sapiens_assembly38.fasta”
“fq1”: “oss://gatk-test-data/wgs_fastq/NA12878_20k/H06HDADXX130110.2.ATCACGAT.20k_reads_1.fastq”
“fq2”: “oss://gatk-test-data/wgs_fastq/NA12878_20k/H06HDADXX130110.2.ATCACGAT.20k_reads_2.fastq”
}

服务条款
阿里云“按原样”提供数据集,对此不作任何明示或暗示的保证。对于使用该等数据集仍需获得其他权利人的许可或同意的,您应自行获取授权或同意。对于因使用数据集而导致的任何直接或间接损害, 不承担任何责任。

阿里云无法保证任意数据集项目的连续可用性。因数据提供方要求、监管政策变化、项目终止等多种因素的影响,可能无法继续提供服务。用户在加入申请项目使用权限时,知晓并同意这一说明。在单个数据集项目无法继续时,根据登记时提供的邮箱地址,用户将会收到正式通知,在15天的关闭期内,数据集文件可以继续访问。完全关闭后,将不再继续提供服务。

常见问题
Q:公共数据集数据来源?没有我需要的数据

A:阿里云基因行业公共数据集提供的项目,包括了阿里云托管的公开项目数据集,和数据提供方管理和维护的项目数据集。如果没有包含您认为有价值的数据项目,请反馈给我们。我们可以根据用户需求,可能在后续更新中引入。对于拥有项目数据的机构,阿里云提供必要的支持来满足双方的合作。

Q:**使用公共数据集的收费么?
**
A:基因公共数据集是由阿里云提供数据存储,并且免费提供给阿里云用户进行访问。当计算或者应用服务,和数据集存储信息中的区域一致,用户使用内网地址来访问数据文件,不会产生任何费用。但是需要注意的是,标识有“请求者付费”的数据集项目,用户在通过公网下载数据时,需要支付数据流量费用。

编者按:非常欢迎大家使用公共数据集,欢迎大家互相沟通交流。

任何问题,请直接扫码咨询:
二维码是.jpg

目录
相关文章
|
6月前
|
文字识别 算法 API
视觉智能开放平台产品使用合集之人脸搜索返回的数据集,是如何进行排序的
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
2月前
|
人工智能 自然语言处理 语音技术
简介阿里云大模型的基本概况和产品矩阵
阿里云在大模型领域深入研究,推出了通义千问、通义万相、通义听悟等产品,涵盖自然语言处理、图像生成、语音识别等多个方面,同时提供行业专属模型和MaaS平台,致力于为企业和个人用户提供高效、智能的服务。
156 0
|
5月前
|
自然语言处理 安全 开发者
在构建知识库时,如何有效管理领域术语和同义词信息
在构建知识库时,如何有效管理领域术语和同义词信息
111 0
|
6月前
|
文字识别 算法 Java
视觉智能开放平台产品使用合集之在已有的N张照片中搜索包含特定人脸样本的照片,并获取置信度返回结果,该用哪个API
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
7月前
|
存储 人工智能 算法
【阿里云产品测评】揭秘阿里云向量检索服务:赋予智能时代搜索新“维度”
【1月更文挑战第3天】在数字化洪流席卷全球的今天,信息的表达与检索方式正在悄然变革。从字符到图像,再到复杂的多维度数据,我们正在步入一个深度理解、精准匹配的智能搜索新时代。此刻,阿里云推出的向量检索服务正以前沿技术之力,引领这一领域的创新潮流。 阿里云向量检索服务,内核采用自研的Proxima引擎,其强大之处在于能够实现水平拓展、全托管和云原生的高效向量检索。这就好比构建了一个可以无限延伸的“知识宇宙”,无论是大规模图像识别、语音识别模型生成的特征向量,还是复杂的大模型知识库结构化信息,都能通过向量化的形式被管理和高效检索。
|
SQL 分布式计算 监控
使用内置公开数据集快速体验MaxCompute
本教程会指导您基于MaxCompute提供的TPC-DS样例数据和GitHub公开事件样例数据,通过MaxCompute SQL分析,快速体验MaxCompute产品,完成开通、执行SQL语句查询数据。您无需进行数据同步,可直接上手体验数据分析。
|
JavaScript 数据可视化 搜索推荐
高德地图开发实战案例:使用Loca数据源展示海量点标注(海量点、自定义分类图标、聚合、信息提示、3D控件)
高德地图开发实战案例:使用Loca数据源展示海量点标注(海量点、自定义分类图标、聚合、信息提示、3D控件)
663 0
|
机器学习/深度学习 数据采集 存储
5 个章节、25 条规范,全方位 Get 数据集选择与创建的「百科全书」
5 个章节、25 条规范,全方位 Get 数据集选择与创建的「百科全书」
150 0
|
Web App开发 监控 安全
【应用分类】技术应用概述
【应用分类】技术应用概述
|
存储 数据采集 XML
大数据数据采集的数据来源的日志数据之搜索类数据
在大数据领域,数据采集是一个非常重要的环节。日志数据已经成为了大数据应用中不可或缺的一部分,尤其是搜索类数据。本文将介绍搜索类日志数据作为数据来源的特点以及其采集流程。
191 0