开发者社区> 场景研读> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

云场景实践研究第26期:基云惠康

简介: 作为首家将基因数据分析业务部署到阿里云上的公司,基云惠康通过使用批量计算服务,最终使成本控制在了两位数,比最开始节省了近90%的成本。本文将从数据分析与解读流程的角度,带领大家了解基云惠康如何借助阿里云的力量降低数据分析成本。
+关注继续查看
更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽
基云惠康公司,立志通过基因来惠及大众健康,通过使用批量计算服务,最终使批量计算的成本控制在了两位数,比最开始直接在ECS上搭建分析流程节省了近90%的成本。本文将从数据分析与解读流程的角度,带领大家了解基云惠康如何借助阿里云的力量降低数据分析成本。
俗话说时间就是金钱,这在使用“云”分析基因数据时体现的淋漓尽致。要想分析时间短,就需要更多的计算资源,相应的成本就会直线上升,而要想节约成本,就需要以时间换取资源。
基云惠康公司成立于2014年,公司的口号是知基因,惠健康。惠健康的第一步就是要知基因,知基因就要对基因数据进行分析与解读。要知道人全基因组测序的原始数据一般在300G左右,压缩为fastq格式也要60G左右,怎么快速低成本的分析这些数据是一个比较棘手的问题。后来由于“云”的大势所趋,经过综合分析对比AWS、腾讯云、百度云和阿里云,公司最终决定将基因数据分析流程搭建在阿里云上。

采用的阿里云产品
  • 阿里云负载均衡 SLB
  • 阿里云云服务器 ECS
  • 阿里云云数据库 RDS
  • 阿里云云数据库 MySQL 版
  • 阿里云云数据库 Redis
  • 阿里云表格存储 TableStore
  • 阿里云批量计算 BatchCompute
  • 阿里云对象储存 OSS
  • 阿里云归档存储 OAS
  • 阿里云基础防护
  • 阿里云安骑士
  • 阿里云云监控

为什么使用阿里云
自购服务器搭集群价格高昂,基因数据比较敏感。
在小集群上数据分析流程冗长,完成一个样本分析的成本很高,时间也长。
需要在保证数据分析结果准确性的前提下,取得时间和成本上的最佳平衡。

关于基云惠康
基云惠康科技有限公司成立于2014年, 团队由遗传学、生物学、计算机、生物信息、大数据背景的专家组成,致力于通过基因组技术改善大众健康。公司专注于全基因组数据分析、解读和基因应用的开发,其自主研发的基因组云分析和解读服务(Genome Analysis and Interpretation in Cloud)GAIC能够以更快的速度、更低的成本完成人类基因组数据的分析和解读。公司已获得中关村高新技术企业和国家高新技术企业称号,并参与了国家“精准医疗”项目。

基云惠康痛点所在
在上云前,公司原打算是自己购买服务器搭集群,后来由于搭建成本的原因,加之基因数据比较敏感,决定将基因数据分析流程搭建在阿里云上。在上云初期,公司直接在阿里云上买了几台ECS服务器,组建成一个小集群,在集群上搭建了半自动数据分析流程。分析一个人全基因组数据还需要手动调用资源,拼接分析流程,完成一个样本的分析成本很高,时间也很长。迫切需要一种降低成本的解决方案。

为什么选择阿里云?
基云惠康通过上云降低了数据分析成本
基云惠康可以说是首家将基因数据分析业务部署到阿里云上的公司。在2014年末,阿里云开发出了一款强大的计算服务--“帝喾”,基云惠康公司参与了该服务的内测。在15年7月,阿里云在云栖大会正式发布了帝喾服务,改名为批量计算。此后随着批量计算的重大升级和迁移,公司的技术人员也会对数据分析流程进行针对性的调整升级。到目前为止,基云惠康公司已在阿里云的批量计算服务上分析了上千的人的基因样本数据,经过不断的调整优化,数据分析成本已降到了很低。

d1d926b911f8d63790becc1cfc57fc4768bc0b41

使用阿里云产品构建数据分析平台架构
f19495fd0d319c5f469202c4b16e0ddeb11b85f5

基于公司的现实情况,阿里云提供的这个解决方案架构还是很完善的,包括归档存储、表格存储以及其他的产品都投入实施。
基因数据存储可选的阿里云服务有OSS和归档存储,对于近期使用的样本数据采用对象存储,对于超1年未使用的样本数据将转存到归档存储中。
基因数据分析模块有ECS和批量计算。其中一台ECS作为批量计算的镜像,一台ECS作为分析流程交互服务器,使用批量计算来进行数据分析。完成一个人的全基因组数据分析大概需要使用500核时的计算资源。
安全与监控模块有基础防护、安骑士和云监控,对这些服务的使用是必须的。基云惠康对基因数据的保护除使用阿里云自身提供的安全防护外,还使用了自研的三层加密隔离防护技术。
数据库存储包括了RDS、Redis、TableStore。对基云惠康来说,使用了RDS中的mysql关系数据库来存储样本的解读报告等数据。Redis作为对外提供解读服务的缓存加速服务。计划使用TableStore表格存储解读后的用户突变数据。
Web服务中使用了http服务器和负载均衡。

在阿里云批量计算服务上运行基因组数据分析业务
162f6e4fe788aaeec510ca6215529e70fe85f003

这是使用阿里云批量计算服务处理人基因组数据作业的有向无环图,图例中的每个节点都是流程的一个任务,每个任务又包含多个处理步骤,对应调用的资源也不尽相同。
1、data_preparation,为基因组数据准备任务,包括数据完整性验证、数据质量校验等。
2、split_R1和split_R2,双端测序两个fastq文件的切分job,每个切分步骤中又包括了gz文件解压、数据切分、压缩成gz格式等任务。
3、QC_mapping,该任务会根据上一步切分的文件个数启用相应个数的实例,每个实例处理同一编号R1和R2两个文件,包括对文件进行BWA比对,使用samtools将得到的bam文件按照染色体输出任务,每个实例得到1-22,X,Y,M共25个bam文件。
4、Mergechr_Analysis,这一步会启用25个实例,分别处理包括MT在内的25个染色体对应的bam文件,将每条染色体零散的bam文件合并成对应染色体完整的bam文件并进行dup操作,染色体数据统计和cnv的检测。
5、gatk0、gatk1、gatk2、gatk3,将得到的比对后的bam文件使用GATK软件进行变异检测。检测突变的过程包括了RealignerTargetCreator、IndelRealigner、BaseRecalibrator、PrintReads、UnifiedGenotyper、VariantRecalibrator、ApplyRecalibration等过程。如果对GATK的变异检测流程感兴趣可以到GATK官网具体查询。
6、Mergebam,该任务是将包括MT在内的25条染色体bam文件合并成一个完整的bam文件,并对数据进行一些统计工作以进行后续的分析。
7、MarkDuplicates,去除PCR重复reads。
8、SV,用来检测结构变异及注释。
9、result,汇总最终得到的结果文件,这些结果包括了突变结果(snp、indel、cnv、sv等)、数据质控和统计结果、bam文件等。

使用阿里云批量计算服务后的成效
在使用了阿里云批量计算服务之后,整个人全基因组数据分析下来耗时12个小时左右,共使用500核时左右的资源,使用批量计算的成本控制在了两位数,比最开始直接在ECS上搭建分析流程节省了近90%的成本。
在成本节省的同时,批量计算服务使大批量的基因数据同时分析成为可能,目前已实际运行过同时提交100个全外显子组数据,在12个小时内全部分析完成。

原文发布日期:2017-2-9
云栖社区场景研究小组成员:董普庆,仲浩。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云场景实践研究第90期:四川特驱集团&德康集团
近日,南方农村土墙上一条条人工智能养猪横幅刷爆了朋友圈,不难发现横幅中阿里云、ET大脑、特驱集团、德康集团等字样,押韵喜庆的语言风格背后是人工智能赋能养殖业的落地。2018年2月6日,阿里云与四川特驱集团、德康集团宣布达成合作,将对ET大脑针对性训练与研发,最终全面实现人工智能养猪,项目投入的费用将达数亿。
3977 0
云场景实践研究第25期:协鑫光伏
作为全球领先的光伏材料制造商,协鑫光伏与阿里云合作,通过云计算、大数据等新一代信息技术推动内部管理升级,目标实现透明化生产、数据化管理以及良品率提升,初期达到每年数千万的成本节省。本文将详细介绍协鑫与阿里云合作的模式,以及为企业所带来的价值。
3526 0
云场景实践研究第23期:掌慧纵盈
2016年,掌慧纵盈通过阿里云产品,率先构建了业界领先的大数据平台。本文将具体分析掌慧纵盈如何选择阿里云E-MapReduce等产品来满足需求和相应业务架构的实现。
1915 0
云场景实践研究第27期:袋鼠云
随着网站论坛粉丝数高涨,袋鼠云协助用户进行架构改造,实现了应用平滑上云,彻底改变原有平台的性能瓶颈和安全隐患,满足高量级用户同时访问,同时解决了国内外部分地区粉丝访问受限的问题,极大提高了用户体验。
1894 0
云场景实践研究第57期:明源云
本文中,明源云分享了整个的地产行业在阿里云大数据平台上的探索应用实践。自定义构建设计企业内部数据管理平台DMP平台,并通过应用场景诠释了大数据在地产行业的作用。
2008 0
云场景实践研究第20期:梨视频
作为中国领先的资讯类短视频生产者,梨视频采用阿里云平台搭建了数据处理系统和梨视频推荐系统,本文从架构和实现的角度介绍梨视频上云的实践经验。
1929 0
云场景实践研究第44期:昆山必捷必
作为目前国内公共文化领域排名前三的顶级集成商,昆山必捷必在上云之后,实例可用性达 99.95%,云盘数据可靠性不低于 99.9999999%。本文将带领大家一同了解昆山必捷必的上云之路。
1541 0
云场景实践研究第45期:梦想旅行
作为一家服务于出境自由行用户的公司,梦想旅行在上云之后,实现了海外访问的提速,以及高可用与容灾的架构优化。本文将带领大家一同了解梦想旅行如何借助阿里云达到高速海外访问与高可用、容灾架构的最佳实践。
1815 0
云场景实践研究第12期:有货
随着整体业务的高速发展、流量的爆发式增长,有货对系统进行了大面积的重构。首先,数据中心从传统的单一IDC演化成为“公有云+IDC”混合模式,同时应用系统也从原来的单体全站应用演变到以微服务为核心的架构模式,并且从多级缓存、服务的降级等多维度、全方面地提升了系统的可用性。
1514 0
云场景实践研究第7期:驴妈妈旅游网
随着业务的飞速发展,数据量和并发量高速增加,驴妈妈整体系统在根据业务量进行垂直拆分的情况下,同时对较长的流程进行水平拆分,并提供分布式部署,能实现日处理数万个订单;目前采用阿里云服务器、弹性计算,完成向云上架构转变,实现日处理数十万单甚至百万单业务量。
2351 0
+关注
场景研读
技术学习永无止境
文章
问答
文章排行榜
最热
最新
相关电子书
更多
云顶云&新概念 DevOps 实践
立即下载
阿里云生命科学解决方案分享
立即下载
阿里云机器学习技术与应用
立即下载