云场景实践研究第26期:基云惠康

本文涉及的产品
云服务器 ECS,u1 2核4GB 3个月
云服务器 ECS,u1 4核16GB 1个月
云服务器 ECS,u1 4核8GB 1个月
简介: 作为首家将基因数据分析业务部署到阿里云上的公司,基云惠康通过使用批量计算服务,最终使成本控制在了两位数,比最开始节省了近90%的成本。本文将从数据分析与解读流程的角度,带领大家了解基云惠康如何借助阿里云的力量降低数据分析成本。
更多云场景实践研究案例,点击这里: 【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽
基云惠康公司,立志通过基因来惠及大众健康,通过使用批量计算服务,最终使批量计算的成本控制在了两位数,比最开始直接在ECS上搭建分析流程节省了近90%的成本。本文将从数据分析与解读流程的角度,带领大家了解基云惠康如何借助阿里云的力量降低数据分析成本。
俗话说时间就是金钱,这在使用“云”分析基因数据时体现的淋漓尽致。要想分析时间短,就需要更多的计算资源,相应的成本就会直线上升,而要想节约成本,就需要以时间换取资源。
基云惠康公司成立于2014年,公司的口号是知基因,惠健康。惠健康的第一步就是要知基因,知基因就要对基因数据进行分析与解读。要知道人全基因组测序的原始数据一般在300G左右,压缩为fastq格式也要60G左右,怎么快速低成本的分析这些数据是一个比较棘手的问题。后来由于“云”的大势所趋,经过综合分析对比AWS、腾讯云、百度云和阿里云,公司最终决定将基因数据分析流程搭建在阿里云上。

采用的阿里云产品
  • 阿里云负载均衡 SLB
  • 阿里云云服务器 ECS
  • 阿里云云数据库 RDS
  • 阿里云云数据库 MySQL 版
  • 阿里云云数据库 Redis
  • 阿里云表格存储 TableStore
  • 阿里云批量计算 BatchCompute
  • 阿里云对象储存 OSS
  • 阿里云归档存储 OAS
  • 阿里云基础防护
  • 阿里云安骑士
  • 阿里云云监控

为什么使用阿里云
自购服务器搭集群价格高昂,基因数据比较敏感。
在小集群上数据分析流程冗长,完成一个样本分析的成本很高,时间也长。
需要在保证数据分析结果准确性的前提下,取得时间和成本上的最佳平衡。

关于基云惠康
基云惠康科技有限公司成立于2014年, 团队由遗传学、生物学、计算机、生物信息、大数据背景的专家组成,致力于通过基因组技术改善大众健康。公司专注于全基因组数据分析、解读和基因应用的开发,其自主研发的基因组云分析和解读服务(Genome Analysis and Interpretation in Cloud)GAIC能够以更快的速度、更低的成本完成人类基因组数据的分析和解读。公司已获得中关村高新技术企业和国家高新技术企业称号,并参与了国家“精准医疗”项目。

基云惠康痛点所在
在上云前,公司原打算是自己购买服务器搭集群,后来由于搭建成本的原因,加之基因数据比较敏感,决定将基因数据分析流程搭建在阿里云上。在上云初期,公司直接在阿里云上买了几台ECS服务器,组建成一个小集群,在集群上搭建了半自动数据分析流程。分析一个人全基因组数据还需要手动调用资源,拼接分析流程,完成一个样本的分析成本很高,时间也很长。迫切需要一种降低成本的解决方案。

为什么选择阿里云?
基云惠康通过上云降低了数据分析成本
基云惠康可以说是首家将基因数据分析业务部署到阿里云上的公司。在2014年末, 阿里云开发出了一款强大的计算服务--“帝喾”,基云惠康公司参与了该服务的内测。在15年7月,阿里云在云栖大会正式发布了帝喾服务,改名为批量计算。此后随着批量计算的重大升级和迁移,公司的技术人员也会对数据分析流程进行针对性的调整升级。到目前为止,基云惠康公司已在阿里云的批量计算服务上分析了上千的人的基因样本数据,经过不断的调整优化,数据分析成本已降到了很低。

d1d926b911f8d63790becc1cfc57fc4768bc0b41

使用阿里云产品构建数据分析平台架构
f19495fd0d319c5f469202c4b16e0ddeb11b85f5

基于公司的现实情况,阿里云提供的这个解决方案架构还是很完善的,包括 归档存储、表格存储以及其他的产品都投入实施。
基因数据存储可选的 阿里云服务有OSS和归档存储,对于近期使用的样本数据采用对象存储,对于超1年未使用的样本数据将转存到归档存储中。
基因数据分析模块有 ECS和批量计算。其中一台 ECS作为批量计算的镜像,一台 ECS作为分析流程交互服务器,使用批量计算来进行数据分析。完成一个人的全基因组数据分析大概需要使用500核时的计算资源。
安全与监控模块有 基础防护、安骑士和云监控,对这些服务的使用是必须的。基云惠康对基因数据的保护除使用阿里云自身提供的安全防护外,还使用了自研的三层加密隔离防护技术。
数据库存储包括了 RDS、Redis、TableStore。对基云惠康来说,使用了 RDS中的mysql关系数据库来存储样本的解读报告等数据。Redis作为对外提供解读服务的缓存加速服务。计划使用 TableStore表格存储解读后的用户突变数据。
Web服务中使用了http服务器和负载均衡。

在阿里云批量计算服务上运行基因组数据分析业务
162f6e4fe788aaeec510ca6215529e70fe85f003

这是使用 阿里云批量计算服务处理人基因组数据作业的有向无环图,图例中的每个节点都是流程的一个任务,每个任务又包含多个处理步骤,对应调用的资源也不尽相同。
1、data_preparation,为基因组数据准备任务,包括数据完整性验证、数据质量校验等。
2、split_R1和split_R2,双端测序两个fastq文件的切分job,每个切分步骤中又包括了gz文件解压、数据切分、压缩成gz格式等任务。
3、QC_mapping,该任务会根据上一步切分的文件个数启用相应个数的实例,每个实例处理同一编号R1和R2两个文件,包括对文件进行BWA比对,使用samtools将得到的bam文件按照染色体输出任务,每个实例得到1-22,X,Y,M共25个bam文件。
4、Mergechr_Analysis,这一步会启用25个实例,分别处理包括MT在内的25个染色体对应的bam文件,将每条染色体零散的bam文件合并成对应染色体完整的bam文件并进行dup操作,染色体数据统计和cnv的检测。
5、gatk0、gatk1、gatk2、gatk3,将得到的比对后的bam文件使用GATK软件进行变异检测。检测突变的过程包括了RealignerTargetCreator、IndelRealigner、BaseRecalibrator、PrintReads、UnifiedGenotyper、VariantRecalibrator、ApplyRecalibration等过程。如果对GATK的变异检测流程感兴趣可以到GATK官网具体查询。
6、Mergebam,该任务是将包括MT在内的25条染色体bam文件合并成一个完整的bam文件,并对数据进行一些统计工作以进行后续的分析。
7、MarkDuplicates,去除PCR重复reads。
8、SV,用来检测结构变异及注释。
9、result,汇总最终得到的结果文件,这些结果包括了突变结果(snp、indel、cnv、sv等)、数据质控和统计结果、bam文件等。

使用阿里云批量计算服务后的成效
在使用了 阿里云批量计算服务之后,整个人全基因组数据分析下来耗时12个小时左右,共使用500核时左右的资源,使用批量计算的成本控制在了两位数,比最开始直接在ECS上搭建分析流程节省了近90%的成本。
在成本节省的同时,批量计算服务使大批量的基因数据同时分析成为可能,目前已实际运行过同时提交100个全外显子组数据,在12个小时内全部分析完成。

原文发布日期:2017-2-9
云栖社区场景研究小组成员:董普庆,仲浩。
相关文章
|
人工智能 物联网 大数据
云场景实践研究第89期:中信集团
中信云平台从立项到上线仅用了1个月,用户数从0发展到13万仅用了5个月。快,是中信2016年的工作总结重要的一项。如今,中信集团正在通过云计算、大数据、人工智能等技术实现互联互通的数字化建设,并通过数字化实现业务转型,找到新价值定位,形成新商业模式。
3106 0
|
存储 分布式计算 安全
云场景实践研究第84期:东润环能
让东润环能选择阿里云的原因,除了阿里云强大的云平台能力之外,还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。最重要的是采用阿里云数加,东润环能可以将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,将更多的精力和成本投入到业务方面。
2316 0
|
监控 数据可视化 大数据
云场景实践研究第86期:美甲帮
借助阿里云的力量,美甲帮实现了针对百万用户的精细运营,并且在业务上更敏捷、更智能、更具洞察力,还能够快速响应新业务的数据及分析需求。
2041 0
|
数据采集 分布式计算 算法
云场景实践研究第57期:明源云
本文中,明源云分享了整个的地产行业在阿里云大数据平台上的探索应用实践。自定义构建设计企业内部数据管理平台DMP平台,并通过应用场景诠释了大数据在地产行业的作用。
2132 0
|
运维 物联网 关系型数据库
云场景实践研究第58期:华信瑞德
华信瑞德做为国内首家标识系统全产业链整体解决方案服务商,大多服务传统企业,通过拥抱云计算,发展空间更广阔。阿里云为其推荐了其认证的区域服务商——上海驻云信息科技有限公司。帮助华信瑞德轻松上云,并实现云上系统以及应用稳定、高效的运行,让其能更加专注于自身业务。
1915 0
|
新零售 存储 安全
云场景实践研究第62期:华栖云
在云栖大会成都峰会上,华栖云联合阿里云发布“云上电视台”解决方案,面向电视台新媒体部门,面向视频PGC/UGC,在阿里公共云上,一站式提供从直播、点播、短视频的生产、制作、发布到用户数据存留分析、精准推送、视频内容的生命周期管理等全套的解决方案。
2307 0
|
存储 弹性计算 API
云场景实践研究第39期:WeGene
作为一家主打个人基因测序服务的公司,WeGene(微基因),通过使用阿里云服务,不仅为用户提供健壮的网络服务,而且还为公司提供基因分析需要的海量计算资源。本文将具体分析阿里云在实际中如何帮助WeGene简化数据存储、传输、计算等方面的问题。
2277 0
|
弹性计算 关系型数据库 RDS
云场景实践研究第30期:梅子淘源
梅子淘源作为一家初创公司,在上云后快速搭建了业务流程,使其可以再最熟悉的环境下起步,同时在云盾的保护下,保障了平台网站安全。本文将带领大家一同领略梅子淘源在上云之路中的感悟。
1652 0
|
弹性计算 关系型数据库 测试技术
云场景实践研究第50期:咕咚
咕咚是独树一帜的互联网运动品牌,全国最大的全民运动社交平台,近几年,企业的活跃用户数在快速增加,对云资源的需求也在不断增长,原有的云资源已无法满足业务诉求。在阿里云的帮助下,企业选择从原有的经典网络迁移到专有网络,很好地满足了对云资源的需求。
2505 0
|
存储 Web App开发 弹性计算
云场景实践研究第48期:九游
要提升业务交付能力,亦要保证成本,九游利用阿里云OSS的能力,提升交付,降低成本,实现了发行高服务能力及高性价比的完美平衡。本文将从技术方面,向大家展示阿里云是如何支持九游的运维的。
1787 0

热门文章

最新文章