开发者社区> 场景研读> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

云场景实践研究第80期:华大基因

简介: 作为全球最大的基因组学研究中心,华大基因在阿里云的帮助下,实现了海量数据的及时获取、快速分析、安全储存。本文将带领大家一同了解华大基因的基于大数据分析的云计算实践之路。
+关注继续查看
更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽
作为全球最大的基因组学研究中心,华大基因在阿里云的帮助下,实现了海量数据的及时获取、快速分析、安全储存。本文将带领大家一同了解华大基因的基于大数据分析的云计算实践之路。
基因组学数据是“天然”的大数据,计算分析的价值会超过测序本身,与云计算和大数据技术的结合是行业的需要。
——黄泽辉
华大基因 BGI Online 产品总监

采用的阿里云产品
阿里云云服务器 ECS
阿里云对象存储 OSS
阿里云归档存储 OAS
阿里云专有网络 VPC
阿里云DDoS高防IP (云盾)
阿里云大数据计算服务 MaxCompute
阿里云 E-MapReduce
阿里云批量计算服务 BatchCompute

为什么使用阿里云
通过使用阿里云平台,不仅降低了数据分析门槛,用户也可直接在线上简单操作即可完成启动分析。
借助阿里云云计算,解决数据存储、传输、分析、安全问题。

关于华大基因
华大成立于1999年,是全球最大的基因组学研发机构。华大以“产学研”一体化的创新发展模式引领基因组学的发展,通过遍布全球的分支机构与产业链各方建立广泛的合作,将前沿的多组学科研成果应用于医学健康、农业育种、资源保存等领域,推动基因科技成果转化,实现基因科技造福人类。

华大基因痛点
随着生命科学领域数据爆炸式的增长,如何及时获取、快速分析、安全储存这些庞大的数据是华大基因急需解决的问题。

为什么选择阿里云?
通过阿里云平台降低数据分析门槛、简化用户操作
人一生的基因数据的管理和存储数据量相当庞大,而华大基因提供的基因快速检索和查询,涉及到基因数据在数据分析中的降维过程。过程中数据密集型和CPU密集型的计算分析任务,计算能力要求高,结果文件种类繁多,数据非结构化,不利于数据挖掘和可视化。目前使用了多地测序中心,用户分布广泛,数据共享和传输困难。
传统方案是基于大型计算设备和存储设备购买来解决,出于成本和服务器跟进速度的考量,华大基因 BGI Online 则搬到了云上,并且在分析层面上给用户定制化和个性化体验。不仅降低了数据分析门槛,用户也可直接在线上简单操作即可完成启动分析。

借助阿里云云计算,解决数据存储、传输、分析、安全问题
BGI Online作为大规模生物信息的分析平台,堪称基因行业的“应用市场”。依托部署在阿里云计算平台的服务,BGI Online更轻松地拥有了处理大规模基因组数据分析的能力。
f439ce6ad1b9a21c8a4ac66047b70234a3687e03
基于BGI Online的基因数据分析需求,华大基因在阿里云平台上,设计了计算资源弹性伸缩、多级存储、海量存储计算与数据安全的云平台架构。
通过专线接入,来传输测序中心几十TB/day的数据;通过平台多数据中心部署,计算能力放至数据所在地,为美国、欧洲与中国等提供测序;混合使用阿里云的多种计算服务,数据通过OSS来互通。通过ECS在线上高灵活度地输出基因测序、利用批量计算测序可大规模降低成本、MaxCompute实现MapReduce小时级测序。
8ea651bf8e938865b3e883b2b7d2998a0657e2be
合作过程中,阿里云为华大基因提供了企业级支持服务和专家服务,保障华大基因的云上业务搭建与运转。包括指导产品选型与使用技术、提供APM报告及相应性能的分析优化;排查整改系统安全隐患、对生产高峰的任务支持进行专门保障。从曾经三四天才能输出一人基因分析,到如今实现了22小时内达成千人基因组分析的人类梦想。

华大基因通过阿里云为BGI Online(安全、⾼效、易⽤的⽣物信息服务云平台,为⽣物信息领域的各类科研工作者和工具开发者提供便利)注入弹性,同时也释放了每个数据中心部署耗费的大量人力、财力和物力,其总体架构如下:
a757a14aa3cbe7ebc85fd7f2999a23004f861a87
前端通过WEB服务呈现系统业务和提供用户操作,WEB请求通过SLB做负载均衡,并在阿里云提供的VPC和云盾的防护下提供高可用的服务。
后端管理系统的业务数据和处理业务逻辑,后端服务部署在多台ECS上,并采用RDS服务存储业务数据。
任务管理引擎接受前端请求,管理计算资源实现生物信息数据的分析,阿里云提供了海量的ECS节点,并对每个ECS节点提供了完整、详细的API文档,通过对接ECS节点实现了计算资源的弹性伸缩和强大的分布式计算能力。
存储管理负责基因数据的存储和管理,运用OSS和OAS实现了基因数据的冷热存储,除了OSS和OAS本身提供的加密存储外,还对接OSS服务实现数据的去身份化,提高了平台的安全性。
文件传输通过部署在ECS上的服务提供,庞大的基因数据上云是数据流的起始端和瓶颈,阿里云通过铺设阿里机房到华大集群的专线,提升了数据传输的速度。

迁移上阿里云后的成效
实现了用户定制化和个性化体验,不仅降低了数据分析门槛,用户也可直接在线上简单操作即可完成启动分析。云上业务搭建与运转获得了保障,包括指导产品选型与使用技术、提供APM报告及相应性能的分析优化。在2016年,基于华大基因开发的新一代基因云计算平台BGI Online,华大基因、阿里云和安徽医科大学三方共同协作在21小时47分12秒内完成了1000例人类全外显子组数据的分析,创造了基因数据分析的“深圳速度”。

原文发布日期:2018-1-10
云栖社区场景研究小组成员:董普庆,仲浩。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云场景实践研究第4期:小鱼儿科技
传统视频会议设备复杂,会议系统必须外接电视、麦克风、摄像头,学习很复杂的摇控器,才能够开始使用。为保障视频会议效果,还需要搭建服务器、租专线,并且需要专业人员维护,非常麻烦。小鱼儿科技的小鱼办公系统在视频会议领域进行了颠覆式创新,基于阿里云实现了“all in one”互联网+视频会议解决方案。
5353 0
云场景实践研究第9期:小咖秀
具有千万用户的爆款APP小咖秀在最初就是基于阿里云搭建而成,从开始的一台云服务器扩展到现在的接近一百台服务器的规模,而专职运维人员却很少,这是因为其系统级别的监控使用自己搭建的监控平台,而服务方面则依赖于阿里云的成熟的云监控。
1702 0
云场景实践研究第12期:有货
随着整体业务的高速发展、流量的爆发式增长,有货对系统进行了大面积的重构。首先,数据中心从传统的单一IDC演化成为“公有云+IDC”混合模式,同时应用系统也从原来的单体全站应用演变到以微服务为核心的架构模式,并且从多级缓存、服务的降级等多维度、全方面地提升了系统的可用性。
1381 0
云场景实践研究第44期:昆山必捷必
作为目前国内公共文化领域排名前三的顶级集成商,昆山必捷必在上云之后,实例可用性达 99.95%,云盘数据可靠性不低于 99.9999999%。本文将带领大家一同了解昆山必捷必的上云之路。
1206 0
云场景实践研究第49期:妈妈帮
作为专为妈妈们服务的社区,中国每天新增孕妇中有1/3会成为妈妈帮的注册会员。为了维护如此庞大的用户系统,妈妈帮选择了落地阿里云,借助阿里云的力量搭建安全稳定用户系统。本文将为大家介绍妈妈帮的上云实践之路,云上架构设计、数据库选型、安全运维实践以及在这个过程中阿里云如何帮助妈妈帮解决遇到的问题。
1468 0
云场景实践研究第52期:畅游
混合云在安全上有很重要的优势,阿里安全体系很健全,混合云模式既保证了用户线下的场景核心需求,同时依托阿里安全防护体系,将安全堡垒又加固了一层,混合云可能比常规的云上云下打通更实际,优势更明显。借助阿里云提供的混合云解决方案,畅游在游戏的维护成本等各方面都有很大的进步,其故障修复和应用上线的时间速度提升几十倍甚至上百倍。
1452 0
云场景实践研究第56期:佰腾科技
作为国内知名的知识产权服务公司,佰腾在专利信息应用上研究多年,一直致力于解决一个问题:让专利信息应用变得大众化。佰腾专利通过大数据平台的演化,利用MaxCompute平台,每纬度数据处理速度由之前的2-3天,缩短到3-6个小时。
1109 0
云场景实践研究第58期:华信瑞德
华信瑞德做为国内首家标识系统全产业链整体解决方案服务商,大多服务传统企业,通过拥抱云计算,发展空间更广阔。阿里云为其推荐了其认证的区域服务商——上海驻云信息科技有限公司。帮助华信瑞德轻松上云,并实现云上系统以及应用稳定、高效的运行,让其能更加专注于自身业务。
1330 0
云场景实践研究第84期:东润环能
让东润环能选择阿里云的原因,除了阿里云强大的云平台能力之外,还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。最重要的是采用阿里云数加,东润环能可以将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,将更多的精力和成本投入到业务方面。
1762 0
云场景实践研究第89期:中信集团
中信云平台从立项到上线仅用了1个月,用户数从0发展到13万仅用了5个月。快,是中信2016年的工作总结重要的一项。如今,中信集团正在通过云计算、大数据、人工智能等技术实现互联互通的数字化建设,并通过数字化实现业务转型,找到新价值定位,形成新商业模式。
2418 0
+关注
场景研读
技术学习永无止境
文章
问答
文章排行榜
最热
最新
相关电子书
更多
“云湖共生·数智未来”数据湖应用实践白皮书
立即下载
阿里云资深总监李津:云进化,激活广阔未来
立即下载
扬帆远航:5G融合应用实践精编
立即下载