【大数据干货】阿里云数加让企业更专注于业务，助力东润环能高效利用大数据资源

2016-12-28 5505

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月

云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月

简介： 最重要的是采用阿里云数加，东润环能将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本，“相比自建Hadoop物理集群，使用阿里云数加MaxCompute的总成本有较大降低，应用开发效率有很大提高。”东润环能技术研发部总监王云如是说。

免费开通大数据服务：https://www.aliyun.com/product/odps

为了摸索出一套真正适合中国国情的新能源数据应用服务方案，云计算和大数据技术成为了东润环能创新的重要手段。而经过了各方面测试和挑选，东润环能最终选择了阿里云作为自己的合作伙伴。而让东润环能选择阿里云的原因，除了阿里云强大的云平台能力之外，还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。

关于东润环能

北京东润环能科技股份有限公司（以下简称“东润环能”）是一家从事新能源电力领域的数据信息服务公司，公司的经营聚焦为：新能源产业大数据应用与投资服务领跑者！东润环能开创之初，提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品，并逐步打造三大新能源互联网智慧服务生态圈平台，包括新能源投资开发生态圈第一平台、绿色电力交易与智慧用能生态圈第一平台、新能源资产智慧营运生态圈第一平台，在新能源产业金融领域将打造新能源产业数据挖掘投资服务系统。
东润环能作为新三板首批进入创新层的上市企业，基于专业的气象环境技术、空间环境技术及大数据技术每天为全国数千家新能源电站提供风光项目现场功率预测，为省级及地级调度部门提供专业气象服务和大数据应用；并通过电网侧为全国500余家新能源子站提供控制策略并执行控制命令。旗下产品及业务开拓均基于对大数据的挖掘应用。

问题及挑战

作为是东润环能全资子公司北京能量魔方数据技术有限公司开发的“能量魔方”，将大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来，推动虚拟世界和现实世界融合发展，促进新以行业生产、管理、经营模式变革，重塑产业价值链。但就在这个能够造福一方的研发过程中，东润环能却遇到了不小的问题。正如东润环能技术研发部总监王云所言，要分析出个地方可再生资源的信息，必然涉及巨大的数据分析，东润环能在决定建设大数据平台项目之初，就在是否自建系统上犯了愁。自建大数据平台存在以下问题：
1. 投资成本过高
“在数据分析平台项目启动之初，东润环能已经存储将近40TB的数据，且这一数据随着公司业务的发展还在逐年增加，如果自建系统从投入、时间、人力等综合成本考虑都不合适。”王云如是说。
确实，在IDC中心自建大数据平台（如Hadoop集群）要充分考虑物理投入，人力运维投入，研发投入，业务波动等多方面的影响。一方面，硬件投入成本增加，需要根据业务的峰值来考虑硬件的投入；另一方面，人力成本也在增加，项目实施复杂度、应用开发及维护难度提高。总体上来说，实施大数据平台（如Hadoop集群）项目需要服务器、存储和网络管理、Hadoop集群搭建和维护管理以及Hadoop应用开发的三大类技能，项目实施复杂度高，项目技术人员的技术要求高，人才难获得，人力投入高。
2. 运维复杂，成本增加
单纯以目前较为成熟的离线计算来看，Hadoop生态体系提供的MapReduce等性能较好。但是，此时Hadoop集群的性能严重依赖于虚拟机所提供的I/O性能、网络带宽以及系统稳定性等因素的限制。
“自建大数据平台基础设施，对于东润环能现有的人力物力比较而言，风险还是较大。”王云说，另一方面，如此庞大的系统，需要运维人员同时对软、硬件做维护，专人维护提高了系统的使用成本；对系统足够了解，同时还需要兼顾不同系统间的版本兼容性问题，这些都需要非常专业的技术人员对多款开源产品进行维护。无形中不仅增加运维成本，更增加了稳定风险。
这些问题接踵而至，对于传统IT来说，大数据分析和云计算技术的引入无疑是一种巨大的业务压力和技术挑战，想要全部搞定必须上马大系统，雇佣高端专业人才，而这就意味着大投入、大团队。另一方面，传统公有云虽然从理论上也能够支持这样的业务，但国内公有云应用普遍集中在互联网领域；对于这样的新兴应用来说缺乏相应的技术接口和运维管理软件支持。

解决方案及架构

新能源产业互联网大数据应用服务云平台是东润环能应用能源互联网大数据理念开发建设的新能源电力大数据应用服务平台，集成气象、地理、设备、金融等各类数据，能够实现为包括政府、金融企业、电力投资企业、机械设备企业、设计院等不同类型参与者提供大数据分析和信息服务。
此平台定位为大数据信息SaaS服务平台，提供在大数据基础上建设的各种服务和应用工具，目前规划有八个模块，分别为：资源评估、气象服务、设备选型、运营管理、设计规划、专业技术、项目评估、金融服务。
本项目总体技术方案如图所示。

原解决方案如下：

1.数据中心
新能源门使用大数据分布式文件存储及并行计算技术，此前采用了Hadoop集群对海量气象数据进行存储及计算处理。
2.应用平台
项目采用基于JavaEE标准的、东润环能自主研发的E3云平台开发Web应用，基于超图的GIS平台软件搭建GIS应用服务平台提供地图展示服务，采用高性能计算集群部署自主气象计算服务平台，自主计算覆盖全国、指定分辨率、指定年限的气象数据。
3.部署平台
通过采用某传统IT厂商公有云服务平台的虚拟机部署Web应用，自主搭建负载均衡服务支持高并发高性能访问；采用关系型数据库进行业务应用数据存储管理；采用对象存储存储海量气象数据进行数据存储管理，可根据业务需要选择存储历史10、20、30年的历史气象数据；自主搭建Hadoop分布式计算技术对海量数据进行分析处理，按照经纬度、所在位置的气象数据生成统计数据，也可以对历史气象数据等做更多维度的数据挖掘。
为了摸索出一套真正适合中国国情的新能源数据应用服务方案，云计算和大数据技术成为了东润环能创新的重要手段。而经过了各方面测试和挑选，东润环能最终选择了阿里云作为自己的合作伙伴。而让东润环能选择阿里云的原因，除了阿里云强大的云平台能力之外，还有阿里云数加MaxCompute（https://www.aliyun.com/product/odps）的全方位服务能力及其稳定安全的表现。
东润环能基于阿里云数加搭建的大数据服务平台架构如下方架构图所示。
另外，双方联合推出针对新能源的专属数据服务产品：资源评估、气象服务、高精度数据下载三项气象数据产品；部分产品已经通过阿里云数加数据服务市场对外售卖。

收益

1.让企业专注业务
阿里云云计算平台允许东润环能在拥有少量IT设施的同时，在东润环能上线大数据平台时间紧任务急的情况下，用了不到3个月时间，就将业务全面的交付云端，让云端的海量资源真正为业务服务。而阿里云成熟的业务扩展方案也让东润环能在业务无缝扩展等具体事务上无需操心太多。
从性能来看，阿里云数加MaxCompute最新的2.0版本在TPCH测试中，比Hive 2.0+Tez快90%。直接部署于物理机的阿里云数加MaxCompute服务也排除了虚拟机对分布式下高I/O吞吐量，高网络流量的不良影响。此前东润环能租用虚拟机，在虚拟机上自行搭建hadoop集群用于分析当天生产的气象数据，由于运行效率低，每天数据处理需要至少3个小时以上；于今年5月份开始将数据迁移至阿里云数加平台；目前每天数据处理仅需要1个小时就可以完成，处理时间仅仅不到原来的1/3。
最重要的是采用阿里云数加，东润环能将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本，“相比自建Hadoop物理集群，使用阿里云数加MaxCompute的总成本有较大降低，应用开发效率有很大提高。”王云如是说。
显然，一家新能源像互联网企业拥有强大的IT能力是一件不容易的事。而阿里云则提供了全面的服务支持，阿里云除了最基础的资源池化之外，还提供众多高级管理功能，方便东润环能所产生的海量数据的有效管理和快速处理。
由于在东润环能数据平台过程中应用了阿里云数加MaxCompute，使其完全不需要关注服务器和网络管理，也不需要关注分布式集群软件的维护管理。基于阿里云数加MaxCompute提供的开放接口和各类工具，以及一站式的大数据开发套件，项目实施难度低，让开发者将精力全部放在数据处理、分析和应用上，极大的降低大数据应用开发的技术难度。而阿里云平台所提供的7×24小时技术支持服务则可以让东润环能随时随地获得专业的技术支持，让IT不再成为业务发展的限制。
2.安全稳定
基于阿里云在关键业务领域多年的积累，阿里云提供安全可靠的云解决方案。阿里云数加MaxCompute通过多重安全沙箱防护作用，同样起到了保护用户系统安全的目的，其安全性并不低于简单的物理隔离。更重要的是，阿里云数加MaxCompute提供的多种安全机制能够支撑阿里巴巴集团上万员工同时工作于同一套服务。对数据权限有非常高的管理及防护能力。
在稳定性上，阿里云数加MaxCompute作为一款存Serverless服务。不需要用户关心任何硬件、软件维护问题。阿里云数加专业的运维及开发团队为用户免除这些困扰，且所有工作对用户透明。
依托于阿里云在安全性方面有全面考虑的底层平台和众多的安全监控工具，东润环能的各类应用数据即使放在云端也可以确保万无一失。而这些宝贵的数据正是东润环能核心竞争力的来源。

架构图