云场景实践研究第84期：东润环能

更多云场景实践研究案例，点击这里：【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽

为了摸索出一套真正适合中国国情的新能源数据应用服务方案，云计算和大数据技术成为了东润环能创新的重要手段。而经过了各方面测试和挑选，东润环能最终选择了阿里云作为自己的合作伙伴。而让东润环能选择阿里云的原因，除了阿里云强大的云平台能力之外，还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。最重要的是采用阿里云数加，东润环能可以将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本，将更多的精力和成本投入到业务方面。

“相比自建Hadoop物理集群，使用阿里云数加MaxCompute的总成本有较大降低，应用开发效率有很大提高。”

——王云

东润环能技术研发部总监

采用的阿里云产品

• 阿里云数加 MaxCompute (原ODPS)
• 阿里云数加分析型数据库（AnalyticDB, 原ADS）
  
• 阿里云数加 DataIDE
• 阿里云负载均衡 SLB
• 阿里云云服务器 ECS
  
• 阿里云对象存储 OSS
• 阿里云数据库 RDS
• 阿里云高性能计算 HPC

为什么使用阿里云

阿里云具有强大的云平台能力。阿里云数加MaxCompute平台具备的全方位服务能力并且及其稳定安全。

阿里云云计算平台允许东润环能在拥有少量IT设施的同时，在上线大数据平台时间紧任务急的情况下，用了不到3个月时间就将业务全面的交付云端，让云端的海量资源真正为业务服务。

阿里云成熟的业务扩展方案让东润环能在业务无缝扩展等具体事务上无需操心太多。

采用阿里云数加，东润环能将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本。

基于阿里云在关键业务领域多年的积累，阿里云可以提供安全可靠的云解决方案。

关于 东润环能

北京东润环能科技股份有限公司（以下简称“东润环能”）是一家从事新能源电力领域的数据信息服务公司，公司的经营聚焦为：新能源产业大数据应用与投资服务领跑者！东润环能开创之初，提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品，并逐步打造三大新能源互联网智慧服务生态圈平台，包括新能源投资开发生态圈第一平台、绿色电力交易与智慧用能生态圈第一平台、新能源资产智慧营运生态圈第一平台，在新能源产业金融领域将打造新能源产业数据挖掘投资服务系统。

东润环能作为新三板首批进入创新层的上市企业，基于专业的气象环境技术、空间环境技术及大数据技术每天为全国数千家新能源电站提供风光项目现场功率预测，为省级及地级调度部门提供专业气象服务和大数据应用；并通过电网侧为全国500余家新能源子站提供控制策略并执行控制命令。旗下产品及业务开拓均基于对大数据的挖掘应用。

东润环能遇到的问题和挑战

作为是东润环能全资子公司北京能量魔方数据技术有限公司开发的“能量魔方”，将大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来，推动虚拟世界和现实世界融合发展，促进新以行业生产、管理、经营模式变革，重塑产业价值链。但就在这个能够造福一方的研发过程中，东润环能却遇到了不小的问题。正如东润环能技术研发部总监王云所言，要分析出个地方可再生资源的信息，必然涉及巨大的数据分析，东润环能在决定建设大数据平台项目之初，就在是否自建系统上犯了愁。自建大数据平台存在以下问题：
1. 投资成本过高
“在数据分析平台项目启动之初，东润环能已经存储将近40TB的数据，且这一数据随着公司业务的发展还在逐年增加，如果自建系统从投入、时间、人力等综合成本考虑都不合适。”王云如是说。确实，在IDC中心自建大数据平台（如Hadoop集群）要充分考虑物理投入，人力运维投入，研发投入，业务波动等多方面的影响。一方面，硬件投入成本增加，需要根据业务的峰值来考虑硬件的投入；另一方面，人力成本也在增加，项目实施复杂度、应用开发及维护难度提高。总体上来说，实施大数据平台（如Hadoop集群）项目需要服务器、存储和网络管理、Hadoop集群搭建和维护管理以及Hadoop应用开发的三大类技能，项目实施复杂度高，项目技术人员的技术要求高，人才难获得，人力投入高。
2. 运维复杂，成本增加
单纯以目前较为成熟的离线计算来看，Hadoop生态体系提供的MapReduce等性能较好。但是，此时Hadoop集群的性能严重依赖于虚拟机所提供的I/O性能、网络带宽以及系统稳定性等因素的限制。“自建大数据平台基础设施，对于东润环能现有的人力物力比较而言，风险还是较大。”王云说，另一方面，如此庞大的系统，需要运维人员同时对软、硬件做维护，专人维护提高了系统的使用成本；对系统足够了解，同时还需要兼顾不同系统间的版本兼容性问题，这些都需要非常专业的技术人员对多款开源产品进行维护。无形中不仅增加运维成本，更增加了稳定风险。
这些问题接踵而至，对于传统IT来说，大数据分析和云计算技术的引入无疑是一种巨大的业务压力和技术挑战，想要全部搞定必须上马大系统，雇佣高端专业人才，而这就意味着大投入、大团队。另一方面，传统公有云虽然从理论上也能够支持这样的业务，但国内公有云应用普遍集中在互联网领域；对于这样的新兴应用来说缺乏相应的技术接口和运维管理软件支持。

为什么选择阿里云？

东润环能解决方案和架构设计演变之路

新能源产业互联网大数据应用服务云平台是东润环能应用能源互联网大数据理念开发建设的新能源电力大数据应用服务平台，集成气象、地理、设备、金融等各类数据，能够实现为包括政府、金融企业、电力投资企业、机械设备企业、设计院等不同类型参与者提供大数据分析和信息服务。此平台定位为大数据信息SaaS服务平台，提供在大数据基础上建设的各种服务和应用工具，目前规划有八个模块，分别为：资源评估、气象服务、设备选型、运营管理、设计规划、专业技术、项目评估、金融服务。项目总体技术方案如下图所示。

原解决方案如下：
1.数据中心，新能源门使用大数据分布式文件存储及并行计算技术，此前采用了Hadoop集群对海量气象数据进行存储及计算处理。
2.应用平台，项目采用基于JavaEE标准的、东润环能自主研发的E3云平台开发Web应用，基于超图的GIS平台软件搭建GIS应用服务平台提供地图展示服务，采用高性能计算集群部署自主气象计算服务平台，自主计算覆盖全国、指定分辨率、指定年限的气象数据。
3.部署平台，通过采用某传统IT厂商公有云服务平台的虚拟机部署Web应用，自主搭建负载均衡服务支持高并发高性能访问；采用关系型数据库进行业务应用数据存储管理；采用对象存储存储海量气象数据进行数据存储管理，可根据业务需要选择存储历史10、20、30年的历史气象数据；自主搭建Hadoop分布式计算技术对海量数据进行分析处理，按照经纬度、所在位置的气象数据生成统计数据，也可以对历史气象数据等做更多维度的数据挖掘。
为了摸索出一套真正适合中国国情的新能源数据应用服务方案，云计算和大数据技术成为了东润环能创新的重要手段。而经过了各方面测试和挑选，东润环能最终选择了阿里云作为自己的合作伙伴。而让东润环能选择阿里云的原因，除了阿里云强大的云平台能力之外，还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。
东润环能基于阿里云数加搭建的大数据服务平台架构如下方架构图所示。

另外，双方联合推出针对新能源的专属数据服务产品：资源评估、气象服务、高精度数据下载三项气象数据产品；部分产品已经通过阿里云数加数据服务市场对外售卖。

东润环能基于阿里云的架构解读
使用阿里云数加MaxCompute(原名ODPS)进行大数据计算和分析；
使用阿里云数加分析型数据库（AnalyticDB,原名ADS）存放上亿条记录级数据，支持业务实时数据访问及展示；
使用阿里云数加DataIDE进行数据同步、数据开发、离线任务调度运维等；
使用阿里云SLB负载均衡，实现用户终端实时高性能接入；
使用阿里云ECS 部署Web应用、地图服务等应用；
使用阿里云OSS对象存储进行海量气象数据、地图文件存储；
使用阿里云RDS数据库存储业务应用、地图应用数据；
使用阿里云HPC高性能计算进行气象数据计算。

拥抱阿里云为东润环能所带来的收益
1.让企业专注业务
阿里云云计算平台允许东润环能在拥有少量IT设施的同时，在东润环能上线大数据平台时间紧任务急的情况下，用了不到3个月时间，就将业务全面的交付云端，让云端的海量资源真正为业务服务。而阿里云成熟的业务扩展方案也让东润环能在业务无缝扩展等具体事务上无需操心太多。从性能来看，阿里云数加MaxCompute最新的2.0版本在TPCH测试中，比Hive 2.0+Tez快90%。直接部署于物理机的阿里云数加MaxCompute服务也排除了虚拟机对分布式下高I/O吞吐量，高网络流量的不良影响。此前东润环能租用虚拟机，在虚拟机上自行搭建hadoop集群用于分析当天生产的气象数据，由于运行效率低，每天数据处理需要至少3个小时以上；于今年5月份开始将数据迁移至阿里云数加平台；目前每天数据处理仅需要1个小时就可以完成，处理时间仅仅不到原来的1/3。
最重要的是采用阿里云数加，东润环能将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本，“相比自建Hadoop物理集群，使用阿里云数加MaxCompute的总成本有较大降低，应用开发效率有很大提高。”王云如是说。显然，一家新能源像互联网企业拥有强大的IT能力是一件不容易的事。而阿里云则提供了全面的服务支持，阿里云除了最基础的资源池化之外，还提供众多高级管理功能，方便东润环能所产生的海量数据的有效管理和快速处理。
由于在东润环能数据平台过程中应用了阿里云数加MaxCompute，使其完全不需要关注服务器和网络管理，也不需要关注分布式集群软件的维护管理。基于阿里云数加MaxCompute提供的开放接口和各类工具，以及一站式的大数据开发套件，项目实施难度低，让开发者将精力全部放在数据处理、分析和应用上，极大的降低大数据应用开发的技术难度。而阿里云平台所提供的7×24小时技术支持服务则可以让东润环能随时随地获得专业的技术支持，让IT不再成为业务发展的限制。
2.安全稳定
基于阿里云在关键业务领域多年的积累，阿里云提供安全可靠的云解决方案。阿里云数加MaxCompute通过多重安全沙箱防护作用，同样起到了保护用户系统安全的目的，其安全性并不低于简单的物理隔离。更重要的是，阿里云数加MaxCompute提供的多种安全机制能够支撑阿里巴巴集团上万员工同时工作于同一套服务。对数据权限有非常高的管理及防护能力。
在稳定性上，阿里云数加MaxCompute作为一款存Serverless服务。不需要用户关心任何硬件、软件维护问题。阿里云数加专业的运维及开发团队为用户免除这些困扰，且所有工作对用户透明。依托于阿里云在安全性方面有全面考虑的底层平台和众多的安全监控工具，东润环能的各类应用数据即使放在云端也可以确保万无一失。而这些宝贵的数据正是东润环能核心竞争力的来源。

关于东润环能的更多实践详情：阿里云数加案例-东润环能
云栖社区场景研究小组成员：贾子甲，仲浩。