云场景实践研究第84期:东润环能

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
传统型负载均衡 CLB,每月750个小时 15LCU
简介: 让东润环能选择阿里云的原因,除了阿里云强大的云平台能力之外,还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。最重要的是采用阿里云数加,东润环能可以将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,将更多的精力和成本投入到业务方面。

更多云场景实践研究案例,点击这里:【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽

为了摸索出一套真正适合中国国情的新能源数据应用服务方案,云计算和大数据技术成为了东润环能创新的重要手段。而经过了各方面测试和挑选,东润环能最终选择了阿里云作为自己的合作伙伴。而让东润环能选择阿里云的原因,除了阿里云强大的云平台能力之外,还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。最重要的是采用阿里云数加,东润环能可以将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,将更多的精力和成本投入到业务方面。

“相比自建Hadoop物理集群,使用阿里云数加MaxCompute的总成本有较大降低,应用开发效率有很大提高。”

——王云

东润环能技术研发部总监


采用的阿里云产品

  • 阿里云数加 MaxCompute (原ODPS)
  • 阿里云数加分析型数据库(AnalyticDB, 原ADS)
  • 阿里云数加 DataIDE
  • 阿里云负载均衡 SLB
  • 阿里云云服务器 ECS
  • 阿里云对象存储 OSS
  • 阿里云数据库 RDS
  • 阿里云高性能计算 HPC

为什么使用阿里云

阿里云具有强大的云平台能力。阿里云数加MaxCompute平台具备的全方位服务能力并且及其稳定安全。

阿里云云计算平台允许东润环能在拥有少量IT设施的同时,在上线大数据平台时间紧任务急的情况下,用了不到3个月时间就将业务全面的交付云端,让云端的海量资源真正为业务服务。

阿里云成熟的业务扩展方案让东润环能在业务无缝扩展等具体事务上无需操心太多。

采用阿里云数加,东润环能将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本。

基于阿里云在关键业务领域多年的积累,阿里云可以提供安全可靠的云解决方案。


关于 东润环能

北京东润环能科技股份有限公司(以下简称“东润环能”)是一家从事新能源电力领域的数据信息服务公司,公司的经营聚焦为:新能源产业大数据应用与投资服务领跑者!东润环能开创之初,提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品,并逐步打造三大新能源互联网智慧服务生态圈平台,包括新能源投资开发生态圈第一平台、绿色电力交易与智慧用能生态圈第一平台、新能源资产智慧营运生态圈第一平台,在新能源产业金融领域将打造新能源产业数据挖掘投资服务系统。

东润环能作为新三板首批进入创新层的上市企业,基于专业的气象环境技术、空间环境技术及大数据技术每天为全国数千家新能源电站提供风光项目现场功率预测,为省级及地级调度部门提供专业气象服务和大数据应用;并通过电网侧为全国500余家新能源子站提供控制策略并执行控制命令。旗下产品及业务开拓均基于对大数据的挖掘应用。


东润环能遇到的问题和挑战

作为是东润环能全资子公司北京能量魔方数据技术有限公司开发的“能量魔方”,将大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来,推动虚拟世界和现实世界融合发展,促进新以行业生产、管理、经营模式变革,重塑产业价值链。但就在这个能够造福一方的研发过程中,东润环能却遇到了不小的问题。正如东润环能技术研发部总监王云所言,要分析出个地方可再生资源的信息,必然涉及巨大的数据分析,东润环能在决定建设大数据平台项目之初,就在是否自建系统上犯了愁。自建大数据平台存在以下问题:
1. 投资成本过高
“在数据分析平台项目启动之初,东润环能已经存储将近40TB的数据,且这一数据随着公司业务的发展还在逐年增加,如果自建系统从投入、时间、人力等综合成本考虑都不合适。”王云如是说。确实,在IDC中心自建大数据平台(如Hadoop集群)要充分考虑物理投入,人力运维投入,研发投入,业务波动等多方面的影响。一方面,硬件投入成本增加,需要根据业务的峰值来考虑硬件的投入;另一方面,人力成本也在增加,项目实施复杂度、应用开发及维护难度提高。总体上来说,实施大数据平台(如Hadoop集群)项目需要服务器、存储和网络管理、Hadoop集群搭建和维护管理以及Hadoop应用开发的三大类技能,项目实施复杂度高,项目技术人员的技术要求高,人才难获得,人力投入高。
2. 运维复杂,成本增加
单纯以目前较为成熟的离线计算来看,Hadoop生态体系提供的MapReduce等性能较好。但是,此时Hadoop集群的性能严重依赖于虚拟机所提供的I/O性能、网络带宽以及系统稳定性等因素的限制。“自建大数据平台基础设施,对于东润环能现有的人力物力比较而言,风险还是较大。”王云说,另一方面,如此庞大的系统,需要运维人员同时对软、硬件做维护,专人维护提高了系统的使用成本;对系统足够了解,同时还需要兼顾不同系统间的版本兼容性问题,这些都需要非常专业的技术人员对多款开源产品进行维护。无形中不仅增加运维成本,更增加了稳定风险。
这些问题接踵而至,对于传统IT来说,大数据分析和云计算技术的引入无疑是一种巨大的业务压力和技术挑战,想要全部搞定必须上马大系统,雇佣高端专业人才,而这就意味着大投入、大团队。另一方面,传统公有云虽然从理论上也能够支持这样的业务,但国内公有云应用普遍集中在互联网领域;对于这样的新兴应用来说缺乏相应的技术接口和运维管理软件支持。


为什么选择阿里云?

东润环能解决方案和架构设计演变之路

新能源产业互联网大数据应用服务云平台是东润环能应用能源互联网大数据理念开发建设的新能源电力大数据应用服务平台,集成气象、地理、设备、金融等各类数据,能够实现为包括政府、金融企业、电力投资企业、机械设备企业、设计院等不同类型参与者提供大数据分析和信息服务。此平台定位为大数据信息SaaS服务平台,提供在大数据基础上建设的各种服务和应用工具,目前规划有八个模块,分别为:资源评估、气象服务、设备选型、运营管理、设计规划、专业技术、项目评估、金融服务。项目总体技术方案如下图所示。

af236f6badc44e3008706414a4b308dd344cae5c

原解决方案如下:
1.数据中心,新能源门使用大数据分布式文件存储及并行计算技术,此前采用了Hadoop集群对海量气象数据进行存储及计算处理。
2.应用平台,项目采用基于JavaEE标准的、东润环能自主研发的E3云平台开发Web应用,基于超图的GIS平台软件搭建GIS应用服务平台提供地图展示服务,采用高性能计算集群部署自主气象计算服务平台,自主计算覆盖全国、指定分辨率、指定年限的气象数据。
3.部署平台,通过采用某传统IT厂商公有云服务平台的虚拟机部署Web应用,自主搭建负载均衡服务支持高并发高性能访问;采用关系型数据库进行业务应用数据存储管理;采用对象存储存储海量气象数据进行数据存储管理,可根据业务需要选择存储历史10、20、30年的历史气象数据;自主搭建Hadoop分布式计算技术对海量数据进行分析处理,按照经纬度、所在位置的气象数据生成统计数据,也可以对历史气象数据等做更多维度的数据挖掘。
为了摸索出一套真正适合中国国情的新能源数据应用服务方案,云计算和大数据技术成为了东润环能创新的重要手段。而经过了各方面测试和挑选,东润环能最终选择了阿里云作为自己的合作伙伴。而让东润环能选择阿里云的原因,除了阿里云强大的云平台能力之外,还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。
东润环能基于阿里云数加搭建的大数据服务平台架构如下方架构图所示。

a41143b4c56a640b72cade74c5114eed7ba6d485

另外,双方联合推出针对新能源的专属数据服务产品:资源评估、气象服务、高精度数据下载三项气象数据产品;部分产品已经通过阿里云数加数据服务市场对外售卖。


东润环能基于阿里云的架构解读
使用阿里云数加MaxCompute(原名ODPS)进行大数据计算和分析;
使用阿里云数加分析型数据库(AnalyticDB,原名ADS)存放上亿条记录级数据,支持业务实时数据访问及展示;
使用阿里云数加DataIDE进行数据同步、数据开发、离线任务调度运维等;
使用阿里云SLB负载均衡,实现用户终端实时高性能接入;
使用阿里云ECS 部署Web应用、地图服务等应用;
使用阿里云OSS对象存储进行海量气象数据、地图文件存储;
使用阿里云RDS数据库存储业务应用、地图应用数据;
使用阿里云HPC高性能计算进行气象数据计算。


拥抱阿里云为东润环能所带来的收益
1.让企业专注业务
阿里云云计算平台允许东润环能在拥有少量IT设施的同时,在东润环能上线大数据平台时间紧任务急的情况下,用了不到3个月时间,就将业务全面的交付云端,让云端的海量资源真正为业务服务。而阿里云成熟的业务扩展方案也让东润环能在业务无缝扩展等具体事务上无需操心太多。从性能来看,阿里云数加MaxCompute最新的2.0版本在TPCH测试中,比Hive 2.0+Tez快90%。直接部署于物理机的阿里云数加MaxCompute服务也排除了虚拟机对分布式下高I/O吞吐量,高网络流量的不良影响。此前东润环能租用虚拟机,在虚拟机上自行搭建hadoop集群用于分析当天生产的气象数据,由于运行效率低,每天数据处理需要至少3个小时以上;于今年5月份开始将数据迁移至阿里云数加平台;目前每天数据处理仅需要1个小时就可以完成,处理时间仅仅不到原来的1/3。
最重要的是采用阿里云数加,东润环能将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,“相比自建Hadoop物理集群,使用阿里云数加MaxCompute的总成本有较大降低,应用开发效率有很大提高。”王云如是说。显然,一家新能源像互联网企业拥有强大的IT能力是一件不容易的事。而阿里云则提供了全面的服务支持,阿里云除了最基础的资源池化之外,还提供众多高级管理功能,方便东润环能所产生的海量数据的有效管理和快速处理。
由于在东润环能数据平台过程中应用了阿里云数加MaxCompute,使其完全不需要关注服务器和网络管理,也不需要关注分布式集群软件的维护管理。基于阿里云数加MaxCompute提供的开放接口和各类工具,以及一站式的大数据开发套件,项目实施难度低,让开发者将精力全部放在数据处理、分析和应用上,极大的降低大数据应用开发的技术难度。而阿里云平台所提供的7×24小时技术支持服务则可以让东润环能随时随地获得专业的技术支持,让IT不再成为业务发展的限制。
2.安全稳定
基于阿里云在关键业务领域多年的积累,阿里云提供安全可靠的云解决方案。阿里云数加MaxCompute通过多重安全沙箱防护作用,同样起到了保护用户系统安全的目的,其安全性并不低于简单的物理隔离。更重要的是,阿里云数加MaxCompute提供的多种安全机制能够支撑阿里巴巴集团上万员工同时工作于同一套服务。对数据权限有非常高的管理及防护能力。
在稳定性上,阿里云数加MaxCompute作为一款存Serverless服务。不需要用户关心任何硬件、软件维护问题。阿里云数加专业的运维及开发团队为用户免除这些困扰,且所有工作对用户透明。依托于阿里云在安全性方面有全面考虑的底层平台和众多的安全监控工具,东润环能的各类应用数据即使放在云端也可以确保万无一失。而这些宝贵的数据正是东润环能核心竞争力的来源。


关于东润环能的更多实践详情:阿里云数加案例-东润环能
云栖社区场景研究小组成员:贾子甲,仲浩。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
监控 安全 Java
Java基础知识第七讲:Java异常处理与日志打印
Java基础知识第七讲:Java异常处理与日志打印
562 0
|
Java 测试技术 数据库连接
【MyBatisPlus】MyBatisPlus 整合开发
【1月更文挑战第19天】【MyBatisPlus】MyBatisPlus 整合开发
|
24天前
|
SQL 关系型数据库 PostgreSQL
CTE vs 子查询:深入拆解PostgreSQL复杂SQL的隐藏性能差异
本文深入探讨了PostgreSQL中CTE(公共表表达式)与子查询的选择对SQL性能的影响。通过分析两者底层机制,揭示CTE的物化特性及子查询的优化融合优势,并结合多场景案例对比执行效率。最终给出决策指南,帮助开发者根据数据量、引用次数和复杂度选择最优方案,同时提供高级优化技巧和版本演进建议,助力SQL性能调优。
|
8月前
|
人工智能 atlas 开发工具
【AI系统】昇腾 AI 架构介绍
昇腾计算产业基于华为昇腾系列处理器,涵盖硬件、基础软件、应用使能等,构建全栈AI计算基础设施。华为通过开放硬件、开源软件,支持多框架,推动AI技术在端、边、云的广泛应用,促进AI产业生态繁荣。
572 1
|
12月前
|
数据采集 存储 数据可视化
数加产品家族图解:一站式大数据处理与分析解决方案
数加产品家族作为阿里云一站式大数据处理与分析解决方案的重要组成部分,以其全面的功能和强大的性能,为企业提供了从数据采集、存储、处理到分析的全链路解决方案。通过图解的形式,我们深入解析了数加产品家族的各个组成部分和优势特点,展现了其在大数据处理与分析领域的独特魅力。未来,随着大数据技术的不断发展和应用场景的不断拓展,数加产品家族将继续发挥其重要作用,为企业
|
自然语言处理 搜索推荐 程序员
【创意坊】​ChatDev震撼登场!开源狂潮席卷​​,释放无限可能!
【创意坊】​ChatDev震撼登场!开源狂潮席卷​​,释放无限可能!
249 2
【创意坊】​ChatDev震撼登场!开源狂潮席卷​​,释放无限可能!
|
JavaScript Java 测试技术
基于SpringBoot+Vue+uniapp的图书商城管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
基于SpringBoot+Vue+uniapp的图书商城管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
172 1
|
传感器 机器学习/深度学习 存储
AI - Agent(人工智能代理)架构
AI Agent(人工智能代理)架构
1246 0
|
SQL 存储 缓存
Flink CDC中flink sql 如果缓存起来所有的数据,然后基于这个数据做查询?
Flink CDC中flink sql 如果缓存起来所有的数据,然后基于这个数据做查询?
272 1
|
存储 测试技术 Linux
服务器性能测试,你选哪种工具
 众所周知,服务器是整个网络系统和计算平台的核心,许多重要的数据都保存在服务器上,很多网络服务都在服务器上运行,因此服务器性能的好坏决定了整个应用系统的性能。
3743 0