【大数据干货】阿里云数加让企业更专注于业务,助力东润环能高效利用大数据资源

简介: 最重要的是采用阿里云数加,东润环能将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,“相比自建Hadoop物理集群,使用阿里云数加MaxCompute的总成本有较大降低,应用开发效率有很大提高。”东润环能技术研发部总监王云如是说。

免费开通大数据服务:https://www.aliyun.com/product/odps

为了摸索出一套真正适合中国国情的新能源数据应用服务方案,云计算和大数据技术成为了东润环能创新的重要手段。而经过了各方面测试和挑选,东润环能最终选择了阿里云作为自己的合作伙伴。而让东润环能选择阿里云的原因,除了阿里云强大的云平台能力之外,还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现。

关于东润环能

北京东润环能科技股份有限公司(以下简称“东润环能”)是一家从事新能源电力领域的数据信息服务公司,公司的经营聚焦为:新能源产业大数据应用与投资服务领跑者!东润环能开创之初,提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品,并逐步打造三大新能源互联网智慧服务生态圈平台,包括新能源投资开发生态圈第一平台、绿色电力交易与智慧用能生态圈第一平台、新能源资产智慧营运生态圈第一平台,在新能源产业金融领域将打造新能源产业数据挖掘投资服务系统。
东润环能作为新三板首批进入创新层的上市企业,基于专业的气象环境技术、空间环境技术及大数据技术每天为全国数千家新能源电站提供风光项目现场功率预测,为省级及地级调度部门提供专业气象服务和大数据应用;并通过电网侧为全国500余家新能源子站提供控制策略并执行控制命令。旗下产品及业务开拓均基于对大数据的挖掘应用。

问题及挑战

作为是东润环能全资子公司北京能量魔方数据技术有限公司开发的“能量魔方”,将大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来,推动虚拟世界和现实世界融合发展,促进新以行业生产、管理、经营模式变革,重塑产业价值链。但就在这个能够造福一方的研发过程中,东润环能却遇到了不小的问题。正如东润环能技术研发部总监王云所言,要分析出个地方可再生资源的信息,必然涉及巨大的数据分析,东润环能在决定建设大数据平台项目之初,就在是否自建系统上犯了愁。自建大数据平台存在以下问题:
1. 投资成本过高
“在数据分析平台项目启动之初,东润环能已经存储将近40TB的数据,且这一数据随着公司业务的发展还在逐年增加,如果自建系统从投入、时间、人力等综合成本考虑都不合适。”王云如是说。
确实,在IDC中心自建大数据平台(如Hadoop集群)要充分考虑物理投入,人力运维投入,研发投入,业务波动等多方面的影响。一方面,硬件投入成本增加,需要根据业务的峰值来考虑硬件的投入;另一方面,人力成本也在增加,项目实施复杂度、应用开发及维护难度提高。总体上来说,实施大数据平台(如Hadoop集群)项目需要服务器、存储和网络管理、Hadoop集群搭建和维护管理以及Hadoop应用开发的三大类技能,项目实施复杂度高,项目技术人员的技术要求高,人才难获得,人力投入高。
2. 运维复杂,成本增加
单纯以目前较为成熟的离线计算来看,Hadoop生态体系提供的MapReduce等性能较好。但是,此时Hadoop集群的性能严重依赖于虚拟机所提供的I/O性能、网络带宽以及系统稳定性等因素的限制。
“自建大数据平台基础设施,对于东润环能现有的人力物力比较而言,风险还是较大。”王云说,另一方面,如此庞大的系统,需要运维人员同时对软、硬件做维护,专人维护提高了系统的使用成本;对系统足够了解,同时还需要兼顾不同系统间的版本兼容性问题,这些都需要非常专业的技术人员对多款开源产品进行维护。无形中不仅增加运维成本,更增加了稳定风险。
这些问题接踵而至,对于传统IT来说,大数据分析和云计算技术的引入无疑是一种巨大的业务压力和技术挑战,想要全部搞定必须上马大系统,雇佣高端专业人才,而这就意味着大投入、大团队。另一方面,传统公有云虽然从理论上也能够支持这样的业务,但国内公有云应用普遍集中在互联网领域;对于这样的新兴应用来说缺乏相应的技术接口和运维管理软件支持。

解决方案及架构

新能源产业互联网大数据应用服务云平台是东润环能应用能源互联网大数据理念开发建设的新能源电力大数据应用服务平台,集成气象、地理、设备、金融等各类数据,能够实现为包括政府、金融企业、电力投资企业、机械设备企业、设计院等不同类型参与者提供大数据分析和信息服务。
此平台定位为大数据信息SaaS服务平台,提供在大数据基础上建设的各种服务和应用工具,目前规划有八个模块,分别为:资源评估、气象服务、设备选型、运营管理、设计规划、专业技术、项目评估、金融服务。
本项目总体技术方案如图所示。
TB1azy.OVXXXXXbXVXXXXXXXXXX-732-482.png
原解决方案如下:

1.数据中心
新能源门使用大数据分布式文件存储及并行计算技术,此前采用了Hadoop集群对海量气象数据进行存储及计算处理。
2.应用平台
项目采用基于JavaEE标准的、东润环能自主研发的E3云平台开发Web应用,基于超图的GIS平台软件搭建GIS应用服务平台提供地图展示服务,采用高性能计算集群部署自主气象计算服务平台,自主计算覆盖全国、指定分辨率、指定年限的气象数据。
3.部署平台
通过采用某传统IT厂商公有云服务平台的虚拟机部署Web应用,自主搭建负载均衡服务支持高并发高性能访问;采用关系型数据库进行业务应用数据存储管理;采用对象存储存储海量气象数据进行数据存储管理,可根据业务需要选择存储历史10、20、30年的历史气象数据;自主搭建Hadoop分布式计算技术对海量数据进行分析处理,按照经纬度、所在位置的气象数据生成统计数据,也可以对历史气象数据等做更多维度的数据挖掘。
为了摸索出一套真正适合中国国情的新能源数据应用服务方案,云计算和大数据技术成为了东润环能创新的重要手段。而经过了各方面测试和挑选,东润环能最终选择了阿里云作为自己的合作伙伴。而让东润环能选择阿里云的原因,除了阿里云强大的云平台能力之外,还有阿里云数加MaxCompute(https://www.aliyun.com/product/odps)的全方位服务能力及其稳定安全的表现。
东润环能基于阿里云数加搭建的大数据服务平台架构如下方架构图所示。
另外,双方联合推出针对新能源的专属数据服务产品:资源评估、气象服务、高精度数据下载三项气象数据产品;部分产品已经通过阿里云数加数据服务市场对外售卖。

收益

1.让企业专注业务
阿里云云计算平台允许东润环能在拥有少量IT设施的同时,在东润环能上线大数据平台时间紧任务急的情况下,用了不到3个月时间,就将业务全面的交付云端,让云端的海量资源真正为业务服务。而阿里云成熟的业务扩展方案也让东润环能在业务无缝扩展等具体事务上无需操心太多。
从性能来看,阿里云数加MaxCompute最新的2.0版本在TPCH测试中,比Hive 2.0+Tez快90%。直接部署于物理机的阿里云数加MaxCompute服务也排除了虚拟机对分布式下高I/O吞吐量,高网络流量的不良影响。此前东润环能租用虚拟机,在虚拟机上自行搭建hadoop集群用于分析当天生产的气象数据,由于运行效率低,每天数据处理需要至少3个小时以上;于今年5月份开始将数据迁移至阿里云数加平台;目前每天数据处理仅需要1个小时就可以完成,处理时间仅仅不到原来的1/3。
最重要的是采用阿里云数加,东润环能将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,“相比自建Hadoop物理集群,使用阿里云数加MaxCompute的总成本有较大降低,应用开发效率有很大提高。”王云如是说。
显然,一家新能源像互联网企业拥有强大的IT能力是一件不容易的事。而阿里云则提供了全面的服务支持,阿里云除了最基础的资源池化之外,还提供众多高级管理功能,方便东润环能所产生的海量数据的有效管理和快速处理。
由于在东润环能数据平台过程中应用了阿里云数加MaxCompute,使其完全不需要关注服务器和网络管理,也不需要关注分布式集群软件的维护管理。基于阿里云数加MaxCompute提供的开放接口和各类工具,以及一站式的大数据开发套件,项目实施难度低,让开发者将精力全部放在数据处理、分析和应用上,极大的降低大数据应用开发的技术难度。而阿里云平台所提供的7×24小时技术支持服务则可以让东润环能随时随地获得专业的技术支持,让IT不再成为业务发展的限制。
2.安全稳定
基于阿里云在关键业务领域多年的积累,阿里云提供安全可靠的云解决方案。阿里云数加MaxCompute通过多重安全沙箱防护作用,同样起到了保护用户系统安全的目的,其安全性并不低于简单的物理隔离。更重要的是,阿里云数加MaxCompute提供的多种安全机制能够支撑阿里巴巴集团上万员工同时工作于同一套服务。对数据权限有非常高的管理及防护能力。
在稳定性上,阿里云数加MaxCompute作为一款存Serverless服务。不需要用户关心任何硬件、软件维护问题。阿里云数加专业的运维及开发团队为用户免除这些困扰,且所有工作对用户透明。
依托于阿里云在安全性方面有全面考虑的底层平台和众多的安全监控工具,东润环能的各类应用数据即使放在云端也可以确保万无一失。而这些宝贵的数据正是东润环能核心竞争力的来源。

架构图
TB1xHPlOVXXXXXlXpXXXXXXXXXX-865-524.png

相关文章

https://yq.aliyun.com/articles/72250

https:// yq.aliyun.com/articles/70510

https://yq.aliyun.com/articles/70509

https:// yq.aliyun.com/articles/69333

https://yq.aliyun.com/articles/68211

https://yq.aliyun.com/articles/67275

https://yq.aliyun.com/articles/70359

https://yq.aliyun.com/articles/70353

https://yq.aliyun.com/articles/70412

https://yq.aliyun.com/articles/70347

bba01b493e1c5d904e882b1c380673c6ebe49a98
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
分布式计算 DataWorks Java
DataWorks操作报错合集之在使用MaxCompute的Java SDK创建函数时,出现找不到文件资源的情况,是BUG吗
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
36 0
|
19天前
|
存储 弹性计算 监控
【阿里云云原生专栏】成本优化策略:在阿里云云原生平台上实现资源高效利用
【5月更文挑战第29天】本文探讨了在阿里云云原生平台上实现资源高效利用和成本优化的策略。通过资源监控与评估,利用CloudMonitor和Prometheus等工具分析CPU、内存等使用情况,识别浪费。实施弹性伸缩策略,利用自动伸缩规则根据业务负载动态调整资源。借助容器化管理和Kubernetes编排提高资源利用率,优化存储选择如OSS、NAS,以及网络配置如VPC和CDN。示例展示了如何使用Kubernetes的HorizontalPodAutoscaler进行弹性伸缩,降低成本。
63 4
|
25天前
|
弹性计算 运维 Serverless
阿里云Elasticsearch Serverless助力大型企业咨询公司大幅提升效能
阿里云Elasticsearch Serverless服务,提升了某大型企业咨询公司的数据查询速度和准确性,在实现成本可控的同时,帮助提高了企业效能并加强了客户服务能力。
260 0
|
26天前
|
存储 弹性计算 监控
【阿里云弹性计算】阿里云 ECS 性能优化秘籍:提升应用响应速度与资源利用率
【5月更文挑战第22天】阿里云ECS优化涉及实例规格选择、OS与应用配置、网络配置、存储优化及数据库连接池管理。合理挑选CPU和内存,关闭无关服务,利用EIP和负载均衡优化网络,选择合适存储类型,并通过监控工具进行性能分析和压力测试,以提升响应速度,优化资源利用率,降低成本,增强企业竞争力。示例展示了Java数据库连接池配置优化。通过持续探索和实践,可最大化发挥ECS潜力。
98 7
|
6天前
|
存储 分布式计算 大数据
MaxCompute操作报错合集之自定义udf的函数,引用了import net.sourceforge.pinyin4j.PinyinHelper;但是上传资源后,出现报错,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
6天前
|
SQL 分布式计算 监控
MaxCompute产品使用合集之如何监控作业和资源使用情况
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7天前
|
存储 分布式计算 大数据
MaxCompute产品使用合集之怎么将一个Quota的资源优先供给给标准模式的生产库调度使用
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
12天前
|
弹性计算 安全 网络安全
带你读《从基础到应用云上安全航行指南》——干货长文快收藏!阿里云专家教你如何安全访问和管理ECS资源(3)
**《从基础到应用云上安全航行指南》——阿里云专家教你如何安全访问和管理ECS资源(3)** 在阿里云的广阔云海中,ECS(弹性计算服务)资源如同航行的船只,承载着我们的业务与数据。如何确保这些
|
18天前
|
存储 SQL 分布式计算
大数据平台治理资源成本化
大数据平台治理资源成本化
21 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute