ECS使用体验 - 大数据云上实践

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大家好,我是一名在校的大学生,专业是软件工程。最近我在参加一项大数据应用类比赛。作品分为客户端和服务端两部分,客户端我是使用PyQt5开发的,负责收集用户操作信息,提交给后台的Spark框架进行在线分析,因为涉及到跨平台的情况,我想到了利用Web Service的方式来进行解决,使用Flask开发了一个简易网站,对Spark进行了封装,最终整个作品在本地能够成功的跑起来。但是比赛要求相关的服务端需要部署到公网IP能够在线访问,我想到了云服务器,听身边朋友介绍,阿里云的服务器性能不错,而且现在有学生计划,能够免费试用,所以我来到了官网,成功领取到了2周的服务器。

ECS环境部署

大数据我一直都感觉入门的门槛很高,繁杂的软件和配置文件,各种依赖安装,着实难倒了一个又一个想要了解大数据的人,多少人因为Hadoop启动后jps没有Namenode,Datanode,Hive Schematool初始化报错,Spark运行报错等等各种问题,上网查了一遍又一遍。之前在本地搭建起环境,成功跑起来,花了3天左右,本来想着在云服务器上部署估计也要3天了,出乎意料的是,在服务器上部署的很顺利,我使用的Ubuntu 18.04,内部配好了Python3和JDK,很多依赖也都提前安装了,节约了我很多的时间,最后只用了一个下午就完成了整个项目的环境配置,使用体验非常好!


快照保存

ECS配套的快照保存功能非常好用,特别是当部署环境非常复杂的时候,可以很好地保存当前状态,后面就算出了问题,也可以及时回滚,避免从头再来。ECS的快照还可以生成镜像,保存到本地,可以非常方便地进行服务器之间的迁移。快照功能本身是收费的,对于学生党来说合理控制使用就好,相比重新搭环境来说,花费少量的成本节约大量的时间仍然是一个相当划算的买卖。


总结

借助这段时间的云服务器环境部署实操,我充分锻炼了自身的云服务器部署能力和解决环境配置问题的能力,并且还了解到了许多有关系统运维方面的知识,比如ECS的监控面板对ECS的运行状态:CPU、内存、带宽等做了友好的展示,可以帮助大家随时随地查看系统的运行状态,优化云服务器的管理,在我使用Spark的过程中,就是通过这个功能查看CPU、内存的占用情况,来进行Spark的参数调优,最后也是获得了不错的优化效果。目前只是一个小的开始,未来仍要继续加油努力学习呀!最后,非常感谢阿里云举办的“飞天加速计划——高校学生在家实践”活动,能够帮助广大对云计算、云开发技术感兴趣的学生党,0成本轻松上云,为大家的理论学习和实践提供了一个非常好的平台,后面我也会向自己身边的朋友和同学们推荐,让他们一起来阿里云实践学习,拓宽自己的技术面。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
弹性计算 前端开发 JavaScript
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
|
22天前
|
存储 消息中间件 分布式计算
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖仓及查询分析引擎,显著提升了查询性能及系统稳定性,同时实现资源成本降低 30%。
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
|
25天前
|
弹性计算 监控 容灾
阿里云ECS提供强大的云上灾备解决方案,通过高可用基础设施、多样的数据备份方式及异地灾备服务,帮助企业实现业务的持续稳定运行
在数字化时代,企业对信息技术的依赖加深,确保业务连续性至关重要。阿里云ECS提供强大的云上灾备解决方案,通过高可用基础设施、多样的数据备份方式及异地灾备服务,帮助企业实现业务的持续稳定运行。无论是小型企业还是大型企业,都能从中受益,确保在面对各种风险时保持业务稳定。
42 4
|
1月前
|
边缘计算 人工智能 搜索推荐
大数据与零售业:精准营销的实践
【10月更文挑战第31天】在信息化社会,大数据技术正成为推动零售业革新的重要驱动力。本文探讨了大数据在零售业中的应用,包括客户细分、个性化推荐、动态定价、营销自动化、预测性分析、忠诚度管理和社交网络洞察等方面,通过实际案例展示了大数据如何帮助商家洞悉消费者行为,优化决策,实现精准营销。同时,文章也讨论了大数据面临的挑战和未来展望。
|
1月前
|
存储 弹性计算 NoSQL
"从入门到实践,全方位解析云服务器ECS的秘密——手把手教你轻松驾驭阿里云的强大计算力!"
【10月更文挑战第23天】云服务器ECS(Elastic Compute Service)是阿里云提供的基础云计算服务,允许用户在云端租用和管理虚拟服务器。ECS具有弹性伸缩、按需付费、简单易用等特点,适用于网站托管、数据库部署、大数据分析等多种场景。本文介绍ECS的基本概念、使用场景及快速上手指南。
85 3
|
2月前
|
弹性计算 前端开发 JavaScript
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
|
2月前
|
弹性计算 Java Linux
ECS使用体验的文章
ECS使用体验的文章
|
2月前
|
弹性计算 前端开发 JavaScript
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
|
2月前
|
弹性计算 前端开发 JavaScript
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
|
2月前
|
弹性计算 运维 安全
阿里云ecs使用体验
整了台服务器部署项目上线
下一篇
DataWorks