ECS使用体验 - 大数据云上实践

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大家好,我是一名在校的大学生,专业是软件工程。最近我在参加一项大数据应用类比赛。作品分为客户端和服务端两部分,客户端我是使用PyQt5开发的,负责收集用户操作信息,提交给后台的Spark框架进行在线分析,因为涉及到跨平台的情况,我想到了利用Web Service的方式来进行解决,使用Flask开发了一个简易网站,对Spark进行了封装,最终整个作品在本地能够成功的跑起来。但是比赛要求相关的服务端需要部署到公网IP能够在线访问,我想到了云服务器,听身边朋友介绍,阿里云的服务器性能不错,而且现在有学生计划,能够免费试用,所以我来到了官网,成功领取到了2周的服务器。

ECS环境部署

大数据我一直都感觉入门的门槛很高,繁杂的软件和配置文件,各种依赖安装,着实难倒了一个又一个想要了解大数据的人,多少人因为Hadoop启动后jps没有Namenode,Datanode,Hive Schematool初始化报错,Spark运行报错等等各种问题,上网查了一遍又一遍。之前在本地搭建起环境,成功跑起来,花了3天左右,本来想着在云服务器上部署估计也要3天了,出乎意料的是,在服务器上部署的很顺利,我使用的Ubuntu 18.04,内部配好了Python3和JDK,很多依赖也都提前安装了,节约了我很多的时间,最后只用了一个下午就完成了整个项目的环境配置,使用体验非常好!


快照保存

ECS配套的快照保存功能非常好用,特别是当部署环境非常复杂的时候,可以很好地保存当前状态,后面就算出了问题,也可以及时回滚,避免从头再来。ECS的快照还可以生成镜像,保存到本地,可以非常方便地进行服务器之间的迁移。快照功能本身是收费的,对于学生党来说合理控制使用就好,相比重新搭环境来说,花费少量的成本节约大量的时间仍然是一个相当划算的买卖。


总结

借助这段时间的云服务器环境部署实操,我充分锻炼了自身的云服务器部署能力和解决环境配置问题的能力,并且还了解到了许多有关系统运维方面的知识,比如ECS的监控面板对ECS的运行状态:CPU、内存、带宽等做了友好的展示,可以帮助大家随时随地查看系统的运行状态,优化云服务器的管理,在我使用Spark的过程中,就是通过这个功能查看CPU、内存的占用情况,来进行Spark的参数调优,最后也是获得了不错的优化效果。目前只是一个小的开始,未来仍要继续加油努力学习呀!最后,非常感谢阿里云举办的“飞天加速计划——高校学生在家实践”活动,能够帮助广大对云计算、云开发技术感兴趣的学生党,0成本轻松上云,为大家的理论学习和实践提供了一个非常好的平台,后面我也会向自己身边的朋友和同学们推荐,让他们一起来阿里云实践学习,拓宽自己的技术面。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3天前
|
弹性计算 Java Linux
ECS使用体验的文章
ECS使用体验的文章
|
2天前
|
弹性计算 前端开发 JavaScript
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
|
2天前
|
弹性计算 运维 安全
阿里云ecs使用体验
整了台服务器部署项目上线
|
3天前
|
弹性计算 前端开发 JavaScript
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
|
3天前
|
弹性计算 运维 安全
阿里云ecs使用体验
整了台服务器部署项目上线
|
1天前
|
弹性计算 Java Linux
ECS使用体验的文章
ECS使用体验的文章
|
4天前
|
弹性计算
ECS使用体验
ECS使用体验
|
4天前
|
弹性计算
阿里云ECS使用体验
在申请高校学生免费体验阿里云ECS云服务器后的一些使用体验和感受。
|
5天前
|
弹性计算 前端开发 JavaScript
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
|
5天前
|
存储 负载均衡 数据库
探索后端技术:从服务器架构到数据库优化的实践之旅
在当今数字化时代,后端技术作为支撑网站和应用运行的核心,扮演着至关重要的角色。本文将带领读者深入后端技术的两大关键领域——服务器架构和数据库优化,通过实践案例揭示其背后的原理与技巧。无论是对于初学者还是经验丰富的开发者,这篇文章都将提供宝贵的见解和实用的知识,帮助读者在后端开发的道路上更进一步。

热门文章

最新文章