ECS环境部署
大数据我一直都感觉入门的门槛很高,繁杂的软件和配置文件,各种依赖安装,着实难倒了一个又一个想要了解大数据的人,多少人因为Hadoop启动后jps没有Namenode,Datanode,Hive Schematool初始化报错,Spark运行报错等等各种问题,上网查了一遍又一遍。之前在本地搭建起环境,成功跑起来,花了3天左右,本来想着在云服务器上部署估计也要3天了,出乎意料的是,在服务器上部署的很顺利,我使用的Ubuntu 18.04,内部配好了Python3和JDK,很多依赖也都提前安装了,节约了我很多的时间,最后只用了一个下午就完成了整个项目的环境配置,使用体验非常好!
快照保存
ECS配套的快照保存功能非常好用,特别是当部署环境非常复杂的时候,可以很好地保存当前状态,后面就算出了问题,也可以及时回滚,避免从头再来。ECS的快照还可以生成镜像,保存到本地,可以非常方便地进行服务器之间的迁移。快照功能本身是收费的,对于学生党来说合理控制使用就好,相比重新搭环境来说,花费少量的成本节约大量的时间仍然是一个相当划算的买卖。
总结
借助这段时间的云服务器环境部署实操,我充分锻炼了自身的云服务器部署能力和解决环境配置问题的能力,并且还了解到了许多有关系统运维方面的知识,比如ECS的监控面板对ECS的运行状态:CPU、内存、带宽等做了友好的展示,可以帮助大家随时随地查看系统的运行状态,优化云服务器的管理,在我使用Spark的过程中,就是通过这个功能查看CPU、内存的占用情况,来进行Spark的参数调优,最后也是获得了不错的优化效果。目前只是一个小的开始,未来仍要继续加油努力学习呀!最后,非常感谢阿里云举办的“飞天加速计划——高校学生在家实践”活动,能够帮助广大对云计算、云开发技术感兴趣的学生党,0成本轻松上云,为大家的理论学习和实践提供了一个非常好的平台,后面我也会向自己身边的朋友和同学们推荐,让他们一起来阿里云实践学习,拓宽自己的技术面。