ECS使用体验 - 大数据云上实践

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大家好,我是一名在校的大学生,专业是软件工程。最近我在参加一项大数据应用类比赛。作品分为客户端和服务端两部分,客户端我是使用PyQt5开发的,负责收集用户操作信息,提交给后台的Spark框架进行在线分析,因为涉及到跨平台的情况,我想到了利用Web Service的方式来进行解决,使用Flask开发了一个简易网站,对Spark进行了封装,最终整个作品在本地能够成功的跑起来。但是比赛要求相关的服务端需要部署到公网IP能够在线访问,我想到了云服务器,听身边朋友介绍,阿里云的服务器性能不错,而且现在有学生计划,能够免费试用,所以我来到了官网,成功领取到了2周的服务器。

ECS环境部署

大数据我一直都感觉入门的门槛很高,繁杂的软件和配置文件,各种依赖安装,着实难倒了一个又一个想要了解大数据的人,多少人因为Hadoop启动后jps没有Namenode,Datanode,Hive Schematool初始化报错,Spark运行报错等等各种问题,上网查了一遍又一遍。之前在本地搭建起环境,成功跑起来,花了3天左右,本来想着在云服务器上部署估计也要3天了,出乎意料的是,在服务器上部署的很顺利,我使用的Ubuntu 18.04,内部配好了Python3和JDK,很多依赖也都提前安装了,节约了我很多的时间,最后只用了一个下午就完成了整个项目的环境配置,使用体验非常好!


快照保存

ECS配套的快照保存功能非常好用,特别是当部署环境非常复杂的时候,可以很好地保存当前状态,后面就算出了问题,也可以及时回滚,避免从头再来。ECS的快照还可以生成镜像,保存到本地,可以非常方便地进行服务器之间的迁移。快照功能本身是收费的,对于学生党来说合理控制使用就好,相比重新搭环境来说,花费少量的成本节约大量的时间仍然是一个相当划算的买卖。


总结

借助这段时间的云服务器环境部署实操,我充分锻炼了自身的云服务器部署能力和解决环境配置问题的能力,并且还了解到了许多有关系统运维方面的知识,比如ECS的监控面板对ECS的运行状态:CPU、内存、带宽等做了友好的展示,可以帮助大家随时随地查看系统的运行状态,优化云服务器的管理,在我使用Spark的过程中,就是通过这个功能查看CPU、内存的占用情况,来进行Spark的参数调优,最后也是获得了不错的优化效果。目前只是一个小的开始,未来仍要继续加油努力学习呀!最后,非常感谢阿里云举办的“飞天加速计划——高校学生在家实践”活动,能够帮助广大对云计算、云开发技术感兴趣的学生党,0成本轻松上云,为大家的理论学习和实践提供了一个非常好的平台,后面我也会向自己身边的朋友和同学们推荐,让他们一起来阿里云实践学习,拓宽自己的技术面。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4天前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
17 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
6天前
|
存储 弹性计算 运维
端到端的ECS可观测性方案,助力云上业务安全稳定
本文介绍了云原生时代保障业务系统可靠性的方法和挑战,重点探讨了阿里云ECS在提升业务稳定性、性能监控及自动化恢复方面的能力。文章分为以下几个部分:首先,阐述了业务可靠性的三个阶段(事前预防、事中处理、事后跟进);其次,分析了云上业务系统面临的困难与挑战,并提出了通过更实时的监测和自动化工具有效规避风险;接着,详细描述了ECS实例稳定性和性能问题的解决方案;然后,介绍了即将发布的ECS Lens产品,它将全面提升云上业务的洞察能力和异常感知能力;最后,通过具体案例展示了如何利用OS自动重启和公网带宽自适应调节等功能确保业务连续性。总结部分强调了ECS致力于增强性能和稳定性的目标。
|
3天前
|
人工智能 监控 测试技术
阿里云磐久服务器稳定性实践之路
阿里云服务器质量智能管理体系聚焦自研服务器硬件层面的极致优化,应对高并发交付、短稳定性周期、早问题发现和快修复四大挑战。通过“三个重构”(质量标准、开发流程、交付模式)、“六个归一”(架构、硬件、软件、测试、部件、制造)策略,实现芯片、整机和云同步发布,确保快速稳定上量。此外,全场景测试体系与智能预警、分析、修复系统协同工作,保障服务器在萌芽阶段发现问题并及时解决,提升整体质量水平。未来,阿里云将继续深化大数据驱动的质量管理,推动服务器行业硬件质量的持续进步。
|
5天前
|
存储 人工智能 运维
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中,针对处理器核心数迅速增长(2024年超100核)、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题,推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径,优化散热支持600瓦TDP,并实现CIPU节点比例灵活配比及部件模块化可插拔设计,提升运维效率和客户响应速度。此外,还介绍了面向AI的服务器架构挑战与软硬件结合创新,包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后,探讨了大模型高效推理中的显存优化和量化压缩技术,旨在降低部署成本并提高系统效率。
|
2月前
|
存储 消息中间件 分布式计算
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖仓及查询分析引擎,显著提升了查询性能及系统稳定性,同时实现资源成本降低 30%。
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
|
2月前
|
弹性计算 监控 容灾
阿里云ECS提供强大的云上灾备解决方案,通过高可用基础设施、多样的数据备份方式及异地灾备服务,帮助企业实现业务的持续稳定运行
在数字化时代,企业对信息技术的依赖加深,确保业务连续性至关重要。阿里云ECS提供强大的云上灾备解决方案,通过高可用基础设施、多样的数据备份方式及异地灾备服务,帮助企业实现业务的持续稳定运行。无论是小型企业还是大型企业,都能从中受益,确保在面对各种风险时保持业务稳定。
53 4
|
2月前
|
边缘计算 人工智能 搜索推荐
大数据与零售业:精准营销的实践
【10月更文挑战第31天】在信息化社会,大数据技术正成为推动零售业革新的重要驱动力。本文探讨了大数据在零售业中的应用,包括客户细分、个性化推荐、动态定价、营销自动化、预测性分析、忠诚度管理和社交网络洞察等方面,通过实际案例展示了大数据如何帮助商家洞悉消费者行为,优化决策,实现精准营销。同时,文章也讨论了大数据面临的挑战和未来展望。
|
2月前
|
存储 弹性计算 NoSQL
"从入门到实践,全方位解析云服务器ECS的秘密——手把手教你轻松驾驭阿里云的强大计算力!"
【10月更文挑战第23天】云服务器ECS(Elastic Compute Service)是阿里云提供的基础云计算服务,允许用户在云端租用和管理虚拟服务器。ECS具有弹性伸缩、按需付费、简单易用等特点,适用于网站托管、数据库部署、大数据分析等多种场景。本文介绍ECS的基本概念、使用场景及快速上手指南。
93 3
|
3月前
|
弹性计算 前端开发 JavaScript
高校学生在家实践ECS弹性云服务器
简单谈谈我这几周使用ECS弹性云服务器的体验感
|
3月前
|
弹性计算 Java Linux
ECS使用体验的文章
ECS使用体验的文章