ESC使用体验

简介: 需要使用云服务器搭建Hadoop集群,比较了阿里云和腾讯云后,选择了阿里云的飞天加速计划

本人是一名的大三的软件工程(大数据技术方向)的学生,由于本学期需要学习大数据原理与实践,而学习这门课首先要学习Hadoop的搭建和使用,所以我使用了三台本地虚拟机来搭建了Hadoop集群,但是因为后期需要搭建网站收集网络数据进行学习计算,所以我需要一台云服务器来搭建Hadoop集群。由于跟随企业老师的学习需要用时两个月,而其他的云服务器只能领取一个月,于是我选择了阿里云的飞天加速计划,阿里云的飞天加速计划预计可以领取两个月的云服务器使用,足够支撑我完成学习Hadoop,感谢阿里云的飞天加速计划
阿里云的云服务器管理控制台很好用,不仅可以详细的监控云服务器、设置云服务器的防火墙端口等相关参数,它还会实时报警一些云服务器的风险,使得你能更好的掌控自己的服务器。
在这里分享一下搭建伪分布式Hadoop的过程和遇到的问题:1:上传合适的jdk和Hadoop安装包,上传完成后解压到相应的路径2:配置jdk和Hadoop的环境变量,配置主机映射3:配置core-site.xml文件,指定namenode的地址和Hadoop数据的存储目录4:配置hdfs—site.xml文件,指定namenode的访问地址和Secondarynamenode的地址和HDFS副本数量为15:配置mapred-site.xml文件,指定MapReduce程序运行在Yarn上6:配置yarn-site.xml文件,指定MR走shuffle、指定ResourceManager的地址、继承环境变量7:初始化HDFS、启动HDFS和YARN
也分享一下搭建环境时遇到的问题:我在配置完环境后,发现进程全部运行正常,但是访问不了namenode的客户端,一番排查之后解决了:需要在阿里云控制台开放namenode设置的端口,还有就是云服务器是有一个共网IP和一个私网IP,如果在配置完hadoop集群并成功启动后发现无法在浏览器访问客户端,除了没开放端口外,也可能是配置时搞错了IP,导致浏览器不能正确的指向客户端。
通过这次使用ECS搭建Hadoop的过程,我学习到了Hadoop和云服务器的使用,了解到了ESC的原理和运行过程,感谢阿里云的飞天加速计划

相关实践学习
基于ECS搭建云上博客
本实验教您如何在ECS云服务器(Alibaba Cloud Linux 3)的环境下,通过部署LAMP环境并安装WordPress快速搭建个人博客。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
网络协议 网络架构
TCP IP协议簇:网络通信的基石
【4月更文挑战第20天】
842 7
|
监控 安全 Linux
Qt 文件类实战:解锁文件操作的无限可能
Qt 文件类实战:解锁文件操作的无限可能
1132 1
|
编解码 算法 文件存储
浅谈动图文件格式 - GIF
介绍动图的文件格式,及其优劣
3900 0
浅谈动图文件格式 - GIF
|
5月前
|
人工智能 自然语言处理 数据库
迈向可靠的垂类 Agent:检索增强、中场操作化与双线规则建构
本文提出“中场操作化”核心理念,破解垂类Agent可靠性瓶颈:将RAG降级为受约束数据库,首创双线规则建构(基础线保障学科共识、个性线承载实践经验),通过激活梯度蒙版实现知识到可执行规则的结构化转化,并以请求灌注机制践行认知诚实。全文聚焦工程可落地的架构创新。(239字)
502 1
|
4月前
|
算法 API 开发者
停车场查询-停车场实时查询-全国停车场实时查询API接口使用指南
这是一款智能停车场查询API,支持按城市或周边位置检索停车场信息,涵盖名称、地址、经纬度、类型、收费详情、总/剩余车位数等关键数据,助力开发者快速集成停车服务。
937 0
|
11月前
|
安全 芯片 UED
两节串联锂电池充电管理芯片,普通,高压,快充输入选型介绍
两节串联锂电池充电管理芯片,普通,高压,快充输入选型介绍
|
5月前
|
人工智能 安全 Anolis
解读《2025龙蜥社区操作系统白皮书》,这四大亮点值得关注
操作系统在 AI 时代该怎么走,龙蜥社区给出的答案已经越来越清晰。
|
6月前
|
缓存 搜索推荐 网络安全
KKCE:如何解决网站打开慢的问题?
网站打开慢?别急着瞎优化!本文提供一套零门槛、可复用的排查—解决—维护全流程:先用测速工具+浏览器调试精准定位慢因(服务器/资源/网络/本地),再针对性优化(升配、压缩图片、开CDN、配缓存),最后定期测速清理。小白也能3步提速,稳保秒开!(239字)
1145 9
|
6月前
|
弹性计算 监控 网络协议
服务器部署后用户反馈访问慢,一份 SRE 视角的全链路网络诊断实战清单
本文总结后端/运维/站长高频遇到的“用户访问异常”问题,提出可落地的“全链路诊断七步法”:从多地Ping、TCPing、HTTP分段测速、Traceroute定位拥塞点,到DNS一致性检查与IP信誉扫描。不讲理论,只教命令、工具和典型现象判断,助你快速定位网络瓶颈,告别“本地正常、用户炸锅”的排查困境。
777 0
|
11月前
|
人工智能 自然语言处理 搜索推荐
2025年中国数字人企业厂商排名与新推荐及新范式
AI数字人融合语音识别、自然语言理解与多模态交互,正重塑虚拟服务新范式。从像衍科技的技术深耕到阿里、百度的场景落地,数字人已广泛应用于内容创作、医疗教育等领域,兼具拟真形象与智能内核。在伦理与技术平衡中,迈向个性化、普惠化的虚实共生未来。