ESC使用体验

简介: 需要使用云服务器搭建Hadoop集群,比较了阿里云和腾讯云后,选择了阿里云的飞天加速计划

本人是一名的大三的软件工程(大数据技术方向)的学生,由于本学期需要学习大数据原理与实践,而学习这门课首先要学习Hadoop的搭建和使用,所以我使用了三台本地虚拟机来搭建了Hadoop集群,但是因为后期需要搭建网站收集网络数据进行学习计算,所以我需要一台云服务器来搭建Hadoop集群。由于跟随企业老师的学习需要用时两个月,而其他的云服务器只能领取一个月,于是我选择了阿里云的飞天加速计划,阿里云的飞天加速计划预计可以领取两个月的云服务器使用,足够支撑我完成学习Hadoop,感谢阿里云的飞天加速计划
阿里云的云服务器管理控制台很好用,不仅可以详细的监控云服务器、设置云服务器的防火墙端口等相关参数,它还会实时报警一些云服务器的风险,使得你能更好的掌控自己的服务器。
在这里分享一下搭建伪分布式Hadoop的过程和遇到的问题:1:上传合适的jdk和Hadoop安装包,上传完成后解压到相应的路径2:配置jdk和Hadoop的环境变量,配置主机映射3:配置core-site.xml文件,指定namenode的地址和Hadoop数据的存储目录4:配置hdfs—site.xml文件,指定namenode的访问地址和Secondarynamenode的地址和HDFS副本数量为15:配置mapred-site.xml文件,指定MapReduce程序运行在Yarn上6:配置yarn-site.xml文件,指定MR走shuffle、指定ResourceManager的地址、继承环境变量7:初始化HDFS、启动HDFS和YARN
也分享一下搭建环境时遇到的问题:我在配置完环境后,发现进程全部运行正常,但是访问不了namenode的客户端,一番排查之后解决了:需要在阿里云控制台开放namenode设置的端口,还有就是云服务器是有一个共网IP和一个私网IP,如果在配置完hadoop集群并成功启动后发现无法在浏览器访问客户端,除了没开放端口外,也可能是配置时搞错了IP,导致浏览器不能正确的指向客户端。
通过这次使用ECS搭建Hadoop的过程,我学习到了Hadoop和云服务器的使用,了解到了ESC的原理和运行过程,感谢阿里云的飞天加速计划

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
11月前
|
机器学习/深度学习 人工智能 C++
《CMake:掌控 C++人工智能项目编译的魔法棒》
在 C++ 人工智能项目的开发中,CMake 作为一款强大的构建工具,能够高效管理项目的编译流程。本文深入探讨了如何利用 CMake 处理复杂的项目结构、管理库文件链接、定制编译选项、支持跨平台编译以及生成和管理构建系统,帮助开发者高效构建、扩展和维护 C++ 人工智能项目。
193 17
|
缓存 NoSQL 关系型数据库
MySQL与Redis缓存一致性的实现与挑战
在现代软件开发中,MySQL作为关系型数据库管理系统,广泛应用于数据存储;而Redis则以其高性能的内存数据结构存储特性,常被用作缓存层来提升数据访问速度。然而,当MySQL与Redis结合使用时,确保两者之间的数据一致性成为了一个重要且复杂的挑战。本文将从技术角度分享MySQL与Redis缓存一致性的实现方法及其面临的挑战。
381 2
|
消息中间件 存储 NoSQL
物联网设备频繁断网,如何打赢智慧社区的流量洪峰之战?
本文详细介绍了智慧社区中物联网(IOT)技术的应用,重点讨论了物联网流量洪峰的处理方法。文章分析了上行和下行消息的特点,并提出了上下行拆分、多泳道消息队列、实时消息优先处理、连接计算存储分离及推拉结合的消息策略,以优化消息队列,确保系统稳定运行。通过这些技术手段,智慧社区的物联网设备能在各种场景中保持高效运作。
232 2
|
分布式计算 API 对象存储
Ray是一个开源的分布式计算框架,用于构建和扩展分布式应用。它提供了简单的API,使得开发者可以轻松地编写并行和分布式代码,而无需担心底层的复杂性。
Ray是一个开源的分布式计算框架,用于构建和扩展分布式应用。它提供了简单的API,使得开发者可以轻松地编写并行和分布式代码,而无需担心底层的复杂性。
2478 11
|
持续交付 Android开发 开发者
构建高性能微服务架构:后端开发的终极指南构建高效Android应用:Kotlin与Jetpack的完美结合
【5月更文挑战第28天】 在现代软件开发的浪潮中,微服务架构已经成为了设计灵活、可扩展且易于维护系统的重要模式。本文将深入探讨如何构建一个高性能的微服务架构,涵盖从基础概念理解到实践策略部署的全过程。我们将讨论关键的设计原则、技术选型、性能优化技巧以及安全性考虑,旨在为后端开发者提供一个全面的指南,帮助他们构建出能够适应快速变化的市场需求和技术挑战的系统。 【5月更文挑战第28天】 在移动开发的世界中,效率和性能是衡量一个应用成功与否的关键因素。本文将深入探讨如何通过结合Kotlin语言和Android Jetpack组件,来构建一个既高效又易维护的Android应用。我们将透过实际案例分析
|
弹性计算 Kubernetes 应用服务中间件
微服务和 Serverless 架构-EDAS 基本操作讲解与 EDAS 优势总结
微服务和 Serverless 架构-EDAS 基本操作讲解与 EDAS 优势总结
微服务和 Serverless 架构-EDAS 基本操作讲解与 EDAS 优势总结
阿里云商标注册教程:新手自助申请详细步骤
阿里云商标注册图文教程快速上手笔记,本文以阿里云商标智能注册申请为例,商标智能注册申请需要用户手动填写商标类型、商标名称、商标图样、商标说明及商标分类表选择等操作,流程较为复杂,TM83商标网来详细说下阿里云商标注册快速上手笔记
1198 1
阿里云商标注册教程:新手自助申请详细步骤
|
Python
Python编程:pkgutil获取包中的资源文件
Python编程:pkgutil获取包中的资源文件
185 0
|
Linux
ARM6818开发板输入设备(触摸屏)操作(开发五子棋游戏)
ARM6818开发板输入设备(触摸屏)操作(开发五子棋游戏)
571 0
|
SQL Dart 算法
Flutter SqlLite数据库快速入门
Flutter SqlLite数据库快速入门
Flutter SqlLite数据库快速入门