大数据在单机进行Hadoop的伪分布式安装(安装Linux~Ubuntu 的虚拟机~VirtualBox 和安装 Hadoop)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据在单机进行Hadoop的伪分布式安装(安装Linux~Ubuntu 的虚拟机~VirtualBox 和安装 Hadoop)

大数据在单机进行Hadoop的伪分布式安装(安装Linux~Ubuntu  的虚拟机~VirtualBox 和安装 Hadoop)

 

1,思路:第一步:先在windows 安装虚拟机 VirtualBox

过程:官网:(1)下载VirtualBox,网址:https://www.virtualbox.org/wiki/Downloads


28.png

(2)安装VirtualBox(就安装最新版的,官网还支持的)

安装过程,很简单,就是安装路径想改就改一下,其他的next的next,yes的yes,就成功了


29.png


❀ 安装后,建议设置一下全局,具体步骤:管理-》全局设定-》常规,修改一下 默认虚拟的电脑位置


30.png


2,思路:第二步:下载Ubuntu18版本,等一下要使用虚拟机VirtualBox来安装它

(新版本应该也行吧,不过课本用了最新的18,交作业的话,听课本安排也行~)

过程:官网下载 Ubuntu18版本网址:https://www.virtualbox.org/wiki/Downloads(太慢了~考虑用镜像)

~~~~~官网下载太慢:清华镜像,网址:清华大学开源软件镜像站 | Tsinghua Open Source Mirror


31.png

32.png


3,思路:第三步:使用虚拟机VirtualBox来安装Ubuntu

(1)具体步骤:新建-》名称:Ubuntu,文件夹:默认虚拟电脑位置

(一开始进行全局设定时设定啦,如果一开始没设定,现在选一个文件作为虚拟电脑的位置即可


33.png


(2)避免卡顿现象,建议给4G或以上的内存(4G 是 4096MB)


34.png


(3)然后next(next:现在创建虚拟硬盘-》VDI-》动态分配)直到  虚拟硬盘的大小(建议给大点 20G)



35.png

  ~~~~~~~~~~~至此可以看到如下结果~~~~~~~~~~~~~~~~~~~~~~~~


36.png


(4)此时“没有盘片”,且“Ubuntu 是关闭的”,则需要先导入盘片,然后再开启Ubuntu。

  ■ 解决“没有盘片”的具体步骤:选中 Ubuntu(关闭状态)-》设置-》存储-》没有盘片-》.....(选择 光盘影像文件:ubuntu-18.04.6-desktop-amd64.iso)


37.png


(5)  ■ 启动 Ubuntu:点击 启动 , 然后就按照提示来即可~

-选择 中文(简体)-》安装 Ubuntu -》 汉语, 汉语 -》 正常安安装 Ubuntu 时下载更新

-》选择安装类型为:清除整个磁盘并安装Ubuntu,然后点击 现在安装

-》将改动写入磁盘吗? 点击 继续 -》时区,默认选择 shanghai -》设置计算机名、用户名、用户密码


38.png


(6)装结束后,重新启动(重启大概 15分钟左右吧)

 

(7)扩展安装包,建议一并安装上吧,因为有个bug:(主机、虚拟机可能会出现内存占用的干扰):

 ①  先到官网下载一下扩展安装包(记得版本要与VBox 一致):例如我的是:Oracle_VM_VirtualBox_Extension_Pack-6.1.26.vbox-extpack

      官网:https://www.virtualbox.org/wiki/Downloads

 ②安装扩展步骤:管理-》全局设定-》+ -》选择扩展安装包 -》 安装 ...


39.png


可选操作~(对于需要安装hadoop 建议操作搞一波理由:安装hapdoop时java的jdk需要从主机共享给虚拟机呀

virtualbox中ubuntu虚拟机安装增强功能

------安装增强工具的目的主要有两个:

  1. 实现虚拟机(Ubuntu)和主机(Windows)的文件共享
  2. 可以使用全屏模式~即启用 vbox 无缝模式,该过程需要安装增强功能~
  3. 实现主机与虚拟机双向的复制粘贴

Error mounting /dev/sr0 at /media/ VBox【虚拟机增强功能问题】:

解决:重新安装linux映像

命令:sudo apt-get install --reinstall linux-image-$(uname -r)

 

(1) 设置Ubuntu的菜单栏不隐藏  之 具体步骤:打开virtualbox -》设置 -》用户界面 -》......


40.png


 (2)虚拟机(Ubuntu)和主机(Windows)的文件共享 之 具体步骤:virtualbox -》设置 -》共享文件夹 -》.....


41.png


(3)全屏模式~即启用 vbox 无缝模式,~安装增强工具

具体步骤:启动 Ubuntu -》(Ubuntu界面的) 设备 -》安装增强功能

(可能遇到的bug:virtualbox安装增强功能时【未能加载虚拟光盘】)

~解决:(注意,配置光驱时需要先将虚拟机关机,配置完成后再开启。):vbox下 -》 设置 -》存储-》... (在VBox安装目录下找到VBoxGuestAdditions.iso


42.png


~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

-》在桌面的VBox_GAs_6.**(6点几的版本)的盘符或在主文件中进入VBox_GAs_6.**(6点几的版本),点击其进入

-》点击运行软件,安装增强工具的依赖 -》命令如下:

(可能会遇到bug:就是进去后,直接被要求输入回车键,然后自动退出了,导致咱的增强工具依赖没机会安装上)~解决:通过终端来安装增强工具的依赖

sudo apt-get install gcc perl make

 

~~~~~~~~~~~~~~~~~~~~~~~通过终端来安装增强工具的依赖~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

①先记住你的VBox_GAs_6.** 盘符所在的路径


43.png


②ctr+alt+t 进入终端:(依次输入以下命令:)

sudo su
cd /media/yushan/VBox_GAs_6.1.26      #cd /VBox_GAs的位置
sudo apt-get install gcc perl make


如果遇到有XX个软件包未被升级:
解决:(执行命令):sudo apt-get dist-upgrade

③ 重启 Ubuntu (或者退出去,再进来,就可以实现共享啦)

ps:共享的使用:在windows复制某个文件到 咱设置的这个共享文件里,便在主机和虚拟机都有这个文件。

 ④ 在 vbox 的 设置 --> 常规 --> 高级 里的 共享粘贴板 和 拖放 选择 双向,使得虚拟机和主机的交互更加简单

❀安装成功后ctr+c 即可进入 无缝模式

(vbox 安装 ubuntu 后,如果不能启用无缝模式,外观不能全屏,操作也很不方便~,通过安装增强功能实现无缝模式啦)


44.png


❀ 安装成功后:便可以实现文件的共享

共享的使用:例如在windows复制某个文件到 咱设置的这个共享文件里,便在主机和虚拟机都有这个文件。

 ❀ 安装成功后:便可以实现主机和虚拟机之间相互复制粘贴

目录
相关文章
|
21天前
|
JSON Ubuntu 开发者
ubuntu 22安装lua环境&&编译lua cjson模块
通过上述步骤,可以在 Ubuntu 22.04 系统上成功安装 Lua 环境,并使用 LuaRocks 或手动编译的方式安装 lua-cjson 模块。本文详细介绍了每一步的命令和操作,确保每一步都能顺利完成,适合需要在 Ubuntu 系统上配置 Lua 开发环境的开发者参考和使用。
97 13
|
17天前
|
监控 关系型数据库 MySQL
Ubuntu24.04安装Librenms
此指南介绍了在Linux系统上安装和配置LibreNMS网络监控系统的步骤。主要内容包括:安装所需软件包、创建用户、克隆LibreNMS仓库、设置文件权限、安装PHP依赖、配置时区、设置MariaDB数据库、调整PHP-FPM与Nginx配置、配置SNMP及防火墙、启用命令补全、设置Cron任务和日志配置,最后通过网页完成安装。整个过程确保LibreNMS能稳定运行并提供有效的网络监控功能。
|
27天前
|
负载均衡 Ubuntu 应用服务中间件
nginx修改网站默认根目录及发布(linux、centos、ubuntu)openEuler软件源repo站点
通过合理配置 Nginx,我们可以高效地管理和发布软件源,为用户提供稳定可靠的服务。
97 13
|
28天前
|
Ubuntu Linux Docker
Ubuntu22.04上Docker的安装
通过以上详细的安装步骤和命令,您可以在Ubuntu 22.04系统上顺利安装
594 12
|
2月前
|
Ubuntu 开发工具 git
Ubuntu安装homebrew的完整教程
本文介绍了如何在没有公网的情况下安装 Homebrew。首先访问 Homebrew 官网,然后通过阿里云的镜像克隆安装脚本,并创建普通用户进行安装。接着修改 `install.sh` 文件指向国内镜像,执行安装命令。最后配置环境变量并更换 Homebrew 源为国内镜像,确保安装顺利。
477 50
|
26天前
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
63 4
|
2月前
|
Ubuntu
ubuntu和debian 的安装包dpkg管理命令对安装包进行安装,查询,卸载
Ubuntu dpkg 软件包管理命令概览:安装、卸载、查看和配置软件包。包括解决依赖、强制卸载、列出及过滤已安装包、查看包详情等操作。
81 10
|
2月前
|
Ubuntu API 开发工具
PSOPT在Ubuntu22.04下的安装
通过上述步骤,可以在Ubuntu 22.04下成功安装并配置PSOPT。PSOPT是一个功能强大的工具,适用于解决各种最优控制问题。确保在安装前满足系统要求,并仔细按照步骤操作,可以避免大多数常见问题。通过MATLAB与PSOPT的结合,您可以更高效地处理复杂的控制问题,并获得准确的解决方案。
39 5
|
2月前
|
Ubuntu Linux 网络安全
linux系统ubuntu中在命令行中打开图形界面的文件夹
在Ubuntu系统中,通过命令行打开图形界面的文件夹是一个高效且实用的操作。无论是使用Nautilus、Dolphin还是Thunar,都可以根据具体桌面环境选择合适的文件管理器。通过上述命令和方法,可以简化日常工作,提高效率。同时,解决权限问题和图形界面问题也能确保操作的顺利进行。掌握这些技巧,可以使Linux操作更加便捷和灵活。
60 3
|
2月前
|
Ubuntu 网络协议 关系型数据库
超聚变服务器2288H V6使用 iBMC 安装 Ubuntu Server 24.04 LTS及后续系统配置
【11月更文挑战第15天】本文档详细介绍了如何使用iBMC在超聚变服务器2288H V6上安装Ubuntu Server 24.04 LTS,包括连接iBMC管理口、登录iBMC管理界面、配置RAID、安装系统以及后续系统配置等步骤。
295 4