大数据在单机进行Hadoop的伪分布式安装(安装Linux~Ubuntu 的虚拟机~VirtualBox 和安装 Hadoop)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据在单机进行Hadoop的伪分布式安装(安装Linux~Ubuntu 的虚拟机~VirtualBox 和安装 Hadoop)

大数据在单机进行Hadoop的伪分布式安装(安装Linux~Ubuntu  的虚拟机~VirtualBox 和安装 Hadoop)

 

1,思路:第一步:先在windows 安装虚拟机 VirtualBox

过程:官网:(1)下载VirtualBox,网址:https://www.virtualbox.org/wiki/Downloads


28.png

(2)安装VirtualBox(就安装最新版的,官网还支持的)

安装过程,很简单,就是安装路径想改就改一下,其他的next的next,yes的yes,就成功了


29.png


❀ 安装后,建议设置一下全局,具体步骤:管理-》全局设定-》常规,修改一下 默认虚拟的电脑位置


30.png


2,思路:第二步:下载Ubuntu18版本,等一下要使用虚拟机VirtualBox来安装它

(新版本应该也行吧,不过课本用了最新的18,交作业的话,听课本安排也行~)

过程:官网下载 Ubuntu18版本网址:https://www.virtualbox.org/wiki/Downloads(太慢了~考虑用镜像)

~~~~~官网下载太慢:清华镜像,网址:清华大学开源软件镜像站 | Tsinghua Open Source Mirror


31.png

32.png


3,思路:第三步:使用虚拟机VirtualBox来安装Ubuntu

(1)具体步骤:新建-》名称:Ubuntu,文件夹:默认虚拟电脑位置

(一开始进行全局设定时设定啦,如果一开始没设定,现在选一个文件作为虚拟电脑的位置即可


33.png


(2)避免卡顿现象,建议给4G或以上的内存(4G 是 4096MB)


34.png


(3)然后next(next:现在创建虚拟硬盘-》VDI-》动态分配)直到  虚拟硬盘的大小(建议给大点 20G)



35.png

  ~~~~~~~~~~~至此可以看到如下结果~~~~~~~~~~~~~~~~~~~~~~~~


36.png


(4)此时“没有盘片”,且“Ubuntu 是关闭的”,则需要先导入盘片,然后再开启Ubuntu。

  ■ 解决“没有盘片”的具体步骤:选中 Ubuntu(关闭状态)-》设置-》存储-》没有盘片-》.....(选择 光盘影像文件:ubuntu-18.04.6-desktop-amd64.iso)


37.png


(5)  ■ 启动 Ubuntu:点击 启动 , 然后就按照提示来即可~

-选择 中文(简体)-》安装 Ubuntu -》 汉语, 汉语 -》 正常安安装 Ubuntu 时下载更新

-》选择安装类型为:清除整个磁盘并安装Ubuntu,然后点击 现在安装

-》将改动写入磁盘吗? 点击 继续 -》时区,默认选择 shanghai -》设置计算机名、用户名、用户密码


38.png


(6)装结束后,重新启动(重启大概 15分钟左右吧)

 

(7)扩展安装包,建议一并安装上吧,因为有个bug:(主机、虚拟机可能会出现内存占用的干扰):

 ①  先到官网下载一下扩展安装包(记得版本要与VBox 一致):例如我的是:Oracle_VM_VirtualBox_Extension_Pack-6.1.26.vbox-extpack

      官网:https://www.virtualbox.org/wiki/Downloads

 ②安装扩展步骤:管理-》全局设定-》+ -》选择扩展安装包 -》 安装 ...


39.png


可选操作~(对于需要安装hadoop 建议操作搞一波理由:安装hapdoop时java的jdk需要从主机共享给虚拟机呀

virtualbox中ubuntu虚拟机安装增强功能

------安装增强工具的目的主要有两个:

  1. 实现虚拟机(Ubuntu)和主机(Windows)的文件共享
  2. 可以使用全屏模式~即启用 vbox 无缝模式,该过程需要安装增强功能~
  3. 实现主机与虚拟机双向的复制粘贴

Error mounting /dev/sr0 at /media/ VBox【虚拟机增强功能问题】:

解决:重新安装linux映像

命令:sudo apt-get install --reinstall linux-image-$(uname -r)

 

(1) 设置Ubuntu的菜单栏不隐藏  之 具体步骤:打开virtualbox -》设置 -》用户界面 -》......


40.png


 (2)虚拟机(Ubuntu)和主机(Windows)的文件共享 之 具体步骤:virtualbox -》设置 -》共享文件夹 -》.....


41.png


(3)全屏模式~即启用 vbox 无缝模式,~安装增强工具

具体步骤:启动 Ubuntu -》(Ubuntu界面的) 设备 -》安装增强功能

(可能遇到的bug:virtualbox安装增强功能时【未能加载虚拟光盘】)

~解决:(注意,配置光驱时需要先将虚拟机关机,配置完成后再开启。):vbox下 -》 设置 -》存储-》... (在VBox安装目录下找到VBoxGuestAdditions.iso


42.png


~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

-》在桌面的VBox_GAs_6.**(6点几的版本)的盘符或在主文件中进入VBox_GAs_6.**(6点几的版本),点击其进入

-》点击运行软件,安装增强工具的依赖 -》命令如下:

(可能会遇到bug:就是进去后,直接被要求输入回车键,然后自动退出了,导致咱的增强工具依赖没机会安装上)~解决:通过终端来安装增强工具的依赖

sudo apt-get install gcc perl make

 

~~~~~~~~~~~~~~~~~~~~~~~通过终端来安装增强工具的依赖~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

①先记住你的VBox_GAs_6.** 盘符所在的路径


43.png


②ctr+alt+t 进入终端:(依次输入以下命令:)

sudo su
cd /media/yushan/VBox_GAs_6.1.26      #cd /VBox_GAs的位置
sudo apt-get install gcc perl make


如果遇到有XX个软件包未被升级:
解决:(执行命令):sudo apt-get dist-upgrade

③ 重启 Ubuntu (或者退出去,再进来,就可以实现共享啦)

ps:共享的使用:在windows复制某个文件到 咱设置的这个共享文件里,便在主机和虚拟机都有这个文件。

 ④ 在 vbox 的 设置 --> 常规 --> 高级 里的 共享粘贴板 和 拖放 选择 双向,使得虚拟机和主机的交互更加简单

❀安装成功后ctr+c 即可进入 无缝模式

(vbox 安装 ubuntu 后,如果不能启用无缝模式,外观不能全屏,操作也很不方便~,通过安装增强功能实现无缝模式啦)


44.png


❀ 安装成功后:便可以实现文件的共享

共享的使用:例如在windows复制某个文件到 咱设置的这个共享文件里,便在主机和虚拟机都有这个文件。

 ❀ 安装成功后:便可以实现主机和虚拟机之间相互复制粘贴

目录
相关文章
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
96 2
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
70 1
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
66 1
|
2月前
|
SQL 分布式计算 大数据
大数据平台的毕业设计01:Hadoop与离线分析
大数据平台的毕业设计01:Hadoop与离线分析
129 0
|
23天前
|
Linux 网络安全 数据安全/隐私保护
Linux 超级强大的十六进制 dump 工具:XXD 命令,我教你应该如何使用!
在 Linux 系统中,xxd 命令是一个强大的十六进制 dump 工具,可以将文件或数据以十六进制和 ASCII 字符形式显示,帮助用户深入了解和分析数据。本文详细介绍了 xxd 命令的基本用法、高级功能及实际应用案例,包括查看文件内容、指定输出格式、写入文件、数据比较、数据提取、数据转换和数据加密解密等。通过掌握这些技巧,用户可以更高效地处理各种数据问题。
52 8
|
23天前
|
监控 Linux
如何检查 Linux 内存使用量是否耗尽?这 5 个命令堪称绝了!
本文介绍了在Linux系统中检查内存使用情况的5个常用命令:`free`、`top`、`vmstat`、`pidstat` 和 `/proc/meminfo` 文件,帮助用户准确监控内存状态,确保系统稳定运行。
144 6
|
24天前
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
65 3
|
24天前
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
60 2
|
6天前
|
Linux Shell
Linux 10 个“who”命令示例
Linux 10 个“who”命令示例
32 14
Linux 10 个“who”命令示例
|
15天前
|
Linux 数据库
Linux中第一次使用locate命令报错?????
在Linux CentOS7系统中,使用`locate`命令时出现“command not found”错误,原因是缺少`mlocate`包。解决方法是通过`yum install mlocate -y`或`apt-get install mlocate`安装该包,并执行`updatedb`更新数据库以解决后续的“can not stat”错误。
30 9