大数据快速搭建环境

简介: 大数据快速搭建环境

1 准备工作

CDH QuickStart VM可以看到官方已经不对之后的版本维护了,直接下架,但是可以下载原有的镜像进行操作,本环境只适合小白进行快速搭建一套环境,之后熟悉一些操作,看了一些现有博客比较乱,整合一下

a6b22666f7ee4a6e9db490b0c5dd53c5.png

  1. 下载虚拟机镜像包。

链接:https://pan.baidu.com/s/1TVn6GcqO9yVweX9zMkOBpg 提取码:nnkk

–来自百度网盘超级会员V5的分享

  1. 虚拟机镜像文件压缩包解压得到cloudera-quickstart-vm-5.12.0-0-vmware文件夹。
  2. 进入解压文件夹,单击cloudera-quickstart-vm-5.12.0-0-vmware.vmx,使用VMWare打开该虚拟机。

官网给的推荐配置是2cores、8G内存,建议在启动前先修改虚拟机配置。如果已经启动的虚拟机,则可以停止虚拟机后,删除本地的镜像文件(主要不要从VMware中删除,而是直接删除本地文件),然后重新解压一遍到上次删除的文件位置。此时,再修改VMware中的虚拟机配置,再启动即可。

1.1 配置文件

/etc下可以自行配置

2 cloudera-quickstart-vm的使用

2.1 用户说明

Ø 该镜像的OS用户包括root/cloudera和cloudera/cloudera。


Ø Hue UI的用户名和密码是cloudera/cloudera。


Ø 如果还有其它用户,那么用户名和密码都应该是cloudera/cloudera,比如Cloudera Manager。


Ø root用户名的密码是cloudera

3 安装

我这边下载的是cloudera-quickstart-vm-5.13.0-0-vmware.zip版本,解压后目录为:cloudera-quickstart-vm-5.13.0-0-vmware。

打开VMware,File -> Open,选择刚才解压的文件夹,选择cloudera-quickstart-vm-5.13.0-0-vmware.vmx,就出现了如下页面。


对虚机做资源配置,一般来说内存要在8G以上,否则后续启动或者是使用的时候会有问题。这里内存配置32G,4核,300G磁盘。

确定后启动虚机,进入虚机界面。

点击Launch Cloudera Express,开始启动。

怎么进入管理界面呢?

运行桌面的cloudera express命令脚本即可。

如果出现以下错误,说明你的虚拟机没有设置到8g内存和两个处理器,请设置完毕再重新打开这个虚拟机。

想强制启动的话,可以在终端运行以下命令:

sudo /home/cloudera/cloudera-manager --express --force

不出意外的话,启动成功了:

接下来可以去浏览器直接管理了。

打开内置的火狐,输入网址:http://quickstart.cloudera:7180

登录账号:cloudera

登录密码:cloudera

登陆之后,就可以看到管理界面了:

可以看到,左边是整合的大数据工具,点击对应的下拉按钮,就可以启动,关闭,管理这些组件了。

4 修改windows的host文件方便访问

C:\Windows\System32\drivers\etc

和linux匹配目录为/etc/hosts

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
7月前
|
大数据 Linux 数据安全/隐私保护
基于Docker搭建大数据集群(一)Docker环境部署
基于Docker搭建大数据集群(一)Docker环境部署
|
6月前
|
SQL 安全 Java
开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址?
开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址?
|
3月前
|
缓存 Java 大数据
CDH大数据环境参数优化指南
CDH大数据环境参数优化指南
|
8月前
|
NoSQL 大数据 测试技术
|
8月前
|
消息中间件 关系型数据库 MySQL
|
4月前
|
SQL 分布式计算 Hadoop
最新大数据集群安装方法CentOS7.6__大数据环境安装和配置
最新大数据集群安装方法CentOS7.6__大数据环境安装和配置
146 0
|
5月前
|
存储 分布式计算 大数据
构建与应用大数据环境:从搭建到开发与组件使用的全面指南
构建与应用大数据环境:从搭建到开发与组件使用的全面指南
|
5月前
|
分布式计算 大数据 Java
大数据行业部署实战2:环境大数据统计
大数据行业部署实战2:环境大数据统计
61 0
|
5月前
|
人工智能 资源调度 大数据
Apache DolphinScheduler 在大数据环境中的应用与调优
Apache DolphinScheduler 在大数据环境中的应用与调优
|
6月前
|
SQL 资源调度 安全
开启 Kerberos 安全的大数据环境中,Yarn Container 启动失败导致作业失败
开启 Kerberos 安全的大数据环境中,Yarn Container 启动失败导致作业失败

热门文章

最新文章