大数据集群安装手册之服务安装篇

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 在大数据集群的安装前准备工作完成后,就可以开始正式安装服务了。Centos7下,HDP(ambari)集群的服务安装篇

大数据集群安装手册之服务安装篇

(大数据集群安装手册之准备工作篇

1.安装Ambari服务

1.1.安装Ambari
1.在服务器主机上执行ambari服务
yum install ambari-server
2.当提示确认安装和相关性检查时,输入y。
Installing : postgresql-libs-9.2.18-1.el7.x86_64 1/4
Installing : postgresql-9.2.18-1.el7.x86_64 2/4
Installing : postgresql-server-9.2.18-1.el7.x86_64 3/4
Installing : ambari-server-2.6.1.5-3.x86_64 4/4
Verifying : ambari-server-2.6.1.5-3.x86_64 1/4
Verifying : postgresql-9.2.18-1.el7.x86_64 2/4
Verifying : postgresql-server-9.2.18-1.el7.x86_64 3/4
Verifying : postgresql-libs-9.2.18-1.el7.x86_64 4/4

Installed:
ambari-server.x86_64 0:2.6.1.5-3
Dependency Installed:
postgresql.x86_64 0:9.2.18-1.el7
postgresql-libs.x86_64 0:9.2.18-1.el7
postgresql-server.x86_64 0:9.2.18-1.el7
Complete!

1.2.配置Ambari服务
在启动ambari服务器之前,必须设置ambari服务。安装程序将为ambari服务配置与数据库的连接,安装JDK,并允许自定义用于运行ambari服务守护程序的用户帐户。
在ambari服务器主机上运行以下命令以启动配置过程。
ambari-server setup
在弹出的输入提示中作出响应
1.如果没有禁用SELinux,可能会收到警告。接受默认值(Y),然后继续。
2.默认情况下,Ambari服务器以root用户运行。在Ambari服务守护进程的自定义用户帐户提示下接受默认值(n),以root用户身份继续。
3.如果没有暂时禁用防火墙,可能会收到警告。输入y继续。
4.选择要使用的JDK版本。输入1下载Oracle JDK 1.8。或者,可以选择自定义JDK。如果选择自定义JDK,则必须手动在所有主机上安装JDK,并指定Java Home路径。
5.在高级数据库配置选项时选择n,使用默认的嵌入式PostgreSQL数据库。PostgreSQL数据库的默认名称是ambari。默认用户名和密码是ambari/bigdata。否则,要使用现有的PostgreSQL、MySQL/Mariadb或Oracle数据库,请选择Y。
6.在继续配置远程数据库连接属性[Y/N]时,选择Y。
7.安装完成。

2.安装、配置、部署HDP集群

2.1.启动Ambari服务
在服务主机上执行以下命令
ambari-server start
检查Ambari 服务状态
ambari-server status
停止Ambari 服务
ambari-server status

2.2.登录Ambari页面
登录Ambari配置页前需确保Ambari服务已经启动。
1.使用网页浏览器访问:
http://<your.ambari.server>:
<your.ambari.server> 是Ambari服务器主机的域名
2.先使用默认的用户名/密码:admin/admin,登录Ambari服务页面。
从安全角度考虑,一定要修改为强密码。

2.3.启动Ambari集群安装向导(界面配置部分)

1.为集群取名
在集群名称(Name your cluster)中,键入要创建的集群的名称。名称中不能使用空格或特殊字符。

2.选择安装版本
选择软件包栈
选择版本

3.选择配置本地源
依据当前的操作系统和版本,选择已经配置好的安装库源路径。

4.安装选项
确认主机
选择安装的服务
分配各服务的Master
分配各服务的Slaves和Clients
自定义服务配置项
检查配置信息
开始安装、启动、测试
总结
完成集群部署

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
1月前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
63 5
|
1月前
|
存储 数据采集 监控
大数据技术:开启智能决策与创新服务的新纪元
【10月更文挑战第5天】大数据技术:开启智能决策与创新服务的新纪元
|
1月前
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
46 0
|
1月前
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
40 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
zdl
|
7天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
32 0
|
1月前
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
43 5
|
1月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
41 4
|
1月前
|
资源调度 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
41 2
|
1月前
|
存储 分布式计算 druid
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
53 3
|
1月前
|
消息中间件 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
41 2
下一篇
无影云桌面