云上大数据系列1:手把手教你何如在ECS上搭建Hadoop开发测试环境(CDH版)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

本篇是云上大数据系列第一篇文章,主要介绍开发测试环境的搭建。在后续的文章中,我们还将会分享更多关于云上大数据系统的性能分析和调优经验,敬请期待。

大数据系统是典型的复杂分布式系统,搭建一套大数据系统不但需要大量的资源,还需要对大数据系统本省有一定的了解。云计算的普及使得大数据系统的快速部署,甚至一键部署成为可能。笔者在阿里云上尝试搭建了一套大数据系统,将部署的过程和大家分享一下。

  • 资源环境:ecs.d1.6xlarge × 5
  • 软件系统:CDH 5.14.2
  • 操作系统:CentOS 7.3

以下教程基于Cloudera官方教程,结合笔者实际部署过程中遇到的问题编写而成。读者在实践的过程中可以将本文和官方教程结合来参考。官方教程点这里查看。

教程特点(做好心理准备):
需要下载 cloudera-manager-daemons 包(744M),cloudera-manager-agent 包(788M),下载过程比较慢,且中途容易出错,需要多次重试。
如果对上述部署方式不满意,还可以尝试官方的第三种方式(预下载安装包并手动安装):
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_ig_install_path_c.html#cmig_topic_6_7

第一步:购买ECS资源:

在阿里云官方网站上购买5台规格为ecs.d1.6xlarge的机器。注意两点:

  1. 修改机器名称以区分不同的角色:1台 master,4台 worker,例如cdh-m1, cdh-w1, cdh-w2, cdh-w3, cdh-w4
  2. 点击下单前选择密码登录,并记住登录密码。

第二步:简单配置集群

  1. 所有结点设置免密登录(百度搜索“ssh免密登录”)
  2. 修改所有结点 hostname
hostname cdh-m1

并同步修改 /etc/hostname 文件

  1. (optional) 为所有结点配置pdsh,方便批量操作。pdsh的基本命令:
pdsh -w cdh-w[1-4] cmd
  1. 可以放在第四步的间隙来做)配置本地数据盘(格式化,挂载,开启自动挂载)

点击这里下载 format.sh脚本。

for i in {1..4}; do scp format.sh root@cdh-w$i:/root; done
pdsh -w cdh-w[1-4] bash /root/format.sh

检查一下是否配置成功(输出为所有 worker 结点本地盘数量总和,4结点是48):

pdsh -w cdh-w[1-4] df -h | grep "5.1T" | wc -l

其中“5.1T”为数据盘大小,可以根据本地数据盘做修改。

第三步:安装基础服务

  1. 登录到 master 结点,安装 MySQL :详细教程点击这里。对照教程,完成:

    • 配置 my.cnf(只需要照着它的推荐配置配就可以了);
    • 备份 ib_logfile
    • 修改 root 用户登录密码;
    • 添加到开机自启动;
    • 下载 jdbc
    • 创建一些数据库:在 MySQL 中执行脚本:create_databases.sql。点击这里下载脚本。
  2. 配置Cloudera源:
    下载(点击下载)并将 cloudera-manager.repo 文件拷贝到 /etc/yum.repos.d/
  3. 安装jdk-1.7:(下载速度较慢,15min)
sudo yum install oracle-j2sdk1.7

第四步:安装CDH

  1. 安装 Cloudera Manager Server Packages:(下载速度较慢,中途可能失败,需要反复重试,利用这个时间空隙,可以完成第二步第4小步
sudo yum install cloudera-manager-daemons cloudera-manager-server
  1. Cloudera Manager 配置本地数据库:

在 MySQL中创建一个服务于 cloudera manager 的数据库,起名叫 cloudera_manager (小写):

create database cloudera_manager DEFAULT CHARACTER SET utf8;

连接到该数据库:

/usr/share/cmf/schema/scm_prepare_database.sh mysql cloudera_manager root password
  1. 启动 Cloudera Manager Server
sudo service cloudera-scm-server start
  1. 在浏览器中打开 http://cdh-m1:7180,此时无响应,需要做端口映射:详细教程可以点击这里了解更多。

我的做法:开两个命令窗口,分别跑两个进程:

ssh -i id_rsa -ND 7180 root@cdh-m1

其中“7180”是准备映射的端口。

/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy-server="socks5://localhost:7180" --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE localhost" --user-data-dir=/tmp/
  1. 刷新刚才的页面:http://cdh-m1:7180,用户名和密码都是admin。按照提示开始安装过程。由于每台机器都需要安装 jdkcloudera-manager-agent,这两个包的下载速度非常慢,过程可能长达数小时。需要提前做好心里准备(其他准备也做不了)。安装过程中需要注意几个问题:

    • 在主机检查阶段,确保所有项目都checked,如果没有,按照提示逐一修复;
    • 在服务选择阶段,可以自定义服务,根据需要选择相应的服务,而无需选择所有服务。也可以直接选择所有服务,安装完成后手动停掉不需要的服务,我选择了所有服务(后来我又把不需要的服务都手工删掉了,衰);
    • 在数据库连接阶段,打开 create_databases.sql 文件,并对照填写相应的内容;如果在上一步中选择了 HueOozie 服务,那么这里需要为这两个服务配置相应的数据库,详细教程见这里:

Huehttps://www.cloudera.com/documentation/enterprise/5-13-x/topics/hue_dbs_mysql.html#hue_dbs_mysql
Ooziehttps://www.cloudera.com/documentation/enterprise/5-13-x/topics/install_oozie_ext_db.html#admin_oozie_ext_db

如果配置 Oozie 的时候需要JDBC,那么建立软链:

ln -s /usr/share/java/mysql-connector-java.jar /opt/cloudera/parcels/CDH/lib/oozie/lib/mysql-connector-java.jar
  • 停止或者删除不需要的服务,并根据 Cloudera Manager 的建议,修复一些其他问题。

第五步:验证安装是否成功:

  1. 登录到 master 结点,以 hive 用户连接到 HiveServer2
beeline -u "jdbc:hive2://localhost:10000/default" -n hive
  1. 创建一张叫 table_nameORC 事务表:
CREATE TABLE table_name (id int, name string)
CLUSTERED BY (id) INTO 2 BUCKETS
STORED AS ORC
TBLPROPERTIES ("transactional"="true",
  "compactor.mapreduce.map.memory.mb"="2048",
  "compactorthreshold.hive.compactor.delta.num.threshold"="4",
  "compactorthreshold.hive.compactor.delta.pct.threshold"="0.5"
);
  1. 插入一条记录并读取:
insert into table_name(id, name) values('1', 'Alex');
select * from table_name;
  1. 验证 Hive-on-Spark 是否正常:
set hive.execution.engine=spark;
select count(*) from table_name;

如果输出的结果为1, 那么表明安装正常。

到此为止,我们已经成功在ECS上搭建起了一套大数据系统。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
运维 Prometheus 监控
如何在测试环境中保持操作系统、浏览器版本和服务器配置的稳定性和一致性?
如何在测试环境中保持操作系统、浏览器版本和服务器配置的稳定性和一致性?
|
8天前
|
存储 人工智能 自然语言处理
ChatMCP:基于 MCP 协议开发的 AI 聊天客户端,支持多语言和自动化安装 MCP 服务器
ChatMCP 是一款基于模型上下文协议(MCP)的 AI 聊天客户端,支持多语言和自动化安装。它能够与多种大型语言模型(LLM)如 OpenAI、Claude 和 OLLama 等进行交互,具备自动化安装 MCP 服务器、SSE 传输支持、自动选择服务器、聊天记录管理等功能。
72 15
ChatMCP:基于 MCP 协议开发的 AI 聊天客户端,支持多语言和自动化安装 MCP 服务器
|
1天前
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
22 4
|
28天前
|
缓存 Ubuntu Linux
Linux环境下测试服务器的DDR5内存性能
通过使用 `memtester`和 `sysbench`等工具,可以有效地测试Linux环境下服务器的DDR5内存性能。这些工具不仅可以评估内存的读写速度,还可以检测内存中的潜在问题,帮助确保系统的稳定性和性能。通过合理配置和使用这些工具,系统管理员可以深入了解服务器内存的性能状况,为系统优化提供数据支持。
34 4
|
1月前
|
安全 开发工具 Swift
Swift 是苹果公司开发的现代编程语言,具备高效、安全、简洁的特点,支持类型推断、闭包、泛型等特性,广泛应用于苹果各平台及服务器端开发
Swift 是苹果公司开发的现代编程语言,具备高效、安全、简洁的特点,支持类型推断、闭包、泛型等特性,广泛应用于苹果各平台及服务器端开发。基础语法涵盖变量、常量、数据类型、运算符、控制流等,高级特性包括函数、闭包、类、结构体、协议和泛型。
29 2
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
110 2
|
1月前
|
关系型数据库 API 数据库
后端开发的艺术:从零到一构建高效服务器
在数字化时代,后端开发是支撑现代互联网应用的基石。本文旨在探讨后端开发的核心概念、关键技术以及如何构建一个高效的服务器。我们将从基础的编程语言选择开始,逐步深入到数据库设计、API开发和性能优化等关键领域。通过实际案例分析,我们将揭示后端开发的复杂性和挑战性,同时提供实用的解决方案和最佳实践。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的见解和启发。
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
74 1
|
2月前
|
网络安全 Docker 容器
VScode远程服务器之远程 远程容器 进行开发(五)
VScode远程服务器之远程 远程容器 进行开发(五)
46 1
|
2月前
|
NoSQL PHP Redis
布谷语音app源码服务器环境配置及技术开发语言
布谷语音app源码服务器环境配置及技术语言研发。。
下一篇
DataWorks