ARM+麒麟大数据环境搭建:基础环境+JDK

本文涉及的产品
云防火墙,500元 1000GB
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: ARM+麒麟大数据环境搭建:基础环境+JDK

第1章概述
1.1编写目的
暂无
1.2业务背景
暂无
第2章组件介绍
2.1组件介绍与架构说明
JDK是整个中台运行的环境基础,大部分组件均依赖此运行,本系统中安装1.8版本。
2.2逻辑部署拓扑
在所有节点中安装JDK。
2.3物理部署拓扑
在所有节点中安装JDK。
2.4依赖环境
硬件:Phytium ARM CPU,银河麒麟v10 内核版本4.19.90-17 arm64 桌面版
组件依赖:无

2.5界面效果
2.5.1安装成功的效果
image.png

第3章部署步骤
3.1部署配置
3.1.1设置hostname和hosts
在每个节点上修改/etc/hostname文件
在node1上执行
echo "" > /etc/hostname && echo "node1" > /etc/hostname && hostname node1
在node2上执行
echo "" > /etc/hostname && echo "node2" > /etc/hostname && hostname node2
在node3上执行
echo "" > /etc/hostname && echo "node3" > /etc/hostname && hostname node3
在node4上执行
echo "" > /etc/hostname && echo "node4" > /etc/hostname && hostname node4

在每个节点上编辑 /etc/hosts文件,添加集群的ip对应关系
vi /etc/hosts
192.168.11.115 node1
192.168.11.116 node2
192.168.11.117 node3
192.168.11.118 node4

3.1.2设置免密登录
让每个节点两两之前都实现免密登录,在每个节点分别执行:
先在每台机器上执行ssh登录下本机,生成~/.ssh目录,不然下面命令会报错,没有该目录
cd ~/.ssh 进入我的home目录
ssh-keygen -t rsa 生成密钥,敲4个回车
执行完命令后,会生成两个文件id_rsa(私钥),id_rsa.pub(公钥)
将公钥分别拷贝到其他两台节点上,确保两两之间都能免密钥登录
在node1上执行
ssh-copy-id -i ~/.ssh/id_rsa.pub node1
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3
ssh-copy-id -i ~/.ssh/id_rsa.pub node4
两两之间验证是否可以直接登录
ssh node1

3.1.3关闭防火墙
systemctl status firewalld 查看防火墙
systemctl stop firewalld 关闭防火墙
systemctl disable firewalld 永久关闭防火墙

3.1.4删除原有的JDK

查看系统自带的JDK
java -version
image.png

查看系统自带的JDK安装文件
rpm -qa | grep jdk
image.png

删除自带的jdk1.8
yum remove java-1.8.0-openjdk-1.8.0.242.b08-1.h5.ky10.aarch64
yum remove java-1.8.0-openjdk-headless-1.8.0.242.b08-1.h5.ky10.aarch64
yum remove java-11-openjdk-11.0.6.10-4.ky10.ky10.aarch64
yum remove java-11-openjdk-headless-11.0.6.10-4.ky10.ky10.aarch64

验证是否删除干净
image.png

3.1.5安装新的JDK

将jdk1.8.0_321程序上传至node1上的/opt/abd_env_soft目录,重新命名为jdk

修改权限
chmod 777 -R jdk
配置环境变量
编辑/etc/profile文件,加入:
export JAVA_HOME=/opt/abd_env_soft/jdk
export PATH=$PATH:$JAVA_HOME/bin

image.png

保存退出,应用环境变量
source /etc/profile

验证是否安装正常
java -versoin

在其他服务器上创建同样的目录,并将jdk程序和环境变量文件发送至其他服务器

发送至node2
ssh node2 "mkdir -p /opt/abd_env_soft/jdk"
scp -r /opt/abd_env_soft/jdk node2:/opt/abd_env_soft
scp /etc/profile node2:/etc/

发送至node3
ssh node3 "mkdir -p /opt/abd_env_soft/jdk"
scp -r /opt/abd_env_soft/jdk node3:/opt/abd_env_soft
scp /etc/profile node3:/etc/

发送至node4
ssh node4 "mkdir -p /opt/abd_env_soft/jdk"
scp -r /opt/abd_env_soft/jdk node4:/opt/abd_env_soft
scp /etc/profile node4:/etc/

发送完成后,在其他服务器source /etc/profile应用环境变量,再在所有服务器验证是否安装成功
image.png

第4章常见操作
4.1健康检查方法
执行java -version,如显示版本号,则正常。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
SQL 机器学习/深度学习 分布式计算
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
70 1
|
3月前
|
Java
安装JDK18没有JRE环境的解决办法
安装JDK18没有JRE环境的解决办法
361 3
|
5月前
|
Java Linux
Linux复制安装 jdk 环境
Linux复制安装 jdk 环境
114 3
|
4月前
|
存储 网络协议 安全
【Azure 环境】ARM部署模板大于4MB的解决方案及Linked Template遇见存储账号防火墙无法访问
【Azure 环境】ARM部署模板大于4MB的解决方案及Linked Template遇见存储账号防火墙无法访问
|
28天前
|
存储 大数据 数据处理
大数据环境下的性能优化策略
大数据环境下的性能优化策略
43 2
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
66 1
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
82 4
|
3月前
|
Oracle Java 关系型数据库
Linux下JDK环境的配置及 bash: /usr/local/java/bin/java: cannot execute binary file: exec format error问题的解决
如果遇到"exec format error"问题,文章建议先检查Linux操作系统是32位还是64位,并确保安装了与系统匹配的JDK版本。如果系统是64位的,但出现了错误,可能是因为下载了错误的JDK版本。文章提供了一个链接,指向Oracle官网上的JDK 17 Linux版本下载页面,并附有截图说明。
Linux下JDK环境的配置及 bash: /usr/local/java/bin/java: cannot execute binary file: exec format error问题的解决
|
4月前
|
存储 数据可视化 数据挖掘
大数据环境下的房地产数据分析与预测研究的设计与实现
本文介绍了一个基于Python大数据环境下的昆明房地产市场分析与预测系统,通过数据采集、清洗、分析、机器学习建模和数据可视化技术,为房地产行业提供决策支持和市场洞察,探讨了模型的可行性、功能需求、数据库设计及实现过程,并展望了未来研究方向。
198 4
大数据环境下的房地产数据分析与预测研究的设计与实现
|
3月前
|
Ubuntu KVM 虚拟化
基于ARM64的Qemu/KVM学习环境搭建
基于ARM64的Qemu/KVM学习环境搭建