ARM+麒麟大数据环境搭建:基础环境+JDK

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云防火墙,500元 1000GB
简介: ARM+麒麟大数据环境搭建:基础环境+JDK

第1章概述
1.1编写目的
暂无
1.2业务背景
暂无
第2章组件介绍
2.1组件介绍与架构说明
JDK是整个中台运行的环境基础,大部分组件均依赖此运行,本系统中安装1.8版本。
2.2逻辑部署拓扑
在所有节点中安装JDK。
2.3物理部署拓扑
在所有节点中安装JDK。
2.4依赖环境
硬件:Phytium ARM CPU,银河麒麟v10 内核版本4.19.90-17 arm64 桌面版
组件依赖:无

2.5界面效果
2.5.1安装成功的效果
image.png

第3章部署步骤
3.1部署配置
3.1.1设置hostname和hosts
在每个节点上修改/etc/hostname文件
在node1上执行
echo "" > /etc/hostname && echo "node1" > /etc/hostname && hostname node1
在node2上执行
echo "" > /etc/hostname && echo "node2" > /etc/hostname && hostname node2
在node3上执行
echo "" > /etc/hostname && echo "node3" > /etc/hostname && hostname node3
在node4上执行
echo "" > /etc/hostname && echo "node4" > /etc/hostname && hostname node4

在每个节点上编辑 /etc/hosts文件,添加集群的ip对应关系
vi /etc/hosts
192.168.11.115 node1
192.168.11.116 node2
192.168.11.117 node3
192.168.11.118 node4

3.1.2设置免密登录
让每个节点两两之前都实现免密登录,在每个节点分别执行:
先在每台机器上执行ssh登录下本机,生成~/.ssh目录,不然下面命令会报错,没有该目录
cd ~/.ssh 进入我的home目录
ssh-keygen -t rsa 生成密钥,敲4个回车
执行完命令后,会生成两个文件id_rsa(私钥),id_rsa.pub(公钥)
将公钥分别拷贝到其他两台节点上,确保两两之间都能免密钥登录
在node1上执行
ssh-copy-id -i ~/.ssh/id_rsa.pub node1
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3
ssh-copy-id -i ~/.ssh/id_rsa.pub node4
两两之间验证是否可以直接登录
ssh node1

3.1.3关闭防火墙
systemctl status firewalld 查看防火墙
systemctl stop firewalld 关闭防火墙
systemctl disable firewalld 永久关闭防火墙

3.1.4删除原有的JDK

查看系统自带的JDK
java -version
image.png

查看系统自带的JDK安装文件
rpm -qa | grep jdk
image.png

删除自带的jdk1.8
yum remove java-1.8.0-openjdk-1.8.0.242.b08-1.h5.ky10.aarch64
yum remove java-1.8.0-openjdk-headless-1.8.0.242.b08-1.h5.ky10.aarch64
yum remove java-11-openjdk-11.0.6.10-4.ky10.ky10.aarch64
yum remove java-11-openjdk-headless-11.0.6.10-4.ky10.ky10.aarch64

验证是否删除干净
image.png

3.1.5安装新的JDK

将jdk1.8.0_321程序上传至node1上的/opt/abd_env_soft目录,重新命名为jdk

修改权限
chmod 777 -R jdk
配置环境变量
编辑/etc/profile文件,加入:
export JAVA_HOME=/opt/abd_env_soft/jdk
export PATH=$PATH:$JAVA_HOME/bin

image.png

保存退出,应用环境变量
source /etc/profile

验证是否安装正常
java -versoin

在其他服务器上创建同样的目录,并将jdk程序和环境变量文件发送至其他服务器

发送至node2
ssh node2 "mkdir -p /opt/abd_env_soft/jdk"
scp -r /opt/abd_env_soft/jdk node2:/opt/abd_env_soft
scp /etc/profile node2:/etc/

发送至node3
ssh node3 "mkdir -p /opt/abd_env_soft/jdk"
scp -r /opt/abd_env_soft/jdk node3:/opt/abd_env_soft
scp /etc/profile node3:/etc/

发送至node4
ssh node4 "mkdir -p /opt/abd_env_soft/jdk"
scp -r /opt/abd_env_soft/jdk node4:/opt/abd_env_soft
scp /etc/profile node4:/etc/

发送完成后,在其他服务器source /etc/profile应用环境变量,再在所有服务器验证是否安装成功
image.png

第4章常见操作
4.1健康检查方法
执行java -version,如显示版本号,则正常。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3月前
|
Java
安装JDK18没有JRE环境的解决办法
安装JDK18没有JRE环境的解决办法
382 3
|
5月前
|
Java Linux
Linux复制安装 jdk 环境
Linux复制安装 jdk 环境
119 3
|
4月前
|
存储 网络协议 安全
【Azure 环境】ARM部署模板大于4MB的解决方案及Linked Template遇见存储账号防火墙无法访问
【Azure 环境】ARM部署模板大于4MB的解决方案及Linked Template遇见存储账号防火墙无法访问
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
96 4
|
3月前
|
Oracle Java 关系型数据库
Linux下JDK环境的配置及 bash: /usr/local/java/bin/java: cannot execute binary file: exec format error问题的解决
如果遇到"exec format error"问题,文章建议先检查Linux操作系统是32位还是64位,并确保安装了与系统匹配的JDK版本。如果系统是64位的,但出现了错误,可能是因为下载了错误的JDK版本。文章提供了一个链接,指向Oracle官网上的JDK 17 Linux版本下载页面,并附有截图说明。
Linux下JDK环境的配置及 bash: /usr/local/java/bin/java: cannot execute binary file: exec format error问题的解决
|
3月前
|
Ubuntu KVM 虚拟化
基于ARM64的Qemu/KVM学习环境搭建
基于ARM64的Qemu/KVM学习环境搭建
|
4月前
|
Oracle Java 关系型数据库
【Java 第二篇章】准备一下JDK环境
【8月更文挑战第1天】 在Windows 10中配置Java环境变量需先安装JDK,然后设置`JAVA_HOME`指向JDK目录,并更新`Path`变量加入`%JAVA_HOME%\bin`,以便全局访问Java命令。最后通过命令提示符输入`java -version`和`javac -version`验证配置是否成功。
33 1
|
3月前
|
NoSQL Ubuntu Linux
基于ARM64的Qemu/KVM学习环境搭建2
基于ARM64的Qemu/KVM学习环境搭建2
|
4月前
|
Oracle Java 关系型数据库
简单记录在Linux上安装JDK环境的步骤,以及解决运行Java程序时出现Error Could not find or load main class XXX问题
本文记录了在Linux系统上安装JDK环境的步骤,并提供了解决运行Java程序时出现的"Error Could not find or load main class XXX"问题的方案,主要是通过重新配置和刷新JDK环境变量来解决。
167 0
|
6月前
|
Oracle Java 关系型数据库
玩客云安装Armbian和部署jdk环境
该文介绍了在玩客云设备上安装Armbian系统和Java SDK的步骤。首先,需要准备玩客云设备、Armbian镜像文件和USB工具。然后,通过短接点刷入Armbian系统,并通过SSH访问。接着,从可信源下载Java SDK,将其解压并移动到合适目录,编辑环境变量使其生效。最后验证Java安装成功。注意选择兼容版本并备份数据。内容涵盖了ROM开发相关技术。
168 2