【大数据环境准备】(二)环境变量设置

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 环境变量设置

1、设置服务器名称

[centos@hadoop11 /]$ cat /etc/hostname 
hadoop11

2、设置DNS地址

[centos@hadoop11 /]$ cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.31.10 hadoop10
192.168.31.11 hadoop11

3、设置自动复制脚本

[centos@hadoop11 data]$ cat xsync


#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop10
do
  echo ====================  $host  ====================
  #3. 遍历所有目录,挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir={
   mathJaxContainer[0]}(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname={
   mathJaxContainer[1]}file)
      ssh {
   mathJaxContainer[2]}pdir"
      rsync -av {
   mathJaxContainer[3]}fname {
   mathJaxContainer[4]}pdir
    else
      echo $file does not exists!
    fi
  done
done

[centos@hadoop11 data]$ chmod -X xsync

首先进行xsync 拷贝 执行命令[centos@hadoop11 data]$ /data/xsync xsync

注意:项目拷贝主机账号权限需要保持一样使用chown -R centos:centos dir

4、环境变量

登录shell 和非登录shell区别

登录shell加载的环境文件 /etc/profile ~/.bash_profile ~/.bashhrc

非登录shell 只加载 ~/.bashrc

所以只需要改~/.bashrc 关联的/etc/profile.d/*.sh 文件保持两种登录方式都可以登录

5、免密登录

1)生成密钥对 ssh-keygen -t rsa 连续回车三次.根目录下.ssh会生成公私密钥对
2)发送公钥至主机ssh-copy-id centos@hadoop11 11的ssh文件会将该密钥追加至authorized_keys文件

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
数据采集 搜索推荐 Java
Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用(221)
本文探讨 Java 大数据在智能教育虚拟学习环境中的应用,涵盖多源数据采集、个性化推荐、实时互动优化等核心技术,结合实际案例分析其在提升学习体验与教学质量中的成效,并展望未来发展方向与技术挑战。
|
4月前
|
传感器 分布式计算 大数据
“用大数据盯着天看地”——聊聊环境监测的精准化升级
“用大数据盯着天看地”——聊聊环境监测的精准化升级
120 0
|
5月前
|
传感器 机器学习/深度学习 算法
Java 大视界 -- Java 大数据在智能农业温室环境调控与作物生长模型构建中的应用(189)
本文探讨了Java大数据在智能农业温室环境调控与作物生长模型构建中的关键应用。通过高效采集、传输与处理温室环境数据,结合机器学习算法,实现温度、湿度、光照等参数的智能调控,提升作物产量与品质。同时,融合多源数据构建精准作物生长模型,助力农业智能化、精细化发展,推动农业现代化进程。
|
SQL 机器学习/深度学习 分布式计算
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
694 1
|
消息中间件 分布式计算 大数据
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
532 0
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
393 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
存储 大数据 数据处理
大数据环境下的性能优化策略
大数据环境下的性能优化策略
445 2
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
439 1
|
存储 数据可视化 数据挖掘
大数据环境下的房地产数据分析与预测研究的设计与实现
本文介绍了一个基于Python大数据环境下的昆明房地产市场分析与预测系统,通过数据采集、清洗、分析、机器学习建模和数据可视化技术,为房地产行业提供决策支持和市场洞察,探讨了模型的可行性、功能需求、数据库设计及实现过程,并展望了未来研究方向。
725 4
大数据环境下的房地产数据分析与预测研究的设计与实现
|
消息中间件 分布式计算 大数据
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
886 0

热门文章

最新文章