AI 助理
备案控制台
开发者社区 大数据 文章 正文

Hadoop大数据生态组件环境安装

2022-10-18 93
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： 首先安装Centos系统修改网络配置我的三台机器：master 192.168.179.10slave1 192.168.179.11slava2 192.168.179.12

首先安装Centos系统修改网络配置


我的三台机器：


master 192.168.179.10
slave1 192.168.179.11
slava2 192.168.179.12

各组件端口号查看：大数据hadoop常见端口 - GoAl


CentOS7配置NAT模式网络详细步骤（亲测版）CentOS7配置NAT模式网络详细步骤（亲测版）_Jackson_mvp的博客-CSDN博客_centos配置nat


1.重启网络


service network restart | systemctl restart network.service

永久修改名字


hostnamectl set-hostname master1
vi /etc/hostname


设置共享目录 /mnt/hdfs


2.修改hosts，每个都要配


vi /etc/hosts
192.168.179.10 master
192.168.179.11 slave1
192.168.179.12 slave2


3. 系统防火墙和内核防火墙配置（每一个节点都需要执行）


vi /etc/selinux/config
SELINUX=disabled
setenforce 0
systemctl stop firewalld.service
systemctl disable firewalld.service
# 临时关闭内核防火墙
setenforce 0
# 永久关闭内核防火墙
vi /etc/selinux/config
SELINUX=disabled
# 临时关闭系统防火墙
systemctl stop firewalld.service
#永久关闭内核防火墙
systemctl disable firewalld.service


4.免密登录


ssh-keygen -t rsa 每个都执行
# 生成公钥（主节点执行） 192.168.179. 9 和10都执行了
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
chmod 600 /root/.ssh/authorized_keys
# 复制其他节点的公钥（主节点执行） 10执行了
ssh slave1 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh slave2 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 复制公钥到其他节点（主节点执行）
scp /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys scp /root/.ssh/authorized_keys root@slave2:/root/.ssh/authorized_keys

测试


ssh slave1
exit


首先查看已安装完成的系统配置文件（未安装则没有需要自己写，位置修改为自己的目录）。


vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export SCALA_HOME=/usr/local/scala-2.11.6
export PATH=$PATH:$SCALA_HOME/bin
#export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
#export PATH=$PATH:$SPARK_HOME/bin
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5
export PATH=$PATH:$ZOOKEEPER_HOME/bin
export HBASE_HOME=/usr/local/hbase-2.0.0-alpha3
export PATH=$PATH:$HBASE_HOME/bin
export HIVE_HOME=/usr/local/hive
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=$HIVE_HOME/bin:$PATH
export FLUME_HOME=/usr/local/flume1.8
export PATH=$PATH:$FLUME_HOME/bin
#set sqoop
export SQOOP_HOME=/usr/local/sqoop1.4.7
export PATH=$SQOOP_HOME/bin:$PATH


JDK安装


rpm -qa | grep java
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
# 配置环境变量，在配置最后加入
vim ~/.bashrc
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
# 复制环境变量到其他节点
scp ~/.bashrc    root@slave1:~/
scp ~/.bashrc    root@slave2:~/
# 复制JDK包到其他节点
scp -r  /usr/local/src/jdk1.8.0_172   root@slave1:/usr/local/src/
scp -r /usr/local/src/jdk1.8.0_172  root@slave2:/usr/local/src/
#  重新加载环境变量
source ~/.bashrc
#  测试环境是否配置成功
java   -version


Hadoop安装（前提已安装jdk）


1.解压安装包，进入conf目录修改配置文件


vim core-site.xml
<configuration>
 <property>
  <name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
   </property>
 <property>
    <name>hadoop.tmp.dir</name>
     <value>file:/usr/local/src/hadoop-2.6.5/tmp</value>
</property>
</configuration>
vim hdfs-site.xml
 <configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
 <value>file:/usr/local/src/hadoop-2.6.5/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
 <value>file:/usr/local/src/hadoop-2.6.5/dfs/data</value>
      </property>
<property>
<name>dfs.replication</name>
             <value>3</value>
</property>
</configuration>
 #修改配置文件 添加MR配置
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
# 修改配置文件 添加资源管理配置
vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
  </property>
</configuration>
# 创建临时目录和文件目录
mkdir /usr/local/src/hadoop-2.6.5/tmp
mkdir -p /usr/local/src/hadoop-2.6.5/dfs/name
mkdir -p /usr/local/src/hadoop-2.6.5/dfs/data
# 配置环境变量，在配置最后加入
vim ~/.bashrc
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME=/usr/local/src/hadoop-2.6.5
# 复制环境变量到从节点
scp    -r ~/.bashrc root@slave1:~/
scp  -r ~/.bashrc  root@slave2:~/
# 复制Hadoop包到从节点
scp  -r   /usr/local/src/hadoop-2.6.5  root@slave1:/usr/local/src/
scp  -r   /usr/local/src/hadoop-2.6.5  root@slave2:/usr/local/src/
#  重新加载环境变量
source ~/.bashrc
#  格式化Namenode
hadoop   namenode  -format
common.Storage: Storage directory /usr/local/src/hadoop-2.6.5/dfs/name has been successfully formatted.
jps命令在master和slave查看进程是否启动
hive1.2.2
# 解压Hive包
cd /usr/local/src tar zxvf apache-hive-1.2.2-bin.tar.gz
# 修改配置文件 配置元数据相关信息
cd apache-hive-1.2.2-bin/conf
vim hive-site.xml
<configuration>
 <property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
 <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
 <name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
# 增加环境变量
vim ~/.bashrc
export HIVE_HOME=/usr/local/src/hive1.2.2
export PATH=$HIVE_HOME/bin:$PATH
# 重新加载环境变量
source ~/.bashrc
# 配置JDBC连接工具
cd /usr/local/src tar zxvf mysql-connector-java-5.1.44.tar.gz
# 复制JDBC库文件到Hive中
cp mysql-connector-java-5.1.44/mysql-connector-java-5.1.44-bin.jar apachehive-1.2.2-bin/lib
# 启动Hive服务
hive 报错




解决方法：


将hadoop中share/hadoop/yarn/lib路径下的jline包换成hive中匹配的jar包。 将hadoop2.6.5/share/hadoop/yarn/libjline0.9 换成hive下的jline2.1
用hive jar包中的jline替换掉Hadoop jar包中的jline
在Hadoop根目录下运行命令：
find ../ -name  jline*


搜索结果：


../hadoop-2.6.5/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/jline-0.9.94.jar
../hadoop-2.6.5/share/hadoop/yarn/lib/jline-0.9.94.jar
../hadoop-2.6.5/share/hadoop/kms/tomcat/webapps/kms/WEB-INF/lib/jline-0.9.94.jar
../scala-2.11.4/lib/jline-2.12.jar
../hive1.2.2/lib/jline-2.12.jar
../zookeeper-3.4.11/lib/jline-0.9.94.jar
../zookeeper-3.4.11/lib/jline-0.9.94.LICENSE.txt
../zookeeper-3.4.11/src/java/lib/jline-0.9.94.LICENSE.txt

将Hive根目录下jline-2.12.jar替换到hadoop中


可参考：https://blog.csdn.net/wanghaiyuan1993/article/details/46272553


Zookeeper3.4.11


# 解压Zookeeper包
cd /usr/local/src tar zxvf zookeeper-3.4.11.tar.gz
# 修改配置文件 注释第12行，在最后加上配置
cd /usr/local/src/zookeeper-3.4.11/conf
cp zoo_sample.cfg zoo.cfg vim zoo.cfg
dataDir=/usr/local/src/zookeeper-3.4.11/data
dataLogDir=/usr/local/src/zookeeper-3.4.11/log
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
# 创建日志文件夹及数据文件夹
mkdir /usr/local/src/zookeeper-3.4.11/data
mkdir /usr/local/src/zookeeper-3.4.11/log
# 配置环境变量 vim ~/.bashrc
export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.11
export PATH=$PATH:$ZOOKEEPER_HOME/bin
# 复制环境变量到其他节点
scp ~/.bashrc     root@slave1:~/
scp ~/.bashrc     root@slave2:~/
 # 重新加载环境变量
source ~/.bashrc
# 复制Zookeeper包到从节点
scp -r /usr/local/src/zookeeper-3.4.11 root@slave1:/usr/local/src/
scp -r /usr/local/src/zookeeper-3.4.11 root@slave2:/usr/local/src/
#分别添加ID，每一个节点的id都不能重复且需与配置文件一致
#Master
echo "1">/usr/local/src/zookeeper-3.4.11/data/myid
#Slave1
echo "2">/usr/local/src/zookeeper-3.4.11/data/myid
#Slave2
echo "3" >  /usr/local/src/zookeeper-3.4.11/data/myid
#启动Zookeeper服务(每个节点都要启动)
zkServer.sh start
zkServer.sh stop
zkServer.sh status
All: QuorumPeerMain
HBASE0.9.8
# 解压Hbase包 cd /usr/local/src
tar zxvf hbase-1.3.1-bin.tar.gz
# 配置regionservers主机名
cd hbase0.9.8/conf
vim regionservers
master
slave1
slave2
# 配置环境变量及不启用Hbase自带的Zookeeper服务
vim hbase-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export HBASE_MANAGES_ZK=false
第29、124行
# 配置Hbase核心参数
vim hbase-site.xml
<configuration>
<property>
<name>hbase.tmp.dir</name>
<value>/usr/local/src/hbase0.9.8/tmp/hbase</value>
  </property>
<property>
<name>hbase.rootdir</name>
               <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/src/zookeeper-3.4.11/tmp/zookeeper</value>
</property>
 <property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
</configuration>
# 创建临时目录
mkdir -p /usr/local/src/hbase0.9.8/tmp/hbase
mkdir -p /usr/local/src/zookeeper-3.4.11/tmp/zookeeper
# 复制HBase包到其他节点
scp  -r   /usr/local/src/hbase0.9.8  root@slave1:/usr/local/src/
scp  -r   /usr/local/src/hbase0.9.8  root@slave2:/usr/local/src/
# 配置环境变量
vim ~/.bashrc
export HBASE_HOME=/usr/local/src/ hbase0.9.8
export PATH=$PATH:$HBASE_HOME/bin
#复制环境变量到其他节点
scp     ~/.bashrc root@slave1:~/
scp     ~/.bashrc root@slave2:~/
#重新加载环境变量
source ~/.bashrc
各组件启动命令：
启动HDFS
cd /usr/local/src/hadoop-2.6.5/sbin
./start-all.sh
启动Zookeeper ，每个节点都写
zkServer.sh start
zkServer.sh status
启动spark(任意路径下) , 启动hbase可以不用启动spark
start-all.sh
启动 hbase
start-hbase.sh
关闭hbase
stop-hbase.sh
zkServer.sh stop
cd /usr/local/src/hadoop-2.6.5/sbin
./stop-all.sh
jps
Master: HMaster HRegionServer
Slave:  HRegionServer
Flume 1.6
# 解压Kafka包
cd /usr/local/src
tar zxvf apache-flume-1.6.0-bin.tar.gz
# 修改配置文件，配置工作模式
cd apache-flume-1.6.0-bin/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"
# 修改配置文件，配置工作模式
cd apache-flume-1.6.0-bin/conf
#NetCat
vim flume-­netcat.conf
# Name the components on this agent
agent.sources = r1
agent.sinks = k1
agent.channels = c1
# Describe/configuration the source
agent.sources.r1.type = netcat
agent.sources.r1.bind = 127.0.0.1
agent.sources.r1.port = 44444
# Describe the sink
agent.sinks.k1.type = logger
# Use a channel which buffers events in memory
agent.channels.c1.type = memory
agent.channels.c1.capacity = 1000
agent.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
agent.sources.r1.channels = c1
agent.sinks.k1.channel = c1
#验证 #Server
在 flume1.6.0目录下敲
flume-ng agent --conf conf --conf-file conf/flume-netcat.conf -name=agent -Dflume.root.logger=INFO,console
#Client windows上
telnet master 44444
kafka_2.11-0.10.2.1
可参考以下安装：
1.https://blog.csdn.net/qq_43605654/article/details/90786063?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1
2.https://blog.csdn.net/CarolRain/article/details/78376642?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-6&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-6
# 解压Kafka包 cd /usr/local/src
tar zxvf kafka_2.11-0.10.2.1.tgz
# 配置Zookeeper为集群中所有部署zookeeper的主机
cd kafka_2.11-0.10.2.1/config
vim server.properties
119行：zookeeper.connect=master:2181,slave1:2181,slave2:218
# 增加环境变量
vim ~/.bashrc
export KAFKA_HOME=/usr/local/src/kafka_2.11-0.10.2.1
export PATH=$KAFKA_HOME/bin:$PATH
# 复制Kafka包到从节点
scp -r /usr/local/src/kafka_2.11-0.10.2.1 root@slave1:/usr/local/src/
scp -r  /usr/local/src/kafka_2.11-0.10.2.1   root@slave2:/usr/local/src/
#复制环境变量到其他节点
scp ~/.bashrc root@slave1:~/
scp ~/.bashrc root@slave2:~/
 # 重新加载环境变量
source ~/.bashrc
#修改Kafka broker id，集群内每个broker id要求唯一
#Master
vim /usr/local/src/kafka_2.11-0.10.2.1/config/server.properties
broker.id=0
#Slave1
broker.id=1
#Slave2
broker.id=2
# 创建Zookeeper的启动脚本（如果启动了Zookeeper集群则跳过此步骤）
vim /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka-zookeeper.sh
/usr/local/src/kafka_2.11-0.10.2.1/bin/zookeeper-server-start.sh
/usr/local/src/kafka_2.11-0.10.2.1/config/zookeeper.propeties
# 授予执行权限
chmod +x /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka-zookeeper.sh
# 启动Kafka自带的Zookeeper集群（全部节点都需要单独启动）
start-kafka-zookeeper.sh
# 创建Kafka的启动脚本
vim /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka.sh
/usr/local/src/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh -daemon
/usr/local/src/kafka_2.11-0.10.2.1/config/server.properties
# 授予执行权限
chmod +x /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka.sh
# 复制Kafka启动脚本到从节点
scp -r   /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka.sh   root@slave1:/usr/local/src/kafka_2.11-0.10.2.1/bin/
scp -r /usr/local/src/kafka_2.11-0.10.2.1/bin/start-kafka.sh   root@slave2:/usr/local/src/kafka_2.11-0.10.2.1/bin/
# 启动Kafka集群   （全部节点都需要单独启动）
start-kafka.sh
bin/kafka-server-start.sh config/server.properties
Spark安装1.6.3
# 解压Spark和Scala包
cd /usr/local/src
tar zxvf spark-2.0.2-bin-hadoop2.6.tgz
tar zxvf scala-2.11.8.tgz
# 修改配置文件 配置环境变量
cd spark-2.0.2-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export SCALA_HOME=/usr/local/src/scala-2.11.4
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export HADOOP_HOME=/usr/local/src/hadoop-2.6.5
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/src/spark1.63.
SPARK_DRIVER_MEMORY=1G
# 修改配置文件 添加从节点主机名
  cp slaves.template slaves
vim slaves
slave1
slave2
#  配置环境变量，在配置最后加入 vim ~/.bashrc
#  复制环境变量到其他节点
export SCALA_HOME=/usr/local/src/scala export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/usr/local/src/spark1.6.3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
scp     -r ~/.bashrc root@slave1:~/
scp     -r ~/.bashrc root@slave2:~/
# 复制Scala包到从节点
scp -r  /usr/local/src/scala-2.11.4   root@slave1:/usr/local/src/
scp -r  /usr/local/src/scala-2.11.4 root@slave2:/usr/local/src/
#
复制Spark包到从节点
scp   -r   /usr/local/src/spark1.6.3   root@slave1:/usr/local/src/
scp   -r   /usr/local/src/spark1.6.3 root@slave2:/usr/local/src/
#  重新加载环境变量
source ~/.bashrc
#  启动集群
start-all.sh
start-master.sh
start-slaves.sh
关闭：
stop-all.sh
stop-master.sh
stop-slaves.sh


WEBUI查看：


http://master:8080/


文章标签：
云原生大数据计算服务 MaxCompute
云消息队列 Kafka 版
云防火墙
云数据库HBase版
微服务引擎
云数据库 RDS MySQL 版
Java
分布式计算
SQL
Linux
网络安全
Hadoop
HIVE
大数据
关键词：
云原生大数据计算服务 MaxCompute组件
hadoop组件
云原生大数据计算服务 MaxCompute环境
hadoop大数据
hadoop云原生大数据计算服务 MaxCompute
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
GoAlaaa
目录
相关文章
武子康
|
2月前
|
存储 分布式计算 API
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
武子康
86 0
赵渝强老师
|
20天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层：数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中，大数据平台层为核心，负责数据的存储和计算，支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型，应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
赵渝强老师
83 3
【赵渝强老师】基于大数据组件的平台架构
赵渝强老师
|
20天前
|
SQL 分布式计算 Hadoop
【赵渝强老师】Hadoop生态圈组件
本文介绍了Hadoop生态圈的主要组件及其关系，包括HDFS、HBase、MapReduce与Yarn、Hive与Pig、Sqoop与Flume、ZooKeeper和HUE。每个组件的功能和作用都进行了简要说明，帮助读者更好地理解Hadoop生态系统。文中还附有图表和视频讲解，以便更直观地展示这些组件的交互方式。
赵渝强老师
61 5
九月天空
|
21天前
|
存储 大数据 数据处理
大数据环境下的性能优化策略
大数据环境下的性能优化策略
九月天空
29 2
土木林森
|
28天前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
88 2
土木林森
|
29天前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
65 1
赵渝强老师
|
20天前
|
SQL 分布式计算 大数据
【赵渝强老师】大数据生态圈中的组件
本文介绍了大数据体系架构中的主要组件，包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka；计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream；分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
赵渝强老师
30 0
武子康
|
2月前
|
SQL 存储 分布式计算
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
武子康
32 9
zzy的aly
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习（一）：PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的，主要介绍了Apache Spark的基本概念、特点、组件，以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码，帮助读者搭建和测试大数据环境。
zzy的aly
61 1
武子康
|
2月前
|
消息中间件 监控 Java
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
武子康
71 1

热门文章

最新文章

  • 1
    使用MaxCompute访问TableStore（OTS） 简明手册
  • 2
    丰富、连接、待集成—MaxCompute 生态再出发
  • 3
    日交易笔百万级，Ping++的大数据平台架构
  • 4
    IBM大数据处理平台BigInsights（2）
  • 5
    胖子哥的大数据之路（三）- 数据仓库的需求分析该怎么做
  • 6
    大数据打造智慧城市
  • 7
    促进大数据交易市场健康发展
  • 8
    莫被忽悠 六问题揭露谁是大数据伪砖家
  • 9
    星战7将映 追忆那些年存储你身边大数据
  • 10
    北京探索“大数据”惠民 政府公布数据供社会开发
  • 1
    Hadoop生态系统集成问题
    59
  • 2
    Hadoop权限问题
    97
  • 3
    Hadoop安全性问题
    104
  • 4
    安装hadoop学习笔记
    67
  • 5
    Hadoop的HDFS问题
    82
  • 6
    Hadoop防火墙问题
    90
  • 7
    Hadoop配置
    72
  • 8
    Hadoop网络问题
    135
  • 9
    Hadoop常见问题
    69
  • 10
    java与大数据：Hadoop与MapReduce
    59

    • 相关课程

    更多
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第四阶段）
  • 2020版大数据实战项目之DMP广告系统（第七阶段）

    • 相关电子书

    更多
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践

    • 相关实验场景

    更多
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • SAE 极速部署专属 AI 证件照神器
  • MySQL数据库快速部署实践
  • 每个IT人都想学的“Web应用上云经典架构”实战
  • 基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
  • 基于阿里云E-HPC平台的WRF气象预报实验
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月