AI 助理
备案控制台
开发者社区 大数据 文章 正文

0基础搭建Hadoop大数据处理-集群安装

2017-11-18 1297
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
云防火墙，500元 1000GB
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
简介：

经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

　　不需要下载最新的3.0版本， 与后续Hive最新版本有冲突，不知道是不是自己的打开方式不对。

 　  hadoop有三种运行方式：单机、伪分布式、完全分布式，本文介绍完全分布式。

安装Hadoop

　　现在有三个机器，一个Master H32，两个Slaver H33、H34。

　　将下载的压缩包上传到解压并移动至Master机器的相应目录。

　　将软件放置/usr/local目录下：

tar -zxvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop273

 

创建hadoop用户组和用户

[root@H32 local]# groupadd hadoop #添加hadoop组
[root@H32 local]# useradd -g hadoop hadoop -s /bin/false

　　将该hadoop文件夹的属主用户设为hadoop

sudo chown -R hadoop:hadoop /usr/local/hadoop273
  配置文件之前先大体介绍一下hadoop2目录中的各个文件夹，注意区分与Hadoop1中的改变。

外层的启动脚本在sbin目录

内层的被调用脚本在bin目录

Native的so文件都在lib/native目录

配置程序文件都放置在libexec

配置文件都在etc目录，对应以前版本的conf目录

所有的jar包都在share/hadoop目录下面

创建Hadoop数据目录：

mkdir -p /usr/local/hadoop273/hdfs/name
mkdir -p /usr/local/hadoop273/hdfs/data

若不配置，Hadoop默认将数据存储在tmp文件夹中，重启会清空tmp数据，因此单独配置其数据存储文件夹，具体使用配置在下面XML中。

配置环境变量

/etc/profile 增加如下内容：

复制代码 
export HADOOP_HOME=/usr/local/hadoop273
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HADOOP_MAPARED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export LD_LIBRARY_PATH=${HADOOP_HOME}/lib/native/:$LD_LIBRARY_PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
复制代码

　　执行执行source /etc/profile，使之生效

修改slaves文件，添加子节点服务名或IP 

$HADOOP_HOME/etc/hadoop/slaves （Master主机特有，子节点可以不加）

复制代码 
H33 
H34

 或写对应的IP

192.168.80.33

192.168.80.34
复制代码

hadoop-env.sh中配置java_home

export JAVA_HOME=/usr/local/java/jdk1.8.0_101

　　让环境变量配置生效source

source /usr/local/hadoop3/etc/hadoop/hadoop-env.sh

　　Hadoop配置文件在conf目录下，之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。

　　由于Hadoop发展迅速，代码量急剧增加，代码开发分为了core，hdfs和map/reduce三部分，配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。

　　core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件；core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。

core-site.xml配置如下（经过多次坑最后能稳定跑的配置，说多了都是泪）

复制代码 
<configuration>
<property>
  <name>fs.default.name</name>
  <value>hdfs://H32:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop273/hadoop_tmp</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.sqoop2.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.sqoop2.groups</name>
<value>*</value>
</property>
</configuration>
复制代码

　　单独创建tmp文件夹hadoop_tmp 给 hadoop.tmp.dir 用于跟普通数据隔离。

hdfs-site.xml

复制代码 
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>H32:9001</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
<property>
  <name>dfs.tmp.dir</name>
  <value>/usr/local/hadoop273/hadoop_tmp</value>
</property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop273/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop273/hdfs/data</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
</configuration>
复制代码

mapred-site.xml

复制代码 
<configuration>
<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop273/etc/hadoop,/usr/local/hadoop273/share/hadoop/common/*,/usr/local/hadoop273/share/hadoop/common/lib/*,/usr/local/hadoop273/share/hadoop/hdfs/*,/usr/local/hadoop273/share/hadoop/hdfs/lib/*,/usr/local/hadoop273/share/hadoop/mapreduce/*,/usr/local/hadoop273/share/hadoop/mapreduce/lib/*,/usr/local/hadoop273/share/hadoop/yarn/*,/usr/local/hadoop273/share/hadoop/yarn/lib/*</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>H32:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>H32:19888</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx3072M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx6144M</value>
</property>
<property>
<name>mapreduce.cluster.map.memory.mb</name>
<value>-1</value>
</property>
<property>
<name>mapreduce.cluster.reduce.memory.mb</name>
<value>-1</value>
</property>
</configuration>
复制代码

yarn-site.xml

复制代码 
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>H32:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>H32:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>H32:8031</value>
</property>   
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>H32:8033</value>
</property>   
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>H32:8088</value>
</property>  
<property> 
  <name>yarn.nodemanager.aux-services</name> 
  <value>mapreduce_shuffle</value> 
</property>   
<property> 
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
  <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop273/etc/hadoop,/usr/local/hadoop273/share/hadoop/common/*,/usr/local/hadoop273/share/hadoop/common/lib/*,/usr/local/hadoop273/share/hadoop/hdfs/*,/usr/local/hadoop273/share/hadoop/hdfs/lib/*,/usr/local/hadoop273/share/hadoop/mapreduce/*,/usr/local/hadoop273/share/hadoop/mapreduce/lib/*,/usr/local/hadoop273/share/hadoop/yarn/*,/usr/local/hadoop273/share/hadoop/yarn/lib/*</value>
</property> 
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>3</value>
</property>
</configuration>
复制代码

 注意黄色标志，要classpath一定是绝对路径，不要用$HADOOP_HOME，运行会一直提示找不到相关类错误，至此master节点的hadoop搭建完毕。

搭建剩余节点

现在在Master机器上的Hadoop配置就结束了，剩下的就是配置Slave机器上的Hadoop。
将 Master上配置好的hadoop所在文件夹"/usr/local/hadoop273"复制到所有的Slave的"/usr/local"目录下（实际上Slave机器上的slavers文件是不必要的， 复制了也没问题）。用下面命令格式进行。（备注：此时用户可以为hadoop也可以为root）
把H32的hadoop目录下的logs和tmp删除，再把H32中的jdk、hadoop文件夹复制到H33和H34节点

scp -r /usr/local/hadoop273 root@H33:/usr/local

例如：从"Master.Hadoop"到"Slave1.Hadoop"复制配置Hadoop的文件。

上图中以root用户进行复制，当然不管是用户root还是hadoop，虽然Master机器上的"/usr/local/hadoop273"文件夹用户hadoop有权限，但是Slave1上的hadoop用户却没有"/usr/local"权限，所以没有创建文件夹的权限。所以无论是哪个用户进行拷贝，右面都是"root@机器IP"格式。因为我们只是建立起了hadoop用户的SSH无密码连接，所以用root进行"scp"时，扔提示让你输入"Slave1.Hadoop"服务器用户root的密码。

查看"Slave1.Hadoop"服务器的"/usr/local"目录下是否已经存在"hadoop"文件夹，确认已经复制成功。

hadoop文件夹确实已经复制了，但是我们发现hadoop权限是root，所以我们现在要给"Slave1.Hadoop"服务器上的用户hadoop添加对"/usr/local/hadoop"读权限。

以上配置完成后，将hadoop整个文件夹复制到其他机器。

启动hadoop

1.格式化namenode

hdfs namenode -format 只需一次，下次启动不再需要格式化，只需 start-all.sh
若没有设置路径$HADOOP_HOME/bin为环境变量，则需在$HADOOP_HOME路径下执行

bin/hdfs namenode -format

 

2.启动dfs及yarn

start-dfs.sh 在启动前关闭集群中所有机器的防火墙，不然会出现datanode开后又自动关闭(暂未发现) service iptables stop

start-yarn.sh
若没有设置路径$HADOOP_HOME/sbin为环境变量，则需在$HADOOP_HOME路径下执行

sbin/start-dfs.sh
sbin/start-yarn.sh

或 直接start-all.sh都启动

另外还要启动history服务，不然在面板中不能打开history链接。

sbin/mr-jobhistory-daemon.sh start historyserver

停止集群

sbin/stop-dfs.sh
sbin/stop-yarn.sh
或 直接stop-all.sh

 

下面使用jps命令查看启动进程：
4504 ResourceManager
4066 DataNode
4761 NodeManager
5068 JobHistoryServer
4357 SecondaryNameNode
3833 NameNode
5127 Jps

打开监控页面

现在便可以打开页面http://192.168.80.32:8088及http://192.168.80.32:50070；看到下面两个页面时说明安装成功。

 

 

 

测试

hdfs测试：

在root中创建文件：

~/hadoop-test-data.txt

向hdfs中上传文件：

bin/hadoop fs -put ~/hadoop-test-data.txt /tmp/input

查看hdfs文件目录：

hdfs dfs –ls /

移除文件命令：

hadoop fs -rm -r /tmp/input

Yarn测试：

运行WordCount测试程序，output为输出文件。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /tmp/input output

运行过程出现下面内容，没有错误提示说明正常：

 

 具体查看结果：

查看生成列表，会有两个文件，主要查看part-r-00000

hadoop fs -ls output/

hadoop fs -cat output/part-r-00000

 结果显示：

hadoop 1
hello 2
java 4
jsp 1

到这里，hadoop-2环境搭建结束，配置文件根据具体需求，具体配置。

查看集群状态：

[root@H32 hadoop273]$ ./bin/hdfs dfsadmin -report 

MapReduce Application Master界面：

 

Map Task运行状况：

某个Node上各个Container状态：

 

扩展

以下列布署过程中遇到的几个常见问题，加了网上一些网友的内容。

解决"no datanode to stop"问题

　　当停止Hadoop时发现如下信息：

原因：每次namenode format会重新创建一个namenodeId，而tmp/dfs/data下包含了上次format下的id，namenode format清空了namenode下的数据，但是没有清空datanode下的数据，导致启动时失败，所要做的就是每次fotmat前，清空tmp一下的所有目录。
第一种解决方案如下：
1）先删除"/usr/hadoop/tmp"
rm -rf /usr/hadoop/tmp
2）创建"/usr/hadoop/tmp"文件夹
mkdir /usr/hadoop/tmp
3）删除"/tmp"下以"hadoop"开头文件
rm -rf /tmp/hadoop*
4）重新格式化hadoop
hadoop namenode -format
5）启动hadoop
start-all.sh
使用第一种方案，有种不好处就是原来集群上的重要数据全没有了。假如说Hadoop集群已经运行了一段时间。建议采用第二种。
第二种方案如下：
1）修改每个Slave的namespaceID使其与Master的namespaceID一致。
或者
2）修改Master的namespaceID使其与Slave的namespaceID一致。
该"namespaceID"位于"/usr/hadoop/tmp/dfs/data/current/VERSION"文件中，前面蓝色的可能根据实际情况变化，但后面红色是不变的。
例如：查看"Master"下的"VERSION"文件

本人建议采用第二种，这样方便快捷，而且还能防止误删。

 

Slave服务器中datanode启动后又自动关闭

　　查看日志发下如下错误。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
解决方案是：关闭防火墙
      service iptables stop

从本地往hdfs文件系统上传文件
出现如下错误：
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方案是：
1）关闭防火墙
service iptables stop
2）禁用selinux
编辑 "/etc/selinux/config"文件，设置"SELINUX=disabled"

 

处理速度特别的慢
出现map很快，但是reduce很慢，而且反复出现"reduce=0%"。
解决方案如下：
结合解决方案5.7，然后修改"conf/hadoop-env.sh"中的"export HADOOP_HEAPSIZE=4000"


解决hadoop OutOfMemoryError问题
出现这种异常，明显是jvm内存不够得原因。
解决方案如下：要修改所有的datanode的jvm内存大小。
Java –Xms 1024m -Xmx 4096m
一般jvm的最大内存使用应该为总内存大小的一半，我们使用的8G内存，所以设置为4096m，这一值可能依旧不是最优的值。


Namenode in safe mode
解决方案如下：
bin/hadoop dfsadmin -safemode leave


IO写操作出现问题
0-1246359584298, infoPort=50075, ipcPort=50020):Got exception while serving blk_-5911099437886836280_1292 to /172.16.100.165:
java.net.SocketTimeoutException: 480000 millis timeout while waiting for channel to be ready for write. ch : java.nio.channels.SocketChannel[connected local=/
172.16.100.165:50010 remote=/172.16.100.165:50930]
at org.apache.hadoop.net.SocketIOWithTimeout.waitForIO(SocketIOWithTimeout.java:185)
at org.apache.hadoop.net.SocketOutputStream.waitForWritable(SocketOutputStream.java:159)
……
It seems there are many reasons that it can timeout, the example given in HADOOP-3831 is a slow reading client.
解决方案如下：
在hadoop-site.xml中设置dfs.datanode.socket.write.timeout=0

java.net.NoRouteToHostException: No Route to Host from H32/192.168.80.32 to H30:40080 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由;
关闭to H30的防火墙，或不能访问H30服务器，重启H30

 

This token is expired. current time is 1489243761235 found 1489239661109
Note: System times on machines may be out of sync. Check system time and time zones.
两个主机的时间不一致，重置两个主机的时间，重置方法网上有很多。

 

启动hadoop时没有NameNode的可能原因：
（1） NameNode没有格式化
（2） 环境变量配置错误
（3） Ip和hostname绑定失败
（4）hostname含有特殊符号如何.(符号点)，会被误解析

地址占用
报错：org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use
解决方法：查找被占用的端口号对应的PID：netstat –tunl
Pkill -9 PID
实在不行就killall -9 java

本文转自欢醉博客园博客，原文链接http://www.cnblogs.com/zhangs1986/p/6798544.html如需转载请自行联系原作者


欢醉

 

文章标签：
云原生大数据计算服务 MaxCompute
云防火墙
分布式计算
Hadoop
Java
Apache
大数据
关键词：
云原生大数据计算服务 MaxCompute集群
hadoop集群
hadoop大数据处理
hadoop大数据
hadoop云原生大数据计算服务 MaxCompute
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
最美的回忆
目录
相关文章
古明地盆
|
7天前
|
存储 分布式计算 资源调度
两万字长文向你解密大数据组件 Hadoop
两万字长文向你解密大数据组件 Hadoop
古明地盆
26 11
尹正杰
|
1月前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例，详细介绍了如何在Hadoop集群中配置HTTPS，包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件，以及重启Hadoop集群的步骤，并提供了一些常见问题的故障排除方法。
尹正杰
46 3
Hadoop集群配置https实战案例
杀死一只知更鸟debug
|
10天前
|
分布式计算 Hadoop Java
Hadoop集群搭建，基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】，常见问题解决
本文是一份详细的Hadoop集群搭建指南，基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时，还提供了常见问题的解决方案。
杀死一只知更鸟debug
19 0
Hadoop集群搭建，基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】，常见问题解决
尹正杰
|
1月前
|
机器学习/深度学习 分布式计算 安全
Hadoop集群常见报错汇总
这篇博客总结了Hadoop集群中可能遇到的各种常见错误，包括Kerberos认证问题、配置错误、权限问题等，并为每个问题提供了详细的错误复现、原因分析以及相应的解决方案。
尹正杰
51 1
Hadoop集群常见报错汇总
尹正杰
|
1月前
|
资源调度 分布式计算 运维
Hadoop集群资源管理篇-资源调度器
详细介绍了Hadoop集群资源管理中的资源调度器，包括资源分配的概念、大数据运维工程师如何管理集群工作负载、资源调度器的背景、Hadoop提供的FIFO、容量调度器和公平调度器三种资源调度器的概述以及它们之间的对比。
尹正杰
74 4
尹正杰
|
1月前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法，包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控，并提供了相关监控工具和资源的推荐阅读链接。
尹正杰
50 2
1941623231718325
|
1月前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris：重塑实时分析性能，解锁大数据处理新速度，引爆数据价值潜能！
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力，正在重塑实时分析的性能极限，解锁大数据处理的新速度，引爆数据价值的无限潜能。在未来的发展中，我们有理由相信Apache Doris将继续引领数据处理的潮流，为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进，共同探索数据新纪元的无限可能！
1941623231718325
82 11
郑小健
|
2月前
|
存储 分布式计算 大数据
MaxCompute 数据分区与生命周期管理
【8月更文第31天】随着大数据分析需求的增长，如何高效地管理和组织数据变得至关重要。阿里云的 MaxCompute（原名 ODPS）是一个专为海量数据设计的计算服务，它提供了丰富的功能来帮助用户管理和优化数据。本文将重点讨论 MaxCompute 中的数据分区策略和生命周期管理方法，并通过具体的代码示例来展示如何实施这些策略。
郑小健
85 1
番茄酱脑袋
|
2月前
数据平台问题之在数据影响决策的过程中，如何实现“决策/行动”阶段
数据平台问题之在数据影响决策的过程中，如何实现“决策/行动”阶段
番茄酱脑袋
49 2
1941623231718325
|
2月前
|
存储 监控 安全
大数据架构设计原则：构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程，需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则，可以帮助企业构建出既高效又安全的大数据生态系统，为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化，持续优化和调整大数据架构也将成为一项持续的工作。
1941623231718325
98 1

热门文章

最新文章

  • 1
    阿里、Databricks、Intel的十位专家和你细聊Hadoop技术实践及生态
  • 2
    hadoop安装入门
  • 3
    在windows下使用eclipes连接linux下的Hadoop集群
  • 4
    Hadoop-No.13之数据源系统以及数据结构
  • 5
    Hadoop 的安装和使用（基于Linux~Ubuntu的虚拟机）
  • 6
    spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkPi.scala（图文详解）
  • 7
    CDH5.4.7安装Hadoop集群安装主机失败
  • 8
    Hadoop概念学习系列之Hadoop 是什么？（一）
  • 9
    Hadoop大数据平台环境搭建注意事项，波若分布式数据采集工具功能剖析，数道云
  • 10
    Hadoop集群下运行Wordcount程序中途卡顿运行时间过长的解决方案
  • 1
    数据仓库(13)大数据数仓经典最值得阅读书籍推荐
    543
  • 2
    大数据计算MaxCompute等长时间没有查出来结果的原因可能有以下几点：
    87
  • 3
    DataWorks常见问题之dataworks100g大小的csv文件上传到odps失败如何解决
    153
  • 4
    DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
    65
  • 5
    漫谈大数据时代的个人信息安全（四）——“位所欲为”
    40
  • 6
    漫谈大数据时代的个人信息安全（三）——“点赞之交”
    62
  • 7
    漫谈大数据时代的个人信息安全（二）——“逢脸造戏”
    57
  • 8
    漫谈大数据时代的个人信息安全（一）——“按图索骥”
    86
  • 9
    DataWorks报错问题之DataWorks报错odps-0433121: User is not added in the list - Only users in the operator account white list have permission to do that如何解决
    90
  • 10
    DataWorks常见问题之dataworks弹外申请odps相关权限失败如何解决
    82

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
  • 基于小程序Serverless开发个人相册小程序
  • 快速搭建高可用网站服务
  • 容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
  • 使用阿里云Elasticsearch快速搭建可观测系统
  • 基于函数计算快速搭建Zblog等传统应用框架
    • 下一篇
    无影云桌面