本讲义出自Frank Zhao、Fenghao Zhang与 Yusong Lv在Hadoop Summit Tokyo 2016上的演讲，主要介绍了分布式流系统的相关概念，可靠性处理、Apache Storm的解决方案以及面对的挑战、新提出的方法以及 Apache Storm的原型和基准。
【Hadoop Summit Tokyo 2016】以Apache Storm为例增强可靠性的流计算
2017-03-01
1660
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Frank Zhao、Fenghao Zhang与 Yusong Lv在Hadoop Summit Tokyo 2016上的演讲，主要介绍了分布式流系统的相关概念，可靠性处理、Apache Storm的解决方案以及面对的挑战、新提出的方法以及 Apache Storm的原型和基准。
目录
相关文章
|
3月前
|
消息中间件
分布式计算
Hadoop
|
3月前
|
分布式计算
Hadoop
大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
65
0
0
|
5月前
|
分布式计算
Hadoop
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
75
5
5
|
5月前
|
存储
分布式计算
Hadoop
使用Apache Hadoop进行分布式计算的技术详解
【6月更文挑战第4天】Apache Hadoop是一个分布式系统框架，应对大数据处理需求。它包括HDFS（分布式文件系统）和MapReduce编程模型。Hadoop架构由HDFS、YARN（资源管理器）、MapReduce及通用库组成。通过环境搭建、编写MapReduce程序，可实现分布式计算。例如，WordCount程序用于统计单词频率。优化HDFS和MapReduce性能，结合Hadoop生态系统工具，能提升整体效率。随着技术发展，Hadoop在大数据领域将持续发挥关键作用。
104
5
5
|
5月前
|
存储
分布式计算
Hadoop
|
6月前
|
存储
分布式计算
Hadoop
|
6月前
|
存储
分布式计算
安全
|
6月前
|
存储
分布式计算
Hadoop
hadoop的高可靠性
【4月更文挑战第13天】Hadoop实现高可靠性主要依靠冗余数据存储（每个数据块有多个副本分存于不同节点）、校验和验证（确保数据完整性）及数据备份与故障恢复机制（自动复制和重新分配任务）。这些机制保证了Hadoop在大规模数据处理中的可靠性与完整性。
128
1
1
|
6月前
|
分布式计算
资源调度
Hadoop
Apache Hadoop入门指南：搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用，并引导初学者了解Hadoop的基本概念、核心组件（HDFS、YARN、MapReduce）及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境，学习者可掌握基本操作。此外，文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性，旨在为读者提供Hadoop入门指导，助其踏入大数据处理的旅程。
884
0
0
|
分布式计算
固态存储
Hadoop
热门文章
最新文章
1
Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
2
手把手教你使用自建Hadoop访问全托管服务化HDFS（OSS-HDFS服务）
3
Hadoop 2.x本地库native lib及如何源码编译
4
【centos6.5 hadoop2.7 _64位一键安装脚本】有问题加我Q直接问
5
linux下安装hadoop步骤
6
hadoop安装小记
7
cdh5.3.10_hadoop环境迁移之主机IP修改
8
Hadoop2.6.0运行mapreduce之推断（speculative）执行（下）
9
Hadoop 2.x HDFS和YARN的启动方式
10
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
1
从 Volcano 火山模型到 Pipeline 执行模型，阿里云数据库 SelectDB 内核 Apache Doris 执行模型的迭代
62836
2
欢迎报名 Apache Seata (incubating) 开源之夏
1325
3
构建高性能Web服务器：Nginx vs Apache
244
4
Maven配置以及IDEA设置（Cannot resolve plugin org.apache.maven.plugins:报错）
769
5
从离线到实时：无锡锡商银行基于 Apache Doris 的数据仓库演进实践
65389
6
Centos7 安装Apache
98
7
在STS里使用Gradle编译Apache POI5.0.0
60
8
数据猎手：使用Java和Apache HttpComponents库下载Facebook图像
78
9
Apache服务器配置与优化指南
382
10
Golang深入浅出之-Go语言中的分布式计算框架Apache Beam
233