本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验，演讲的内容非常简单易懂并且非常有趣，在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。
【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块
2017-03-02
2498
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验，演讲的内容非常简单易懂并且非常有趣，在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。
目录
相关文章
|
7月前
|
存储
分布式计算
Hadoop
|
7月前
|
存储
分布式计算
Hadoop
|
分布式计算
Hadoop
大数据
|
7月前
|
存储
分布式计算
Hadoop
Hadoop数据块分散存储数据块大小
【4月更文挑战第17天】Hadoop的 数据块大小影响文件在HDFS中的切分与存储。默认值为64MB、128MB或256MB，可按需调整。选择数据块大小需平衡访问模式、存储效率、网络带宽和磁盘I/O。大块减少元数据，但可能降低读取效率；小块提高读取效率，却增大元数据和网络开销。应用需求决定块大小，如小文件读取频繁则选小块，大文件存储选大块。设置前需全面考虑集群需求，遵循官方文档和最佳实践。
147
3
3
|
6月前
|
存储
分布式计算
资源调度
|
分布式计算
API
流计算
|
SQL
存储
分布式计算
Storm与Spark、Hadoop三种框架对比
Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。所以，在不同的应用场景下，应该选择不同的框架。
517
0
0
|
分布式计算
Scala
流计算
|
消息中间件
存储
分布式计算
Hadoop生态系统中的实时数据处理技术：Apache Kafka和Apache Storm的应用
Hadoop生态系统中的实时数据处理技术：Apache Kafka和Apache Storm的应用
249
0
0
|
XML
分布式计算
Hadoop
热门文章
最新文章
1
Spark Master启动源码分析
2
Spark-spark streaming
3
Spark本地环境搭建（local模式）
4
Spark PruneDependency 依赖关系 RangePartitioner
5
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
6
Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
7
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
8
利用闪存优化在Cosco基础上的Spark Shuffle
9
Spark Shell入门教程（上）
10
领英如何应对Apache Spark的Scalability挑战