AI 助理
备案控制台
开发者社区 大数据 文章 正文

满满的技术干货！Hadoop顶级会议Apache Hadoop Summit精华讲义分享

2017-03-03 5764
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Apache Hadoop Summit是Hadoop技术的顶级会议，这里大咖云集，一同探讨世界上最新的Hadoop发展动态以及产品应用和技术实践。本文整理了Apache Hadoop Summit Tokyo 2016上的精选演讲的讲义，无论是你想要的是Hadoop发展前沿，是Hadoop优化技

Apache Hadoop Summit是Hadoop技术的顶级会议，这里大咖云集，一同探讨世界上最新的Hadoop发展动态以及产品应用和技术实践。


本文整理了Apache Hadoop Summit  Tokyo 2016上的精选演讲的讲义，无论是你想要的是Hadoop发展前沿，是Hadoop优化技巧，还是技术最佳实践，统统都在这里！


【Hadoop Summit Tokyo 2016】Apache NiFi速成课

【Hadoop Summit Tokyo 2016】重建大规模Web跟踪设施

【Hadoop Summit Tokyo 2016】利用电力公司智能电表数据比较Spark SQL与Hive

【Hadoop Summit Tokyo 2016】雅虎日本的大规模Hadoop集群网络

【Hadoop Summit Tokyo 2016】东日本可口可乐公司Hadoop之旅，从一滴到一瓶

【Hadoop Summit Tokyo 2016】基于容器规格的Apache Hadoop/Spark集群框架

【Hadoop Summit Tokyo 2016】为什么我的Hadoop集群运行这么慢？

【Hadoop Summit Tokyo 2016】Apache Hive在完全支持SQL规范上取的主要进步

【Hadoop Summit Tokyo 2016】使用Apache Ambari简化Hadoop DevOps

【Hadoop Summit Tokyo 2016】Rakuten是如何解决由于大规模多租户Hadoop集群造成的迷之问题的

【Hadoop Summit Tokyo 2016】中型组织的数据基础设施架构：收集、存储和分析的技巧

【Hadoop Summit Tokyo 2016】Apache NiFi 1.0概论

【Hadoop Summit Tokyo 2016】Hivemall: Apache Hive/Spark/Pig 的可扩展机器学习库

【Hadoop Summit Tokyo 2016】上云还是回到服务器：混合分析一瞥

【Hadoop Summit Tokyo 2016】将HDFS演进成广义分布式存储子系统

【Hadoop Summit Tokyo 2016】Apache Phoenix与HBase：HBase之上SQL的过去，现在和未来

【Hadoop Summit Tokyo 2016】使用基于Lambda架构的Spark的近实时的网络异常检测和流量分析

【Hadoop Summit Tokyo 2016】使Apache Zeppelin与Spark赋能企业数据科学

【Hadoop Summit Tokyo 2016】在Apache Hadoop上保护企业数据

【Hadoop Summit Tokyo 2016】使用Hadoop来构建实时和批数据的数据质量服务

【Hadoop Summit Tokyo 2016】使用Apache Ranger和Apache Atlas进行数据治理

【Hadoop Summit Tokyo 2016】领英：4亿会员的数据赋能之旅

【Hadoop Summit Tokyo 2016】企业已经对于云上Hadoop集群做好了准备

【Hadoop Summit Tokyo 2016】Apache Hadoop 3.0 ：YARN和MapReduce有什么新特性？

【Hadoop Summit Tokyo 2016】构建信息平台：集成Hadoop与SAP HANA和HANA VORA

【Hadoop Summit Tokyo 2016】Hadoop Common与HDFS中有什么新特性？

【Hadoop Summit Tokyo 2016】LLAP：Hive上的次秒级分析查询

【Hadoop Summit Tokyo 2016】云上Hadoop——从专家的角度解释What、Why和How

【Hadoop Summit Tokyo 2016】Hadoop与云存储：在产品中集成对象存储

【Hadoop Summit Tokyo 2016】用于欺诈检测的深度学习

【Hadoop Summit Tokyo 2016】桌上的大数据与KNIME

【Hadoop Summit Tokyo 2016】Spark上可扩展的深度学习

【Hadoop Summit Tokyo 2016】基于Spark的高性能时空轨迹分析

【Hadoop Summit Tokyo 2016】当Spark邂逅智能电表

【Hadoop Summit Tokyo 2016】对于非文本的自然语言处理结构化数据调查

【Hadoop Summit Tokyo 2016】构建多租户平台

【Hadoop Summit Tokyo 2016】云上SQL-on-Hadoop的状态

【Hadoop Summit Tokyo 2016】Apache NiFi的先锋派

【Hadoop Summit Tokyo 2016】企业数据分类和治理

【Hadoop Summit Tokyo 2016】使用Amaterasu项目进行数据操作

【Hadoop Summit Tokyo 2016】现代化企业级数据仓库：数据湖泊

【Hadoop Summit Tokyo 2016】一个持续部署的Hadoop数据分析平台

【Hadoop Summit Tokyo 2016】文件格式的基准——Avro, JSON, ORC & Parquet

【Hadoop Summit Tokyo 2016】服务大众的Hadoop

【Hadoop Summit Tokyo 2016】以Apache Storm为例增强可靠性的流计算

【Hadoop Summit Tokyo 2016】云上的大象

【Hadoop Summit Tokyo 2016】欢迎来到Hadoop的青春时代

【Hadoop Summit Tokyo 2016】基于Apache Spark的数据科学

【Hadoop Summit Tokyo 2016】限制不断变化的多租户日志服务

【Hadoop Summit Tokyo 2016】追踪Hadoop与Storm资源与开销

【Hadoop Summit Tokyo 2016】数据流与Apache NiFi

【Hadoop Summit Tokyo 2016】基于成本的查询优化

【Hadoop Summit Tokyo 2016】一小时之内使用Apache Nifi从零到数据流

【Hadoop Summit Tokyo 2016】Columnar Era：利用Parquet，Arrow and Kudu获取高性能

【Hadoop Summit Tokyo 2016】Apache Storm中的资源感知调度

【Hadoop Summit Tokyo 2016】Apache Spark & Apache Zeppelin的安全状态

【Hadoop Summit Tokyo 2016】将HDFS演化成为广义存储子系统

【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块

【Hadoop Summit Tokyo 2016】如何构建成功的数据湖泊

【Hadoop Summit Tokyo 2016】操纵云上基于Hadoop 集群的YARN

文章标签：
分布式计算
Hadoop
机器学习/深度学习
Apache
流计算
SQL
Hbase
Spark
HIVE
存储
关键词：
技术hadoop
Apache技术
Apache hadoop
hadoop apache
hadoop技术
小猫吃鱼569
目录
相关文章
不吃核桃
|
3月前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
不吃核桃
51 3
灵杰开发者
|
2月前
|
消息中间件 资源调度 API
Apache Flink 流批融合技术介绍
本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享，内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一，但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略，自动适应不同场景需求。文章详细介绍了如何通过量化指标（如isProcessingBacklog和isInsertOnly）实现这一目标，并展示了针对不同场景的具体优化措施。此外，还概述了社区当前进展及未来规划，包括将优化方案推向Flink社区、动态调整算子流程结构等。
灵杰开发者
388 31
Apache Flink 流批融合技术介绍
土木林森
|
15天前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
59 2
土木林森
|
16天前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
56 1
武子康
|
1月前
|
存储 分布式计算 druid
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
武子康
57 1
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
喜欢猪猪
|
2月前
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
喜欢猪猪
70 0
jianz123
|
3月前
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
jianz123
63 0
公众号:码到三十五
|
5月前
|
Java 数据库连接 Apache
深入理解Apache Commons Pool2池化技术
深入理解Apache Commons Pool2池化技术
公众号:码到三十五
245 5
JavaPub
|
5月前
|
分布式计算 Hadoop
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
关于hadoop搭建的问题org.apache.hadoop.io.nativeio.NativeIO.java
JavaPub
73 5
1941623231718325
|
5月前
|
分布式计算 Hadoop 大数据
大数据技术：Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要** Hadoop是分布式系统基础架构，擅长处理大规模批处理任务，依赖HDFS和MapReduce，具有高可靠性和生态多样性。Spark是快速数据处理引擎，侧重内存计算，提供多语言接口，支持机器学习和流处理，处理速度远超Hadoop，适合实时分析和交互式查询。两者在资源占用和生态系统上有差异，适用于不同应用场景。选择时需依据具体需求。
1941623231718325
248 1