【Hadoop Summit Tokyo 2016】Columnar Era:利用Parquet,Arrow and Kudu获取高性能

简介: 本讲义出自 Julien Le Dem在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Columnar Era是利用Parquet,Arrow and Kudu获取数据计算的高性能的,并且分享了社区驱动的标准以及互操作性和Columnar Era的生态系统。

本讲义出自 Julien Le Dem在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Columnar Era是利用Parquet,Arrow and Kudu获取数据计算的高性能的,并且分享了社区驱动的标准以及互操作性和Columnar Era的生态系统。

290dc5aeed2c79053a205d2b0b472b89fd71b744

c6a053ce042b12530722b3745eb2a2e3f9ec1185

11367e28071aa79d0a8bfa2e950fb74f3f78c2f3

93b5a7f2e80d36b7ad18ae1d8e7bc1ce6b3b5b12

4a0bc9771aafe13f31324db7f8d72aaec5e0be33

7b98e9527bc35affb086d6a64952fda9079b0bd4

20c26444d7081873322bfd66f1d48352f5eadbc0

215ea9340aef6d472d8f52e1101b5295863500b3

3435a1f79d14506bfa25e5257518eb5ff83c70dc

81f27aa2a41ef3ccafe6da9776d0abb79361f870

3384914ee7d3f15c10cc2e21a29e4cae6d0d09e2

d4c7d4b32bcfe69e5d6cd344d01532f9be1ead69

e2e3571cf7690966728d6a1453213cb69d6891c2

b2ef69a60e6d3e1ca203ce6a01c8c41e8b4e8b70

c10a48fc1db7f573bad95d6dfe6742b1401095e9

ef764d92e06f6e3cfa755816b4e0395200acb5d7

702477b4f0eee86b7d92919ad6cff4fe672e02fd

ec0780e5af8baecead6b96af152435fa9ab5b957

512b7cc4b6534653dbf487b41aa0ba6f81c96ae9

3fffe3b60bae2f11ceeb61f802b95cdc0f6cd6b4

9301e9b1eba84541e0598342be039f718bfc1d07

d756ba6fc8325d60013e7c8e1863aa9f289c491e

cbe655ba18e60ac1b10931d4c69f7621c5e349fc

2f603b7ef875e3b08223566f03d73e8ddd888ecb

f4d2d5b1f98ba7a73611efb532c75fee590dbdd5

9dd706371aac773ac1f1405d7c9fe0e345ffb5c7

a71a2816a89193f3ec906c996e6174378d2fa169

6ec26199dfc9a3472aae222e46a8cc9ca1270f41

c98487e34825842fffb014b4af2371fb9fa000ea

9029e286ad8bb8bcef2315de88871ddd89837487

10ab0299c6c4399f35baf6af8f099ea1c9ee5a03

f2a832a6d304e8931bb927f2d956e9671a73cdd7

c3346951c530c9fd796881a4a1fdab7eda05fea8

9acd8a2ae138b17120e7ca99e7fbf5dccf0838d8

4767749b44d54da80804720a0a4d74411c660c3d

8322d4fedbf4c0855604fcb70bed30357e97be89

dae5ca6d4f0c702f6b31d228d72ae29f32d5f289

a5d1e09d20b704b9ddb867dbe56be488669ffeed

f4fe3c8b7ff5c9def91385c79ffcc8a7fc4f4cc8

4b4d005bff890dbe7f90f6caef1f9ae51f1b0e14

e683ef82dbccba3aa05d6f48bbe749eaec9bf014

623a0d8e207770c135d2238ba59aa2148d6963c6

8230deea583dd245dbaef0a3fff1317c25d00585



相关文章
|
7月前
|
存储 分布式计算 资源调度
centos 部署Hadoop-3.0-高性能集群(二)
centos 部署Hadoop-3.0-高性能集群(二)
74 0
centos 部署Hadoop-3.0-高性能集群(二)
|
7月前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
169 0
|
7月前
|
存储 分布式计算 Apache
✨[hadoop3.x]新一代的存储格式Apache Arrow(四)
✨[hadoop3.x]新一代的存储格式Apache Arrow(四)
108 1
|
存储 分布式计算 Linux
基于Hadoop生态系统的一种高性能数据存储格式CarbonData(性能篇)
CarbonData在数据查询的性能表现比Parquet好很多,在写一次读多次的场景下非常适合使用;社区比较活跃,响应也很及时。目前官网发布版本1.3.0与最新的spark稳定版Spark2.2.1集成,增加了支持标准的Hive分区,支持流数据准实时入库等新特性,相信会有越来越多的项目会使用到。
3978 0
|
分布式计算 Hadoop 测试技术
|
机器学习/深度学习 分布式计算 Hadoop
满满的技术干货!Hadoop顶级会议Apache Hadoop Summit精华讲义分享
Apache Hadoop Summit是Hadoop技术的顶级会议,这里大咖云集,一同探讨世界上最新的Hadoop发展动态以及产品应用和技术实践。本文整理了Apache Hadoop Summit Tokyo 2016上的精选演讲的讲义,无论是你想要的是Hadoop发展前沿,是Hadoop优化技
5770 0
|
分布式计算 资源调度 Hadoop
【Hadoop Summit Tokyo 2016】操纵云上基于Hadoop 集群的YARN
本讲义出自Abhishek Modi在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Qubole的Hadoop技术、Qubole的架构设计、短生命周期的Hadoop集群的相关内容以及面对的挑战以及YARN的自动扩展和不断发展的HDFS技术。
1965 0
|
分布式计算 Hadoop
【Hadoop Summit Tokyo 2016】如何构建成功的数据湖泊
本讲义出自 Alex Gorelik在Hadoop Summit Tokyo 2016上的演讲,主要介绍了数据湖泊的相关概念,介绍了数据湖泊可以赋能数据驱动的决策制定以及最大化商业价值,以及如何通过正确的数据+正确的平台+正确的接口构建成功的数据湖泊。
1591 0
|
分布式计算 Hadoop 流计算
【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块
本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验,演讲的内容非常简单易懂并且非常有趣,在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。
2498 0
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
188 6

相关实验场景

更多