分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
38066内容
HBase BulkLoad批量写入数据实战
1.概述 在进行数据传输中,批量加载数据到HBase集群有多种方式,比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式,在导入数据的过程中,如果数据量过大,可能耗时会比较严重或者占用HBase集群资源较多(如磁盘IO、HBase Handler数等)。
【Hadoop Summit Tokyo 2016】云上Hadoop——从专家的角度解释What、Why和How
本讲义出自SATO Naoki在Hadoop Summit Tokyo 2016上的演讲,主要从What、Why和How三个角度解释了在云上应该如何使用Hadoop,在Why方面,他分享了Hadoop运行在云上的好处;在What方面,主要分享了云上Hadoop的选项以及云上的Hadoop集群以及集群定制等内容;在How方面,主要分享了如何在云上部署Hadoop架构。
详细解读Spark的数据分析引擎:Spark SQL
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯!   一、spark SQL:类似于Hive,是一种数据分析引擎 什么是spark SQL? spark SQL只能处理结构化数据 底层依赖RDD,...
免费试用