Spark学习之Spark SQL（8）
Spark学习之Spark SQL（8）
1. Spark用来操作结构化和半结构化数据的接口——Spark SQL、
2. Spark SQL的三大功能
2.1 Spark SQL可以从各种结构化数据（例如JSON、Hive、Parquet等）中读取数据。
2.2 Spark SQL不仅支持在Spark程序内使用SQL语句进行查询，也支持从类似商业智能软件Tableau这样的外部工...
查看全文 >>
Hadoop学习路径
一、平台基础
1.1、大数据
了解什么是大数据，大数据入门，以及大数据介绍。
以及大数据中存在的问题，包括存储，计算的问题，有哪些解决策略。
1.2、Hadoop平台生态圈
熟悉了解开源Hadoop平台生态圈，以及第三方大数据平台，查找一些Hadoop入门介绍博客或者官网，了解：
What’s Hadoop
Why Hadoop exists
How to Use Ha...
查看全文 >>
Spark 概念学习系列之Spark生态系统BDAS（五）
目前，Spark已经发展成为包含众多子项目的大数据计算平台。 伯克利将Spark的整个生态系统称为伯克利数据分析栈（BDAS）。 其核心框架是Spark，同时BDAS涵盖支持结构化数据SQL查询与分析的查询引擎Spark SQL和Shark，提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib、 并行图计算框架GraphX、 流计算框架Spark Streaming、 采样近...
查看全文 >>
Spark-1.3.1与Hive整合实现查询分析
在大数据应用场景下，使用过Hive做查询统计分析的应该知道，计算的延迟性非常大，可能一个非常复杂的统计分析需求，需要运行1个小时以上，但是比之于使用MySQL之类关系数据库做分析，执行速度快很多很多。使用HiveQL写类似SQL的查询分析语句，最终经过Hive查询解析器，翻译成Hadoop平台上的MapReduce程序进行运行，这也是MapReduce计算引擎的特点带来的延迟问题：Map中间结果...
查看全文 >>
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
$ cat customers.txt
1 Ali us
2 Bsb ca
3 Carls mx
$ hive
hive>
> CREATE TABLE IF NOT EXISTS customers(
> cust_id string,
> name string,
>...
查看全文 >>
Spark通过修改DataFrame的schema给表字段添加注释
版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/82347513
我的原创地址：https://dongkelun.com/2018/08/...
查看全文 >>
Spark SQL玩起来
标签（空格分隔）： Spark
[toc]
前言
Spark SQL的介绍只包含官方文档的Getting Started、DataSource、Performance Tuning和Distributed SQL Engine部分。不含其他的迁移和PySpark等部分。
Spark SQL介绍
Spark SQL是一个Spark模块用于结构化数据处理。与基本的Spark RDD API不同，S...
查看全文 >>
SparkSQL ThriftServer 安全相关功能的现状分析
SparkSQL Thrift Server
SparkSQL Thrift Server 是 Spark SQL基于 Apache Hive的 HiveServer2开发的，通过SparkSQL Thrift Server 可以使 Spark SQL支持 JDBC/ODBC 的连接方式，用户可以通过 JDBC and ODBC 协议，在Spark上执行 SQL.
ThriftServer的安全...
查看全文 >>
Delta Lake Presto Integration & Manifests 机制
原文链接
该功能与我们之前平台化 Delta Lake 平台化实践（离线篇) 的很多工作都较为相似，比如与 metastore 的集成，直接通过 manifest 读取 delta 存活文件等。Delta Lake 在 0.5 之前只支持通过 Spark 读取数据，在新版本中增加了其他处理引擎通过 manifest 文件访问 Delta Lake 的能力。下文以Presto 为例说明如何通过 m...
查看全文 >>
《Spark大数据分析实战》——3.1节SQL on Spark
本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章，第3.1节SQL on Spark，作者高彦杰 倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看
3.1 SQL on SparkAMPLab将大数据分析负载分为三大类型：批量数据处理、交互式查询、实时流处理。而其中很重要的一环便是交互式查询。大数据分析栈中需要满足用户ad-hoc、reporting、iterative等...
查看全文 >>
