AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

8月28日社区直播【Spark Streaming SQL流式处理简介】

2019-08-26 1077
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
EMR Serverless Spark 免费试用，1000 CU*H 有效期3个月
简介： 本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示

直播间直达链接：（回看链接）

https://tianchi.aliyun.com/course/live?liveId=41084

或钉钉扫描海报上二维码，进群直接观看。

时间

8月28日19:00

主讲人：

云魄，阿里云E-MapReduce 高级开发工程师，专注于流式计算，Spark Contributor，开源爱好者

简介：

本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示
Spark_Streaming_SQL_

文章标签：
开源大数据平台 E-MapReduce
流计算
分布式计算
SQL
Spark
关键词：
apache spark SQL
SQL spark
apache spark streaming
apache spark简介
SQL流式
开源大数据EMR
目录
相关文章
东北赵四
|
SQL 关系型数据库 MySQL
数据库开发之SQL简介以及DDL的详细解析
数据库开发之SQL简介以及DDL的详细解析
东北赵四
260 0
游客wkqymr43luqiu
|
4月前
|
SQL JSON 分布式计算
Spark SQL架构及高级用法
Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
游客wkqymr43luqiu
380 2
瓴羊Dataphin
|
8月前
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
333 4
技术小达人
|
10月前
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
技术小达人
1336 0
赵渝强老师
|
SQL JSON 分布式计算
【赵渝强老师】Spark SQL的数据模型：DataFrame
本文介绍了在Spark SQL中创建DataFrame的三种方法。首先，通过定义case class来创建表结构，然后将CSV文件读入RDD并关联Schema生成DataFrame。其次，使用StructType定义表结构，同样将CSV文件读入RDD并转换为Row对象后创建DataFrame。最后，直接加载带有格式的数据文件（如JSON），通过读取文件内容直接创建DataFrame。每种方法都包含详细的代码示例和解释。
赵渝强老师
281 0
武子康
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
280 0
武子康
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
230 0
武子康
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
270 0
武子康
|
SQL 分布式计算 大数据
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
武子康
345 0
武子康
|
SQL 存储 分布式计算
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
武子康
213 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
  • 2
    如何使用Kafka Connect实现同步RDS binlog数据
  • 3
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 4
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 5
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 6
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 7
    HIVE MapJoin异常问题处理总结
  • 8
    漫谈分布式计算框架
  • 9
    阿里封神-大数据处理技术漫谈
  • 10
    在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 1
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    55
  • 2
    如何建设网站，网站制作的6个步骤
    199
  • 3
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    121
  • 4
    EMR StarRocks Stella 内核正式发布，登顶 TPC 榜单全球第一
    117
  • 5
    QuickSSO 与 ECreator 实操应用案例手册
    77
  • 6
    StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
    481
  • 7
    立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
    397
  • 8
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    761
  • 9
    千万级数据秒级响应！碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
    695
  • 10
    百观科技基于阿里云 EMR 的数据湖实践分享
    519

    • 相关课程

    更多
  • 如何在 PolarDB-X 中优化慢 SQL
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server在电子商务中的应用与实践
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili

    • 相关实验场景

    更多
  • 一小时快速掌握SQL语法
    • 下一篇
    阿里云弹性公网IP线路类型【BGP(多线)_精品】是什么意思？