Spark Streaming SQL是什么?-问答-阿里云开发者社区-阿里云

开发者社区> Lee_tianbai> 正文

Spark Streaming SQL是什么?

来自:阿里云EMR 2021-01-07 16:29:39 460 1

Spark Streaming SQL是什么?

取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 16:30:36

    Spark Streaming SQL 在 Spark Structured Streaming 之上提供了 SQL 能力, 降低了实时业务开发的门槛,使得离线业务实时化更简单方便。

    Spark Streaming SQL 支持的语法如下:

    image.png image.png

    下面以实时消费 SLS 为例:

    # 创建 loghub 源表
    spark-sql> CREATE TABLE loghub_intput_tbl(content string)
    > USING loghub
    > OPTIONS
    > (...)
    # 创建 delta 目标表
    spark-sql> CREATE TABLE delta_output_tbl(content string)
    > USING delta
    > OPTIONS
    > (...);
    # 创建流式 SCAN
    spark-sql> CREATE SCAN loghub_table_intput_test_stream
    > ON loghub_intput_tbl
    > USING STREAM;
    # 将 loghub 源表数据插入 delta 目标表
    spark-sql> INSERT INTO delta_output_tbl SELECT content FROM loghub_table_i
    ntput_test_stream;
    
    0 0
相关问答

3

回答

请教一个范围查询的问题

小文文文 2019-06-14 14:37:01 115030浏览量 回答数 3

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123680浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120230浏览量 回答数 10

1

回答

通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置

游客iwhrjhvjoyqts 2019-07-05 15:30:22 113851浏览量 回答数 1

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 141642浏览量 回答数 38

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118449浏览量 回答数 5

1

回答

在flink集群模式下,能不能指定某个节点的solt来执行一个task?

孙goku 2019-07-01 15:19:09 113338浏览量 回答数 1

2

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 126306浏览量 回答数 2

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 121131浏览量 回答数 8

78

回答

【2013.9.5修正版图文】新手如何使用阿里云(linux)服务器建站(搬站)

姑苏公子 2013-04-11 00:39:13 107732浏览量 回答数 78
+关注
0
文章
1008
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载