Spark Streaming SQL是什么?

Spark Streaming SQL是什么?

展开
收起
Lee_tianbai 2021-01-07 16:29:39 1303 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • Spark Streaming SQL 在 Spark Structured Streaming 之上提供了 SQL 能力, 降低了实时业务开发的门槛,使得离线业务实时化更简单方便。

    Spark Streaming SQL 支持的语法如下:

    image.png image.png

    下面以实时消费 SLS 为例:

    # 创建 loghub 源表
    spark-sql> CREATE TABLE loghub_intput_tbl(content string)
    > USING loghub
    > OPTIONS
    > (...)
    # 创建 delta 目标表
    spark-sql> CREATE TABLE delta_output_tbl(content string)
    > USING delta
    > OPTIONS
    > (...);
    # 创建流式 SCAN
    spark-sql> CREATE SCAN loghub_table_intput_test_stream
    > ON loghub_intput_tbl
    > USING STREAM;
    # 将 loghub 源表数据插入 delta 目标表
    spark-sql> INSERT INTO delta_output_tbl SELECT content FROM loghub_table_i
    ntput_test_stream;
    
    2021-01-07 16:30:36 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理