Spark Streaming SQL是什么?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Spark Streaming SQL是什么?

Lee_tianbai 2021-01-07 16:29:39 454

Spark Streaming SQL是什么?

sql是什么 什么是sql
分享到
取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 16:30:36

    Spark Streaming SQL 在 Spark Structured Streaming 之上提供了 SQL 能力, 降低了实时业务开发的门槛,使得离线业务实时化更简单方便。

    Spark Streaming SQL 支持的语法如下:

    image.png image.png

    下面以实时消费 SLS 为例:

    # 创建 loghub 源表
    spark-sql> CREATE TABLE loghub_intput_tbl(content string)
    > USING loghub
    > OPTIONS
    > (...)
    # 创建 delta 目标表
    spark-sql> CREATE TABLE delta_output_tbl(content string)
    > USING delta
    > OPTIONS
    > (...);
    # 创建流式 SCAN
    spark-sql> CREATE SCAN loghub_table_intput_test_stream
    > ON loghub_intput_tbl
    > USING STREAM;
    # 将 loghub 源表数据插入 delta 目标表
    spark-sql> INSERT INTO delta_output_tbl SELECT content FROM loghub_table_i
    ntput_test_stream;
    
    0 0
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

推荐文章
相似问题
最新问题
官网链接