入湖引擎是什么?-问答-阿里云开发者社区-阿里云

开发者社区> Lee_tianbai> 正文

入湖引擎是什么?

来自:阿里云EMR 2021-01-07 16:15:35 292 1

入湖引擎是什么?

取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 16:15:44

    入湖引擎使用了阿里云 EMR 团队自研的 Spark Streaming SQL 以及 EMR Spark 引擎,Streaming SQL 基于 Spark Structured Streaming,提供了相对完善的 Streaming SQL 语法,极大简化了实时计算的开发成本。对于实时增量模板,上层入湖 模板部分将入湖模板翻译成 Streaming SQL,然后提交 Spark 集群运行。我们在 Streaming SQL 里面扩展了 Merge Into 语法来支持 update、delete 操作。对于 RDS 等全量模板,则直接翻译成 Spark SQL 运行。

    0 0
相关问答

3

回答

怎样进钉钉2个群

游客6bdmn27yntop2 2020-03-12 13:30:20 3443浏览量 回答数 3

2

回答

阿里云云原生数据库是什么,有什么作用?

Lee_tianbai 2021-01-07 15:15:47 809浏览量 回答数 2

1

回答

如果开传奇,同时在线4-5个版本需要什么配置云服务器多少带宽

木茶 2020-10-09 20:01:18 982浏览量 回答数 1

2

回答

什么是数据湖?

Lee_tianbai 2021-01-07 15:17:49 699浏览量 回答数 2

1

回答

数据湖要解决的三大问题是什么?

Lee_tianbai 2021-01-07 16:35:06 779浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决元数据管理问题的?

Lee_tianbai 2021-01-07 16:36:21 1158浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决数据集成问题的?

Lee_tianbai 2021-01-07 16:37:07 814浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决数据开发问题的?

Lee_tianbai 2021-01-07 16:38:51 862浏览量 回答数 1

1

回答

为什么说数据湖是大数据和 AI 时代融合存储和计算的全新体系?

Lee_tianbai 2021-01-07 15:09:16 771浏览量 回答数 1

1

回答

常见的 CDC 方案实现之binlog 实时同步是什么?

Lee_tianbai 2021-01-07 16:25:07 704浏览量 回答数 1
+关注
0
文章
1008
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载