开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

问下odps spark支持实时计算吗?

问下odps spark支持实时计算吗?

展开
收起
哒哒哒哒哒~ 2023-03-08 11:26:55 259 0
2 条回答
写回答
取消 提交回答
  • 目前看不支持spark streamming。此答案整理自钉群“DataWorks交流群(答疑@机器人)” image.png

    2023-03-09 09:41:40
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    ODPS Spark本身是一个分布式计算框架,能够支持高并发实时计算。但是,实时计算也需要考虑数据流的实时性,需要通过将Spark与其他流处理框架(如Flink、Storm等)进行结合使用来实现实时计算。具体来说,可以使用Spark Streaming或Spark SQL结合Kafka、Flume等流式数据采集工具,或者使用Spark Structured Streaming基于流数据源实现流处理。这样,ODPS Spark就可以实现实时计算。

    2023-03-08 11:34:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载