开发者社区> 问答> 正文

数据计算存储架构,是业务中使用最多的计算框架,其中包含哪几个部分?

已解决

数据计算存储架构,是业务中使用最多的计算框架,其中包含哪几个部分?

展开
收起
游客mu7d6bfi3o7yq 2022-03-31 21:00:15 666 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    第一,是离线计算,离线计算主要借助 Hadoop、Spark 以及阿里云的 DataWorks 中的 MaxCompute。 第二,实时计算主要借助 Flink 和 Spark Streaming,前期还有 Storm 和 JStorm,只是相比较而言,现在 Flink 和 Spark Streaming 用的居多。 第三,为了满足一些线上轻量级的业务快速的应用落地,我们也使用自研的轻量级的流批合一的计算框架—— Ldrtc,主要借助 Spark Streaming 的 Mini-Batch 和 Storm 流式拓扑任务的设计思想实现,最小资源化地在线上云资源上使用。 以上信息摘自《大数据与ai的16种可能》,下载地址:https://developer.aliyun.com/topic/download?id=8237

    2022-04-01 10:31:56
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载
青团社云原生架构实践—亿级灵活用工平台的架构实践 立即下载