开发者社区> 问答> 正文

MaxCompute中流式数据写入的技术架构是什么?

MaxCompute中流式数据写入的技术架构是什么?

展开
收起
芯在这 2021-12-12 21:19:43 495 0
1 条回答
写回答
取消 提交回答
  • Stream API无状态并发数据实时可见

    技术架构分为三个部分:数据通道、流计算数据同步、自研应用。

    当前数据通道支持的有Datahub、Kafka、TT、SLS

    流计算数据同步支持的有Blink、Spark、DTS、DataX、kepler/DD

    数据写入MaxCompute中,在计算集群前会有Tunnel集群存在,提供Stream Tnnel服务来完成从客户端到Tunnel服务端数据的写入。写入过程是一个文件最佳的过程,最后会有一个文件的合并。这个过程是消耗了数据通道过程中的计算资源服务,但这一消耗是免费的。

    2021-12-12 21:19:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载