开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请教一个大数据计算MaxCompute问题 stream tunnel 和tunnel上传数

问题1:请教一个大数据计算MaxCompute问题 stream tunnel 和tunnel上传数据到maxcompute,这两个是不是都不需要用户去检查数据的完整性?我印象中有一个文档说tunnel需要用户来保证数据完整性 但是找不到链接了
问题2:也就是不需要考虑数据完整性问题 是吧

展开
收起
真的很搞笑 2023-07-18 22:34:12 62 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 MaxCompute 中,StreamTunnel 和 Tunnel 都是数据上传工具,用于将本地数据上传到 MaxCompute 中。虽然二者使用的场景和方式有所不同,但是在上传数据时,都需要保证数据的完整性和准确性,以便确保数据的正确性和一致性。

    对于 StreamTunnel 来说,它是一种流式上传工具,可以将本地数据流实时上传到 MaxCompute 中,并在上传过程中对数据进行校验和处理,以确保数据的完整性和可靠性。在使用 StreamTunnel 上传数据时,数据校验和处理是由 StreamTunnel 自动完成的,用户不需要额外进行数据校验或者处理。不过,为了确保数据上传的正确性,建议用户在使用 StreamTunnel 上传数据前,仔细检查数据的格式、内容、大小等信息,以确保数据符合要求。

    对于 Tunnel 来说,它是一种批量上传工具,可以将本地文件批量上传到 MaxCompute 中。在使用 Tunnel 上传数据时,用户需要自行保证数据的完整性和准确性,以便确保数据的正确性和一致性。具体来说,用户需要进行如下操作:

    在上传数据之前,仔细检查本地数据的格式、内容、大小等信息,确保数据符合要求;
    在上传数据时,使用 Tunnel 提供的数据校验和处理功能,对数据进行校验和处理,以确保数据的完整性和可靠性;
    在上传数据之后,通过查询 MaxCompute 中的数据,验证数据的正确性和一致性。

    2023-07-29 10:31:39
    赞同 展开评论 打赏
  • 问题1:stream tunnel和tunnel上传数据到MaxCompute时,它们都不需要用户来显式检查数据的完整性。这是因为MaxCompute会自动处理数据的完整性校验。

    Stream Tunnel(流式上传)是通过HTTP或HTTPS协议将数据实时传输到MaxCompute,并在传输过程中进行校验和验证。它确保了数据的可靠性和完整性,以及实时性的要求。

    Tunnel(批量上传)是MaxCompute提供的一种高效的数据上传工具,用于将大量数据批量导入MaxCompute表。Tunnel使用了分片、校验和等技术来确保数据的完整性和正确性。在数据上传过程中,Tunnel会自动进行数据校验和重试机制,以确保数据的准确性和完整性。

    总之,无论是Stream Tunnel还是Tunnel,MaxCompute会在数据传输过程中自动处理数据的完整性校验,无需用户显式操作或担心数据完整性的问题。

    问题2:是的,您理解得正确,在使用Stream Tunnel或Tunnel上传数据到MaxCompute时,您不需要专门考虑数据完整性的问题。MaxCompute会自动处理数据的完整性校验,确保上传的数据的准确性和完整性。

    2023-07-28 21:03:43
    赞同 展开评论 打赏
  • 回答1: https://help.aliyun.com/zh/maxcompute/product-overview/acid-semantics?spm=a2c4g.11174283.0.i3
    回答2:数据完整性不需要考虑。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-19 13:01:26
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载