开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

odpscmd上传的资源180兆,上传提示成功后只要110,啥情况?

odpscmd上传的资源180兆,上传提示成功后只要110,啥情况?

展开
收起
十一0204 2023-04-11 23:24:09 318 0
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    在使用odpscmd上传资源时,上传成功后的大小可能会与资源的实际大小略有不同。这是由于odpscmd在上传资源时,可能会对资源进行压缩或者编码等处理,以便更好地适应MaxCompute的存储和计算需求。因此,上传成功后的资源大小可能会略小于实际大小。

    另外,上传成功后的资源大小还可能受到存储引擎、压缩算法等因素的影响,如果使用的是LZ4压缩算法等高压缩比算法,上传成功后的资源大小可能会更小。因此,上传成功后的资源大小与实际大小之间可能会存在一定的差异。

    如果您对上传成功后的资源大小有疑问,可以尝试在MaxCompute中查看资源的详细信息,以便了解资源的实际大小和其他相关信息。

    2023-04-15 14:11:48
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云 DataWorks 中使用 odpscmd 进行上传资源时,可能会出现资源上传大小不一致的情况,例如上传的资源大小为 180 兆,但上传成功后提示的资源大小只有 110 兆。这种情况可能是因为上传时使用了压缩或者编码等方式导致的。

    odpscmd 提供了多种上传资源的方式,例如使用 -z 参数进行 gzip 压缩上传,使用 -b 参数进行 Base64 编码上传等。这些方式在上传资源时会对资源进行压缩或者编码处理,从而减小资源在上传过程中的传输体积,节省网络带宽和上传时间。

    在上传资源时,odpscmd 会根据上传方式和参数自动解压缩或者解码资源,并在上传成功后进行资源大小的统计。因此,上传成功后提示的资源大小可能与原始资源的大小不一致,可能会更小一些,这是由于压缩或者编码导致的。

    如果需要确认上传资源的实际大小,可以使用 odpscmd 的 ls 命令查看上传成功的资源的属性信息,例如文件大小、创建时间等,或者在 DataWorks 控制台中查看上传资源的属性。同时,也可以在上传资源时不使用压缩或者编码等方式,以保持上传前后资源大小一致。

    2023-04-12 21:24:57
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载