开发者社区 问答 正文

Checksum是什么意思?

Checksum是什么意思?

展开
收起
游客fbdr25iajcjto 2021-12-12 23:05:35 2494 分享 版权
1 条回答
写回答
取消 提交回答
  • 大数据迁移使用场景:迁移后完整性校验、差异比对/增量拷贝。

    完整性校验的场景,特别是异构存储介质间的迁移场景。由于异构存储介质间,默认的数据校验方式往往无法通用。现有的方案往往只能跳过数据完整性校验,这使得在迁移出现问题时无法及时发现。

    现有的增量拷贝方案中,开源的 Hadoop DistCp 和 S3 DistCp 也会做差异比较,在异构存储介质间只能对文件名,文件大小做比较,不能真实反应源文件和目标文件是否完全一致。哪怕在同构存储介质间,在做差异比较时,往往也需要将目标存储介质的数据重新读取,并计算一次校验和。

    2021-12-12 23:06:08
    赞同 展开评论
问答地址: