js:spark-md5分片计算文件的md5值

简介: js:spark-md5分片计算文件的md5值

SparkMD5 is a fast md5 implementation of the MD5 algorithm.

文档

CDN引入

<script src="https://cdn.bootcdn.net/ajax/libs/spark-md5/3.0.2/spark-md5.min.js"></script>

npm安装

npm install --save spark-md5

使用方式一:

var hexHash = SparkMD5.hash('Hi there')
console.log(hexHash)
// d9385462d3deff78c352ebb3f941ce12

使用方式二:

var spark = new SparkMD5()
spark.append('Hi')
spark.append(' ')
spark.append('there')
var hexHash = spark.end()
console.log(hexHash)
// d9385462d3deff78c352ebb3f941ce12

计算文件md5值

<script src="https://cdn.bootcdn.net/ajax/libs/spark-md5/3.0.2/spark-md5.min.js"></script>
<input
  type="file"
  id="file"
/>
<script>
  /**
   * 计算文件md5值
   */
  function getFileMd5(file) {
    return new Promise((resolve, reject) => {
      let fileReader = new FileReader()
      fileReader.onload = function (event) {
        let fileMd5 = SparkMD5.ArrayBuffer.hash(event.target.result)
        resolve(fileMd5)
      }
      fileReader.readAsArrayBuffer(file)
    })
  }
  document.getElementById('file').onchange = function (event) {
    let file = event.target.files[0]
    getFileMd5(file).then((md5) => {
      console.log(md5)
      // e311a516191b1643e3f63cb05163d11a
    })
  }
</script>

分片读取文件,并计算md5值

<script src="https://cdn.bootcdn.net/ajax/libs/spark-md5/3.0.2/spark-md5.min.js"></script>
<input
  type="file"
  id="file"
/>
<script>
  /**
   * 分片读取文件,计算最终md5值
   */
  function getFileMd5BySlice(file, chunkSize) {
    // 默认分片大小 2MB
    let defaultChunkSize = 1024 * 1024 * 2
    return new Promise((resolve, reject) => {
      chunkSize = chunkSize || defaultChunkSize
      let blobSlice =
          File.prototype.slice ||
          File.prototype.mozSlice ||
          File.prototype.webkitSlice,
        // 总分片数
        chunks = Math.ceil(file.size / chunkSize),
        currentChunk = 0,
        spark = new SparkMD5.ArrayBuffer(),
        fileReader = new FileReader()
      fileReader.onload = function (e) {
        console.log('read chunk nr', currentChunk + 1, 'of', chunks)
        spark.append(e.target.result) // Append array buffer
        currentChunk++
        if (currentChunk < chunks) {
          loadNext()
        } else {
          resolve(spark.end())
        }
      }
      fileReader.onerror = function (error) {
        reject(error)
      }
      function loadNext() {
        // 切片起始位置
        let start = currentChunk * chunkSize
        // 切片终止位置
        let end = start + chunkSize
        if (end >= file.size) {
          end = file.size
        }
        fileReader.readAsArrayBuffer(blobSlice.call(file, start, end))
      }
      loadNext()
    })
  }
  document.getElementById('file').addEventListener('change', function (e) {
    let startTime = new Date().getTime()
    let file = e.target.files[0]
    getFileMd5BySlice(file).then((res) => {
      console.log(res)
      // 52fde8264e2640cd5b95fdb123de0eba
      console.log(new Date().getTime() - startTime)
      // 4611 2M
      // 4167 10M
      // 4333 20M
      // 4070 50M
      // 4160 100M
    })
  })
</script>

参考

spark.md5.js获取文件的md5值

目录
打赏
0
0
0
0
81
分享
相关文章
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
101 5
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
76 3
js文件的入口代码及需要入口代码的原因
js文件的入口代码及需要入口代码的原因
69 0
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
106 0
Next.js 实战 (六):如何实现文件本地上传
这篇文章介绍了在Next.js中如何实现文件上传到本地的方法。文章首先提到Next.js官方文档中没有提供文件上传的实例代码,因此开发者需要自行实现,通常有两种思路:使用Node.js原生上传或使用第三方插件如multer。接着,文章选择了使用Node.js原生上传的方式来讲解实现过程,包括如何通过哈希值命名文件、上传到指定目录以及如何分类文件夹。然后,文章展示了具体的实现步骤,包括编写代码来处理文件上传,并给出了代码示例。最后,文章通过一个效果演示说明了如何通过postman模拟上传文件,并展示了上传后的文件夹结构。
探索Vue.js中的计算属性与侦听器
【10月更文挑战第5天】探索Vue.js中的计算属性与侦听器
55 1
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
63 1
混淆指定js文件
【9月更文挑战第26天】JavaScript 混淆旨在保护代码知识产权、减小文件体积和提高安全性。方法包括变量名和函数名混淆、代码压缩、控制流平坦化及字符串加密。常用工具如 UglifyJS 和 JScrambler 可实现这些功能。然而,混淆可能带来兼容性和调试困难等问题,需谨慎使用并确保法律合规。
vue前端开发中,通过vue.config.js配置和nginx配置,实现多个入口文件的实现方法
vue前端开发中,通过vue.config.js配置和nginx配置,实现多个入口文件的实现方法
290 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等