js:spark-md5分片计算文件的md5值

简介: js:spark-md5分片计算文件的md5值

SparkMD5 is a fast md5 implementation of the MD5 algorithm.

文档

CDN引入

<script src="https://cdn.bootcdn.net/ajax/libs/spark-md5/3.0.2/spark-md5.min.js"></script>

npm安装

npm install --save spark-md5

使用方式一:

var hexHash = SparkMD5.hash('Hi there')
console.log(hexHash)
// d9385462d3deff78c352ebb3f941ce12

使用方式二:

var spark = new SparkMD5()
spark.append('Hi')
spark.append(' ')
spark.append('there')
var hexHash = spark.end()
console.log(hexHash)
// d9385462d3deff78c352ebb3f941ce12

计算文件md5值

<script src="https://cdn.bootcdn.net/ajax/libs/spark-md5/3.0.2/spark-md5.min.js"></script>
<input
  type="file"
  id="file"
/>
<script>
  /**
   * 计算文件md5值
   */
  function getFileMd5(file) {
    return new Promise((resolve, reject) => {
      let fileReader = new FileReader()
      fileReader.onload = function (event) {
        let fileMd5 = SparkMD5.ArrayBuffer.hash(event.target.result)
        resolve(fileMd5)
      }
      fileReader.readAsArrayBuffer(file)
    })
  }
  document.getElementById('file').onchange = function (event) {
    let file = event.target.files[0]
    getFileMd5(file).then((md5) => {
      console.log(md5)
      // e311a516191b1643e3f63cb05163d11a
    })
  }
</script>

分片读取文件,并计算md5值

<script src="https://cdn.bootcdn.net/ajax/libs/spark-md5/3.0.2/spark-md5.min.js"></script>
<input
  type="file"
  id="file"
/>
<script>
  /**
   * 分片读取文件,计算最终md5值
   */
  function getFileMd5BySlice(file, chunkSize) {
    // 默认分片大小 2MB
    let defaultChunkSize = 1024 * 1024 * 2
    return new Promise((resolve, reject) => {
      chunkSize = chunkSize || defaultChunkSize
      let blobSlice =
          File.prototype.slice ||
          File.prototype.mozSlice ||
          File.prototype.webkitSlice,
        // 总分片数
        chunks = Math.ceil(file.size / chunkSize),
        currentChunk = 0,
        spark = new SparkMD5.ArrayBuffer(),
        fileReader = new FileReader()
      fileReader.onload = function (e) {
        console.log('read chunk nr', currentChunk + 1, 'of', chunks)
        spark.append(e.target.result) // Append array buffer
        currentChunk++
        if (currentChunk < chunks) {
          loadNext()
        } else {
          resolve(spark.end())
        }
      }
      fileReader.onerror = function (error) {
        reject(error)
      }
      function loadNext() {
        // 切片起始位置
        let start = currentChunk * chunkSize
        // 切片终止位置
        let end = start + chunkSize
        if (end >= file.size) {
          end = file.size
        }
        fileReader.readAsArrayBuffer(blobSlice.call(file, start, end))
      }
      loadNext()
    })
  }
  document.getElementById('file').addEventListener('change', function (e) {
    let startTime = new Date().getTime()
    let file = e.target.files[0]
    getFileMd5BySlice(file).then((res) => {
      console.log(res)
      // 52fde8264e2640cd5b95fdb123de0eba
      console.log(new Date().getTime() - startTime)
      // 4611 2M
      // 4167 10M
      // 4333 20M
      // 4070 50M
      // 4160 100M
    })
  })
</script>

参考

spark.md5.js获取文件的md5值

相关文章
|
4月前
|
分布式计算 大数据 Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
94 5
|
4月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
70 3
|
3月前
|
JavaScript 前端开发
|
4月前
|
JavaScript 前端开发 内存技术
js文件的入口代码及需要入口代码的原因
js文件的入口代码及需要入口代码的原因
64 0
|
4月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
98 0
|
1月前
|
JavaScript 前端开发 API
Next.js 实战 (六):如何实现文件本地上传
这篇文章介绍了在Next.js中如何实现文件上传到本地的方法。文章首先提到Next.js官方文档中没有提供文件上传的实例代码,因此开发者需要自行实现,通常有两种思路:使用Node.js原生上传或使用第三方插件如multer。接着,文章选择了使用Node.js原生上传的方式来讲解实现过程,包括如何通过哈希值命名文件、上传到指定目录以及如何分类文件夹。然后,文章展示了具体的实现步骤,包括编写代码来处理文件上传,并给出了代码示例。最后,文章通过一个效果演示说明了如何通过postman模拟上传文件,并展示了上传后的文件夹结构。
|
4月前
|
缓存 JavaScript 前端开发
探索Vue.js中的计算属性与侦听器
【10月更文挑战第5天】探索Vue.js中的计算属性与侦听器
48 1
|
4月前
|
JSON 分布式计算 大数据
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
56 1
|
5月前
|
JavaScript 前端开发 数据安全/隐私保护
混淆指定js文件
【9月更文挑战第26天】JavaScript 混淆旨在保护代码知识产权、减小文件体积和提高安全性。方法包括变量名和函数名混淆、代码压缩、控制流平坦化及字符串加密。常用工具如 UglifyJS 和 JScrambler 可实现这些功能。然而,混淆可能带来兼容性和调试困难等问题,需谨慎使用并确保法律合规。
|
4月前
|
JavaScript 前端开发 应用服务中间件
vue前端开发中,通过vue.config.js配置和nginx配置,实现多个入口文件的实现方法
vue前端开发中,通过vue.config.js配置和nginx配置,实现多个入口文件的实现方法
271 0

热门文章

最新文章

  • 1
    当面试官再问我JS闭包时,我能答出来的都在这里了。
    44
  • 2
    【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
    27
  • 3
    Node.js 中实现多任务下载的并发控制策略
    34
  • 4
    【2025优雅草开源计划进行中01】-针对web前端开发初学者使用-优雅草科技官网-纯静态页面html+css+JavaScript可直接下载使用-开源-首页为优雅草吴银满工程师原创-优雅草卓伊凡发布
    26
  • 5
    【JavaScript】深入理解 let、var 和 const
    49
  • 6
    【04】Java+若依+vue.js技术栈实现钱包积分管理系统项目-若依框架二次开发准备工作-以及建立初步后端目录菜单列-优雅草卓伊凡商业项目实战
    47
  • 7
    【03】Java+若依+vue.js技术栈实现钱包积分管理系统项目-若依框架搭建-服务端-后台管理-整体搭建-优雅草卓伊凡商业项目实战
    57
  • 8
    【02】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-ui设计图figmaUI设计准备-figma汉化插件-mysql数据库设计-优雅草卓伊凡商业项目实战
    57
  • 9
    如何通过pm2以cluster模式多进程部署next.js(包括docker下的部署)
    72
  • 10
    【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
    55