MD5、SHA256等Hash算法的实时计算

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: MD5、SHA256等Hash算法的实时计算

最近,在项目中,需要计算文件的hash值来对文件进行最终校验,在C#中,MD5、SHA256都是直接可用的。下面以MD5为例,

一般来说,计算文件hash值时,是加载一个文件,然后来读取并计算,如下:

MD5 md = MD5.Create();
buffer = Encoding.ASCII.GetBytes("abc");//这里abc表示从文件中读取的内容
md.TransformBlock(buffer, 0, buffer.Length, buffer, 0);
md.TransformFinalBlock(buffer, 0, 0);
Console.WriteLine(System.Convert.ToBase64String(md.Hash));

以上结算结果

kAFQmDzST7DWlj99KOF/cg==

对于这种方式,小文件来说还好,但是,当文件大小达到10GB左右时,计算耗时大概2Min左右,文件更大,则效果更差。因此,我们需要一种能够实时计算的方式。

 

实时计算hash值,

我们期望,在记录文件的过程中,直接计算hash值,等文件记录完毕时,直接生成相应的文件hash值。

talk is cheap,show you code.

            var buffer = new byte[0];
            MD5 md5 = MD5.Create();
            buffer = Encoding.ASCII.GetBytes("a");
            md5.TransformBlock(buffer, 0, buffer.Length, buffer, 0);
            buffer = Encoding.ASCII.GetBytes("b");
            md5.TransformBlock(buffer, 0, buffer.Length, buffer, 0);
            buffer = Encoding.ASCII.GetBytes("c");
            md5.TransformBlock(buffer, 0, buffer.Length, buffer, 0);
            md5.TransformFinalBlock(buffer, 0, 0);
            Console.WriteLine(System.Convert.ToBase64String(md5.Hash));
kAFQmDzST7DWlj99KOF/cg==

至此,两种方式结果相同,可知,可通过第二种方法来实时运用MD5等来计算hash值。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
打赏
0
0
0
0
3
分享
相关文章
超级好用的C++实用库之sha256算法
超级好用的C++实用库之sha256算法
249 1
超级好用的C++实用库之MD5信息摘要算法
超级好用的C++实用库之MD5信息摘要算法
164 0
国标哈希算法基础:SHA1、SHA256、SHA512、MD5 和 HMAC,Python和JS实现、加盐、算法魔改
国标哈希算法基础:SHA1、SHA256、SHA512、MD5 和 HMAC,Python和JS实现、加盐、算法魔改
866 1
消息摘要算法:MD5加密
消息摘要算法:MD5加密
121 1
Java中MD5加密算法的原理与实现详解
Java中MD5加密算法的原理与实现详解
基于生物地理算法的MLP多层感知机优化matlab仿真
本程序基于生物地理算法(BBO)优化MLP多层感知机,通过MATLAB2022A实现随机数据点的趋势预测,并输出优化收敛曲线。BBO模拟物种在地理空间上的迁移、竞争与适应过程,以优化MLP的权重和偏置参数,提升预测性能。完整程序无水印,适用于机器学习和数据预测任务。
104 31
基于LSB最低有效位的音频水印嵌入提取算法FPGA实现,包含testbench和MATLAB对比
本项目展示了一种基于FPGA的音频水印算法,采用LSB(最低有效位)技术实现版权保护与数据追踪功能。使用Vivado2019.2和Matlab2022a开发,完整代码含中文注释及操作视频。算法通过修改音频采样点的最低有效位嵌入水印,人耳难以察觉变化。然而,面对滤波或压缩等攻击时,水印提取可能受影响。该项目运行效果无水印干扰,适合实时应用场景,核心逻辑简单高效,时间复杂度低。
基于GA遗传算法的拱桥静载试验车辆最优布载matlab仿真
本程序基于遗传算法(GA)实现拱桥静载试验车辆最优布载的MATLAB仿真,旨在自动化确定车辆位置以满足加载效率要求(0.95≤ηq≤1.05),目标是使ηq尽量接近1,同时减少车辆数量和布载耗时。程序在MATLAB 2022A版本下运行,展示了工况1至工况3的测试结果。通过优化模型,综合考虑车辆重量、位置、类型及车道占用等因素,确保桥梁关键部位承受最大荷载,从而有效评估桥梁性能。核心代码实现了迭代优化过程,并输出最优布载方案及相关参数。

热门文章

最新文章