压缩算法---以golang/snappy为例

简介: 压缩算法---以golang/snappy为例

压缩,典型的时间换空间

用到LRU,首选hashicorp/golang-lru,不过不知道啥时候,Go官方悄不溜整了一个groupcache,也提供了lru的实现…

顺道瞟了一眼,发现github.com/golang下除去有go,还有一整套配套的常用组件。比如vscode/sublime的插件,有性能测试工具perf,有错误处理库xerrors,有日志库glog,有用于单测的mock…甚至连压缩都提供了snappy,数据库有leveldb。。。这简直是想“自举”包圆整个产业链


golang/snappy


snappy是Google研发的压缩算法,优点是有非常高的速度和合理的压缩率(压缩率比gzip 小)

package main
import (
  "fmt"
  "github.com/golang/snappy"
  "io/ioutil"
)
var (
  textMap = map[string]string{
    "a": `1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./`,
    // a重复4次
    "b": `1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./`,
    "c": `浕浉浄浀浂洉洡洣浐洘泚浌洼洽派洿浃浇浈浊测浍济浏浑浒浓浔泿洱涏洀洁洂洃洄洅洆洇洈洊洋洌洎洏洐洑洒洓洔洕洗洠洙洚洛洝洞洟洢洤津洦洧洨洩洪洫洬洭洮洲洳洴洵洶洷洸洹洺活涎`,
    // c重复3次
    "d": `浕浉浄浀浂洉洡洣浐洘泚浌洼洽派洿浃浇浈浊测浍济浏浑浒浓浔泿洱涏洀洁洂洃洄洅洆洇洈洊洋洌洎洏洐洑洒洓洔洕洗洠洙洚洛洝洞洟洢洤津洦洧洨洩洪洫洬洭洮洲洳洴洵洶洷洸洹洺活涎浕浉浄浀浂洉洡洣浐洘泚浌洼洽派洿浃浇浈浊测浍济浏浑浒浓浔泿洱涏洀洁洂洃洄洅洆洇洈洊洋洌洎洏洐洑洒洓洔洕洗洠洙洚洛洝洞洟洢洤津洦洧洨洩洪洫洬洭洮洲洳洴洵洶洷洸洹洺活涎浕浉浄浀浂洉洡洣浐洘泚浌洼洽派洿浃浇浈浊测浍济浏浑浒浓浔泿洱涏洀洁洂洃洄洅洆洇洈洊洋洌洎洏洐洑洒洓洔洕洗洠洙洚洛洝洞洟洢洤津洦洧洨洩洪洫洬洭洮洲洳洴洵洶洷洸洹洺活涎`,
  }
  imgSrc = []string{
    "john.jpg", "Dijkstra.jpg", "tony.jpg", "tony1.jpg",
  }
)
/*
  k: a len: 46 48
  k: b len: 184 58
  k: c len: 246 250
  k: d len: 738 274
  snappy jpg
*/
func main() {
  for k, v := range textMap {
    got := snappy.Encode(nil, []byte(v))
    //fmt.Println("原始信息为:",v, "压缩后的信息为:",string(got))
    fmt.Println("k:", k, ", 原长度:", len(v), ", 压缩后的长度:", len(got))
  }
  fmt.Println("snappy压缩 jpg:")
  for _, v := range imgSrc {
    buf, err := ioutil.ReadFile(v)
    if err == nil {
      got := snappy.Encode(nil, buf)
      fmt.Println("k:", v, ", 原长度:", len(buf), ", 压缩后的长度:", len(got))
    }
  }
}

执行结果:

k: a , 原长度: 46 , 压缩后的长度: 48
k: b , 原长度: 184 , 压缩后的长度: 58
k: c , 原长度: 246 , 压缩后的长度: 250
k: d , 原长度: 738 , 压缩后的长度: 274
snappy压缩 jpg:
k: john.jpg , 原长度: 172909 , 压缩后的长度: 172921
k: Dijkstra.jpg , 原长度: 199459 , 压缩后的长度: 196799
k: tony.jpg , 原长度: 169282 , 压缩后的长度: 169026
k: tony1.jpg , 原长度: 52923 , 压缩后的长度: 52565
  • 字符串包含较多的重复字符,压缩才有较大效果
  • 对jpg 图片的压缩率不大,甚至还会使体积变大...


压缩 就是找出那些重复出现的字符串,然后用更短的符号代替。  如AAABBBBCC可以记为3A4B2C  (只要保证对应关系,可以用任意字符代替那些重复出现的字符串)

所以对于没有重复的数据,无法再进一步压缩。 而文件需要加校验字段,所以对于没有重复信息的数据会越压越大

.jpg本身又已经经过了压缩(有损压缩),故而...

图片格式jpg、png、gif、RAW、TIFF有啥区别,图片受损没法打开,能修复吗?


4张图片的原始信息如下:

微信截图_20230926023522.png

golang中snappy的使用场合实例详解


其他的压缩算法


  • lz4:综合来看效率最高的压缩算法,更侧重压缩/解压速度,压缩比并不是第一。当前Android和iOS操作系统,内存压缩就使用的是lz4算法,及时压缩内存以节省出更多的内存空间。 使用C编写.  更多 深入浅出lz4压缩算法
  • zstd:  由Facebook研发的快速数据压缩算法,具有更好的压缩比。使用C编写.  更多 zstd - 一种由Facebook使用的快速数据压缩算法
  • zip:作者菲尔·卡茨,不愿意为一个压缩软件付钱,索性自己写了一个更好的算法ZIP,然后无偿公开。2000年4月14日,饮酒过量导致急性脾出血,死于一家汽车旅馆,年仅37岁,死时手中握着一个空酒瓶 更多ZIP,一个没落天才的故事

微信截图_20230926023535.png

目录
相关文章
|
6月前
|
算法 测试技术 C++
【动态规划】【状态压缩】【C++算法】1815 得到新鲜甜甜圈的最多组数
【动态规划】【状态压缩】【C++算法】1815 得到新鲜甜甜圈的最多组数
|
6月前
|
算法 JavaScript Java
【状态压缩】【动态规划】【C++算法】1125.最小的必要团队
【状态压缩】【动态规划】【C++算法】1125.最小的必要团队
|
6月前
|
算法 测试技术 C#
【状态压缩】【动态规划】【C++算法】691贴纸拼词
【状态压缩】【动态规划】【C++算法】691贴纸拼词
|
21天前
|
存储 JSON 算法
TDengine 检测数据最佳压缩算法工具,助你一键找出最优压缩方案
在使用 TDengine 存储时序数据时,压缩数据以节省磁盘空间是至关重要的。TDengine 支持用户根据自身数据特性灵活指定压缩算法,从而实现更高效的存储。然而,如何选择最合适的压缩算法,才能最大限度地降低存储开销?为了解决这一问题,我们特别推出了一个实用工具,帮助用户快速判断并选择最适合其数据特征的压缩算法。
28 0
|
4月前
|
算法 Java
Java面试题:解释垃圾回收中的标记-清除、复制、标记-压缩算法的工作原理
Java面试题:解释垃圾回收中的标记-清除、复制、标记-压缩算法的工作原理
58 1
|
4月前
|
算法 Java 程序员
Java面试题:解释Java的垃圾回收机制,包括常见的垃圾回收算法。介绍一下Java的垃圾回收算法中的标记-压缩算法。
Java面试题:解释Java的垃圾回收机制,包括常见的垃圾回收算法。介绍一下Java的垃圾回收算法中的标记-压缩算法。
49 0
|
5月前
|
算法 Java Go
【经典算法】LeetCode 67. 二进制求和(Java/C/Python3/Golang实现含注释说明,Easy)
【经典算法】LeetCode 67. 二进制求和(Java/C/Python3/Golang实现含注释说明,Easy)
65 2
|
5月前
|
算法 Java Go
【经典算法】LeetCode 69. x 的平方根(Java/C/Python3/Golang实现含注释说明,Easy)
【经典算法】LeetCode 69. x 的平方根(Java/C/Python3/Golang实现含注释说明,Easy)
39 1
|
5月前
|
算法 Java Go
【经典算法】LeetCode 64. 最小路径和(Java/C/Python3/Golang实现含注释说明,Easy)
【经典算法】LeetCode 64. 最小路径和(Java/C/Python3/Golang实现含注释说明,Easy)
33 1
|
5月前
|
算法 Java Go
【经典算法】LeetCode 35. 搜索插入位置(Java/C/Python3/Golang实现含注释说明,Easy)
【经典算法】LeetCode 35. 搜索插入位置(Java/C/Python3/Golang实现含注释说明,Easy)
36 0