关于优化模型体积与性能的库推荐:神经区函数算法

简介: 神经区函数算法

原理

已训练好的成熟模型里,一层权重有 n 个输出单元(神经元/卷积核/注意力头), 传统上每个单元独立存 D 个权重(共 n×D)。但很多单元其实是「同类函数」—— 功能相近、参数冗余。

本库把这些单元聚成 K 个「区」(K ≪ n),同区共用一个「区域函数」表达:

0 阶:每区一个质心(均值向量),参数从 n×D 降到 K×D
1 阶:每区 = 均值 + 前 r 个主成分(截断 SVD,即低秩),另存每单元 n×r 投影系数
再给每个单元存一个「归属索引」(log₂K 位,记它属于哪一区)。于是整体的存储, 从「n 份独立权重」变成「K 份共享函数 + n 份归属索引」——这就是体积压缩的来源

训练 ── 模型 ── 成熟模型 ──[ 函数化 + 生成物 ]──> 部署
                              ↑
                        本库只负责这一段

上游(不是本库的活):训练、模型定义、蒸馏、微调、量化感知训练(QAT)。
本库只做两件事:① 函数化(把权重重新表达为区域函数 + 归属索引); ② 生成物(区域函数参数 + 索引 + 投影系数 + 量化打包 + 分片存储 + 价值对比)。
下游(也不是本库的活):把生成物接入推理/部署。生成物可经 reconstruct() 还原成近似权重、当模型权重用,但真正跑起来是下游的活。

项目地址:https://gitcode.com/lph993/nrfunc

相关文章
|
存储 缓存 文件存储
如何保证分布式文件系统的数据一致性
分布式文件系统需要向上层应用提供透明的客户端缓存,从而缓解网络延时现象,更好地支持客户端性能水平扩展,同时也降低对文件服务器的访问压力。当考虑客户端缓存的时候,由于在客户端上引入了多个本地数据副本(Replica),就相应地需要提供客户端对数据访问的全局数据一致性。
33256 202
如何保证分布式文件系统的数据一致性
|
设计模式 存储 监控
设计模式(C++版)
看懂UML类图和时序图30分钟学会UML类图设计原则单一职责原则定义:单一职责原则,所谓职责是指类变化的原因。如果一个类有多于一个的动机被改变,那么这个类就具有多于一个的职责。而单一职责原则就是指一个类或者模块应该有且只有一个改变的原因。bad case:IPhone类承担了协议管理(Dial、HangUp)、数据传送(Chat)。good case:里式替换原则定义:里氏代换原则(Liskov 
36824 22
设计模式(C++版)
|
存储 编译器 C语言
抽丝剥茧C语言(初阶 下)(下)
抽丝剥茧C语言(初阶 下)
|
机器学习/深度学习 人工智能 自然语言处理
带你简单了解Chatgpt背后的秘密:大语言模型所需要条件(数据算法算力)以及其当前阶段的缺点局限性
带你简单了解Chatgpt背后的秘密:大语言模型所需要条件(数据算法算力)以及其当前阶段的缺点局限性
24905 16
|
机器学习/深度学习 弹性计算 监控
重生之---我测阿里云U1实例(通用算力型)
阿里云产品全线降价的一力作,2023年4月阿里云推出新款通用算力型ECS云服务器Universal实例,该款服务器的真实表现如何?让我先测为敬!
36824 15
重生之---我测阿里云U1实例(通用算力型)
|
SQL 存储 弹性计算
Redis性能高30%,阿里云倚天ECS性能摸底和迁移实践
Redis在倚天ECS环境下与同规格的基于 x86 的 ECS 实例相比,Redis 部署在基于 Yitian 710 的 ECS 上可获得高达 30% 的吞吐量优势。成本方面基于倚天710的G8y实例售价比G7实例低23%,总性价比提高50%;按照相同算法,相对G8a,性价比为1.4倍左右。
|
存储 算法 Java
【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的限流器RateLimiter功能服务
随着互联网的快速发展,越来越多的应用程序需要处理大量的请求。如果没有限制,这些请求可能会导致应用程序崩溃或变得不可用。因此,限流器是一种非常重要的技术,可以帮助应用程序控制请求的数量和速率,以保持稳定和可靠的运行。
29950 52