分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
33622内容
|
8小时前
|
Hadoop配置复杂性
【5月更文挑战第7天】Hadoop配置复杂性
|
9小时前
|
Hadoop组件版本不兼容
【5月更文挑战第7天】Hadoop组件版本不兼容
|
1天前
| |
You Only Cache Once:YOCO 基于Decoder-Decoder 的一个新的大语言模型架构
YOCO是一种新的解码器-解码器架构,旨在解决大型语言模型推理时的内存限制问题。通过只缓存一次键值对,YOCO显著减少了GPU内存占用,与Transformer相比,内存使用降低了约L倍。模型由自解码器和交叉解码器组成,自解码器使用滑动窗口注意力,而交叉解码器利用全局KV缓存。实验表明,YOCO在保持竞争力的性能同时,提高了推理速度,尤其是在处理长序列时。此外,YOCO还减少了预填充时间,提升了吞吐量。
机器学习库
【5月更文挑战第12天】机器学习流水线是构建、优化和验证学习工作流的工具,帮助用户专注于大数据和学习任务,而非基础设施。
免费试用