SpQR: 稀疏量化表示实现大语言模型近无损压缩——论文阅读
SpQR是一种创新的稀疏量化方法，通过识别并高精度存储导致大量化误差的异常权重，将其他权重压缩至3-4比特，实现大语言模型的近无损压缩。该方法在LLM压缩中首次跨模型规模达到接近16位精度的性能，压缩后模型平均误差低于1%。实验表明，SpQR在推理速度与压缩率上优于现有技术，使高质量大模型可在消费级设备高效运行。
《PyTorch 携手 Unity：基于云原生架构化解 AI 游戏系统显存危机》
本文聚焦云原生架构下AI驱动型游戏智能体系统的开发实践，详述遭遇的间歇性显存耗尽危机。该问题如隐匿幽灵，致系统不稳、用户体验骤降。为破局，跨领域精英组建攻坚小组，经日志审计、性能剖析及模拟重现，锁定AI推理临时数据管理不善与引擎资源加载失衡为根源。通过强化数据管理、优化资源策略、完善架构规划等举措，成功化解危机。此次经历揭示了隐性依赖、边界条件测试及跨学科思维的重要性，为同类系统开发提供了宝贵的经验借鉴。