从 Token 效率到 Agent 生产力,龙蜥社区在 CNCC 2026 分享推理优化思路

简介: 与来自开源社区、高校和产业界的嘉宾共同探讨 AI 基础设施优化与开源协作。

10 月 22 日至 24 日,2026 中国计算机大会(CNCC 2026)在四川成都举办。龙蜥社区理事长、阿里云智能集团研发副总裁马涛参加沐曦股份主办的“Token 经济下的开源 AI Infra 机遇和挑战”分论坛,发表《从Token 效率到 Agent 生产力》演讲,与来自开源社区、高校和产业界的嘉宾共同探讨 AI 基础设施优化与开源协作。

(图/龙蜥社区理事长、阿里云智能集团研发副总裁马涛)


当 AI 应用走向实际部署,算力已经就位,却不意味着能够立即转化为高效、稳定的服务。模型能否及时就绪、缓存能否有效复用、请求能否合理调度,都会影响服务成本与使用体验。如何用好已有资源,是提升 AI 应用效率绕不开的工程问题,也是本次论坛以及龙蜥社区关注的重要议题。

围绕这一问题,马涛从模型权重分发、初始化恢复、KV Cache 复用等环节出发,分享面向智能体时代的推理优化思路。他认为,减少重复加载与计算,让已有资源更快转化为可用服务,并将系统经验沉淀为可复用的社区能力,可以显著提升 Token 使用效率。

本次演讲将这些优化思路将关注点从算力资源本身,延伸到资源如何被组织、复用并服务于应用。权重分发、初始化恢复与缓存复用并非孤立的技术细节,而是把算力转化为服务能力的重要环节。减少其中的重复工作,也为智能体应用的高效运行提供了支撑。

这些思路也与龙蜥在 AI 推理基础设施上的实践形成呼应。在系统底座层面,龙蜥社区发行的 Anolis OS 支持 x86、ARM、RISC-V、龙芯等计算架构,为不同平台的软件运行与适配提供支撑。社区通过 SIG 兴趣小组组织技术共建,覆盖内核、云原生、编译器、AI Infra 等方向,为共享工程经验提供实践载体。

在能力复用层面,龙蜥社区已上线 SkillHub,汇聚开发者贡献的技能近 200 个,覆盖 AI 推理、异构算力、安全、运维等领域,并在 2026 云栖大会期间发布推荐系统,围绕技能可靠性、执行效益、静态质量与动态安全等进行评估,帮助用户发现和选用优质技能。这一实践与演讲所强调的经验沉淀、能力复用相呼应,让开源协作进一步连接具体的工程经验与开发者需求。

从 Token 效率到 Agent 生产力,龙蜥社区关注的不仅是技术效率的提升,更是面向智能体时代的系统能力与生态建设。未来,龙蜥将以 AI 原生操作系统为方向,深化“AI × OS × 云”融合,携手产业伙伴与开发者,在开放共建中沉淀可复用、可组合的系统能力,推动算力、软件与应用协同创新,让 AI 基础设施成为连接技术突破与产业价值的坚实底座,共同拓展智能体时代的创新空间。

(图/现场嘉宾合影)

 

—— 完 ——

相关文章
|
1天前
|
人工智能 运维 安全
产品推荐:系统不稳、漏洞难判、发行版难做?SysAgent 开放免费公测,一支专家团队全包了
系统智能专家 SysAgent,把一支系统全栈专家团队带到运维、SRE、开发者和操作系统发行方身边。
|
2月前
|
人工智能 安全 搜索推荐
人气爆棚!2026 云栖大会“AI Agent 原生操作系统”分论坛精彩回顾来啦
线下展区人潮涌动,超千人参与互动,分论坛现场座无虚席。
|
5天前
|
人工智能 安全 测试技术
PHP 两个严重漏洞曝光,龙蜥社区 24 小时完成 3 版本修复
本次修复使用了由龙蜥社区安全联盟提供的 CVE POC AI 校验能力,通过 CI 中的 check_poc 测试项进行黑盒复测。
|
2月前
|
人工智能 PyTorch 云栖大会
亮点抢先看!AMD、中兴通讯等企业大咖解码下一代 OS|2026 云栖大会
一览来自 AMD、中兴通讯、阿里云、英特尔,以及上海交通大学等企业/高校专家的精彩金句和重磅议题。
|
2月前
|
人工智能 运维 云栖大会
|
4月前
|
安全 Java 数据安全/隐私保护
|
4月前
|
达摩院 编译器 C语言
龙蜥与玄铁共建 RISC-V 编译器生态:五大 GCC 优化实践解法
围绕指令集功能支持与性能优化两大方向,剖析当前支持状态及与其他架构的差距,并分享了玄铁最新成果
|
5月前
|
缓存 人工智能 调度
当 AI 从“对话”走向“协作”,谁来管理百万级 Token 的工作记忆?
系统性地拆解了多智能体时代面临的内存与延迟挑战,并深入展示了 Mooncake 作为 KVCache 数据基座的分离架构设计与大规模生产实践。

热门文章

最新文章