从 Token 效率到 Agent 生产力,龙蜥社区在 CNCC 2026 分享推理优化思路

简介: 与来自开源社区、高校和产业界的嘉宾共同探讨 AI 基础设施优化与开源协作。

10 月 22 日至 24 日,2026 中国计算机大会(CNCC 2026)在四川成都举办。龙蜥社区理事长、阿里云智能集团研发副总裁马涛参加沐曦股份主办的“Token 经济下的开源 AI Infra 机遇和挑战”分论坛,发表《从Token 效率到 Agent 生产力》演讲,与来自开源社区、高校和产业界的嘉宾共同探讨 AI 基础设施优化与开源协作。

(图/龙蜥社区理事长、阿里云智能集团研发副总裁马涛)


当 AI 应用走向实际部署,算力已经就位,却不意味着能够立即转化为高效、稳定的服务。模型能否及时就绪、缓存能否有效复用、请求能否合理调度,都会影响服务成本与使用体验。如何用好已有资源,是提升 AI 应用效率绕不开的工程问题,也是本次论坛以及龙蜥社区关注的重要议题。

围绕这一问题,马涛从模型权重分发、初始化恢复、KV Cache 复用等环节出发,分享面向智能体时代的推理优化思路。他认为,减少重复加载与计算,让已有资源更快转化为可用服务,并将系统经验沉淀为可复用的社区能力,可以显著提升 Token 使用效率。

本次演讲将这些优化思路将关注点从算力资源本身,延伸到资源如何被组织、复用并服务于应用。权重分发、初始化恢复与缓存复用并非孤立的技术细节,而是把算力转化为服务能力的重要环节。减少其中的重复工作,也为智能体应用的高效运行提供了支撑。

这些思路也与龙蜥在 AI 推理基础设施上的实践形成呼应。在系统底座层面,龙蜥社区发行的 Anolis OS 支持 x86、ARM、RISC-V、龙芯等计算架构,为不同平台的软件运行与适配提供支撑。社区通过 SIG 兴趣小组组织技术共建,覆盖内核、云原生、编译器、AI Infra 等方向,为共享工程经验提供实践载体。

在能力复用层面,龙蜥社区已上线 SkillHub,汇聚开发者贡献的技能近 200 个,覆盖 AI 推理、异构算力、安全、运维等领域,并在 2026 云栖大会期间发布推荐系统,围绕技能可靠性、执行效益、静态质量与动态安全等进行评估,帮助用户发现和选用优质技能。这一实践与演讲所强调的经验沉淀、能力复用相呼应,让开源协作进一步连接具体的工程经验与开发者需求。

从 Token 效率到 Agent 生产力,龙蜥社区关注的不仅是技术效率的提升,更是面向智能体时代的系统能力与生态建设。未来,龙蜥将以 AI 原生操作系统为方向,深化“AI × OS × 云”融合,携手产业伙伴与开发者,在开放共建中沉淀可复用、可组合的系统能力,推动算力、软件与应用协同创新,让 AI 基础设施成为连接技术突破与产业价值的坚实底座,共同拓展智能体时代的创新空间。

(图/现场嘉宾合影)

 

—— 完 ——

相关文章
|
4月前
|
安全 Java 数据安全/隐私保护
|
22天前
|
人工智能 自然语言处理 搜索推荐
GEO优化:从RAG检索链路到五类可信信号,拆解语义块召回、SEO差异与被AI采信的工程实践
AI已成新信息入口,但答案常因模型、账号、时间不同而“晃动”——根源在于大模型通过RAG机制“现查+生成”,依赖信息能否被检索到、切片读对、判断可信。GEO(生成式引擎优化)不是黑箱操控,而是帮真实信息适配AI阅读逻辑:结构清晰、事实密集、来源权威、口径统一、时效准确。它让好内容真正被看见、被采信。
|
22天前
|
存储 编解码 算法
RISC-V 基础软件的工程化与性能优化实践
从软件生态现状、优化方法到在龙蜥社区、如意社区等的开源贡献,这些探索展现了基础软件连接硬件能力与业务价值的作用,也为 RISC-V 生态共建提供了实践参考。
|
22天前
|
人工智能 缓存 Linux
产品推荐:Agent 任务提速 10.71%,内存占用降低 21.60%|Alibaba Cloud Linux 4 重大发布
从操作系统底层提升任务周转效率、降低宿主机内存足迹,并为长期运行中的尾延迟提供更稳定的保护。
|
22天前
|
Linux 数据中心 UED
多租户公有云共享 CXL 内存池场景下的内存卸载研究
介绍了这项研究的背景、系统方案与实验结果。
|
22天前
|
人工智能 运维 安全
产品推荐:系统不稳、漏洞难判、发行版难做?SysAgent 开放免费公测,一支专家团队全包了
系统智能专家 SysAgent,把一支系统全栈专家团队带到运维、SRE、开发者和操作系统发行方身边。
|
22天前
|
人工智能 运维 安全
干货推荐:从小时级到分钟级,SysAgent 宕机分析技能如何重塑内核宕机诊断
当一次内核宕机导致核心交易系统中断,你的团队需要多久才能定位根因?
|
2月前
|
人工智能 运维 安全

热门文章

最新文章