人工智能

首页 标签 人工智能
# 人工智能 #
关注
77261内容
Agent 时代下的全局 KVCache 管理架构演进
本演讲聚焦Agent场景下KVCache的存储需求和带来的挑战,梳理了KVCache管理模式的演进路径。重点介绍了SGLang生态中的Hf3fsMetadataServer(MiniManager),以及阿里云即将开源的企业级全局KVCache管理系统—-TairKVCacheManager。该系统已实现对Mooncake的原生支持,为Agent时代的大模型推理提供稳定高效的KVCache存储支持。
使用 SGLang 进行高效稳定的强化学习
SGLang 贡献者、阿里巴巴集团通义千问(Qwen)团队成员林骏荣做了题为《使用 SGLang 进行高效稳定的强化学习》的主题演讲。近期,SGLang 强化学习团队在提升强化学习(RL)训练稳定性、并缩小训练与推理误差方面取得了显著进展。在本次演讲中,我们回顾了这些进展,讨论其背后的关键动机和解决方案。
ROLL:面向大规模 AgenticRL 的异步解耦与异构算力调度实践
本次分享将介绍阿里巴巴自研强化学习框架ROLL及其针对AgenticRL异构负载的深度优化方案。重点解读如何通过异构硬件亲和性调度、细粒度异步编排以及状态感知的按需弹性部署,攻克大规模场景下的通信与计算瓶颈。目前,ROLL已在三千卡集群、千亿参数MoE模型上实现了生产级的极致吞吐;此外,我们将探讨ROLL与Mooncake存算分离架构结合的未来演进,进一步释放大规模RL后训练的潜力。
共建大模型推理生态:Mooncake、KTransformers 与 SGLang
Mooncake 是一个以 KVCache 为中心、面向解耦场景设计的分布式大模型推理架构,通过零拷贝传输、多网卡池化与链路优化、弹性扩展与高效内存利用等技术,助力 SGLang 实现了 KVCache 的高效跨节点传输与共享,显著提升了推理性能。KTransformers 是一个 CPU/GPU 混合的大模型异构推理框架,基于 AVX/AMX 指令集,实现了 NVFP4、FP8、BF16 等原生精度 MoE kernel,支持了高效的原生精度推理;同时,使用专家级流水线进行流式预填充,通过 SGLang 的 GPU MoE Kernel 实现了 layerwise prefill 架构,大幅提升长上下文场景的吞吐与延迟表现。本次分享将聚焦于 Mooncake 和 KTransformers 的架构设计、关键技术特性、最新进展,以及与 SGLang 的集成实践和应用效果。
智算新生态:异构 AI 算力底座如何驱动大模型全场景落地?
大模型正从“参数竞赛”转向“应用落地”,算力的性能、成本与工程效率成为关键瓶颈。本圆桌邀请阿里云、中兴、沐曦、浪潮等企业专家,探讨三大关键:如何通过软硬协同释放异构算力效能?SGLang与开源社区如何降低部署门槛?在 AI 运维与垂直行业中如何构建稳定、弹性且低成本的推理方案?最终推动AI从技术突破走向产业落地。
基于 MCP 协议,5分钟搭建增强型智能体
点击立即体验 MCP 开源协议通过标准化交互方式解决 AI 大模型与外部数据源、工具的集成难题,阿里云百炼上线了业界首个的全生命周期 MCP 服务,大幅降低了 Agent 的开发门槛。本视频介绍基于 MCP 协议,通过阿里云百炼平台 5 分钟完成增强型智能体搭建。
云栖战略参考主编解读(总第18期)
人工智能的快速发展正在重塑全球商业格局,智实融合的未来已经近在咫尺。阿里云联合钛媒体发布《云栖战略参考(总第18期)》,特邀本期主编参与对话解读。
阿里云 OpenSearch 智能问答版 ➕ DeepSeek R1——打造 B站 UP 主题爆款选题器
阿里云OpenSearch智能问答版+DeepSeek R1,支持多模态数据和联网搜索。以B站up主题爆款选题器为例,打造你的个人专属AI助手,开启你的智能搜索之旅,让AI赋能你的开发! (转载自哔哩哔哩,已获得原作者@老麦的工具库 授权。原视频地址:https://www.bilibili.com/video/BV1M8QmYJEzm/)
ElasticSearch AI Assistant 系列 3 —— 解决方案内演示
本视频介绍了如何在Elastic平台上配置AI助手以兼容并连接阿里巴巴的通义千问的第三部分——解决方案内演示。 演示可以帮助大家更直观的体验阿里云 ElasticSearch 企业级的功能——AI助手带来的更多帮助。
ElasticSearch AI Assistant 系列 2 —— Kibana 自带样例挑战
本视频介绍了如何在Elastic平台上配置AI助手以兼容并连接阿里巴巴的通义千问的第二部分——Kibana 自带样例挑战。 演示: 挑战1:ES集群和索引交互操作 1.1 请列出当前集群的索引,不要包含隐藏索引或者系统索引 1.2 比较kibana_sample_data_ecommerce和kibana_sample_data_flights两个索引到字段,有哪些重复的字段 1.3:复制kibana_sample_data_ecommerce的索引定义,并创建一个新的索引my_sample_data_ecommerce 1.4:将kibana_sample_data_ecommerce数据重新索引到my_sample_data_ecommerce索引 自行挑战示例 挑战2:智能数据分析和可视化 自然语言2ES|QL 2.1:可以分析kibana_sample_data_ecommerce的字段之间的关系,随便给我生成一张统计图表,并解释这个图表表达的含义吗, 使用ESQL查询语言 2.2:能帮我找出来卖的最多的品类最多是哪个吗 2.3:列出销售额前5的品类
免费试用