异构计算

首页 标签 异构计算
# 异构计算 #
关注
20485内容
|
19天前
| |
来自: 云原生
社区之声:一次 Agent 协作“翻车”,让我看懂了 RocketMQ 这次升级
AI 改变了应用的通信模式——从毫秒级同步变成分钟级异步,从无状态变成长会话,从全局限流变成千人千面。消息中间件要么跟着变,要么被淘汰。RocketMQ 选择了变。
|
19天前
|
重磅!阿里云真武 M890 超节点 Day0 适配 Kimi K3,国产算力支撑近 3 万亿参数大模型
阿里云真武M890超节点实例Day0适配Kimi K3(近3万亿参数),国内首个跑通该规模模型的超节点。依托64卡全互联、9TB显存与ICN Switch高速网络,突破算力瓶颈;软硬协同优化后,首Token时延降35%,单卡吞吐提升1.8倍。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
|
19天前
| |
VLLM大模型高效加载原理解析PagedAttention核心机制、推理流程、性能优化.182
本文深入解析VLLM核心创新——PagedAttention分页注意力机制,揭示其如何借鉴操作系统虚拟内存思想,将KV缓存切分为固定Block页面,彻底解决传统Transformer推理中显存碎片化、利用率低、并发弱、长文本卡顿等痛点。通过分页管理、连续批处理与CUDA优化,显著提升吞吐、降低延迟、支持超长上下文与稳定工业化部署。
|
19天前
| |
来自: Qoder CN
从模型 Demo 到剪辑产品:基于 MI-GAN、ONNX 与 WebGPU 实现浏览器本地视频去水印
本项目在浏览器中实现本地AI视频去水印,基于MI-GAN ONNX模型与WebGPU加速,支持多区域框选、时间范围设定及动态水印关键帧插值。全程无需上传视频,保障隐私,降低服务端成本,修复结果实时预览并保留原始音轨。(239字)
|
20天前
|
阿里云轻量、ECS、GPU云服务器与AI云产品:配置选型、价格策略与性能实测
阿里云ECS(Elastic Compute Service)作为云计算的核心基础服务,提供了从入门级到企业级的全系列实例规格,覆盖通用计算、高性能计算、内存优化、计算优化等多元场景,依托神龙架构与CIPU(Cloud Infrastructure Processing Unit)技术,实现算力、网络、存储的深度协同,为各类业务提供稳定、弹性、高性能的计算支撑。
|
20天前
|
【云故事探索】NO.26 |小鹏汽车:一朵云上的AI造车之旅
小鹏汽车是“生于云”的AI车企,自创立起即全栈依托阿里云。万卡GPU集群达10 EFLOPS算力,训练利用率超95%;数字员工、AI Coding、智能财务等已深度落地业务闭环。云原生底座支撑其智驾研发、全球调度与高并发营销,实现“AI定义代码,代码定义汽车”。
|
20天前
|
【云故事探索】NO.26 |小鹏汽车:一朵云上的AI造车之旅
小鹏汽车是“生于云”的AI车企,自创立起即全栈依托阿里云。万卡GPU集群达10 EFLOPS算力,训练利用率超95%;数字员工、AI Coding、智能财务等已深度落地业务闭环。云原生底座支撑其智驾研发、全球调度与高并发营销,实现“AI定义代码,代码定义汽车”。
|
20天前
| |
本地大模型常见异常全解:显存溢出、推理慢、驱动报错、环境冲突调试指南.181
本文系统讲解本地大模型部署的核心原理与实战避坑指南:涵盖定义优势、硬件要求(GPU/内存)、软件生态(CUDA/PyTorch/量化框架)、九大标准部署流程,并深度解析显存溢出、推理缓慢、驱动/CUDA版本冲突、环境依赖混乱等高频问题的根因与解决方案,附可直接运行的优化代码示例。
|
20天前
| |
大模型超长上下文显存控制:原生注意力缺陷、长文本显存暴涨原理与优化实践.180
本文详解大模型超长上下文(如128K)的原理、瓶颈与优化方案:揭示Transformer自注意力O(N²)显存爆炸根源,提出FlashAttention-2(降为O(N))、INT4量化、分层加载、CPU/GPU动态卸载四大关键技术,使RTX 4090单卡即可稳定运行长文档总结、整本合同分析等高需求任务,大幅降低本地大模型落地门槛。
|
21天前
|
【新版】阿里云 云服务器ECS 功能介绍及配置价格表
阿里云云服务器ECS(Elastic Compute Service)是阿里云提供的弹性、安全、高性能的云端计算服务,依托自研X-Dragon虚拟化架构与CIPU云基础设施处理器,为个人开发者、中小企业与大型企业提供从入门级到企业级的全场景计算能力。ECS支持秒级弹性扩缩容、多实例规格自由选择、灵活计费与企业级安全防护,可满足网站搭建、应用部署、数据处理、AI训练、游戏服务等各类计算需求。本文将全面解析ECS的核心功能、技术架构、实例类型、使用流程、配置价格及CLI/API操作命令,助力用户高效选型、部署与管理云服务器。
免费试用