AI 助理
文档备案控制台

并行计算

首页 标签 并行计算
# 并行计算 #
关注
5518内容
最新 热门 文章 问答 视频 电子书 活动
聚搜云-服务器运维-JuSouYun
|
25天前
|
博文
聚搜云运维团队：PAI大模型推理吞吐量优化，批处理、KV Cache与实战指南
当单卡推理延迟已经压到个位数毫秒，却怎么也突破不了每秒几十个请求的吞吐天花板，问题往往不在模型本身，而在于你还没摸清PAI大模型推理吞吐量优化方法的切入点。不少团队上线后GPU利用率常年徘徊在30%上下，算力被访存等待和无效填充吃掉大半，只有看透这些根因，优化才有方向。
# 运维 # 并行计算 # 测试技术 # 调度 # 异构计算
AI未闻花名
|
25天前
|
博文
|
来自： 千问大模型
VLLM大模型高效加载原理解析PagedAttention核心机制、推理流程、性能优化.182
本文深入解析VLLM核心创新——PagedAttention分页注意力机制，揭示其如何借鉴操作系统虚拟内存思想，将KV缓存切分为固定Block页面，彻底解决传统Transformer推理中显存碎片化、利用率低、并发弱、长文本卡顿等痛点。通过分页管理、连续批处理与CUDA优化，显著提升吞吐、降低延迟、支持超长上下文与稳定工业化部署。
# 大模型服务平台百炼 # 缓存 # 并行计算 # API # 调度 # 异构计算
AI未闻花名
|
26天前
|
博文
|
来自： 千问大模型
本地大模型常见异常全解：显存溢出、推理慢、驱动报错、环境冲突调试指南.181
本文系统讲解本地大模型部署的核心原理与实战避坑指南：涵盖定义优势、硬件要求（GPU/内存）、软件生态（CUDA/PyTorch/量化框架）、九大标准部署流程，并深度解析显存溢出、推理缓慢、驱动/CUDA版本冲突、环境依赖混乱等高频问题的根因与解决方案，附可直接运行的优化代码示例。
# 大模型服务平台百炼 # 自然语言处理 # 并行计算 # 调度 # 算法框架/工具 # 异构计算
zzqss
|
1月前
|
博文
跨境订单智能分合箱贪婪算法 Python 实现，适配中日海关双重财税规则
本文详解面向日本海淘的智能分箱Python算法，兼顾重量、货值与品类互斥三大清关约束，破解恶意合箱/拆箱风险；适配2026年日本取消小额免税新政。Bidfins已落地双方案输出（保守型/经济型），助力合规降本。#Python算法 #跨境集运 #清关合规
# 并行计算 # 算法 # 知识图谱 # C++ # Python
AI未闻花名
|
1月前
|
博文
|
来自： 千问大模型
全新服务器大模型部署进阶：RTX 4090显卡驱动安装与模型运行容错适配指南.176
本文详解在openEuler 22.03服务器上适配RTX 4090显卡的完整流程：涵盖系统与内核信息查询、硬件识别、禁用Nouveau驱动、编译安装NVIDIA官方驱动（含常见报错排查）、PyTorch GPU环境部署（含国内镜像加速与依赖冲突修复），以及中文字体安装解决可视化乱码问题，全流程贴合真实运维场景。
# 并行计算 # PyTorch # Linux # 算法框架/工具 # 异构计算
aliyun9804940036-19635
|
1月前
|
博文
Seedance2.0本地部署全攻略：RTX4090显卡配置与WebUI搭建（非100%本地部署）
本文详解Seedance 2.0在RTX 4090上WebUI启动失败的五大解决步骤：1. 验证CUDA 12.2/cuDNN 8.9.7与驱动≥535.86兼容；2. 正确安装语义映射插件并锁定transformers 4.34.0等依赖；3. 启用CUDA流加速环境变量；4. 修改config.yaml启用2K实时生成；5. 通过真实请求验证低延迟（≈27ms）与分辨率生效。
# 编解码 # 缓存 # 并行计算 # 编译器 # 调度
给我一碗炒粉
|
1月前
|
博文
HAMi - Kubernetes GPU 共享部署与使用手册
HAMI
# 容器服务Kubernetes版 # Kubernetes # 并行计算 # 算法框架/工具 # 异构计算 # 容器
修己xj
|
1月前
|
博文
大模型入门：从"猜词游戏"到"超级大脑"，一篇读懂 AI 大模型
2023 年初，ChatGPT 横空出世，"大模型"三个字一夜之间刷爆了所有人的朋友圈。有人拿它写代码，有人拿它写情书，还有人拿它辅导孩子做数学——而且它居然真的会。 可当你真正想搞懂"大模型到底是什么"时，迎面而来的却是满屏的"Transformer""自注意力""千亿参数"，瞬间劝退。
# 机器学习/深度学习 # 人工智能 # 并行计算 # 异构计算
冯耀宗
|
1月前
|
博文
|
来自： 阿里云百炼
openclaw一键部署脚本更新，TopClaw支持最新模型及多平台适配
TopClaw是国产优化版OpenClaw，支持一键部署、自动适配Windows/macOS（含Apple Silicon）、免配置运行。内置Qwen2.5、DeepSeek等最新模型，性能提升30%-50%，全程离线、隐私安全，小白3分钟即可上手。
# 大模型服务平台百炼 # 人工智能 # 并行计算 # iOS开发 # MacOS # Windows
冯耀宗
|
1月前
|
博文
|
来自： 阿里云百炼
openclaw本地部署最佳实践，TopClaw离线安装包内网环境配置详解
本文分享OpenClaw本地部署的实战经验，聚焦内网环境痛点：网络隔离、依赖冲突、CUDA适配等。重点推荐汉化版TopClaw离线安装包——支持Windows/macOS（含Apple芯片），3分钟一键安装、全中文界面、内置模型与依赖，无需联网，真正实现“即装即用”，大幅降低AI工具部署门槛。
# 大模型服务平台百炼 # 人工智能 # 并行计算 # 芯片 # Windows # Python
免费试用