文章标签:
Python
测试技术
算法
调度
监控
相关文章
JJLIN距离
|
6月前
|
负载均衡
测试技术
调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
JJLIN距离
1585
4
4
代码bug生产队
|
6月前
|
人工智能
机器人
人机交互
当AI学会“看、听、懂”:多模态技术的现在与未来
当AI学会“看、听、懂”:多模态技术的现在与未来
代码bug生产队
424
117
117
JJLIN距离
|
6月前
|
机器学习/深度学习
存储
并行计算
大模型推理加速技术:FlashAttention原理与实现
本文深入解析大语言模型推理加速的核心技术——FlashAttention。通过分析传统注意力机制的计算瓶颈,详细阐述FlashAttention的IO感知算法设计、前向反向传播实现,以及其在GPU内存层次结构中的优化策略。文章包含完整的CUDA实现示例、性能基准测试和实际部署指南,为开发者提供高效注意力计算的全套解决方案。
JJLIN距离
1125
10
10
bug菌
|
6月前
|
人工智能
文字识别
自然语言处理
从“看见”到“预见”:合合信息“多模态文本智能技术”如何引爆AI下一场革命。
近期,在第八届中国模式识别与计算机视觉学术会议(PRCV 2025)上,合合信息作为承办方举办了“多模态文本智能大模型前沿技术与应用”论坛,汇聚了学术界的顶尖智慧,更抛出了一颗重磅“炸弹”——“多模态文本智能技术”概念。
bug菌
284
1
1
JJLIN距离
|
6月前
|
机器学习/深度学习
存储
缓存
大模型推理加速技术:PagedAttention原理与实现
本文深入解析大语言模型推理中的革命性技术——PagedAttention,该技术是vLLM推理引擎的核心创新。通过将操作系统中的虚拟内存分页概念引入注意力机制,PagedAttention有效解决了KV缓存的内存碎片问题,实现了近乎零浪费的KV缓存管理。文章详细阐述其原理、内存管理机制、实现细节,并提供完整的代码示例和性能分析。
JJLIN距离
771
1
1
魔羯座liaotianfeile
|
6月前
|
存储
缓存
算法
淘宝买家秀 API 深度开发:多模态内容解析与合规推荐技术拆解
本文详解淘宝买家秀接口(taobao.reviews.get)的合规调用、数据标准化与智能推荐全链路方案。涵盖权限申请、多模态数据清洗、情感分析、混合推荐模型及缓存优化,助力开发者提升审核效率60%、商品转化率增长28%,实现UGC数据高效变现。
魔羯座liaotianfeile
407
0
0
basu2023
|
6月前
|
存储
人工智能
搜索推荐
拔俗AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教融合大语言模型、教育知识图谱、多模态感知与智能体技术,重构“教、学、评、辅”全链路。通过微调LLM、精准诊断错因、多模态交互与自主任务规划,实现个性化教学。轻量化部署与隐私保护设计保障落地安全,未来将向情感感知与教育深度协同演进。(238字)
basu2023
687
0
0
basu2023
|
6月前
|
人工智能
运维
NoSQL
拔俗AI大模型知识管理平台:让技术团队的“隐性知识”不再沉睡
技术团队常困于知识“存得住却用不好”。AI大模型知识管理平台如同为团队知识装上“智能大脑”,打通文档、代码、日志等碎片信息,实现智能检索、自动归集、动态更新与安全共享。它让新人快速上手、老手高效排障,把散落的经验变成可复用的智慧。知识不再沉睡,经验永不流失。
basu2023
210
0
0
modelscope
|
7月前
|
分布式计算
测试技术
Spark
科大讯飞开源星火化学大模型、文生音效模型
近期,科大讯飞在魔搭社区(ModelScope)和Gitcode上开源两款模型:讯飞星火化学大模型Spark Chemistry-X1-13B、讯飞文生音频模型AudioFly,助力前沿化学技术研究,以及声音生成技术和应用的探索。
modelscope
628
2
2
热门文章
最新文章
1
中文竞技场(MS)大模型评测
2
科普神文,一次性讲透AI大模型的核心概念
3
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
4
全新开源通义千问Qwen3,它来了!
5
阿里云百炼已上线超强推理开源模型QwQ-32B,尺寸更小,性能比肩DeepSeek满血版
6
通义千问72B、1.8B、Audio模型开源!魔搭社区最佳实践来啦!
7
NL2SQL基础系列(2):主流大模型与微调方法精选集,Text2SQL经典算法技术回顾七年发展脉络梳理
8
Qwen3 全尺寸模型支持通过阿里云PAI-ModelGallery 一键部署
9
AI大模型进阶系列(01)看懂AI大模型的主流技术 | AI对普通人的本质影响是什么
10
多模态实时交互大模型浦语·灵笔 2.5 OmniLive开源:能看、能听、会记、会说!
1
大模型强化学习的熵控制:CE-GPPO、EPO与AsyPPO技术方案对比详解
438
2
当AI开始“思考”:为什么大模型的尽头是推理?
558
3
大模型分布式推理:张量并行与流水线并行技术
1585
4
构建AI智能体:一、初识AI大模型与API调用
2283
5
【大模型微调】一文掌握5种大模型微调的方法
5901
6
从“看见”到“预见”:合合信息“多模态文本智能技术”如何引爆AI下一场革命。
284
7
AI Agent的未来之争:任务规划,该由人主导还是AI自主?——阿里云RDS AI助手的最佳实践
1230
8
C3仓库AI代码门禁通用实践:基于Qwen3-Coder+RAG的代码评审
1211
9
Qwen3-VL新成员 2B、32B来啦!更适合开发者体质
5959
10
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
740
相关商品
相关解决方案
更多
一键训练模型及部署GPU共享推理服务
通义灵码一站式定制专属MCP服务
千问与 LangChain 搭建对话服务
零代码微调,打造领域专属大模型
触手可及,函数计算玩转 AI 大模型
相关课程
更多
阿里云大模型工程师ACA认证课程
阿里云百炼大模型产品实践
ADB-PG+大模型一站式AIGC解决方案
阿里云百炼,手把手教你如何构建企业大模型应用服务
云原生AI套件:一键训练大模型及部署GPU共享推理服务
【开眼界】大模型时代的个人应对策略
相关电子书
更多
OpenSearch向量检索和大模型方案
通义万相:视觉生成大模型的进化与应用
达摩院通义视觉生成大模型
下一篇
PHP:将本地文件上传到阿里云OSS存储