文章标签:
异构计算
存储
自然语言处理
机器学习/深度学习
运维
关键词:
分布式策略
分布式训练
bert模型
分布式模型
人工智能平台 PAI模型
相关文章
探索云世界
|
7月前
|
人工智能
自然语言处理
IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
探索云世界
1158
109
109
荔枝科研社
|
7月前
|
传感器
算法
安全
基于分布式模型预测控制DMPC的单向拓扑结构下异构车辆车队研究(Matlab代码实现)
基于分布式模型预测控制DMPC的单向拓扑结构下异构车辆车队研究(Matlab代码实现)
荔枝科研社
236
4
4
探索云世界
|
8月前
|
人工智能
自然语言处理
运维
【新模型速递】PAI-Model Gallery云上一键部署Kimi K2模型
月之暗面发布开源模型Kimi K2,采用MoE架构,参数达1T,激活参数32B,具备强代码能力及Agent任务处理优势。在编程、工具调用、数学推理测试中表现优异。阿里云PAI-Model Gallery已支持云端部署,提供企业级方案。
探索云世界
476
0
0
安全风信子
|
6月前
|
存储
监控
算法
117_LLM训练的高效分布式策略:从数据并行到ZeRO优化
在2025年,大型语言模型(LLM)的规模已经达到了数千亿甚至数万亿参数,训练这样的庞然大物需要先进的分布式训练技术支持。本文将深入探讨LLM训练中的高效分布式策略,从基础的数据并行到最先进的ZeRO优化技术,为读者提供全面且实用的技术指南。
安全风信子
664
2
2
荔枝科研社
|
7月前
|
算法
调度
【孤岛划分】分布式能源接入弹性配电网模型研究【IEEE33节点】(Matlab代码实现)
【孤岛划分】分布式能源接入弹性配电网模型研究【IEEE33节点】(Matlab代码实现)
荔枝科研社
697
10
10
安全风信子
|
6月前
|
机器学习/深度学习
监控
PyTorch
68_分布式训练技术:DDP与Horovod
随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年,分布式训练技术已经发展到相当成熟的阶段,各种优化策略和框架不断涌现,为大模型训练提供了强大的支持。
安全风信子
828
0
0
安全风信子
|
6月前
|
机器学习/深度学习
数据采集
人工智能
35_BERT与RoBERTa:优化编码器模型
2018年,Google发布的BERT(Bidirectional Encoder Representations from Transformers)模型彻底改变了自然语言处理领域的格局。作为第一个真正意义上的双向预训练语言模型,BERT通过创新的掩码语言模型(Masked Language Model, MLM)预训练策略,使模型能够同时从左右两侧的上下文信息中学习语言表示,从而在多项NLP任务上取得了突破性进展。
安全风信子
652
0
0
荔枝科研社
|
8月前
|
边缘计算
运维
算法
含分布式电源的配电网日前两阶段优化调度模型(Matlab代码实现)
含分布式电源的配电网日前两阶段优化调度模型(Matlab代码实现)
荔枝科研社
168
1
1
Deephub
|
9月前
|
机器学习/深度学习
算法
安全
差分隐私机器学习:通过添加噪声让模型更安全,也更智能
本文探讨在敏感数据上应用差分隐私(DP)进行机器学习的挑战与实践。通过模拟DP-SGD算法,在模型训练中注入噪声以保护个人隐私。实验表明,该方法在保持71%准确率和0.79 AUC的同时,具备良好泛化能力,但也带来少数类预测精度下降的问题。研究强调差分隐私应作为模型设计的核心考量,而非事后补救,并提出在参数调优、扰动策略选择和隐私预算管理等方面的优化路径。
Deephub
585
3
3
大数据与机器学习
热门文章
最新文章
1
数据库开放权限太危险,又不想写API。DataV给你另外一个选择。
2
分布式快照算法: Chandy-Lamport
3
独家专访阿里集团副总裁贾扬清:我为什么选择加入阿里巴巴?
4
回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾(附PPT下载)
5
【玩转数据系列三】利用图算法实现金融行业风控
6
解决大数据难题 阿里云MaxCompute获科技大奖
7
iphoneX都面世了,你的数据仓库还停留在诺基亚时代吗?
8
钉钉群直播【Spark Relational Cache 原理和实践】
9
阿里云 MaxCompute 2020-4 月刊
10
阿里云 MaxCompute 2020-1 月刊
1
2026年各大厂商OpenClaw中文生态分析调研汇报
20
2
Text-to-SQL 没有答错,但答案不一定是你要的那个
24
3
Go Colly框架高阶技巧:如何在中间件中无缝切换代理IP
21
4
亚马逊卖家数据溺水困局:企业级数据采集与决策架构落地方案
20
5
java工具:《字符串转List》
39
6
采集新手必看:选“隧道”还是“API提取”?一文看懂!
40
7
阿里云邀您参加 Elastic 中国 AI 搜索大会!听大咖解读趋势,抢开发者脱口秀门票!
37
8
阐述:小红书笔记详情API如何用于竞品内容监测
43
9
Apache Flink Agents 0.2.1 发布公告
61
10
(二)走进阿里云实时计算Flink版-场景案例篇
114
相关商品
相关课程
更多
场景实践 - 机器学习PAI实现精细化营销
场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
场景实践 - 基于机器学习进行收入预测分析
分布式文件存储系统技术及实现
机器学习入门-概念原理及常用算法
分布式协调系统 Zookeeper 快速入门
相关电子书
更多
高并发分布式缓存Redis6.0
基于社区的分布式 风险感知模型
如何利用Redisson分布式化传统Web项目
相关实验场景
更多
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
在PAI ArtLab一键设计AIGC新春红包
下一篇
PHP:将本地文件上传到阿里云OSS存储