备案控制台
开发者社区> 问答> 正文

如何理解分布式通信优化方法中的分级通信优化？

已解决

如何理解分布式通信优化方法中的分级通信优化？

展开
收起
阿阿里云 2022-04-06 21:57:27 681 0
来自：开发者社区官方技术圈
1 条回答
写回答
取消 提交回答
  • 游客bzhjsexlwuin4
    推荐回答

    传统的环形通信方式是将所有节点上的 GPU 形成一个大环， 致使其整体性能在以太网的通信上受到限制。我们做了分级通信的优化，首先在节点 内部的 GPU 上做一级规约通信，每个节点都规约到一块 GPU 上，然后每个节点的这个 GPU 再做二级规约通信。这样一方面减少了以太网上传输的数据量，另一方面通过流水 线将节点内部的规约通信和节点之间的规约通信重叠起来，减少了整体通信时间。

    《弹性计算：无处不在的算力》电子书可以通过以下链接下载：https://developer.aliyun.com/topic/download?id=7996"

    2022-04-06 23:32:23
    赞同 展开评论 打赏
问答标签：
分布式通信 分布式方法 分布式优化 分布式优化方法 分布式通信优化
问答地址：
开发者社区 > 开发者社区官方技术圈 > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
在分布式训练场景下，集合通信性能会遇到什么问题？
9
2
0
分布式链路追踪系统中，如何进行方法增强（埋点）？
9
1
0
虽然增加了分布式分片能力，但为什么还需要对worker节点进行重复执行优化？
9
1
0
分布式分片任务是如何实现的？经过分布式分片任务优化后，任务执行时间有什么变化？
9
1
0
游戏的分布式 ,游戏的服务之间的通信框架采取怎么协议, 分布在的框架下的token验证时效多长?
16
1
0
PolarDB分布式有方法配置port端口嘛？
55
4
0
机器学习PAI分布式训练同步模式时num_steps的设置方法？
79
2
0
在Fink中用 redis 缓存中间状态方便不同的task之间通信 或做分布式锁, 是用什么？
679
4
0
ob创建分布式3节点的环境，有方法查看hash表各分区的数据分布在哪个节点上吗？
626
1
0
全局异常处理导致seata分布式事务无法回滚问题，有人用AOP的方法解决过吗，多个服务怎么弄？
324
4
0
来源圈子
更多
收录在圈子:
开发者社区官方技术圈
70004
+ 订阅
阿里云开发者社区官方技术圈，用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新
1 通过阿里云代备案系统进行个人快速备案 2699967
2 【大咖问答】对话PostgreSQL 中国社区发起人之一，阿里云数据库高级专家 德哥 1818367
3 据说在家办公的程序员是这样写代码的？ 1792409
4 阿里云开放端口权限 689954
5 如何升级配置 536086
6 【藏经阁一起读（27）】本周推荐《Apache Flink案例集（2022版）》，你有哪些心得？ 522491
7 【精品问答】python技术1000问(1) 514018
8 Flink Forward Asia 2021 有奖问答 512822
9 Linux Bash严重漏洞修复紧急通知（已全部给出最终修复方案） 456932
10 OceanBase 使用动画（持续更新） 359283
11 阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本 329732
12 OSS存储服务-客户端工具 321366
13 为体验实验室取一个新名字。 307349
14 企业邮箱发送邮件时，若出现投递失败产生退信，内容提示包含如下： the mta server of * reply:550 failed to meet SPF requirements 或者 the mta server of 163.com — 163mx01.mxmail.netease.com(220.181.14.141) reply:550 MI:SPF mx14,QMCowECpA0qTiftVaeB3Cg—.872S2 1442548128 http://mail.163.com/help 303895
15 Win Server 2003-2016 加密勒索事件必打补丁合集 295179
16 FLASH播放器，在IE浏览器下显示请确定您的域名已完成备案和CNAME绑定 283711
17 安全组详解，新手必看教程 277269
18 写code还是做管理，开发者如何进行职业规划？ 268543
19 惊喜翻倍：免费ECS+免费环境配置~！(ECS免费体验6个月活动3月31日结束) 255838
20 阿里云手机和阿云浏览器连接问题专帖 235642
1 使用PAI-快速开始，低代码实现大语言模型微调和部署，并分享配置过程、输出结果及使用体验 146
2 展示你用FaceChain-FACT生成人物写真，并分享配置过程、输出结果及使用体验 154
3 结合自己的项目上云经历，分享部署过程及体验 295
4 丹青-千变万换，体验图片局部内容替换，分享使用过程、输出结果及使用体验 523
5 使用PAI-EAS一键部署ChatGLM，并应用LangChain集成外部数据 588
6 使用通义灵码冲刺备战求职季，你有哪些深刻体验？ 719
7 分享出你的「松弛感工作」必备AI技能，并展示使用效果 862
8 “AI+作业”，是辅助还是颠覆？ 352
9 乘风问答官七月排位赛开启！CHERRY樱桃MX2.0S无线键盘等好礼等你赢~ 212
10 通用大模型VS垂直大模型，你倾向于哪一方？ 435
11 如何破除工作中的“路径依赖”？ 427
12 宜搭自定义页面，如何实现这样的效果，请帮忙给一个实例 170
13 一键生成你眼中的未来城市，分享部署过程、输出结果及使用体验 1173
14 展示你用AI工具生成动漫头像，并分享配置过程及使用体验 734
15 通义灵码：该账号暂无通义灵码使用权限，可更换其他有权限的账号。或联系企业管理员获取使用权限。 120
16 ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？ 358
17 国内AI大模型高考数学成绩超GPT-4o，如何看待这一结果？ 892
18 如何避免“写代码5分钟，调试2小时”的尴尬？ 1046
19 通义灵码生成Git Commit的时候，偶尔生成中文，偶尔生成英文，根本无法控制生成的语言。 323
20 通义灵码登录失败，提示通义灵码域名无法解析 238

相关课程

更多
  • 开源PolarDB分布式版部署实操
    21
    10
    去学习
  • Spring Boot+Vue.js+FastDFS实现分布式图片服务器
    316
    16
    去学习
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
    573
    11
    去学习
  • 分布式文件存储系统技术及实现
    6146
    15
    去学习
  • 分布式协调系统 Zookeeper 快速入门
    402
    23
    去学习
  • 应用视角出发的数据库流量治理
    120
    1
    去学习
    • 推荐问答
    乘风问答官招募中！机械键盘免费拿

    相关电子书

    更多
    • 基于社区的分布式 风险感知模型 立即下载
    如何利用Redisson分布式化传统Web项目 立即下载
    FLASH:大规模分布式图计算引擎及应用 立即下载