为什么大规模特征下给Server的存储和分布式计算性能会带来巨大压力？
已解决为什么大规模特征下给Server的存储和分布式计算性能会带来巨大压力？
展开
收起
1
条回答
写回答
写回答
-
推荐回答举例来说，1万亿个32位float浮点数就需要3.63TB的存储空间，再加上需要保留的历史梯度等，往往需要300到600台server才能使各个进程的内存占用控制在一个合理范围。Server数成倍增长，导致并行请求数也线性增长，给通信也带来较大压力。同时，存储量以及单任务进程数的增长，也给集群调度、容错、网络、IO带来较大的压力
2022-04-20 13:12:47赞同 展开评论 打赏
问答分类：
问答地址：
开发者社区
>
大数据与机器学习
>
大数据计算 MaxCompute
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
请教一下，有个项目需要把odps的数据从私有云A 迁移到私有云B，两者都是阿里云大数据平台，网络互通
2606
解析并获取大json，是否更推荐json_tuple()？
1611
大数据计算MaxCompute中如果说我这边的程序接收到用户上传文件的请求，应该调用哪个API接口？
1819
大数据计算MaxCompute如果一个字段超过8mb，mc有办法存储吗？
563
MaxCompute SQL，如何将查询结果作为变量使用？
21
MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
2995
dataworks已经提交申请，我当前sql会报错我想知道对应美西的配置信息应该是怎么样的？
62
MaxCompute中报错ODPS-0121145:Data overflow
1063
MaxCompute这样的情况应该怎么解决啊？
254
请问大数据计算MaxCompute有主键这种说法么?
1164
展开全部
阿里云开源离线同步工具DataX3.0介绍
105110
盘古：阿里云飞天分布式存储系统设计深度解析
44966
空格App亿元A轮融资背后：云上多场景技术架构实践与经验
19904
优酷背后的大数据秘密
22495
［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
20225
阿里云大数据计算平台的自动化、精细化运维之路
12135
3天撸完一个团队半年的项目，单客户数据动辄几百万的行业也玩云？
9866
【转载文章】记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案
11314
阿里云 MaxCompute 2020-4 月刊
9137
MaxCompute SQL-列转行和行转列
13149
展开全部
