《基于Apache* Spark* 的大规模分布式机器学习实践》基于Apache* Spark* 的大规模分布式机器学习实践
电子书：
</div>《基于Apache Spark 的大规模分布式机器学习实践》电子版地址
2023-02-10
125
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
基于Apache* Spark* 的大规模分布式机器学习实践
目录
相关文章
|
6天前
|
机器学习/深度学习
分布式计算
大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
65
15
15
|
4月前
|
存储
缓存
算法
分布式锁服务深度解析：以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中，多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性，我们需要一种机制来协调这些进程或节点的访问，避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制，确保同一时间只有一个进程或节点能够访问和操作共享资源。
172
3
3
|
27天前
|
存储
运维
监控
金融场景 PB 级大规模日志平台：中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条（80TB），全量归档日志量超 40PB，早期基于 Elasticsearch 构建的日志云平台，面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch，实现资源投入降低 50%、查询速度提升 2～4 倍，同时显著提高了运维效率。
70
3
3
|
2月前
|
机器学习/深度学习
存储
运维
分布式机器学习系统：设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战，重点分析了数据并行、模型并行等核心训练范式，以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性，旨在提供一套全面的技术解决方案，以应对超大规模模型训练中的计算、存储及通信挑战。
119
4
4
|
3月前
|
机器学习/深度学习
分布式计算
算法
|
8月前
|
机器学习/深度学习
分布式计算
算法
联邦学习是保障数据隐私的分布式机器学习方法
【6月更文挑战第13天】联邦学习是保障数据隐私的分布式机器学习方法，它在不暴露数据的情况下，通过在各设备上本地训练并由中心服务器协调，实现全局模型构建。联邦学习的优势在于保护隐私、提高训练效率和增强模型泛化。已应用于医疗、金融和物联网等领域。未来趋势包括更高效的数据隐私保护、提升可解释性和可靠性，以及与其他技术融合，有望在更多场景发挥潜力，推动机器学习发展。
153
4
4
|
4月前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
121
1
1
|
6月前
|
机器学习/深度学习
分布式计算
Cloud Native
云原生架构下的高性能计算解决方案：利用分布式计算资源加速机器学习训练
【8月更文第19天】随着大数据和人工智能技术的发展，机器学习模型的训练数据量和复杂度都在迅速增长。传统的单机训练方式已经无法满足日益增长的计算需求。云原生架构为高性能计算提供了新的可能性，通过利用分布式计算资源，可以在短时间内完成大规模数据集的训练任务。本文将探讨如何在云原生环境下搭建高性能计算平台，并展示如何使用 PyTorch 和 TensorFlow 这样的流行框架进行分布式训练。
160
2
2
|
6月前
|
分布式计算
Hadoop
大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
107
0
0
|
6月前
|
分布式计算
Serverless
数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务，以实现任务调度和执行的自动化，帮助您更有效地管理数据处理任务。
266
0
0
热门文章
最新文章
1
PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型
2
阿里云PAI部署DeepSeek及调用
3
DeepSeek安装部署指南，基于阿里云PAI零代码，小白也能轻松搞定！
4
深度学习中模型训练的过拟合与欠拟合问题
5
DeepSeek服务器繁忙？拒绝稍后再试！基于阿里云PAI实现0代码一键部署DeepSeek-V3和DeepSeek-R1大模型
6
如何看PAI产品下训练（train）模型任务的费用细节
7
R1类模型推理能力评测手把手实战
8
云上玩转DeepSeek系列之二：PAI+DeepSeek，打造智能问答助手
9
让补丁管理更智能：机器学习的革命性应用
10
图机器学习调研洞察：PyG与DGL