《Python分布式计算》 0 序言 (Distributed Computing with Python)

简介: 序言第1章 并行和分布式计算介绍第2章 异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python第7章 测试和调试分布式应用第8章 继续学习Python分布式计算作者简介Francesco Pierfederici是一名喜爱Python的软件工程师。

序言
第1章 并行和分布式计算介绍
第2章 异步编程
第3章 Python的并行计算
第4章 Celery分布式应用
第5章 云平台部署Python
第6章 超级计算机群使用Python
第7章 测试和调试分布式应用
第8章 继续学习


img_b17e216d6ca19fd9870eb122f50ae5de.jpe
Python分布式计算

作者简介

Francesco Pierfederici是一名喜爱Python的软件工程师。过去20年间,他的工作领域涉及天文学、生物学和气象预报。

他搭建过上万CPU核心的大型分布式系统,并在世界上最快的超级计算机上运行过。他还写过用处不大,但极为有趣的应用。他总是喜欢创造新事物。

“我要感谢我的妻子Alicia,感谢她在成书过程中的耐心。我还要感谢Packt出版社的Parshva Sheth和Aaron Lazar,以及技术审稿人James King,他们让这本书变得更好。” —— Francesco Pierfederici


审稿人简介

James King 是一名有丰富分布式系统开发经验的工程师。他是许多开源项目的贡献者,包括OpenStack和Mozilla Firefox。他喜欢数学、与孩子们骑马、游戏和艺术。


序言

并行和分布式计算是一个具有吸引力的课题,几年之前,只有大公司和国家实验室的开发者才能接触到。这十年间,情况发生了改变:现在所有人都可以使用各种语言搭建中小型的分布式应用,这些语言中自然包括我们的最爱:Python。

这本书是为搭建分布式系统的Python开发者而写的实践指导。它首先介绍了关于并行和分布式计算的基础理论。然后,用Python的标准库做了几个并行计算示例。接着,不再使用一台计算机,而是使用第三方库,包括Celery和Pyro,扩展到更多节点。

剩下的章节探讨了分布式应用的部署方案,包括云平台和超级计算机群(High Performance Computing,HPC),分析了各自的优势和难点。

最后,分析了一些难点,监控、登录、概述和调试。

总之,这是一本关注实践的书,它将教会你使用一些流行的框架和方法,使用Python搭建并行分布系统。

本书的内容

第1章,并行和分布式计算介绍,介绍基础理论。
第2章,异步编程,介绍两种分布式应用的编程风格:同步和异步。
第3章,Python的并行计算,介绍使用Python的标准库,实现同一时间完成多项任务。
第4章,Celery分布式应用,介绍如何使用Celery搭建最简单的分布式应用,以及Celery的竞争对手Python-RQ和Pyro。
第5章,云平台使用Python,展示如何使用AWS将Python应用部署到云平台。
第6章,超级计算机群使用Python,介绍将Python应用部署到超级计算机群,多应用于大学和国家实验室。
第7章,测试和调试分布式应用,讲解了Python分布式应用在测试、概述和调试中的难点。
第8章,继续学习,回顾前面所学,向感兴趣的读者介绍继续学习的路径。


序言
第1章 并行和分布式计算介绍
第2章 异步编程
第3章 Python的并行计算
第4章 Celery分布式应用
第5章 云平台部署Python
第6章 超级计算机群使用Python
第7章 测试和调试分布式应用
第8章 继续学习


目录
相关文章
|
8天前
|
机器学习/深度学习 分布式计算 API
Python 高级编程与实战:深入理解并发编程与分布式系统
在前几篇文章中,我们探讨了 Python 的基础语法、面向对象编程、函数式编程、元编程、性能优化、调试技巧、数据科学、机器学习、Web 开发、API 设计、网络编程和异步IO。本文将深入探讨 Python 在并发编程和分布式系统中的应用,并通过实战项目帮助你掌握这些技术。
|
6天前
|
消息中间件 分布式计算 并行计算
Python 高级编程与实战:构建分布式系统
本文深入探讨了 Python 中的分布式系统,介绍了 ZeroMQ、Celery 和 Dask 等工具的使用方法,并通过实战项目帮助读者掌握这些技术。ZeroMQ 是高性能异步消息库,支持多种通信模式;Celery 是分布式任务队列,支持异步任务执行;Dask 是并行计算库,适用于大规模数据处理。文章结合具体代码示例,帮助读者理解如何使用这些工具构建分布式系统。
|
2月前
|
分布式计算 DataWorks 大数据
分布式Python计算服务MaxFrame测评
一文带你入门分布式Python计算服务MaxFrame
100 23
分布式Python计算服务MaxFrame测评
|
2月前
|
分布式计算 DataWorks 数据处理
产品测评 | 上手分布式Python计算服务MaxFrame产品最佳实践
MaxFrame是阿里云自研的分布式计算框架,专为大数据处理设计,提供高效便捷的Python开发体验。其主要功能包括Python编程接口、直接利用MaxCompute资源、与MaxCompute Notebook集成及镜像管理功能。本文基于MaxFrame最佳实践,详细介绍了在DataWorks中使用MaxFrame创建数据源、PyODPS节点和MaxFrame会话的过程,并展示了如何通过MaxFrame实现分布式Pandas处理和大语言模型数据处理。测评反馈指出,虽然MaxFrame具备强大的数据处理能力,但在文档细节和新手友好性方面仍有改进空间。
|
20天前
|
Python
云产品评测|分布式Python计算服务MaxFrame获奖名单公布!
云产品评测|分布式Python计算服务MaxFrame获奖名单公布!
|
2月前
|
数据采集 人工智能 分布式计算
🚀 MaxFrame 产品深度体验评测:Python 分布式计算的未来
在数据驱动的时代,大数据分析和AI模型训练对数据预处理的效率要求极高。传统的Pandas工具在小数据集下表现出色,但面对大规模数据时力不从心。阿里云推出的Python分布式计算框架MaxFrame,以“Pandas风格”为核心设计理念,旨在降低分布式计算门槛,同时支持超大规模数据处理。MaxFrame不仅保留了Pandas的操作习惯,还通过底层优化实现了高效的分布式调度、内存管理和容错机制,并深度集成阿里云大数据生态。本文将通过实践评测,全面解析MaxFrame的能力与价值,展示其在大数据和AI场景中的卓越表现。
77 4
🚀 MaxFrame 产品深度体验评测:Python 分布式计算的未来
|
2月前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
107 7
|
2月前
|
SQL 分布式计算 数据处理
云产品评测|分布式Python计算服务MaxFrame | 在本地环境中使用MaxFrame + 基于MaxFrame实现大语言模型数据处理
本文基于官方文档,介绍了由浅入深的两个部分实操测试,包括在本地环境中使用MaxFrame & 基于MaxFrame实现大语言模型数据处理,对步骤有详细说明。体验下来对MaxCompute的感受是很不错的,值得尝试并使用!
70 1
|
2月前
|
SQL 分布式计算 DataWorks
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame(完整操作版)
在当今数字化迅猛发展的时代,数据信息的保存与分析对企业决策至关重要。MaxCompute MaxFrame是阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口并自动进行分布式计算。通过MaxCompute的海量计算资源,企业可以进行大规模数据处理、可视化数据分析及科学计算等任务。本文将详细介绍如何开通MaxCompute和DataWorks服务,并使用MaxFrame进行数据操作。包括创建项目、绑定数据源、编写PyODPS 3节点代码以及执行SQL查询等内容。最后,针对使用过程中遇到的问题提出反馈建议,帮助用户更好地理解和使用MaxFrame。
|
2月前
|
分布式计算 数据处理 MaxCompute
云产品评测|分布式Python计算服务MaxFrame
云产品评测|分布式Python计算服务MaxFrame
88 2

热门文章

最新文章