AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Python 金融编程第二版（GPT 重译）（二）（5）

2024-07-04 40
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Python 金融编程第二版（GPT 重译）（二）

Python 金融编程第二版（GPT 重译）（二）（4）https://developer.aliyun.com/article/1559310


合并

虽然连接操作是基于要连接的 DataFrame 对象的索引进行的，但合并操作通常是在两个数据集之间共享的列上进行的。为此，将新列 C 添加到原始的两个 DataFrame 对象中：

In [105]: c = pd.Series([250, 150, 50], index=['b', 'd', 'c'])
          df1['C'] = c
          df2['C'] = c
In [106]: df1
Out[106]:      A      C
          a  100    NaN
          b  200  250.0
          c  300   50.0
          d  400  150.0
In [107]: df2
Out[107]:      B      C
          f  200    NaN
          b  150  250.0
          d   50  150.0

默认情况下，此情况下的合并操作基于单个共享列 C 进行。然而，还有其他选项可用。

In [108]: pd.merge(df1, df2)  ![1](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/1.png)
Out[108]:      A      C    B
          0  100    NaN  200
          1  200  250.0  150
          2  400  150.0   50
In [109]: pd.merge(df1, df2, on='C')  ![1](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/1.png)
Out[109]:      A      C    B
          0  100    NaN  200
          1  200  250.0  150
          2  400  150.0   50
In [110]: pd.merge(df1, df2, how='outer')  ![2](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/2.png)
Out[110]:      A      C    B
          0  100    NaN  200
          1  200  250.0  150
          2  300   50.0  NaN
          3  400  150.0   50


默认在列 C 上合并。


外部合并也是可能的，保留所有数据行。

还有许多其他类型的合并操作可用，以下代码示例了其中的一些：

In [111]: pd.merge(df1, df2, left_on='A', right_on='B')
Out[111]:      A    C_x    B  C_y
          0  200  250.0  200  NaN
In [112]: pd.merge(df1, df2, left_on='A', right_on='B', how='outer')
Out[112]:      A    C_x    B    C_y
          0  100    NaN  NaN    NaN
          1  200  250.0  200    NaN
          2  300   50.0  NaN    NaN
          3  400  150.0  NaN    NaN
          4  NaN    NaN  150  250.0
          5  NaN    NaN   50  150.0
In [113]: pd.merge(df1, df2, left_index=True, right_index=True)
Out[113]:      A    C_x    B    C_y
          b  200  250.0  150  250.0
          d  400  150.0   50  150.0
In [114]: pd.merge(df1, df2, on='C', left_index=True)
Out[114]:      A      C    B
          f  100    NaN  200
          b  200  250.0  150
          d  400  150.0   50
In [115]: pd.merge(df1, df2, on='C', right_index=True)
Out[115]:      A      C    B
          a  100    NaN  200
          b  200  250.0  150
          d  400  150.0   50
In [116]: pd.merge(df1, df2, on='C', left_index=True, right_index=True)
Out[116]:      A      C    B
          b  200  250.0  150
          d  400  150.0   50

性能方面

本章中的许多示例说明了使用 pandas 可以实现相同目标的多个选项。本节比较了用于逐元素添加两列的此类选项。首先，使用 NumPy 生成的数据集。

In [117]: data = np.random.standard_normal((1000000, 2))  ![1](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/1.png)
In [118]: data.nbytes  ![1](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/1.png)
Out[118]: 16000000
In [119]: df = pd.DataFrame(data, columns=['x', 'y'])  ![2](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/2.png)
In [120]: df.info()  ![2](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/2.png)
          <class 'pandas.core.frame.DataFrame'>
          RangeIndex: 1000000 entries, 0 to 999999
          Data columns (total 2 columns):
          x    1000000 non-null float64
          y    1000000 non-null float64
          dtypes: float64(2)
          memory usage: 15.3 MB


带有随机数字的 ndarray 对象。


带有随机数字的 DataFrame 对象。

第二，一些完成任务的性能值的选项。

In [121]: %time res = df['x'] + df['y']  ![1](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/1.png)
          CPU times: user 5.68 ms, sys: 14.5 ms, total: 20.1 ms
          Wall time: 4.06 ms
In [122]: res[:3]
Out[122]: 0    0.387242
          1   -0.969343
          2   -0.863159
          dtype: float64
In [123]: %time res = df.sum(axis=1)  ![2](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/2.png)
          CPU times: user 44 ms, sys: 14.9 ms, total: 58.9 ms
          Wall time: 57.6 ms
In [124]: res[:3]
Out[124]: 0    0.387242
          1   -0.969343
          2   -0.863159
          dtype: float64
In [125]: %time res = df.values.sum(axis=1)  ![3](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/3.png)
          CPU times: user 16.1 ms, sys: 1.74 ms, total: 17.8 ms
          Wall time: 16.6 ms
In [126]: res[:3]
Out[126]: array([ 0.3872424 , -0.96934273, -0.86315944])
In [127]: %time res = np.sum(df, axis=1)  ![4](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/4.png)
          CPU times: user 39.7 ms, sys: 8.91 ms, total: 48.7 ms
          Wall time: 47.7 ms
In [128]: res[:3]
Out[128]: 0    0.387242
          1   -0.969343
          2   -0.863159
          dtype: float64
In [129]: %time res = np.sum(df.values, axis=1)  ![5](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/5.png)
          CPU times: user 16.1 ms, sys: 1.78 ms, total: 17.9 ms
          Wall time: 16.6 ms
In [130]: res[:3]
Out[130]: array([ 0.3872424 , -0.96934273, -0.86315944])


直接操作列（Series对象）是最快的方法。


这通过在 DataFrame 对象上调用 sum() 方法来计算总和。


这通过在 ndarray 对象上调用 sum() 方法来计算总和。


这通过在 DataFrame 对象上调用 np.sum() 方法来计算总和。


这通过在 ndarray 对象上使用通用函数 np.sum() 方法来计算总和。

最后，更多基于 eval() 和 apply() 方法的选项。

In [131]: %time res = df.eval('x + y')  ![1](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/1.png)
          CPU times: user 13.3 ms, sys: 15.6 ms, total: 28.9 ms
          Wall time: 18.5 ms
In [132]: res[:3]
Out[132]: 0    0.387242
          1   -0.969343
          2   -0.863159
          dtype: float64
In [133]: %time res = df.apply(lambda row: row['x'] + row['y'], axis=1)  ![2](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/2.png)
          CPU times: user 22 s, sys: 71 ms, total: 22.1 s
          Wall time: 22.1 s
In [134]: res[:3]
Out[134]: 0    0.387242
          1   -0.969343
          2   -0.863159
          dtype: float64
# tag::PD_34[]


eval() 是专门用于评估（复杂）数值表达式的方法；可以直接访问列。


最慢的选项是逐行使用 apply() 方法；这就像在 Python 级别上循环遍历所有行。

注意

pandas 通常提供多种选项来实现相同的目标。如果不确定，应该比较一些选项，以确保在时间紧迫时获得最佳性能。在简单示例中，执行时间相差数个数量级。

结论

pandas 是数据分析的强大工具，并已成为所谓 PyData 栈的核心包。它的 DataFrame 类特别适用于处理任何类型的表格数据。对这种对象的大多数操作都是矢量化的，这不仅使代码简洁，而且通常性能很高，与 NumPy 的情况一样。此外，pandas 还使得处理不完整的数据集变得方便，例如，使用 NumPy 并不那么方便。在本书的许多后续章节中，pandas 和 DataFrame 类将是核心，当需要时还将使用和说明其他功能。

进一步阅读

pandas 是一个文档齐全的开源项目，既有在线文档，也有可供下载的 PDF 版本。¹。以下页面提供了所有资源：

至于 NumPy，在书籍形式上推荐的参考资料是：

  • McKinney, Wes (2017): Python 数据分析. 第二版, O’Reilly, 北京等地。
  • VanderPlas, Jake (2016): Python 数据科学手册. O’Reilly, 北京等地。

¹ 在撰写本文时，PDF 版本共有 2,207 页（版本 0.21.1）。

2 -0.863159

dtype: float64

In [125]: %time res = df.values.sum(axis=1) 

CPU times: user 16.1 ms, sys: 1.74 ms, total: 17.8 ms
      Wall time: 16.6 ms

In [126]: res[:3]

Out[126]: array([ 0.3872424 , -0.96934273, -0.86315944])

In [127]: %time res = np.sum(df, axis=1) 

CPU times: user 39.7 ms, sys: 8.91 ms, total: 48.7 ms
      Wall time: 47.7 ms

In [128]: res[:3]

Out[128]: 0 0.387242

1 -0.969343

2 -0.863159

dtype: float64

In [129]: %time res = np.sum(df.values, axis=1) 

CPU times: user 16.1 ms, sys: 1.78 ms, total: 17.9 ms
      Wall time: 16.6 ms

In [130]: res[:3]

Out[130]: array([ 0.3872424 , -0.96934273, -0.86315944])

[外链图片转存中...(img-rjeMDAFN-1717935513102)]
直接操作列（`Series`对象）是最快的方法。
[外链图片转存中...(img-TeYber2X-1717935513102)]
这通过在 `DataFrame` 对象上调用 `sum()` 方法来计算总和。
[外链图片转存中...(img-r8epalL2-1717935513102)]
这通过在 `ndarray` 对象上调用 `sum()` 方法来计算总和。
[外链图片转存中...(img-tN3j1PId-1717935513102)]
这通过在 `DataFrame` 对象上调用 `np.sum()` 方法来计算总和。
[外链图片转存中...(img-DuFuJDwd-1717935513102)]
这通过在 `ndarray` 对象上使用通用函数 `np.sum()` 方法来计算总和。
最后，更多基于 `eval()` 和 `apply()` 方法的选项。
```py
In [131]: %time res = df.eval('x + y')  ![1](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/1.png)
          CPU times: user 13.3 ms, sys: 15.6 ms, total: 28.9 ms
          Wall time: 18.5 ms
In [132]: res[:3]
Out[132]: 0    0.387242
          1   -0.969343
          2   -0.863159
          dtype: float64
In [133]: %time res = df.apply(lambda row: row['x'] + row['y'], axis=1)  ![2](https://gitee.com/OpenDocCN/ibooker-quant-zh/raw/master/docs/py-fin-2e/img/2.png)
          CPU times: user 22 s, sys: 71 ms, total: 22.1 s
          Wall time: 22.1 s
In [134]: res[:3]
Out[134]: 0    0.387242
          1   -0.969343
          2   -0.863159
          dtype: float64
# tag::PD_34[]

[外链图片转存中…(img-c1dcFfnu-1717935513102)]

eval() 是专门用于评估（复杂）数值表达式的方法；可以直接访问列。

[外链图片转存中…(img-3htITLCT-1717935513103)]

最慢的选项是逐行使用 apply() 方法；这就像在 Python 级别上循环遍历所有行。

注意

pandas 通常提供多种选项来实现相同的目标。如果不确定，应该比较一些选项，以确保在时间紧迫时获得最佳性能。在简单示例中，执行时间相差数个数量级。

结论

pandas 是数据分析的强大工具，并已成为所谓 PyData 栈的核心包。它的 DataFrame 类特别适用于处理任何类型的表格数据。对这种对象的大多数操作都是矢量化的，这不仅使代码简洁，而且通常性能很高，与 NumPy 的情况一样。此外，pandas 还使得处理不完整的数据集变得方便，例如，使用 NumPy 并不那么方便。在本书的许多后续章节中，pandas 和 DataFrame 类将是核心，当需要时还将使用和说明其他功能。

进一步阅读

pandas 是一个文档齐全的开源项目，既有在线文档，也有可供下载的 PDF 版本。¹。以下页面提供了所有资源：

至于 NumPy，在书籍形式上推荐的参考资料是：

  • McKinney, Wes (2017): Python 数据分析. 第二版, O’Reilly, 北京等地。
  • VanderPlas, Jake (2016): Python 数据科学手册. O’Reilly, 北京等地。

¹ 在撰写本文时，PDF 版本共有 2,207 页（版本 0.21.1）。

文章标签：
Python
数据挖掘
索引
关键词：
Python编程
Python gpt
Python金融编程
GPT编程
编程GPT
布客飞龙
目录
相关文章
游客qf4jmczx4xu2y
|
6天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能浪潮下的自我修养：从Python编程入门到深度学习实践
【10月更文挑战第39天】本文旨在为初学者提供一条清晰的道路，从Python基础语法的掌握到深度学习领域的探索。我们将通过简明扼要的语言和实际代码示例，引导读者逐步构建起对人工智能技术的理解和应用能力。文章不仅涵盖Python编程的基础，还将深入探讨深度学习的核心概念、工具和实战技巧，帮助读者在AI的浪潮中找到自己的位置。
游客qf4jmczx4xu2y
31 6
天下无贼001
|
6天前
|
机器学习/深度学习 数据挖掘 Python
Python编程入门——从零开始构建你的第一个程序
【10月更文挑战第39天】本文将带你走进Python的世界，通过简单易懂的语言和实际的代码示例，让你快速掌握Python的基础语法。无论你是编程新手还是想学习新语言的老手，这篇文章都能为你提供有价值的信息。我们将从变量、数据类型、控制结构等基本概念入手，逐步过渡到函数、模块等高级特性，最后通过一个综合示例来巩固所学知识。让我们一起开启Python编程之旅吧！
天下无贼001
21 1
aliyun8599273441-30642
|
6天前
|
存储 Python
Python编程入门：打造你的第一个程序
【10月更文挑战第39天】在数字时代的浪潮中，掌握编程技能如同掌握了一门新时代的语言。本文将引导你步入Python编程的奇妙世界，从零基础出发，一步步构建你的第一个程序。我们将探索编程的基本概念，通过简单示例理解变量、数据类型和控制结构，最终实现一个简单的猜数字游戏。这不仅是一段代码的旅程，更是逻辑思维和问题解决能力的锻炼之旅。准备好了吗？让我们开始吧！
aliyun8599273441-30642
104 50
游客5fdji2pvmf8888
|
8天前
|
设计模式 算法 搜索推荐
Python编程中的设计模式：优雅解决复杂问题的钥匙####
本文将探讨Python编程中几种核心设计模式的应用实例与优势，不涉及具体代码示例，而是聚焦于每种模式背后的设计理念、适用场景及其如何促进代码的可维护性和扩展性。通过理解这些设计模式，开发者可以更加高效地构建软件系统，实现代码复用，提升项目质量。 ####
游客5fdji2pvmf8888
20 6
游客moiomvrp3vyac2
|
7天前
|
机器学习/深度学习 存储 算法
探索Python编程：从基础到高级应用
【10月更文挑战第38天】本文旨在引导读者从Python的基础知识出发，逐渐深入到高级编程概念。通过简明的语言和实际代码示例，我们将一起探索这门语言的魅力和潜力，理解它如何帮助解决现实问题，并启发我们思考编程在现代社会中的作用和意义。
游客moiomvrp3vyac2
22 2
游客qf4jmczx4xu2y
|
8天前
|
机器学习/深度学习 数据挖掘 开发者
Python编程入门：理解基础语法与编写第一个程序
【10月更文挑战第37天】本文旨在为初学者提供Python编程的初步了解，通过简明的语言和直观的例子，引导读者掌握Python的基础语法，并完成一个简单的程序。我们将从变量、数据类型到控制结构，逐步展开讲解，确保即使是编程新手也能轻松跟上。文章末尾附有完整代码示例，供读者参考和实践。
游客qf4jmczx4xu2y
27 3
历年考试不作弊
|
8天前
|
人工智能 数据挖掘 程序员
Python编程入门：从零到英雄
【10月更文挑战第37天】本文将引导你走进Python编程的世界，无论你是初学者还是有一定基础的开发者，都能从中受益。我们将从最基础的语法开始讲解，逐步深入到更复杂的主题，如数据结构、面向对象编程和网络编程等。通过本文的学习，你将能够编写出自己的Python程序，实现各种功能。让我们一起踏上Python编程之旅吧！
历年考试不作弊
17 2
aliyun8599273441-30642
|
9天前
|
数据采集 机器学习/深度学习 人工智能
Python编程入门：从基础到实战
【10月更文挑战第36天】本文将带你走进Python的世界，从基础语法出发，逐步深入到实际项目应用。我们将一起探索Python的简洁与强大，通过实例学习如何运用Python解决问题。无论你是编程新手还是希望扩展技能的老手，这篇文章都将为你提供有价值的指导和灵感。让我们一起开启Python编程之旅，用代码书写想法，创造可能。
aliyun8599273441-30642
17 3
东方睿赢
|
11天前
|
Python
不容错过！Python中图的精妙表示与高效遍历策略，提升你的编程艺术感
本文介绍了Python中图的表示方法及遍历策略。图可通过邻接表或邻接矩阵表示，前者节省空间适合稀疏图，后者便于检查连接但占用更多空间。文章详细展示了邻接表和邻接矩阵的实现，并讲解了深度优先搜索（DFS）和广度优先搜索（BFS）的遍历方法，帮助读者掌握图的基本操作和应用技巧。
东方睿赢
30 4
土木林森
|
13天前
|
存储 人工智能 数据挖掘
从零起步，揭秘Python编程如何带你从新手村迈向高手殿堂
【10月更文挑战第32天】Python，诞生于1991年的高级编程语言，以其简洁明了的语法成为众多程序员的入门首选。从基础的变量类型、控制流到列表、字典等数据结构，再到函数定义与调用及面向对象编程，Python提供了丰富的功能和强大的库支持，适用于Web开发、数据分析、人工智能等多个领域。学习Python不仅是掌握一门语言，更是加入一个充满活力的技术社区，开启探索未知世界的旅程。
土木林森
20 6

热门文章

最新文章

  • 1
    【玩转AIGC系列】使用Megatron-Deepspeed训练GPT-2并生成文本
  • 2
    mbr,gpt,开机启动流程.
  • 3
    2023云栖大会 | Serverless化进程——阿里云发布通义千问2.0 性能超GPT-3.5 加速追赶GPT-4
  • 4
    基于单机最高能效270亿参数GPT模型的文本生成与理解
  • 5
    Paper：GPT-3《 Language Models are Few-Shot Learners》的翻译与解读（三）
  • 6
    终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了
  • 7
    How to convert Windows 7 on MBR/BIOS to GPT/UEFI
  • 8
    如何微调GPT-2生成高质量的歌词
  • 9
    Paper：GPT-3《 Language Models are Few-Shot Learners》的翻译与解读(四)
  • 10
    GPT- BI在中国一汽上线，大模型技术融入数智化转型
  • 1
    利用 python 分析基金，合理分析数据让赚钱赢在起跑线！(1)
    60
  • 2
    Python中return和yield的区别，面试官不讲武德
    50
  • 3
    python函数参数的传递、带星号参数的传递，2024年大厂Python高级面试题分享
    44
  • 4
    实时计算 Flink版产品使用合集之怎么热加载Java和Python的UDF
    77
  • 5
    学会Python自动制作Word，将看到一个5天4位数的赚钱机会
    45
  • 6
    使用Python和Twilio通过短信通知主持视频办公时间。
    37
  • 7
    Python 中下划线的 6 个作用(1)，【干货】
    47
  • 8
    vscode打造舒适的python开发环境
    83
  • 9
    Python----matplotlib库
    67
  • 10
    使用Python实现深度学习模型：生成对抗网络（GAN）
    143

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • Python新手入门
  • Python入门
  • Python选择及循环结构
  • Python新手入门（Anolis OS）
  • Python网络通信程序典型应用
  • 云端Python及基本操作

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • golang
    • 下一篇
    阿里云OSS设置跨域访问