python/pandas/numpy数据分析(十一)-相关系数与协方差

简介: axis=0和1分别的表格的纵轴和横轴最浅显易懂的协方差与标准差 https://www.

axis=0和1分别的表格的纵轴和横轴

最浅显易懂的协方差与标准差
https://www.zhihu.com/question/20852004

有些汇总信息是通过参数对计算出来的

import pandas.io.data as web

import numpy as np

import os

import pandas as pd

from pandas import Series,DataFrame

import matplotlib.pyplot as plt


all_data={}
for ticker in ['GOOG','IBM']:
    all_data[ticker]=web.get_data_yahoo(ticker,'9/9/2016','12/12/2016')

# price=DataFrame({tic:data['Adg Close'] 
#                 for tic,data in all_data.items()})
volume=DataFrame({tic:data['Volume']
                for tic,data in all_data.items()})

# volume.tail()
returns=volume.pct_change()
returns.tail()

# px=web.DataReader('F-F_Research_Data_factors','famafrench')
# px.tail()

注意,有些数据源已经变更. 可以参考:http://stackoverflow.com/questions/15777021/pandas-io-data-get-data-yahoo-dji-retrieval-error

. GOOG IBM
Date
2016-12-06 0.180707 -0.178520
2016-12-07 0.072268 0.555102
2016-12-08 -0.172835 -0.255317
2016-12-09 0.229457 -0.035525
2016-12-12 0.177815 0.078024

ct_change 计算百分数变化

Series的corr方法用于计算两个Series中重叠的,非NA的,按索引对其的值得相关系数.
cov用于计算协方差

returns.GOOG.corr(returns.IBM)
0.6680384656565751

returns.GOOG.cov(returns.IBM)
0.12451587226637535

DataFrame的corr和cov方法将以DataFrame的形式返回完整的相关系数或者协方差矩阵.

returns.corr()
. GOOG IBM
GOOG 1.000000 0.668038
IBM 0.668038 1.000000
returns.cov()
. GOOG IBM
GOOG 0.224704 0.124516
IBM 0.124516 0.154609

利用DataFrame.corrwith方法可以计算其列或者行跟另一个Series后者DataFrame之间的相关系数.

目录
相关文章
|
1月前
|
数据采集 存储 数据挖掘
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第27天】在数据分析领域,Python的Pandas库因其强大的数据处理能力而备受青睐。本文介绍了Pandas在数据导入、清洗、转换、聚合、时间序列分析和数据合并等方面的高效技巧,帮助数据分析师快速处理复杂数据集,提高工作效率。
67 0
|
20天前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析和可视化
【10月更文挑战第42天】本文将介绍如何使用Python进行数据分析和可视化。我们将从数据导入、清洗、探索性分析、建模预测,以及结果的可视化展示等方面展开讲解。通过这篇文章,你将了解到Python在数据处理和分析中的强大功能,以及如何利用这些工具来提升你的工作效率。
|
28天前
|
数据处理 Python
在数据科学领域,Pandas和NumPy是每位数据科学家和分析师的必备工具
在数据科学领域,Pandas和NumPy是每位数据科学家和分析师的必备工具。本文通过问题解答形式,深入探讨Pandas与NumPy的高级操作技巧,如复杂数据筛选、分组聚合、数组优化及协同工作,结合实战演练,助你提升数据处理能力和工作效率。
39 5
|
29天前
|
机器学习/深度学习 数据采集 数据挖掘
解锁 Python 数据分析新境界:Pandas 与 NumPy 高级技巧深度剖析
Pandas 和 NumPy 是 Python 中不可或缺的数据处理和分析工具。本文通过实际案例深入剖析了 Pandas 的数据清洗、NumPy 的数组运算、结合两者进行数据分析和特征工程,以及 Pandas 的时间序列处理功能。这些高级技巧能够帮助我们更高效、准确地处理和分析数据,为决策提供支持。
40 2
|
1月前
|
存储 数据采集 数据处理
效率与精准并重:掌握Pandas与NumPy高级特性,赋能数据科学项目
在数据科学领域,Pandas和NumPy是Python生态中处理数据的核心库。Pandas以其强大的DataFrame和Series结构,提供灵活的数据操作能力,特别适合数据的标签化和结构化处理。NumPy则以其高效的ndarray结构,支持快速的数值计算和线性代数运算。掌握两者的高级特性,如Pandas的groupby()和pivot_table(),以及NumPy的广播和向量化运算,能够显著提升数据处理速度和分析精度,为项目成功奠定基础。
29 2
|
19天前
|
数据采集 数据可视化 数据挖掘
掌握Python数据分析,解锁数据驱动的决策能力
掌握Python数据分析,解锁数据驱动的决策能力
|
27天前
|
并行计算 数据挖掘 大数据
Python数据分析实战:利用Pandas处理大数据集
Python数据分析实战:利用Pandas处理大数据集
|
27天前
|
数据采集 数据可视化 数据挖掘
利用Python进行数据分析:Pandas库实战指南
利用Python进行数据分析:Pandas库实战指南
|
29天前
|
数据采集 数据可视化 数据挖掘
使用Python进行数据分析和可视化
【10月更文挑战第33天】本文将介绍如何使用Python编程语言进行数据分析和可视化。我们将从数据清洗开始,然后进行数据探索性分析,最后使用matplotlib和seaborn库进行数据可视化。通过阅读本文,你将学会如何运用Python进行数据处理和可视化展示。
|
3月前
|
机器学习/深度学习 数据处理 Python
从NumPy到Pandas:轻松转换Python数值库与数据处理利器
从NumPy到Pandas:轻松转换Python数值库与数据处理利器
88 0