DataFrame.corr

分析的意义

相关性分析是统计学中的一种方法，用于评估两个或多个变量之间的线性关系强度和方向。在Pandas中，通过计算相关系数来实现这一分析。相关系数的值范围从-1到1，其中：

• 接近1的值表示强正相关，意味着一个变量增加，另一个变量也倾向于增加。
• 接近-1的值表示强负相关，意味着一个变量增加，另一个变量倾向于减少。
• 接近0的值表示没有线性相关性。

相关性分析的意义在于：

1. 识别关系：帮助识别变量之间的潜在关系，为进一步的数据分析和模型建立提供线索。
2. 特征选择：在构建预测模型时，相关性分析可以帮助选择最有影响力的特征。
3. 数据理解：增强对数据集内在结构的理解，发现可能的模式或异常。
4. 简化模型：通过识别并去除冗余特征，可以简化模型并提高其性能。

代码方式

在Pandas中，可以使用DataFrame.corr()方法来计算相关系数。以下是具体的步骤和示例代码：

步骤1: 准备数据

首先，你需要有一个Pandas DataFrame，其中包含了你想要分析的相关性的数据。

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
np.random.seed(0)
df = pd.DataFrame({
   
    'A': np.random.randn(100),
    'B': np.random.randn(100) + np.random.randn(100) * 0.5,
    'C': np.random.randn(100) * 2,
    'D': np.random.randn(100)
})

步骤2: 计算相关系数

使用corr()方法计算DataFrame中所有数值列的相关系数。

# 计算相关系数，默认使用 Pearson 方法
correlation_matrix = df.corr()
print(correlation_matrix)

步骤3: 选择不同的方法

你可以选择不同的方法来计算相关系数，比如'spearman'或'kendall'。

# 使用 Spearman 秩相关系数
spearman_corr = df.corr(method='spearman')
print(spearman_corr)

# 使用 Kendall Tau 相关系数
kendall_corr = df.corr(method='kendall')
print(kendall_corr)

步骤4: 设置最小观测值数量

你可以设置min_periods参数来指定计算相关系数时所需的最小观测值数量。

# 设置 min_periods=10，只有当列中有至少10个非空值时，才会计算相关系数
correlation_matrix_min_periods = df.corr(min_periods=10)
print(correlation_matrix_min_periods)