python中Copula在多元联合分布建模可视化2实例合集|附数据代码

简介: python中Copula在多元联合分布建模可视化2实例合集|附数据代码

Copula是一个用于描述多个随机变量之间相关性的函数,它将这些变量的联合分布与其边缘分布连接起来。Copula函数由Sklar定理所定义,该定理指出,对于N个随机变量的联合分布,可以将其分解为这N个变量各自的边缘分布和一个Copula函数点击文末“阅读原文”获取完整代码数据


相关视频

image.png


这样,变量的随机性和耦合性就被分离开来,其中随机变量各自的随机性由边缘分布描述,而随机变量之间的耦合特性则由Copula函数描述。

本文旨在通过一系列实例,展示如何在Python中使用Copula进行多元联合分布建模和可视化。我们将从简单的二元Copula模型开始,逐步过渡到更复杂的多元模型,并介绍如何使用不同的Copula类型和参数来适应不同的数据特性。

1.Copula在多元联合分布建模

Copula函数在金融风险管理、精算学和统计推断等领域有广泛应用。它几乎包含了随机变量所有的相依信息,因此对于分析变量之间的相关关系非常有用,尤其是在传统的线性相关系数可能无法准确度量相关关系的情况下。

具体来说,Copula函数是一个从[0,1]^n到[0,1]的映射,用于链接n个随机变量的边缘累积分布函数。它用于描述多元随机变量之间的依赖关系,这些关系可以是正相关、负相关或无相关。


在建模系统时,经常会遇到涉及多个参数的情况。这些参数中的每一个都可以用给定的概率密度函数(PDF)来描述。如果想要生成一组新的参数值,就需要从这些分布(也称为边缘分布)中进行抽样。主要有两种情况: (i)  PDF是独立的; (ii)  存在依赖关系。一种建模依赖关系的方法是使用copula




Kaizong Ye

拓端分析师


从copula中抽样¶

让我们用一个双变量示例来说明,并假设首先我们有一个先验知识,并知道如何对两个变量之间的依赖关系进行建模。

在这种情况下,我们使用Gumbel copula并固定其超参数theta=2。我们可以可视化其二维PDF。

_ = copulot_pdf()  # 可视化

ec490eb74b7df554429fcfa4dbfafbdd.png

并且我们可以从该PDF中进行抽样。

rng = np.random.default_rng(seed)"

3be0982e66957299540b39bc80d8cc05.png

现在让我们再回到这两个变量上来。在这种情况下,我们考虑它们是服从伽马分布和正态分布的。如果它们彼此独立,我们可以单独从每个PDF中进行抽样。这里我们使用一个方便的类来执行相同的操作。


可重复性¶

从copula生成可重复的随机值需要显式地设置seed参数。seed接受一个已初始化的NumPy GeneratorRandomState,或者任何np.random.default_rng可以接受的参数,例如一个整数或一串整数。本例中使用的是一个整数。

直接暴露在np.random分布中的单例RandomState不会被使用,设置np.random.seed对生成的值没有影响。

_ = h.set_labels("X1", "X2", fontsize=16)

94f7c009a8c3700547b4ee437d88f269.png 现在,我们已经使用copula表达了变量之间的依赖关系,我们可以使用同一个方便的类从这个copula中抽样得到一组新的观测值。

# 使用一个已初始化的Generator对象  
  h = snjoind="scatter")

2f42c7ad220a782338a76e41687f9316.png

这里有两点需要注意。 (i)  就像独立情况一样,边缘分布正确地显示了伽马分布和正态分布; (ii)  两个变量之间的依赖关系可见。

估计copula参数¶

现在,假设我们已经有了实验数据,并且知道可以使用Gumbel copula来表达依赖关系。但是我们不知道copula的超参数值是多少。在这种情况下,我们可以估计这个值。

我们将使用刚才生成的样本,因为我们已经知道应该得到的超参数值:theta=2

fit_carm(sample)
print(theta)

7f34c1c696f9ec4bcb7003f9c2371509.png

我们可以看到,估计的超参数值接近之前设定的值。

2.python中的copula:Frank、Clayton和Gumbel copula模型估计与可视化

这篇文章中即将出现的大部分内容都会用Jupyter Notebooks来构建。

软件

scikit-learn或scipy中没有明确的copula包的实现。

2D数据的Frank、Clayton和Gumbel copula

测试

第一个样本(x)是从一个β分布中产生的,(y)是从一个对数正态中产生的。β分布的支持度是有限的,而对数正态的右侧支持度是无穷大的。对数的一个有趣的属性。两个边际都被转换到了单位范围。

我们对样本x和y拟合了三个族(Frank, Clayton, Gumbel)的copulas,然后从拟合的copulas中提取了一些样本,并将采样输出与原始样本绘制在一起,以观察它们之间的比较。

#等同于ppf,但直接从数据中构建 
    sortedvar=np.sort(var)    
    #绘制
    for index,family in enumerate(['Frank', 'clayton', 'gumbel']):
            #获得伪观测值
            u,v = copula_f.generate_uv(howmany)
        #画出伪观测值
        axs[index][0].scatter(u,v,marker='o',alpha=0.7)
      
    plt.show()
#总样本与伪观测值的对比
sz=300
loc=0.0 #对大多数分布来说是需要的
sc=0.5
y=lognorm.rvs(sc,loc=loc, size=sz)

独立(不相关)数据

我们将从β分布中抽取(x)的样本,从对数正态中抽取(y)的样本。这些样本是伪独立的(我们知道,如果你用计算机来抽取样本,就不会有真正的独立,但好在是合理的独立)。

#不相关的数据:一个β值(x)和一个对数正态(y)。
a= 0.45#2. #alpha
b=0.25#5. #beta
#画出不相关的x和y 
plt.plot(t, beta.pdf(t,a,b), lw=5, alpha=0.6, label='x:beta')
#绘制由不相关的x和y建立的共线性图
title='来自不相关数据的共线性 x: beta, alpha {} beta {}, y: lognormal, mu {}, sigma dPlot(title,x,y,pseudoobs)

3c5ba1d9d381c2fe6977caa7aee45055.png

c227596f9c3a34735f54e967e2c23c4d.jpg

dcf4cad260ee8b33756077d3e259ec37.jpg

583ed2ec3dd4b032af7ce5efb63dc9b9.jpg

相依性(相关)数据

自变量将是一个对数正态(y),变量(x)取决于(y),关系如下。初始值为1(独立)。然后,对于每一个点i, 如果 710fab2b60cf4d9bae46916b2820d74f.png , 那么 515339c5aabf6baeb252915025069b21.png , 其中c是从1的分数列表中统一选择的,否则, 3021452c3a0e50a5f9cf803bf20f7f64.png .

#相关数据:一个对数正态(y)。
#画出相关数据
 np.linspace(0, lognorm.ppf(0.99, sc), sz)
plt.plot(t, gkxx.pdf(t), lw=5, alpha=0.6,


2e0fa5f5f97ed4ec6b4239e7f5ff160e.png


c19b4983e4a31b1932bbe7dd4534dd5c.jpg

f4bf0274c0b74f3e19b253ad64526437.jpg

cfb02cb5b151482d9831b0d5f3ed6432.jpg

拟合copula参数

没有内置的方法来计算archimedean copulas的参数,也没有椭圆elliptic copulas的方法。但是可以自己实现。选择将一些参数拟合到一个scipy分布上,然后在一些样本上使用该函数的CDF方法,或者用一个经验CDF工作。这两种方法在笔记本中都有实现。

因此,你必须自己写代码来为archimedean获取参数,将变量转化为统一的边际分布,并对copula进行实际操作。它是相当灵活的。

#用于拟合copula参数的方法 
# === Frank参数拟合
    """
    对这个函数的优化将给出参数 
    """
   #一阶debye函数的积分值    int_debye = lambda t: t/(npexp(t)-1.) 
    debye = lambda alphaquad(int_debye , 
                               alpha
                              )[0]/alpha
    diff = (1.-kTau)/4.0-(debye(-alpha)-1.)/alpha
#================
#clayton 参数方法
def Clayton(kTau):
    try:
        return 2.*kTau/(1.-kTau)
 
#Gumbel参数方法
def Gumbel(kTau):
    try:
        return 1./(1.-kTau)
#================
#copula生成
    #得到协方差矩阵P
    #x1=norm.ppf(x,loc=0,scale=1)
    #y1=norm.ppf(y,loc=0,scale=1)
    #return norm.cdf((x1,y1),loc=0,scale=P)
#================
#copula绘图
    fig = pylab.figure()
    ax = Axes3D(fig)
        ax.text2D(0.05, 0.95, label, transform=ax.transAxes)
        ax.set_xlabel('X: {}'.format(xlabel))
        ax.set_ylabel('Y: {}'.format(ylabel))
    #sample是一个来自U,V的索引列表。这样,我们就不会绘制整个copula曲线。
    if plot:
  
        print "绘制copula {}的样本".format(copulaName)
        returnable[copulaName]=copulapoints
        if plot:
            zeFigure=plot3d(U[样本],V[样本],copulapoints[样本], label=copulaName,

生成一些输入数据

在这个例子中,我们使用的是与之前相同的分布,探索copula 。如果你想把这段代码改编成你自己的真实数据,。

t = np.linspace(0, lognorm.ppf(0.99, sc), sz)
#从一些df中抽取一些样本
X=beta.rvs(a,b,size=sz)
Y=lognorm.rvs(sc,size=sz)
#通过对样本中的数值应用CDF来实现边缘分布
U=beta.cdf(X,a,b)
V=lognorm.cdf(Y,sc)
#画出它们直观地检查独立性
plt.scatter(U,V,marker='o',alpha=0.7)
plt.show()


eda269c756849f016b60212d3c16d2ed.png

0817bf071c3528ddc811d66a2117f6c7.png


可视化Copulas

没有直接的构造函数用于高斯或tCopulas,可以为椭圆Copulas(Elliptic Copulas)建立一个更通用的函数。

Samples=700
#选择用于抽样的copula指数
np.random.choice(range(len(U)),Samples)
Plot(U,V)

f80a9e47162c6cea2d2bfd70101879f1.png

acc1b63624c8612119905a332c177ec6.png


<IPython.core.display.Javascript object>

d77aa929f89d5ed2ddfcb85ef83810c6.png

4ed92bda9d115c8e466a2c4bdfd91129.png

1a5dc3b0ca6c4cc77b549d5f89b063f0.png

Frechét-Höffding边界可视化

根据定理,我们将copula画在一起,得到了Frechét-Höffding边界。

#建立边界为copula的区域
plot_trisurf(U[样本],V[样本],copula['min'][样本],
          c='red') #上限
plot_trisurf(U[样本],V[样本],copula['max'][样本],
           c='green') #下限


1fe56aa57ff85cd56e92f00e3a1d1b4e.png

相关文章
|
2天前
|
缓存 监控 测试技术
Python中的装饰器:功能扩展与代码复用的利器###
本文深入探讨了Python中装饰器的概念、实现机制及其在实际开发中的应用价值。通过生动的实例和详尽的解释,文章展示了装饰器如何增强函数功能、提升代码可读性和维护性,并鼓励读者在项目中灵活运用这一强大的语言特性。 ###
|
1天前
|
Python
探索Python中的装饰器:简化代码,提升效率
【10月更文挑战第39天】在编程的世界中,我们总是在寻找使代码更简洁、更高效的方法。Python的装饰器提供了一种强大的工具,能够让我们做到这一点。本文将深入探讨装饰器的基本概念,展示如何通过它们来增强函数的功能,同时保持代码的整洁性。我们将从基础开始,逐步深入到装饰器的高级用法,让你了解如何利用这一特性来优化你的Python代码。准备好让你的代码变得更加优雅和强大了吗?让我们开始吧!
7 1
|
2天前
|
存储 缓存 监控
掌握Python装饰器:提升代码复用性与可读性的利器
在本文中,我们将深入探讨Python装饰器的概念、工作原理以及如何有效地应用它们来增强代码的可读性和复用性。不同于传统的函数调用,装饰器提供了一种优雅的方式来修改或扩展函数的行为,而无需直接修改原始函数代码。通过实际示例和应用场景分析,本文旨在帮助读者理解装饰器的实用性,并鼓励在日常编程实践中灵活运用这一强大特性。
|
4天前
|
机器学习/深度学习 数据采集 人工智能
探索机器学习:从理论到Python代码实践
【10月更文挑战第36天】本文将深入浅出地介绍机器学习的基本概念、主要算法及其在Python中的实现。我们将通过实际案例,展示如何使用scikit-learn库进行数据预处理、模型选择和参数调优。无论你是初学者还是有一定基础的开发者,都能从中获得启发和实践指导。
11 2
|
2月前
|
人工智能 数据挖掘 数据处理
揭秘Python编程之美:从基础到进阶的代码实践之旅
【9月更文挑战第14天】本文将带领读者深入探索Python编程语言的魅力所在。通过简明扼要的示例,我们将揭示Python如何简化复杂问题,提升编程效率。无论你是初学者还是有一定经验的开发者,这篇文章都将为你打开一扇通往高效编码世界的大门。让我们开始这段充满智慧和乐趣的Python编程之旅吧!
|
6月前
|
算法 编译器 开发者
如何提高Python代码的性能:优化技巧与实践
本文探讨了如何提高Python代码的性能,重点介绍了一些优化技巧与实践方法。通过使用适当的数据结构、算法和编程范式,以及利用Python内置的性能优化工具,可以有效地提升Python程序的执行效率,从而提升整体应用性能。本文将针对不同场景和需求,分享一些实用的优化技巧,并通过示例代码和性能测试结果加以说明。
|
1月前
|
大数据 Python
Python 高级编程:深入探索高级代码实践
本文深入探讨了Python的四大高级特性:装饰器、生成器、上下文管理器及并发与并行编程。通过装饰器,我们能够在不改动原函数的基础上增添功能;生成器允许按需生成值,优化处理大数据;上下文管理器确保资源被妥善管理和释放;多线程等技术则助力高效完成并发任务。本文通过具体代码实例详细解析这些特性的应用方法,帮助读者提升Python编程水平。
83 5
|
3月前
|
机器学习/深度学习 Python
时间序列特征提取:从理论到Python代码实践
时间序列是一种特殊的存在。这意味着你对表格数据或图像进行的许多转换/操作/处理技术对于时间序列来说可能根本不起作用。
57 1
时间序列特征提取:从理论到Python代码实践
|
1月前
|
数据采集 机器学习/深度学习 数据处理
Python编程之魔法:从基础到进阶的代码实践
在编程的世界里,Python以其简洁和易读性而闻名。本文将通过一系列精选的代码示例,引导你从Python的基础语法出发,逐步探索更深层次的应用,包括数据处理、网络爬虫、自动化脚本以及机器学习模型的构建。每个例子都将是一次新的发现,带你领略Python编程的魅力。无论你是初学者还是希望提升技能的开发者,这些示例都将是你的宝贵财富。让我们开始这段Python编程之旅,一起揭开它的魔法面纱。
|
2月前
|
机器学习/深度学习 人工智能 算法
探索人工智能:机器学习的基本原理与Python代码实践
【9月更文挑战第6天】本文深入探讨了人工智能领域中的机器学习技术,旨在通过简明的语言和实际的编码示例,为初学者提供一条清晰的学习路径。文章不仅阐述了机器学习的基本概念、主要算法及其应用场景,还通过Python语言展示了如何实现一个简单的线性回归模型。此外,本文还讨论了机器学习面临的挑战和未来发展趋势,以期激发读者对这一前沿技术的兴趣和思考。