数据分享|R语言广义线性模型GLM:线性最小二乘、对数变换、泊松、二项式逻辑回归分析冰淇淋销售时间序列数据和模拟

简介: 数据分享|R语言广义线性模型GLM:线性最小二乘、对数变换、泊松、二项式逻辑回归分析冰淇淋销售时间序列数据和模拟

原文链接:http://tecdat.cn/?p=26301


线性模型是统计学的基础,但它的意义远不止用尺子在几个点上画一条线点击文末“阅读原文”获取完整代码数据


我认为以分布为中心的观点使 generalised linear models (GLM) 也更容易理解。这就是这篇文章的目的。

我将使用冰淇淋销售统计数据查看文末了解数据获取方式来说明不同的模型,从传统的线性最小二乘回归开始,到线性模型、对数变换线性模型,然后是广义线性模型,即泊松(log ) GLM 和二项式(逻辑)GLM。


数据


这是我将使用的示例数据集。它显示了在不同温度下销售的冰淇淋单位。正如预期的那样,更多的冰淇淋在更高的温度下出售。

basicPlot()

挑战


我想创建一个模型来预测在任何温度下销售的单位,即使在可用数据范围之外。

我特别感兴趣的是,当室外结冰时,我的模型在更极端的情况下会如何表现,比如温度下降到 0ºC 并且预测一个非常炎热的夏日在 35ºC。


线性最小二乘


我的第一种方法是用尺子在这些点上画一条直线,这样可以最大限度地减少点和线之间的平均距离。这基本上是一条线性最小二乘回归线:

lqd <- lsfit

abline

这很容易,而且看起来并非不合理。


线性回归

我相信观测值 yi 是从具有平均 μi 的正态(又名高斯)分布中得出的,这取决于温度 xi 和所有温度下的恒定方差 σ2。

在另一天,在相同温度下,我可能售出了不同数量的冰淇淋,但在相同温度下的许多天里,售出的冰淇淋的平均单位将趋向于 μi。

因此,使用以分布为中心的符号,我的模型如下所示:

或者,残差,即观察值和预测值之间的差异,遵循均值为 0 且方差为 σ2 的高斯分布:

此外,方程

我认为 yi 的期望值与基础分布的参数 μi 相同,而方差是恒定的。

以经典误差术语约定编写的相同模型如下所示:

我认为以概率分布为中心的约定更清楚地表明我的观察只是分布的一种实现。此外,它强调分布的参数是线性建模的。

为了在 R 中明确建模,我使用 glm 函数,将因变量分布指定为高斯分布,并将从分布的预期值到其参数的链接函数指定为恒等式。

这就是 GLM 全部内容。

尽管线性模型在观察到的温度范围内看起来不错,但在 0ºC 时没有多大意义。

截距为 -159,这意味着客户在冰冻天平均买 159 个单位的冰淇淋。

对数变换的线性回归

我可以先转换数据。理想情况下,我想确保转换后的数据只有正值。在这些情况下,我想到的第一个转换是对数。

因此,让我们以对数尺度对冰淇淋销售进行建模。因此,我的模型更改为:

这个模型意味着我相信销售额服从对数正态分布,yi∼log⁡N(μi,σ2),这意味着我认为较高的销售数字比较低的销售数字更有可能,因为对数正态分布是右偏的。

尽管模型在对数尺度上仍然是线性的,但我必须记住将预测转换回原始尺度(记住 E[log⁡(yi)]≠log⁡(E[yi])):

display(logn.mod)

Plot()

lines

legend


点击标题查阅往期内容


R语言用lme4多层次(混合效应)广义线性模型(GLM),逻辑回归分析教育留级调查数据


01

02

03

04


该图看起来比之前的线性模型好一点,它预测我在 0ºC 时平均会卖出 82 个冰淇淋:

exp(coef(lo.i.d)\[1\])

虽然这个模型更有意义,但似乎高估了在越来越低的温度下销售。

此外,这个模型和之前的线性模型还有另一个问题。

假设的模型分布生成实数,但我的销售统计数据是单位,因此总是整数。尽管售出的平均单位数量可能是实数,但从模型分布中抽取的任何数据都应该是整数。


泊松回归

计数数据的经典方法是泊松分布。

泊松分布只有一个参数,这里是 μi,这也是它的期望值。μi 的链接函数是对数,这意味着我必须将指数函数应用于线性模型才能恢复到原始比例。这是我的模型:

再说一遍,虽然我观察到的期望值是实数,但泊松分布只会产生整数,与实际销售额相符。

pos.md <- glm

display(poi.od)

Plot()

lines

这看起来很不错。系数的解释现在应该很清楚了。

从系数中我可以看出,0ºC 时,我预计会卖出 exp⁡(4.45)=94 冰淇淋,而温度每升高 1 度,预计销量会增加 exp⁡(0.076)−1=7.9% .

到现在为止还挺好。我的模型符合我的观察。此外,它不会预测负销售额,如果我使用上述模型给出的平均值从泊松分布进行模拟,我将始终只得到整数。

但是,我的模型还会预测,如果温度达到 32 摄氏度,我应该会卖出 1000 多个冰淇淋:

predict(pmod, newdata)

二项式回归

好的,让我这样思考这个问题:我有 800 个潜在销售量,我想了解在给定温度下销售的比例。

这表明成功销售数量为 800 次的二项式分布。二项式分布的关键参数是成功概率,即有人购买我的冰淇淋的概率作为温度的函数。

因此,我需要一条将销售统计数据映射到 0 到 100% 之间的概率的 S 形曲线。

一个典型的选择是逻辑函数:

有了这个,我的模型可以描述为:

mize <- 1000
icectunity <- marksize - icenits
display(b.glm)

binred <- predict(biglm, type="response")*marsize
basicPlot

随着温度越来越高,该模型将预测销售将达到市场饱和,而迄今为止所有其他模型都将预测越来越高的销售。

我可以使用逻辑函数的倒数来预测 0ºC 和 35ºC 时的销售额:

# 0摄氏度下的销售
plogis(coef(biglm)\[1\])*market.size

# 在35摄氏度下销售
plogis(coef(bnm)\[1\] +  coef(bglm)\[2\]\*35)\*maksie

概括


让我们将所有模型放在一张图中,温度范围为 0 到 35ºC。

p.lm <- predict
po.lm <- exp + 
                 0.5 * sumary(loim)$dispersion)
p.pis <- preict(poiso daaframe(tp=tm, type="response")
p.bn <- predict(biglm, datafrme(emptem), type="espns")*arke.ze 
baPlot

该图表显示了我的四个模型在 0ºC 到 35ºC 的温度范围内的预测。尽管线性模型在 10ºC 到 30ºC 之间看起来还可以,但它清楚地表明了它的局限性。对数变换的线性模型和泊松模型似乎给出了类似的预测,但将预测随着温度的升高,销售额将不断加速增长。我不相信这是有道理的,因为即使是最喜欢冰淇淋的人也只能在非常炎热的一天吃这么多冰淇淋。这就是为什么我会使用二项式模型来预测冰淇淋销量。


模拟


使用以分布为中心的视图来描述我的模型自然会导致模拟。如果模型很好,那么我应该无法从模拟中识别出真实数据。

在我所有的模型中,线性结构都是

或以矩阵表示法

其中 Ai,⋅=[1,xi] 和 v=[α,β],其中 A 是模型矩阵,v 是系数向量。

话虽如此,让我们模拟原始数据中测量的温度的每个分布的数据,并与实际销售单位进行比较。

n <- nrow(icre)
A <- modl.(uits ~ temp, data=cam)
set.seed(1234)
(rad.nal <- rnorm(n,
                     mean  A %*% cof(li.od),
                     sd = sqrt(sumary(liod)$esion)))

(ranlans <- rlnorm(n,
                         mnog = A %*% coef(.od),
                         sdlog =  sqrt(summary(loiod)$isin)))

(nd.ps <- rpois(n,
                   labd = exp(A %*% coef(piod))))

(ra<- rbinom(n,
                   size = meze,
                   prob = plogis(A %*% coef(b.m))))

bacPlot
cols <- adscor(c
points(iceram$tmp,  pch=19, col=cols\[1\])

该图表仅显示每个模型的一个模拟,但显示了一些有趣的方面。我不仅看到泊松和二项式模型生成整数,而高斯和对数变换的高斯预测实数,我注意到红点处对数正态分布的偏度为 19.4ºC。

此外,线性模型预测高于和低于平均值的可能性相同,在 16.4ºC 时,预测似乎有点低 - 可能是结果。

此外,对数转换和泊松模型在 25.1ºC 时的高销售额预测也不意外。

同样,二项式模型的模拟似乎是最接近现实的。


结论


我希望这篇文章能说明广义线性模型背后的直觉。

将模型拟合到数据需要的不仅仅是应用算法。特别值得思考的是:

  • 期望值的范围:它们是有界的还是范围从 -∞ 到 ∞?
  • 观察类型:我期望实数、整数还是比例?
  • 如何将分布参数与观测值联系起来
相关文章
|
2月前
|
数据采集 机器学习/深度学习 数据可视化
R语言从数据到决策:R语言在商业分析中的实践
【9月更文挑战第1天】R语言在商业分析中的应用广泛而深入,从数据收集、预处理、分析到预测模型构建和决策支持,R语言都提供了强大的工具和功能。通过学习和掌握R语言在商业分析中的实践应用,我们可以更好地利用数据驱动企业决策,提升企业的竞争力和盈利能力。未来,随着大数据和人工智能技术的不断发展,R语言在商业分析领域的应用将更加广泛和深入,为企业带来更多的机遇和挑战。
|
3月前
|
存储 数据采集 数据处理
R语言数据变换:使用tidyr包进行高效数据整形的探索
【8月更文挑战第29天】`tidyr`包为R语言的数据整形提供了强大的工具。通过`pivot_longer()`、`pivot_wider()`、`separate()`和`unite()`等函数,我们可以轻松地将数据从一种格式转换为另一种格式,以满足不同的分析需求。掌握这些函数的使用,将大大提高我们处理和分析数据的效率。
|
2月前
R语言基于表格文件的数据绘制具有多个系列的柱状图与直方图
【9月更文挑战第9天】在R语言中,利用`ggplot2`包可绘制多系列柱状图与直方图。首先读取数据文件`data.csv`,加载`ggplot2`包后,使用`ggplot`函数指定轴与填充颜色,并通过`geom_bar`或`geom_histogram`绘图。参数如`stat`, `position`, `alpha`等可根据需要调整,实现不同系列的图表展示。
|
2月前
|
数据采集 数据可视化 数据挖掘
R语言在金融数据分析中的深度应用:探索数据背后的市场智慧
【9月更文挑战第1天】R语言在金融数据分析中展现出了强大的功能和广泛的应用前景。通过丰富的数据处理函数、强大的统计分析功能和优秀的可视化效果,R语言能够帮助金融机构深入挖掘数据价值,洞察市场动态。未来,随着金融数据的不断积累和技术的不断进步,R语言在金融数据分析中的应用将更加广泛和深入。
|
3月前
|
数据采集 机器学习/深度学习 数据挖掘
R语言数据清洗:高效处理缺失值与重复数据的策略
【8月更文挑战第29天】处理缺失值和重复数据是数据清洗中的基础而重要的步骤。在R语言中,我们拥有多种工具和方法来有效地应对这些问题。通过识别、删除或插补缺失值,以及删除重复数据,我们可以提高数据集的质量和可靠性,为后续的数据分析和建模工作打下坚实的基础。 需要注意的是,处理缺失值和重复数据时,我们应根据实际情况和数据特性选择合适的方法,并在处理过程中保持谨慎,以避免引入新的偏差或错误。
|
3月前
|
数据采集 存储 数据可视化
R语言时间序列分析:处理与建模时间序列数据的深度探索
【8月更文挑战第31天】R语言作为一款功能强大的数据分析工具,为处理时间序列数据提供了丰富的函数和包。从数据读取、预处理、建模到可视化,R语言都提供了灵活且强大的解决方案。然而,时间序列数据的处理和分析是一个复杂的过程,需要结合具体的应用场景和需求来选择合适的方法和模型。希望本文能为读者在R语言中进行时间序列分析提供一些有益的参考和启示。
|
3月前
|
数据处理
R语言数据合并:掌握`merge`与`dplyr`中`join`的巧妙技巧
【8月更文挑战第29天】如果你已经在使用`dplyr`进行数据处理,那么推荐使用`dplyr::join`进行数据合并,因为它与`dplyr`的其他函数(如`filter()`、`select()`、`mutate()`等)无缝集成,能够提供更加流畅和一致的数据处理体验。如果你的代码中尚未使用`dplyr`,但想要尝试,那么`dplyr::join`将是一个很好的起点。
|
5天前
|
数据挖掘 C语言 C++
R语言是一种强大的统计分析工具,提供了丰富的函数和包用于时间序列分析。
【10月更文挑战第21天】时间序列分析是一种重要的数据分析方法,广泛应用于经济学、金融学、气象学、生态学等领域。R语言是一种强大的统计分析工具,提供了丰富的函数和包用于时间序列分析。本文将介绍使用R语言进行时间序列分析的基本概念、方法和实例,帮助读者掌握R语言在时间序列分析中的应用。
20 3
|
6月前
|
数据可视化 数据挖掘 API
【R语言实战】聚类分析及可视化
【R语言实战】聚类分析及可视化
|
6月前
|
机器学习/深度学习 数据可视化
R语言逻辑回归logistic模型ROC曲线可视化分析2例:麻醉剂用量影响、汽车购买行为2
R语言逻辑回归logistic模型ROC曲线可视化分析2例:麻醉剂用量影响、汽车购买行为

热门文章

最新文章