什么是马尔可夫过程？
让我们考虑一个物体以随机的方式移动。这个对象可以是足球、考虑下一步的棋手、汇率、股票价格、汽车运动、客户在队列中的位置、在路上移动的人、足球场上的运动员等等。
这些物体以随机的方式移动。因此，我们可以得出结论，物体在本质上是随机的。这些对象基本上代表了整个系统。有趣的是，所有这些系统都可以有马尔可夫性质。
什么是马尔可夫性质？
如果一个物体以一种随机的方式运动，并且它的运动是无记忆的，那么这个物体就具有马尔可夫性质。
作为一个例子，我们假设我们的目标对象是一个被一群足球运动员踢来踢去的足球。接下来足球可以在任何状态下进行。作为一个例子，它可以左右移动。如果我们的目标对象是一个公司的股票价格，那么它接下来可以得到任何数值，比如0.999，1，2，3等等。现在，我们在上面说马尔可夫性质是无记忆的。它意味着物体的未来运动只取决于它的当前状态。这是最重要的概念。
马尔可夫性质是无记忆的，这就引出了马尔可夫链的概念。
什么是马尔可夫链？
让我们考虑一个物体以随机的方式移动，对象（或系统）的状态可以更改。这种变化称为跃迁，每个跃迁都有与其他跃迁相关联的概率。
因此，这个数学系统可以从一种状态过渡到另一种状态，这种过渡是基于概率的。
系统是一个随机过程的例子。假设它可以处于状态A或状态B。我们还可以考虑，当对象处于状态A时，它保持在状态A的可能性为40%，转换为状态B的可能性为60%，如下所示：
示例状态机
需要注意的关键是进程具有马尔可夫性质，这意味着它是无记忆的。因此，未来转变的可能性并不依赖于过去的状态。它们只取决于当前的状态。这就是我们认为它没有记忆的原因。
马尔可夫链是一个具有马尔可夫性质的随机过程。
马尔可夫链表示物体的随机运动。它是随机变量的序列Xn，其中每个随机变量都有一个与其相关联的转移概率。每个序列也有一个初始概率分布π。
考虑一个可以处于三种状态之一的对象{A，B，C}。随后，这个对象从状态A开始，可以转到另一个状态B或状态C，依此类推。所有状态A、B、C等都在状态空间中（状态空间是所有可能状态的集合）。
马尔可夫链的组成
这就引出了马尔可夫链的两个主要组成部分：
- 状态空间
状态空间是随机系统可能处于的所有状态（位置）的集合。
它被表示为S。作为一个实例，S可以是{up，down}或{top，bottom}或{1.1，2.2，...}或{positive，negative，neutral}或{AA A，AA，A，B，D，E..}等。
需要注意的是，S是状态空间，它是对象可能处于的所有状态的集合。
- 转移概率
第二部分是转移概率。转移概率是一个概率表。表中的每个条目i，j都告诉我们对象从状态i转换到状态j的概率。
因此，所有需要等于或大于0的状态都有一个相关的概率。另外，概率值之和需要为1。
转移概率告诉我们物体可能处于的下一个状态及其相关概率。因此，对象的下一步移动仅依赖于其当前值。
假设我们有一个转移概率矩阵：
上表显示，如果目标对象处于"向上"状态，则它有60%的机会过渡到"向下"状态，40%的机会保持在"向上"状态。此外，如果目标对象处于"向下"状态，则有60%的可能性它将过渡到"向上"状态，40%的可能性它将保持在"向下"状态。
需要注意的关键是，只需要知道当前状态就可以确定未来状态的概率分布。任何其他历史信息都是毫无意义的。
马尔可夫链实例
本节将用一个易于理解的例子来解释马尔可夫链的概念。
让我们考虑一下，我们试图预测交易对手名单的评级。每个交易对手都有当前评级。例如，交易对手Alpha可以有等级A、B或C。因此，{A、B、C}是状态空间中的状态。
我们得到了一个转移概率矩阵。这个矩阵也称为随机矩阵。转移概率矩阵告诉我们交易对手转移到另一个评级的概率。
交易对手评级状态空间={A，B，C}
转换矩阵：
需要注意的是，概率行或列的总和是1。
因此，如果交易对手的评级为a，则有30%的机会将其转换为C级，50%的机会将其自身转换为B级，而它有20%的机会保持在a级。随机过程也有一个概率分布，我将很快解释。
这就引出了重要的定理：
如果一个马尔可夫链是{Xn}，并且有一个状态空间S，具有转移概率{pij}，其初始概率分布为{μi}，那么对于作为S元素的任何i，我们得到：
P（X1=i）=∑μₖPₖi（S的所有k元素之和）
因此，我们还应考虑交易对手的当前概率分布如下：
对于评级为a的交易对手，其评级为0.5
对于评级为B的交易对手，其评级为0.1
对于评级为C的交易对手，其评级为0.4。
马尔可夫链的概率分布可用行向量π表示，如下所示：
概率分布加起来是1。
有了这些信息，我们可以开始更好地理解这个过程。随着时间的推移，我们可以开始估计物体处于特定状态的概率。例如，对于下一个评级为C的交易对手，我们可以将所有状态的当前概率分布和转移概率的乘积相加：
P(X1=C) = (0.5*0.3) + (0.1*0.4) + (0.4*0.3) = 0.31
它告诉我们，大约31%的时候，这个交易对手在一个步骤后将获得C级评级。一旦我们有了这些信息，我们就可以开始以更高的置信度预测一个以随机移动的物体。
什么是平稳马尔可2夫链分布
这就带来了随机变量的稳定性。这是本文的最后一个重要部分。本节将介绍马尔可夫链的平稳分布问题。
假设我们的目标随机过程需要被估计，我们想了解随机过程的稳定性。
我们知道马尔可夫链具有概率分布。平稳这个词意味着主体是恒定的，我们知道我们的随机对象可以移动到任何可能的状态。这个例子中的主体是随机过程的概率分布，而不是随机对象本身。
因此，如果一个马尔可夫链的统计分布是平稳的，那么它意味着分布不会随着时间的推移而改变。
因此，如果转移矩阵是P，概率分布是π，那么马尔可夫链的平稳分布是π=π*P
这是一个非常重要的概念。它告诉我们，无论具有平稳概率分布的系统在开始时在哪里，随着时间的推移，系统在一个状态下花费的时间量将与其概率分布近似。
而且，链的概率总是和它开始的概率一样。
如果{Xₙ}是一个马尔可夫链，并且它具有平稳分布{πᵢ}，那么如果对于所有i都有P（Xₙ=i）=πᵢ，那么只要m>n，就有P（Xₘ=i）=πᵢ（对于所有i）。
这些信息可以帮助我们预测随机过程。
总结
本文解释了以下关键问题：
- 什么是马尔可夫过程？
- 什么是马尔可夫链？
- 马尔可夫链实例
- 什么是平稳尔可夫链分布？
