EM 简单例子

简介: 一 理论: 简版:猜(E-step),反思(M-step),重复; 啰嗦版: 你知道一些东西(观察的到的数据), 你不知道一些东西(观察不到的),你很好奇,想知道点那些不了解的东西。怎么办呢,你就根据一些假设(parameter)先猜(E-step),把那些不知道的东西都猜出来,假装你全都知道了; 然后有了这些猜出来的数据,你反思一下,更新一下你的假设(parameter)



理论:
简版:猜(E-step),反思(M-step),重复;
啰嗦版:
你知道一些东西(观察的到的数据), 你不知道一些东西(观察不到的),你很好奇,想知道点那些不了解的东西。怎么办呢,你就根据一些假设(parameter)先猜(E-step),把那些不知道的东西都猜出来,假装你全都知道了; 然后有了这些猜出来的数据,你反思一下,更新一下你的假设(parameter), 让你观察到的数据更加可能(Maximize likelihood; M-stemp); 然后再猜,在反思,最后,你就得到了一个可以解释整个数据的假设了。

1. 注意,你猜的时候,要尽可能的猜遍所有情况,然后求期望(Expected);就是你不能仅仅猜一个个例,而是要猜出来整个宇宙;
2. 为什么要猜,因为反思的时候,知道全部的东西比较好。(就是P(X,Z)要比P(X)好优化一些。Z是hidden states)
3. 最后你得到什么了?你得到了一个可以解释数据的假设,可能有好多假设都能解释数据,可能别的假设更好。不过没关系,有总比没有强,知足吧。(你陷入到local minimum了)
====
实践:

背景:公司有很多领导=[A总,刘总,C总],同时有很多漂亮的女职员=[小甲,小章,小乙]。(请勿对号入座)你迫切的怀疑这些老总跟这些女职员有问题。为了科学的验证你的猜想,你进行了细致的观察。于是,

观察数据:
1)A总,小甲,小乙一起出门了;
2)刘总,小甲,小章一起出门了;
3)刘总,小章,小乙一起出门了;
4)C总,小乙一起出门了;

收集到了数据,你开始了神秘的EM计算:
初始化,你觉得三个老总一样帅,一样有钱,三个美女一样漂亮,每个人都可能跟每个人有关系。所以,每个老总跟每个女职员“有问题”的概率都是1/3;

这样,(E step)
1) A总跟小甲出去过了 1/2 * 1/3 = 1/6 次,跟小乙也出去了1/6次;(所谓的fractional count)
2)刘总跟小甲,小章也都出去了1/6次
3)刘总跟小乙,小章又出去了1/6次
4)C总跟小乙出去了1/3次

总计,A总跟小甲出去了1/6次,跟小乙也出去了1/6次 ; 刘总跟小甲,小乙出去了1/6次,跟小章出去了1/3次;C总跟小章出去了1/3次;

你开始跟新你的八卦了(M step),
A总跟小甲,小乙有问题的概率都是1/6 / (1/6 + 1/6) = 1/2;
刘总跟小甲,小乙有问题的概率是1/6 / (1/6+1/6+1/6+1/6) = 1/4; 跟小章有问题的概率是(1/6+1/6)/(1/6 * 4) = 1/2;
C总跟小乙有问题的概率是 1。

然后,你有开始根据最新的概率计算了;(E-step)
1)A总跟小甲出去了 1/2 * 1/2 = 1/4 次,跟小乙也出去 1/4 次;
2)刘总跟小甲出去了1/2 * 1/4 = 1/12 次, 跟小章出去了 1/2 * 1/2 = 1/4 次;
3)刘总跟小乙出去了1/2 * 1/4 = 1/12 次, 跟小章又出去了 1/2 * 1/2 = 1/4 次;
4)C总跟小乙出去了1次;

重新反思你的八卦(M-step):
A总跟小甲,小乙有问题的概率都是1/4/ (1/4 + 1/4) = 1/2;
B总跟小甲,小乙是 1/12 / (1/12 + 1/4 + 1/4 + 1/12) = 1/8 ; 跟小章是 3/4 ;
C总跟小乙的概率是1。

你继续计算,反思,总之,最后,你得到了真相!


越简单越直观的往往越震撼。

EM算法是个神奇的东西,
这次将利用它来解决简单的句子对齐问题,并得到双语翻译概率表


假设语料库为:
I laugh  我 笑
laugh loudly 大声地 笑

那么有英语词汇表}{I,laugh,loudly}
以及中文词汇表{我,笑,大声地}

最开始,我们并没有任何关于词汇间如何翻译的信息(也就是说,锅看不懂中文,更看不懂英文)
那么:
P(我|I)=1/3      P(笑|I)=1/3     P(大声地|I)=1/3
P(我|laugh)=1/3  P(笑|laugh)=1/3  P(大声地|laugh)=1/3
P(我|loudly)=1/3  P(笑|loudly)=1/3  P(大声地|loudly)=1/3

对于
I laugh  我 笑
laugh loudly 大声地 笑
有2种对齐方式:顺序(I对应我,laugh对应笑),反序(I对应笑,laugh对应我)
这样
P(顺序,我 笑|I laugh)= P(我|I)   P(笑|laugh)=1/3*1/3=1/9
P(反序,我 笑|I laugh)= P(笑|I)   P(我|laugh)=1/3*1/3=1/9
规则化后,有:
P(顺序,我 笑|I laugh)=1/2
P(反序,我 笑|I laugh) =1/2
同理,对于第二个句子对
P(顺序, 大声地 笑  | laughloudly  )=1/2
P(反序, 大声地 笑  | laughloudly  =1/2

貌似到此为止,我们什么都没干
因为对于  I laugh 我 笑来说,计算机认为顺序,反序对齐都一样,但作为我们人来说,由于对这两门语言有背景知识,可以一下就说,这明显是顺序对齐嘛。
同样,对于第二个句子对,也可以马上回答肯定是反序对齐。

不急,继续下去。
现在重新计算词汇对译概率
可得:
P(我|I)=1/2      P(笑|I)=1/2      P(大声地|I)=0
这个概率的得出步骤:
考虑 (我 I)这一对,他出现在( I laugh 我 笑 的)的顺序对齐中,而其概率为1/2(其实称为权重更确切)
(笑|I)出现在 Ilaugh  我 笑 的)的反序对齐中,而其概率为1/2
(大声地|I)没有出现。

所以,将上述步骤所得概率归一化后,
可得:
P(我|I)=1/2      P(笑|I)=1/2      P(大声地|I)=0
P(我|laugh)=1/4  P(笑|laugh)=1/2  P(大声地|laugh)=1/4
P(我|loudly)=0   P(笑|loudly)=1/2  P(大声地|loudly)=1/2

渐渐的,似乎这概率意思着laugh可以被翻译为笑。。。

再接着,重新计算各句对顺序反序概率
P(顺序,我 笑|I laugh)= P(我|I)   P(笑|laugh)=1/2*1/2=1/4
P(反序,我 笑|I laugh)= P(笑|I)   P(我|laugh)=1/2*1/4=1/8
P(顺序,  大声地 笑  |  laughloudly  )=1/8
P(反序,  大声地 笑  |  laughloudly  =1/4

归一后,
P(顺序,我 笑|I laugh)=2/3
P(反序,我 笑|I laugh)= 1/3
P(顺序,  大声地 笑  |  laughloudly  )= 1/3
P(反序,  大声地 笑  |  laughloudly  = 2/3

也就是说,现在计算机相信,第一个句子对更倾向于顺序对齐,第二个句子对更倾向于反序对齐,这与我们的直觉相符合。


目录
相关文章
|
4月前
|
编解码 前端开发
前端知识笔记(十九)———px,em,rem,vw,vh之间的区别
前端知识笔记(十九)———px,em,rem,vw,vh之间的区别
61 0
|
5月前
|
编解码
1rem、1em、1vh、1px各自代表的含义?
1rem、1em、1vh、1px各自代表的含义?
|
5月前
|
编解码 前端开发
css中单位px、pt、em和rem的区别
css中单位px、pt、em和rem的区别
|
6月前
|
Web App开发 编解码 前端开发
|
9月前
|
Web App开发 编解码 前端开发
什么是浏览器内核?px、em 和 rem 的区别?new 操作符具体干了什么?
通常所谓的浏览器内核也就是浏览器所采用的渲染引擎,渲染引擎决定了浏览器如何显示网页的内容以及页面的格式信息。
|
前端开发
细说 rem 与 em
细说 rem 与 em
细说 rem 与 em
|
前端开发
css calc() 的使用方法,里面包含bug
在做后台管理系统的时候吗,我们通常会发现,左侧的菜单需要出去顶部后自动布满整个屏幕,并且加上背景颜色。但是实现起来有的时候却是挺难受的。所以在这里我们就是用calc() 来使用。calc() 是css 里面的一个计算长度的公式。里面可以进行加减乘除。 但是用的不好的话,会发现没有作用。
css calc() 的使用方法,里面包含bug
|
编解码 前端开发
css中rem em vh px各自代表的含义
css中rem em vh px各自代表的含义
117 0
css中rem em vh px各自代表的含义
|
Web App开发
<span style="font-weight:normal;">其他请<a href="http://blog.csdn.net/odailidong/article/details/72943877">参考: App统计指标定义</a></span>
(一)流量统计   1. 独立用户数:在当前计算周期内,访问统计对象的不重复用户数。万瑞数据系统通过对用户所使用的浏览器赋予唯一标识来识别用户的身份。
782 0