看到那个Edward 了吗?对!其实它是个Python库

简介:

今天,谷歌联合Columbia University、Adobe(就是你们知道的那个Adobe)提出深度概率编程语言Edward,我就其发布Edward的专业论文,给大家介绍一下,这个秒天秒地秒空气的牛逼哄哄的新语言(框架)。

为什么开发Edward?

因为现在的概率编程语言啊,

Too Young!Too Simple!

原文是这样的:

Rather, most existing probabilistic programming languages treat the inference engine as a black box,abstracted away from the model. These cannot capture the recent advances in probabilistic inference that reuse the model’s representation.

就是因为如今的概率编程语言,把引擎设置为一个黑箱。

其实这是把难度降低了,毕竟我们绝大多数用Keras这类框架的人,根本不去在意这个问题。而我们这些玩弄Keras的怪蜀黍们的应对的策略也很奔放——直接把Keras的源代码撬开改!

某科技媒体上的文章,说Edward是深度概率编程语言,然而,官网是这样的:


也就是说...这...是Python库啊。。。

Python库啊。。。

至少现在看,确实是Python库的吧。。。

文档中提到,支持的模型:

Directed graphical models
Neural networks (via libraries such as Keras and TensorFlow Slim)
Conditionally specified undirected models
Bayesian nonparametrics and probabilistic programs

也就是支持

定向图模型
神经网络(通过 Keras 和 TensorFlow Slim 等库)
条件特定的无向模型
贝叶斯非参数和概率程序

其实我还是觉得,就神经网络而言,Keras的易用性真的是太棒了!

在这里提一下,想上Edward之前先看看自己的Tensorflow的版本,Tensorflow作为一个日新月异的深度学习框架,肯定有不少人表示——给老子上最新的!

所以。。。你们就要GG了。。。

我不是针对你,我是说所有想玩Edward的同时还追求Tensorflow的,都要把版本弄回来。。。

在arXiv的论文中提到:


他的效率高很多,举个例子就是:他做蒙特卡罗哈密顿方法,效率比别人高35倍

在Edward里,随机变量的地位很高,是类对象。

先科普一个常识,张量,就是Tensor,就是Tensorflow的那个Tensor,也就是多维数组。

另外,每个随机变量与张量相关联,其表示单个样本方法,例如以计算对数密度和该关联将随机变量嵌入到计算图形中,其中节点表示张量和边际上的操作,表示张量在它们之间通信的符号框架。

而这种设计有助于在计算图框架中开发概率程序,也是Edward堪称“语言”的地方吧。所有的计算都可以在图表上表示。这使得很容易组成具有复杂确定性结构的随机变量,比如说深层神经网络,一组不同的数学运算以及在同一框架上构建的第三方库。噢对了,这种的设计还能使随机变量的组合能够捕获复杂的随机结构。

举个例子:


随机变量是50维的,由随机张量参数化。 获取对象运行图形:它从生成过程模拟并输出50个元素的二进制向量。

现在来实操一番:


当然了,安装的方法也是熟悉的味道。。

pip install edward

首先,定一个小目标,比如弄50个小数据

我们把y设置为一个在x附近有一丢丢摆动的正弦值。


定义一个两层贝叶斯网络,用tanh来定义非线性的神经网络

可能画出来会比较直观一点




是吧,跟段子一般的简单。接下来我们从数据反怼出模型,用边分推理对权重和偏差指定正态近似。

在这里科普一下什么是变分推理:

变分推断是一类用于贝叶斯估计和机器学习领域中近似计算复杂(intractable)积分的技术,变分推断限制近似分布的类型,从而得到一种局部的最优,但具有确定解的近似后验分布。需要提一下的是,虽然都是通过抽取大量的样本估计真实的后验分布,但是变分推断和猛上之后的蒙特卡洛方法是有大大的区别的。

在Edward中的变分推理的实现方法是酱紫的:


既然提到了Monte Carlo嘛。。。

在Edward中的Monte Carlo的实现是这样的。。。


其中,T为样本数量。

好的,那么我们就来做一个:


定义tf.Variable允许变分因子的参数变化。

它们都被初始化为0.用softplus transformation,使标准偏差参数被调整为大于零。


Kullback-Leibler散度运行变分推理,以推断模型的给定数据的潜在变量。

科普时间到:

Kullback-Leibler散度也称为辨别信息,信息散度,信息增益,相对熵,KLIC,KL散度(我也不知道为什么名字那么的长啊长)。

它是在两个概率分布P和Q之间的差异的测量。在P和Q中不对称。P通常表示数据的“真实”分布,观察或精确计算的理论分布,而Q通常表示理论、模型、描述或近似。

我们就做个。。。1000次迭代吧?

最后,评价模型拟合水平。

贝叶斯神经网络定义了神经网络上的分布,因此我们可以执行图形检查,将模型打印出来,看看是不是和我们一开始定义的模型,也就是一个在余弦曲线上摆动有一定的摆动的图样。

显然,该模型真的已捕获观察域中x和y之间的余弦关系。

即,模型拟合通过。

原则上,就这么简单的通过了,但是Edward在安装的时候确实废了我不少心血,同时在调整模型的时候屡次GG,觉得。。。虽然它是个很棒的工具,从效率上来看(至少官方公布的效率,绝对是扛把子级别的)


原文发布时间为:2017-01-23 

本文作者:那只猫

本文来自云栖社区合作伙伴“Python中文社区”,了解相关信息可以关注“Python中文社区”微信公众号

相关文章
|
17天前
|
存储 人工智能 测试技术
如何使用LangChain的Python库结合DeepSeek进行多轮次对话?
本文介绍如何使用LangChain结合DeepSeek实现多轮对话,测开人员可借此自动生成测试用例,提升自动化测试效率。
212 125
如何使用LangChain的Python库结合DeepSeek进行多轮次对话?
|
10天前
|
监控 数据可视化 数据挖掘
Python Rich库使用指南:打造更美观的命令行应用
Rich库是Python的终端美化利器,支持彩色文本、智能表格、动态进度条和语法高亮,大幅提升命令行应用的可视化效果与用户体验。
56 0
|
2月前
|
存储 Web App开发 前端开发
Python + Requests库爬取动态Ajax分页数据
Python + Requests库爬取动态Ajax分页数据
|
5月前
|
JavaScript 前端开发 Java
通义灵码 Rules 库合集来了,覆盖Java、TypeScript、Python、Go、JavaScript 等
通义灵码新上的外挂 Project Rules 获得了开发者的一致好评:最小成本适配我的开发风格、相当把团队经验沉淀下来,是个很好功能……
1152 103
|
1月前
|
运维 Linux 开发者
Linux系统中使用Python的ping3库进行网络连通性测试
以上步骤展示了如何利用 Python 的 `ping3` 库来检测网络连通性,并且提供了基本错误处理方法以确保程序能够优雅地处理各种意外情形。通过简洁明快、易读易懂、实操性强等特点使得该方法非常适合开发者或系统管理员快速集成至自动化工具链之内进行日常运维任务之需求满足。
108 18
|
2月前
|
JSON 网络安全 数据格式
Python网络请求库requests使用详述
总结来说,`requests`库非常适用于需要快速、简易、可靠进行HTTP请求的应用场景,它的简洁性让开发者避免繁琐的网络代码而专注于交互逻辑本身。通过上述方式,你可以利用 `requests`处理大部分常见的HTTP请求需求。
309 51
|
1月前
|
机器学习/深度学习 API 异构计算
JAX快速上手:从NumPy到GPU加速的Python高性能计算库入门教程
JAX是Google开发的高性能数值计算库,旨在解决NumPy在现代计算需求下的局限性。它不仅兼容NumPy的API,还引入了自动微分、GPU/TPU加速和即时编译(JIT)等关键功能,显著提升了计算效率。JAX适用于机器学习、科学模拟等需要大规模计算和梯度优化的场景,为Python在高性能计算领域开辟了新路径。
174 0
JAX快速上手:从NumPy到GPU加速的Python高性能计算库入门教程
|
1月前
|
数据采集 存储 Web App开发
Python爬虫库性能与选型实战指南:从需求到落地的全链路解析
本文深入解析Python爬虫库的性能与选型策略,涵盖需求分析、技术评估与实战案例,助你构建高效稳定的数据采集系统。
249 0
|
1月前
|
存储 监控 安全
Python剪贴板监控实战:clipboard-monitor库的深度解析与扩展应用
本文介绍了基于Python的剪贴板监控技术,结合clipboard-monitor库实现高效、安全的数据追踪。内容涵盖技术选型、核心功能开发、性能优化及实战应用,适用于安全审计、自动化办公等场景,助力提升数据管理效率与安全性。
102 0

推荐镜像

更多