MXNet 核心接口-阿里云开发者社区

开发者社区> 刘新伟> 正文

MXNet 核心接口

简介: 介绍一些 MXNet 常用的 API
+关注继续查看
from mxnet import cpu, gpu, nd

Context

Context 是模型的数据放置的环境:

a = nd.array([2, 4], ctx=cpu())
a1 = nd.array([3, 7], ctx=gpu(0))
a.context, a1.context
(cpu(0), gpu(0))

当然,也可以在 CPU 与 GPU 之间进行复制。

a2 = a.copyto(a1)   # 要求 a 与 a1 有相同的 shape
a1 is a2, a2.context
(True, gpu(0))
a1  # a1 被修改了

[2. 4.]
<NDArray 2 @gpu(0)>

为了进行深度复制,需要使用:

a3 = nd.array([3, 9])
a4 = a3.as_in_context(gpu(0))
a3 is a4, a3.context, a4.context
(False, cpu(0), gpu(0))

Symbol

  • Symbol 的基本函数 - 定义计算图
  • Symbol.infer_type: 推导当前 Symbol 所依赖的所有 Symbol 数据类型
  • Symbol.infer_shape: 推导当前 Symbol 所依赖的所有 Symbol 的形状
  • Symbol.list_argments: 列出当前 Symbol 所用到的基本参数名称
  • Symbo.list_outputs: 列出当前 Symbol 的输出名称
  • Symbol.list_auxiliary_states: 列出当前 Symbol 的辅助参量名称
from mxnet import sym, symbol
X = sym.Variable('X')
out = sym.FullyConnected(data=X, name='fc1', num_hidden=1000)
out = symbol.BatchNorm(out, name='batchnorm')
out = sym.Activation(data=out, act_type='relu')
out = sym.FullyConnected(data=out, name='fc2', num_hidden=10)
arg_types, out_types, aux_types = out.infer_type(X='float32')
arg_types, out_types, aux_types
([numpy.float32,
  numpy.float32,
  numpy.float32,
  numpy.float32,
  numpy.float32,
  numpy.float32,
  numpy.float32],
 [numpy.float32],
 [numpy.float32, numpy.float32])
arg_shapes, out_shapes, aux_shapes = out.infer_shape(X=(100,784))
arg_shapes, out_shapes, aux_shapes
([(100, 784), (1000, 784), (1000,), (1000,), (1000,), (10, 1000), (10,)],
 [(100, 10)],
 [(1000,), (1000,)])
out.list_arguments()
['X',
 'fc1_weight',
 'fc1_bias',
 'batchnorm_gamma',
 'batchnorm_beta',
 'fc2_weight',
 'fc2_bias']
out.list_outputs()
['fc2_output']
out.list_auxiliary_states()
['batchnorm_moving_mean', 'batchnorm_moving_var']

Symbol 如何获取中间节点

在定义好一个网络之后,如何去获取任何一个节点的输出值对于深度神经网络的迁移来说非常重要,因为在使用时通常并不是自己从头开始训练一个网络,而是在别人训练好的网络基础上根据自己的问题进行微调。

X = sym.Variable('X')
fc1 = sym.FullyConnected(data=X, name='fc1', num_hidden=1000)
act = sym.Activation(data=fc1, act_type='relu')
fc2 = sym.FullyConnected(data=act, name='fc2', num_hidden=10)
net = sym.SoftmaxOutput(fc2, name="softmax")
net.get_internals()
<Symbol group [X, fc1_weight, fc1_bias, fc1, activation0, fc2_weight, fc2_bias, fc2, softmax_label, softmax]>
subnet = net.get_internals()['fc2_output']
subnet, subnet.list_arguments()
(<Symbol fc2>, ['X', 'fc1_weight', 'fc1_bias', 'fc2_weight', 'fc2_bias'])

首先使用 get_internals() 获取整个 Symbol 的子图,输出是整个内部节点的输出节点列表。然后可以通过索引获取网络的子图。在上面的例子中,我们获取网络层的倒数第二层 fc2,可以看到 fc2 也是一个 Symbol 对象。

fc2.list_arguments()
['X', 'fc1_weight', 'fc1_bias', 'fc2_weight', 'fc2_bias']

同理,有:

subnet = net.get_internals()['fc1_output']
subnet.list_arguments()
['X', 'fc1_weight', 'fc1_bias']

图的拼接

假如,我们拿到了别人训练好的网络参数文件和网络结构文件,我们可以固定网络图的前部分,在尾部添加额外的 Symbol 节点,但是在网络的头部替换输入节点较困难。

X = sym.Variable('X')
fc1 =  sym.FullyConnected(data=X, name='fc1', num_hidden=1000)
act =  sym.Activation(data=fc1, act_type='relu',name='act')
fc2 =  sym.FullyConnected(data=act, name='fc2', num_hidden=10)
net = sym.SoftmaxOutput(fc2,name="softmax")
net.save('model.symbol.json')

如上面所示,我们先定义好了一个 包含 10 个输出节点网络,然后将 Smbol 网络保存到 json 文件。接下来我们重新加载这个 json 文件,并且在网络结尾处重新修改网络层的输出为 20。

net = sym.load('model.symbol.json')
net.get_internals().list_outputs()
['X',
 'fc1_weight',
 'fc1_bias',
 'fc1_output',
 'act_output',
 'fc2_weight',
 'fc2_bias',
 'fc2_output',
 'softmax_label',
 'softmax_output']
newnet = net.get_internals()['act_output']
newnet = sym.FullyConnected(data=fc1,num_hidden=20,name ='fc2_new')
newnet = sym.SoftmaxOutput(data=newnet,name='softmax_new')
newnet.get_internals().list_outputs()
['X',
 'fc1_weight',
 'fc1_bias',
 'fc1_output',
 'fc2_new_weight',
 'fc2_new_bias',
 'fc2_new_output',
 'softmax_new_label',
 'softmax_new_output']

Metric

Metric 是用来衡量模型效果的接口
当我们定义好一个 Metric,比如说 Accuracy , 然后将 Accuracy 交给 Module 托管的时候,在每个 Epoch 结束时,会自动调用 update 方法,计算 正确预测的样本数量和总共的样本数量,进而调用父类中的 get 方法,计算出最后的 Acc。

from mxnet import metric

predicts = [nd.array([[0.3, 0.7], [0, 1.], [0.4, 0.6]])]
labels   = [nd.array([0, 1, 1])]
acc = metric.Accuracy()
acc.update(preds = predicts, labels = labels)
acc.get()
('accuracy', 0.6666666666666666)

Metric Hack 分析

如果我们想要定义 自己的 Metric 类,需要完成下面几步:

  • 继承 metric.EvalMetric 接口,重新定义 update 方法,update 传入参数分析:

    • labels : list 类型,每个元素对应 DataBatch 中的 label
    • predicts : list 类型, 是 Loss Symbol 中 label 外的输入,因此 list 中的元素个数与网络上 loss 的个数有关
  1. 函数需要完成:
  • 更新属性 sum_metricnum_inst 的值,mxnet 会调用 get 函数中的 self.sum_metric / self.num_inst 来计算当前 metric 的输出值。
  • 与一个特殊的 Callback 类有关: Speedometer 会自动打印出所有 metric 的值。

转载:https://www.imooc.com/article/278837

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10089 0
《你必须知道的.net》读书笔记 005——1.5 玩转接口
     接口,理解这个东东用了好长的时间,从 2004年开始,写分页控件的时候需要实现一个接口,在网上找了一个例子,照猫画虎般的弄出来了,居然能用,但是完全没有理解何为接口。有好几年的时间过去了,直到最近才算是真正的理解了一点接口。
795 0
Kubernetes容器运行时接口-CRI
Kubernetes提供了多种容器开放接口用于对接不同的后端来提供资源,如提供计算资源的容器运行时接口(Container Runtime Interface, CRI),提供网络资源的容器网络接口(Container Network Interface, CNI),提供提供存储资源的容器存储接口(Container Storage Interface, CSI)。
673 0
VB.NET 如何进行调用HTTP外部接口
直接上干货  Private Function POST(ByVal URL$, ByVal data$) Dim http On Error Resume Next http = CreateObject("WinHttp.
1207 0
Kubernetes容器运行时接口-CRI
Kubernetes提供了多种容器开放接口用于对接不同的后端来提供资源,如提供计算资源的容器运行时接口(Container Runtime Interface, CRI),提供网络资源的容器网络接口(Container Network Interface, CNI),提供提供存储资源的容器存储接口(Container Storage Interface, CSI)。这篇作为这系列的开篇,主要介绍了kubelet的CRI接口实现。
434 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13892 0
Spring Cloud Netflix Ribbon核心接口
Spring Cloud Netflix Ribbon核心接口 LoadBalancerClient主要职责 转化URI:将含应用名称URI转化成具体主机+端口形式 选择服务实例:通过负载算法,选择指定服务中的一台机器实例 请求执行回调:针对选择后服务实例,执行具体的请求回调操作默认实现:Rib.
1616 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7365 0
+关注
刘新伟
自学 python,MXNet,Keras,Tensorflow 博客园:http://www.cnblogs.com/q735613050/ 慕课网:https://www.imooc.com/u/546
109
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载