【PyTorch】SiLU激活函数

简介: 【PyTorch】SiLU激活函数

问题

方法

SiLU激活函数介绍

SiLU激活函数介绍

import torch
from torch import nn
class Net(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.conv = nn.Conv2d(3, 32, 3, padding=1, stride=1)
        self.silu = nn.SiLU()
    def forward(self, x):
        x = self.conv(x)
        out = self.silu(x)
        return out
if __name__ == '__main__':
    import netron
    device = 'cuda:0' if torch.cuda.is_available() else 'cpu'
    x = torch.randn(1, 3, 224, 224).to(device)
    net = Net()
    model_file = 'demo.pth'
    torch.onnx.export(net, x, model_file)
    netron.start(model_file)
目录
相关文章
|
6月前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习Pytorch-Tensor函数
深度学习Pytorch-Tensor函数
41 0
|
6天前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch基础之网络模块torch.nn中函数和模板类的使用详解(附源码)
PyTorch基础之网络模块torch.nn中函数和模板类的使用详解(附源码)
81 0
|
6天前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解(附源码)
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解(附源码)
79 0
|
6天前
|
机器学习/深度学习 算法 大数据
基于PyTorch对凸函数采用SGD算法优化实例(附源码)
基于PyTorch对凸函数采用SGD算法优化实例(附源码)
38 3
|
6天前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch, 16个超强转换函数总结 ! !
PyTorch, 16个超强转换函数总结 ! !
35 1
|
9月前
|
数据采集 机器学习/深度学习 PyTorch
Pytorch学习笔记(5):torch.nn---网络层介绍(卷积层、池化层、线性层、激活函数层)
Pytorch学习笔记(5):torch.nn---网络层介绍(卷积层、池化层、线性层、激活函数层)
177 0
Pytorch学习笔记(5):torch.nn---网络层介绍(卷积层、池化层、线性层、激活函数层)
|
9月前
|
并行计算 PyTorch 算法框架/工具
PyTorch中查看GPU使用情况以及一些重要函数
PyTorch中查看GPU使用情况以及一些重要函数
570 0
|
10月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch: 池化-线性-激活函数层
PyTorch: 池化-线性-激活函数层
145 0
|
11月前
|
PyTorch 算法框架/工具 索引
Pytorch函数view、permute、squeeze、usqueeze
Pytorch函数view、permute、squeeze、usqueeze
|
12月前
|
机器学习/深度学习 PyTorch 算法框架/工具
激活函数 | Squareplus性能比肩Softplus激活函数速度快6倍(附Pytorch实现)
激活函数 | Squareplus性能比肩Softplus激活函数速度快6倍(附Pytorch实现)
190 0

相关实验场景

更多