PyTorch与Paddle映射表

简介: PyTorch与Paddle映射表

 本文档基于X2Paddle研发过程梳理了 PyTorch(v1.8.1)常用 API 与 PaddlePaddle 2.0.0 API 对应关系与差异分析。通过本文档,帮助开发者快速迁移 PyTorch 使用经验,完成模型的开发与调优。

X2Paddle 介绍

X2Paddle 致力于帮助其它主流深度学习框架开发者快速迁移至飞桨框架,目前提供三大功能

    • 预测模型转换
      • 支持 Caffe/TensorFlow/ONNX/PyTorch 的模型一键转为飞桨的预测模型,并使用 PaddleInference/PaddleLite 进行 CPU/GPU/Arm 等设备的部署
        • PyTorch 训练项目转换
          • 支持 PyTorch 项目 Python 代码(包括训练、预测)一键转为基于飞桨框架的项目代码,帮助开发者快速迁移项目,并可享受 AI Studio 平台对于飞桨框架提供的海量免费计算资源
            • API 映射文档
              • 详细的 API 文档对比分析,帮助开发者快速从 PyTorch 框架的使用迁移至飞桨框架的使用,大大降低学习成本

                详细的项目信息与使用方法参考 X2Paddle 在 GitHub 上的开源项目: https://github.com/PaddlePaddle/X2Paddle

                API 映射表目录

                类别 简介
                基础操作类 主要为torch.XX类 API
                组网类 主要为torch.nn.XX类下组网相关的 API
                Loss 类 主要为torch.nn.XX类下 loss 相关的 API
                工具类 主要为torch.nn.XX类下分布式相关的 API 和torch.utils.XX类 API
                视觉类 主要为torchvision.XX类 API

                基础操作类 API 映射列表

                梳理了基础操作的 PyTorch-PaddlePaddle API 映射列表,主要包括了构造 Tensor、数学计算、逻辑计算相关的 API。

                PyTorch API PaddlePaddle API 备注
                1 torch.set_default_dtype paddle.set_default_dtype 功能一致
                2 torch.get_default_dtype paddle.get_default_dtype 功能一致
                3 torch.numel paddle.numel 功能一致,参数名不一致
                4 torch.tensor paddle.to_tensor 差异对比
                5 torch.from_numpy paddle.to_tensor 差异对比
                6 torch.zeros paddle.zeros 差异对比
                7 torch.zeros_like paddle.zeros_like 差异对比
                8 torch.ones paddle.ones 差异对比
                9 torch.ones_like paddle.ones_like 差异对比
                10 torch.empty paddle.empty 差异对比
                11 torch.empty_like paddle.empty_like 差异对比
                12 torch.full paddle.full 功能一致,参数不一致
                13 torch.full_like paddle.full_like 差异对比
                14 torch.arange paddle.arange 功能一致,参数不一致
                15 torch.range paddle.arange 功能一致,参数不一致
                16 torch.linspace paddle.linspace 功能一致,参数不一致
                17 torch.eye paddle.eye 功能一致,参数不一致
                18 torch.cat paddle.concat 功能一致,参数名不一致
                19 torch.chunk paddle.chunk 功能一致,参数名不一致
                20 torch.gather paddle.gather 差异对比
                21 torch.index_select paddle.index_select 功能一致,参数名不一致
                22 torch.masked_select paddle.masked_select 功能一致,参数名不一致
                23 torch.narrow paddle.slice 差异对比
                24 torch.nonzero paddle.nonzero 功能一致,参数名不一致
                25 torch.reshape paddle.reshape 功能一致,参数名不一致
                26 torch.split paddle.split 功能一致,参数名不一致
                27 torch.squeeze paddle.squeeze 功能一致,参数名不一致
                28 torch.stack paddle.stack 功能一致,参数名不一致
                29 torch.t paddle.t 功能一致,参数名不一致
                30 torch.transpose paddle.transpose 差异对比
                31 torch.unbind paddle.unbind 功能一致,参数名不一致
                32 torch.unsqueeze paddle.unsqueeze 功能一致,参数名不一致
                33 torch.where paddle.where 功能一致
                34 torch.bernoulli paddle.bernoulli 功能一致,参数不一致
                35 torch.multinomial paddle.multinomial 功能一致,参数不一致
                36 torch.normal paddle.normal 差异对比
                37 torch.rand paddle.rand 差异对比
                38 torch.randint paddle.randint 功能一致,参数不一致
                39 torch.randn paddle.randn 差异对比
                40 torch.randperm paddle.randperm 功能一致,参数不一致
                41 torch.save paddle.save 差异对比
                42 torch.load paddle.load 差异对比
                43 torch.abs paddle.abs 功能一致,PaddlePaddle 未定义out参数代表输出 Tensor
                44 torch.absolute paddle.abs 功能一致,PaddlePaddle 未定义out参数代表输出 Tensor
                45 torch.acos paddle.acos 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                46 torch.arccos paddle.acos 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                47 torch.add padle.add 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                48 torch.asin paddle.asin 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                49 torch.arcsin paddle.asin 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                50 torch.atan paddle.atan 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                51 torch.arctan paddle.atan 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                52 torch.ceil paddle.ceil 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                53 torch.clamp paddle.clip 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                54 torch.conj paddle.conj 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                55 torch.cos paddle.cos 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                56 torch.cosh paddle.cosh 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                57 torch.div paddle.divide 差异对比
                58 torch.divide paddle.divide 差异对比
                59 torch.erf paddle.erf 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                60 torch.exp paddle.exp 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                61 torch.floor paddle.floor 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                62 torch.floor_divide paddle.floor_divide 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                63 torch.fmod paddle.mod 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                64 torch.log paddle.log 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                65 torch.log10 paddle.log10 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                66 torch.log1p paddle.log1p 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                67 torch.log2 paddle.log2 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                68 torch.logical_and paddle.logical_and 功能一致,参数名不一致
                69 torch.logical_not paddle.logical_not 功能一致,参数名不一致
                70 torch.logical_or paddle.logical_or 功能一致,参数名不一致
                71 torch.logical_xor paddle.logical_xor 功能一致,参数名不一致
                72 torch.mul paddle.multiply 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                73 torch.multiply paddle.multiply 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                74 torch.pow paddle.pow 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                75 torch.real paddle.real 功能一致,参数名不一致
                76 torch.reciprocal paddle.reciprocal 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                77 torch.remainder paddle.mod 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                78 torch.round paddle.round 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                79 torch.rsqrt paddle.rsqrt 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                80 torch.sign paddle.sign 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                81 torch.sin paddle.sin 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                82 torch.sinh paddle.sinh 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                83 torch.sqrt paddle.sqrt 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                84 torch.argmax paddle.argmax 功能一致,参数名不一致
                85 torch.argmin paddle.argmin 功能一致,参数名不一致
                86 torch.max paddle.max 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor
                87 torch.min paddle.min 功能一致,参数名不一致,PaddlePaddle 未定义out参数代表输出 Tensor

                组网类 API 映射列表

                梳理了与构造网络相关的 PyTorch-PaddlePaddle API 映射列表。

                序号 PyTorch API PaddlePaddle API 备注
                1 torch.nn.Conv1d paddle.nn.Conv1D 差异对比
                2 torch.nn.Conv2d paddle.nn.Conv2D 差异对比
                3 torch.nn.Conv3d paddle.nn.Conv3D 差异对比
                4 torch.nn.ConvTranspose1d paddle.nn.Conv1DTranspose 差异对比
                5 torch.nn.ConvTranspose2d paddle.nn.Conv2DTranspose 差异对比
                6 torch.nn.ConvTranspose3d paddle.nn.Conv3DTranspose 差异对比
                7 torch.nn.Linear paddle.nn.Linear 差异对比
                8 torch.nn.MaxPool1d paddle.nn.MaxPool1D 差异对比
                9 torch.nn.MaxPool2d paddle.nn.MaxPool2D 差异对比
                10 torch.nn.MaxPool3d paddle.nn.MaxPool3D 差异对比
                11 torch.nn.MaxUnpool1d 无对应实现 组合实现
                12 torch.nn.MaxUnpool2d 无对应实现 组合实现
                13 torch.nn.MaxUnpool3d 无对应实现 组合实现
                14 torch.nn.AvgPool1d paddle.nn.AvgPool1D 差异对比
                15 torch.nn.AvgPool2d paddle.nn.AvgPool2D 差异对比
                16 torch.nn.AvgPool3d paddle.nn.AvgPool3D 差异对比
                17 torch.nn.AdaptiveMaxPool1d paddle.nn.AdaptiveMaxPool1D 功能一致,参数名不一致
                18 torch.nn.AdaptiveMaxPool2d paddle.nn.AdaptiveMaxPool2D 功能一致,参数名不一致
                19 torch.nn.AdaptiveMaxPool3d paddle.nn.AdaptiveMaxPool3D 功能一致,参数名不一致
                20 torch.nn.AdaptiveAvgPool1d paddle.nn.AdaptiveAvgPool1D 功能一致,参数名不一致
                21 torch.nn.AdaptiveAvgPool2d paddle.nn.AdaptiveAvgPool2D 功能一致,参数名不一致
                22 torch.nn.AdaptiveAvgPool3d paddle.nn.AdaptiveAvgPool3D 功能一致,参数名不一致
                23 torch.nn.ConstantPad1d paddle.nn.Pad1D 差异对比
                24 torch.nn.ConstantPad2d paddle.nn.Pad2D 差异对比
                25 torch.nn.ConstantPad3d paddle.nn.Pad3D 差异对比
                26 torch.nn.ReflectionPad1d paddle.nn.Pad1D 差异对比
                27 torch.nn.ReflectionPad2d paddle.nn.Pad2D 差异对比
                28 torch.nn.ReplicationPad1d paddle.nn.Pad1D 差异对比
                29 torch.nn.ReplicationPad2d paddle.nn.Pad2D 差异对比
                30 torch.nn.ReplicationPad3d paddle.nn.Pad3D 差异对比
                31 torch.nn.BatchNorm1d paddle.nn.BatchNorm1D 差异对比
                32 torch.nn.BatchNorm2d paddle.nn.BatchNorm2D 差异对比
                33 torch.nn.BatchNorm3d paddle.nn.BatchNorm3D 差异对比
                34 torch.nn.Upsample paddle.nn.Upsample 差异对比
                35 torch.nn.Dropout paddle.nn.Dropout 差异对比
                36 torch.nn.Dropout2d paddle.nn.Dropout2D 差异对比
                37 torch.nn.Dropout3d paddle.nn.Dropout3D 差异对比
                38 torch.nn.LSTM paddle.nn.LSTM 差异对比
                39 torch.nn.GRU paddle.nn.GRU 差异对比
                40 torch.nn.Embedding paddle.nn.Embedding 差异对比
                41 torch.nn.ELU paddle.nn.ELU 功能一致,PaddlePaddle 未定义inplace参数表示在不更改变量的内存地址的情况下,直接修改变量的值
                42 torch.nn.Hardsigmoid paddle.nn.Hardsigmoid 功能一致,PaddlePaddle 未定义inplace参数表示在不更改变量的内存地址的情况下,直接修改变量的值
                43 torch.nn.LeakyReLU paddle.nn.LeakyReLU 功能一致,PaddlePaddle 未定义inplace参数表示在不更改变量的内存地址的情况下,直接修改变量的值
                44 torch.nn.PReLU paddle.nn.PReLU 功能一致
                45 torch.nn.ReLU paddle.nn.ReLU 功能一致,PaddlePaddle 未定义inplace参数表示在不更改变量的内存地址的情况下,直接修改变量的值
                46 torch.nn.Softmax paddle.nn.Softmax 功能一致,参数名不一致

                Loss 类 API 映射列表

                梳理了计算 loss 相关的 PyTorch-PaddlePaddle API 映射列表。

                序号 PyTorch API PaddlePaddle API 备注
                1 torch.nn.L1Loss paddle.nn.L1Loss 功能一致,PyTorch 存在废弃参数size_averagereduce
                2 torch.nn.MSELoss paddle.nn.MSELoss 功能一致,PyTorch 存在废弃参数size_averagereduce
                3 torch.nn.CrossEntropyLoss paddle.nn.CrossEntropyLoss 差异对比
                4 torch.nn.KLDivLoss paddle.nn.KLDivLoss 差异对比
                5 torch.nn.BCELoss paddle.nn.BCELoss 功能一致,PyTorch 存在废弃参数size_averagereduce
                6 torch.nn.BCEWithLogitsLoss paddle.nn.BCEWithLogitsLoss 功能一致,PyTorch 存在废弃参数size_averagereduce
                7 torch.nn.SmoothL1Loss paddle.nn.SmoothL1Loss 功能一致,参数名不一致,PyTorch 存在废弃参数size_averagereduce

                工具类 API 映射列表

                梳理了与数据处理、分布式处理等相关的 PyTorch-PaddlePaddle API 映射列表。

                视觉类 API 映射列表

                梳理了与视觉处理相关的 PyTorch-PaddlePaddle API 映射列表


                相关文章
                |
                机器学习/深度学习 人工智能 PyTorch
                深度学习四大框架之争(Tensorflow、Pytorch、Keras和Paddle)
                深度学习四大框架之争(Tensorflow、Pytorch、Keras和Paddle)
                深度学习四大框架之争(Tensorflow、Pytorch、Keras和Paddle)
                |
                机器学习/深度学习 并行计算 PyTorch
                基于Anaconda安装pytorch和paddle深度学习环境(win11)
                基于Anaconda安装pytorch和paddle深度学习环境(win11)
                509 0
                |
                机器学习/深度学习 存储 人工智能
                TensorFlow?PyTorch?Paddle?AI工具库生态之争:ONNX将一统天下
                AI诸多工具库工具库之间的切换,是一件耗时耗力的麻烦事。ONNX 即应运而生,使不同人工智能框架(如PyTorch、TensorRT、MXNet)可以采用相同格式存储模
                2282 1
                TensorFlow?PyTorch?Paddle?AI工具库生态之争:ONNX将一统天下
                |
                2月前
                |
                算法 PyTorch 算法框架/工具
                Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
                本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
                235 2
                |
                2月前
                |
                机器学习/深度学习 自然语言处理 监控
                利用 PyTorch Lightning 搭建一个文本分类模型
                利用 PyTorch Lightning 搭建一个文本分类模型
                61 8
                利用 PyTorch Lightning 搭建一个文本分类模型
                |
                2月前
                |
                机器学习/深度学习 自然语言处理 数据建模
                三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
                本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。
                75 3
                三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
                |
                3月前
                |
                机器学习/深度学习 PyTorch 调度
                在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
                在深度学习中,学习率作为关键超参数对模型收敛速度和性能至关重要。传统方法采用统一学习率,但研究表明为不同层设置差异化学习率能显著提升性能。本文探讨了这一策略的理论基础及PyTorch实现方法,包括模型定义、参数分组、优化器配置及训练流程。通过示例展示了如何为ResNet18设置不同层的学习率,并介绍了渐进式解冻和层适应学习率等高级技巧,帮助研究者更好地优化模型训练。
                159 4
                在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
                |
                3月前
                |
                机器学习/深度学习 监控 PyTorch
                PyTorch 模型调试与故障排除指南
                在深度学习领域,PyTorch 成为开发和训练神经网络的主要框架之一。本文为 PyTorch 开发者提供全面的调试指南,涵盖从基础概念到高级技术的内容。目标读者包括初学者、中级开发者和高级工程师。本文探讨常见问题及解决方案,帮助读者理解 PyTorch 的核心概念、掌握调试策略、识别性能瓶颈,并通过实际案例获得实践经验。无论是在构建简单神经网络还是复杂模型,本文都将提供宝贵的洞察和实用技巧,帮助开发者更高效地开发和优化 PyTorch 模型。
                44 3
                PyTorch 模型调试与故障排除指南
                |
                2月前
                |
                存储 并行计算 PyTorch
                探索PyTorch:模型的定义和保存方法
                探索PyTorch:模型的定义和保存方法
                |
                4月前
                |
                机器学习/深度学习 PyTorch 编译器
                PyTorch 与 TorchScript:模型的序列化与加速
                【8月更文第27天】PyTorch 是一个非常流行的深度学习框架,它以其灵活性和易用性而著称。然而,当涉及到模型的部署和性能优化时,PyTorch 的动态计算图可能会带来一些挑战。为了解决这些问题,PyTorch 引入了 TorchScript,这是一个用于序列化和优化 PyTorch 模型的工具。本文将详细介绍如何使用 TorchScript 来序列化 PyTorch 模型以及如何加速模型的执行。
                143 4