开发者社区大数据与机器学习文章正文

pytorch诞生逻辑和演化过程

2023-07-19 160

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时计算 Flink 版，1000CU*H 3个月

实时数仓Hologres，5000CU*H 100GB 3个月

智能开放搜索 OpenSearch行业算法版，1GB 20LCU 1个月

简介： pytorch诞生逻辑和演化过程

文章标签：

算法框架/工具

PyTorch

关键词：

pytorch逻辑

楚国玉

-开发达人-

机器学习/深度学习并行计算 PyTorch

训练速度最高100倍提升！基于PyTorch实现的可微逻辑门网络开源

-开发达人-

178 0 0

山顶夕景

PyTorch 算法框架/工具

【PyTorch基础教程6】逻辑斯蒂回归

（1）和上一讲的模型训练是类似的，只是在线性模型的基础上加个sigmoid，然后loss函数改为交叉熵BCE函数（当然也可以用其他函数），另外一开始的数据y_data也从数值改为类别0和1（本例为二分类，注意x_data和y_data这里也是矩阵的形式）。文章目录

山顶夕景

327 0 0

网络AI

2月前

机器学习/深度学习数据采集人工智能

PyTorch学习实战：AI从数学基础到模型优化全流程精解

本文系统讲解人工智能、机器学习与深度学习的层级关系，涵盖PyTorch环境配置、张量操作、数据预处理、神经网络基础及模型训练全流程，结合数学原理与代码实践，深入浅出地介绍激活函数、反向传播等核心概念，助力快速入门深度学习。

网络AI

193 1 1

Deephub

6月前

机器学习/深度学习 PyTorch API

PyTorch量化感知训练技术：模型压缩与高精度边缘部署实践

本文深入探讨神经网络模型量化技术，重点讲解训练后量化（PTQ）与量化感知训练（QAT）两种主流方法。PTQ通过校准数据集确定量化参数，快速实现模型压缩，但精度损失较大；QAT在训练中引入伪量化操作，使模型适应低精度环境，显著提升量化后性能。文章结合PyTorch实现细节，介绍Eager模式、FX图模式及PyTorch 2导出量化等工具，并分享大语言模型Int4/Int8混合精度实践。最后总结量化最佳策略，包括逐通道量化、混合精度设置及目标硬件适配，助力高效部署深度学习模型。

Deephub

1015 21 26

Deephub

2月前

机器学习/深度学习存储 PyTorch

Neural ODE原理与PyTorch实现：深度学习模型的自适应深度调节

Neural ODE将神经网络与微分方程结合，用连续思维建模数据演化，突破传统离散层的限制，实现自适应深度与高效连续学习。

Deephub

159 3 3

aliyun9170107523-43660

1月前

边缘计算人工智能 PyTorch

130_知识蒸馏技术：温度参数与损失函数设计 - 教师-学生模型的优化策略与PyTorch实现

随着大型语言模型（LLM）的规模不断增长，部署这些模型面临着巨大的计算和资源挑战。以DeepSeek-R1为例，其671B参数的规模即使经过INT4量化后，仍需要至少6张高端GPU才能运行，这对于大多数中小型企业和研究机构来说成本过高。知识蒸馏作为一种有效的模型压缩技术，通过将大型教师模型的知识迁移到小型学生模型中，在显著降低模型复杂度的同时保留核心性能，成为解决这一问题的关键技术之一。

aliyun9170107523-43660

308 6 6

Deephub

8月前

机器学习/深度学习 JavaScript PyTorch

9个主流GAN损失函数的数学原理和Pytorch代码实现：从经典模型到现代变体

生成对抗网络（GAN）的训练效果高度依赖于损失函数的选择。本文介绍了经典GAN损失函数理论，并用PyTorch实现多种变体，包括原始GAN、LS-GAN、WGAN及WGAN-GP等。通过分析其原理与优劣，如LS-GAN提升训练稳定性、WGAN-GP改善图像质量，展示了不同场景下损失函数的设计思路。代码实现覆盖生成器与判别器的核心逻辑，为实际应用提供了重要参考。未来可探索组合优化与自适应设计以提升性能。

Deephub

691 7 7