基于Pytorch学习Bert模型配置运行环境详细流程

简介: 基于Pytorch学习Bert模型配置运行环境详细流程

BERT是2018年10月由Google AI研究院提出的一种预训练模型。BERT的全称是Bidirectional Encoder Representation from Transformers。BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类,并且在11种不同NLP测试中创出SOTA表现,包括将GLUE基准推高至80.4% (绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进5.6%),成为NLP发展史上的里程碑式的模型成就。

一、安装配置初步运行环境

安装文章链接: 点击打开《基于Windows中学习Deep Learning之搭建Anaconda+Pytorch(Cuda+Cudnn)+Pycharm工具和配置环境完整最简版》文章

二、根据上面的文章配置好初步环境后,复制粘贴下面命令打开“D:\Anaconda\Scripts”路径下的控制平台CMD运行安装transformers,若出现下面图片中的错误无法正常安装则继续往后操作进行,没出现问题直接跳转到第九步(注意:博主配置运行环境是在Anaconda默认base的环境和新建的python虚拟环境transformers下都进行配置,其实可以只配置一个就行,一般选择新建的python虚拟环境,然后将配置好的虚拟环境的python运行环境和Pycharm对应的项目进行连接,然后即可正常运行项目程序)。

pip install transformers

三、打开Anaconda Prompt,依次复制下面的命令运行建立Anaconda的python虚拟环境transformers,然后将“D:\Anaconda\envs\transformers\Scripts”添加到环境变量PATH中。注意:下面命令中的python=3.7是根据博主安装的python版本对应的,若你安装的是其他版本可以进行对应的修改。

conda create -n transformers python=3.7
conda env list

四、复制粘贴下面命令打开“D:\Anaconda\envs\transformers\Scripts”路径下的控制平台CMD运行安装transformers,等待一分钟左右进行安装。

pip install transformers

五、下载完成后将对应下载的文件复制粘贴到“D:\Anaconda\Scripts”路径下,复制粘贴过程中若提示重复的文件,要选择直接跳过。

六、复制粘贴下面命令打开“D:\Anaconda\Scripts”路径下的控制平台CMD运行安装transformers,可能会出现下面图片中的部分小问题,如:ERROR: Cannot uninstall ‘PyYAML’。

pip install transformers

七、复制粘贴下面命令继续运行即可解决上面的小问题。

pip install --ignore-installed PyYAML

八、复制粘贴下面命令运行,等待十秒成功安装见下图。

pip install transformers

九、测试安装transformers是否成功,运行下面的代码是否报错,若报错表示没有安装成功见下图。

from transformers import BertTokenizer, BertModel, BertForMaskedLM

十、若没有报错表示安装成功,见下图。

注意:有些涉及Bert模型配置运行环境的文章和github仓库依旧使用下面的命令进行环境的安装,但是总是提示无法安装,原因是Hugging Face的这款BERT工具以前称为pytorch-transformers和pytorch-pretrained-bert,在不断的更新迭代中已经更名为transformers这个名字,自然安装pytorch-pretrained-bert是无法正常安装的,所以要改成安装transformers。

pip install pytorch-pretrained-bert

pip install transformers


相关文章
|
9月前
|
机器学习/深度学习 存储 PyTorch
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节
Neural ODE将神经网络与微分方程结合,用连续思维建模数据演化,突破传统离散层的限制,实现自适应深度与高效连续学习。
848 3
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节
|
8月前
|
边缘计算 人工智能 PyTorch
130_知识蒸馏技术:温度参数与损失函数设计 - 教师-学生模型的优化策略与PyTorch实现
随着大型语言模型(LLM)的规模不断增长,部署这些模型面临着巨大的计算和资源挑战。以DeepSeek-R1为例,其671B参数的规模即使经过INT4量化后,仍需要至少6张高端GPU才能运行,这对于大多数中小型企业和研究机构来说成本过高。知识蒸馏作为一种有效的模型压缩技术,通过将大型教师模型的知识迁移到小型学生模型中,在显著降低模型复杂度的同时保留核心性能,成为解决这一问题的关键技术之一。
702 6
|
10月前
|
PyTorch 算法框架/工具 异构计算
PyTorch 2.0性能优化实战:4种常见代码错误严重拖慢模型
我们将深入探讨图中断(graph breaks)和多图问题对性能的负面影响,并分析PyTorch模型开发中应当避免的常见错误模式。
547 9
|
8月前
|
机器学习/深度学习 数据采集 人工智能
35_BERT与RoBERTa:优化编码器模型
2018年,Google发布的BERT(Bidirectional Encoder Representations from Transformers)模型彻底改变了自然语言处理领域的格局。作为第一个真正意义上的双向预训练语言模型,BERT通过创新的掩码语言模型(Masked Language Model, MLM)预训练策略,使模型能够同时从左右两侧的上下文信息中学习语言表示,从而在多项NLP任务上取得了突破性进展。
745 0
|
机器学习/深度学习 存储 PyTorch
PyTorch + MLFlow 实战:从零构建可追踪的深度学习模型训练系统
本文通过使用 Kaggle 数据集训练情感分析模型的实例,详细演示了如何将 PyTorch 与 MLFlow 进行深度集成,实现完整的实验跟踪、模型记录和结果可复现性管理。文章将系统性地介绍训练代码的核心组件,展示指标和工件的记录方法,并提供 MLFlow UI 的详细界面截图。
555 2
PyTorch + MLFlow 实战:从零构建可追踪的深度学习模型训练系统
|
机器学习/深度学习 PyTorch 算法框架/工具
提升模型泛化能力:PyTorch的L1、L2、ElasticNet正则化技术深度解析与代码实现
本文将深入探讨L1、L2和ElasticNet正则化技术,重点关注其在PyTorch框架中的具体实现。关于这些技术的理论基础,建议读者参考相关理论文献以获得更深入的理解。
393 4
提升模型泛化能力:PyTorch的L1、L2、ElasticNet正则化技术深度解析与代码实现
|
12月前
|
存储 机器学习/深度学习 自然语言处理
避坑指南:PAI-DLC分布式训练BERT模型的3大性能优化策略
本文基于电商搜索场景下的BERT-Large模型训练优化实践,针对数据供给、通信效率与计算资源利用率三大瓶颈,提出异步IO流水线、梯度压缩+拓扑感知、算子融合+混合精度等策略。实测在128卡V100集群上训练速度提升3.2倍,GPU利用率提升至89.3%,训练成本降低70%。适用于大规模分布式深度学习任务的性能调优。
570 3
|
机器学习/深度学习 搜索推荐 PyTorch
基于昇腾用PyTorch实现CTR模型DIN(Deep interest Netwok)网络
本文详细讲解了如何在昇腾平台上使用PyTorch训练推荐系统中的经典模型DIN(Deep Interest Network)。主要内容包括:DIN网络的创新点与架构剖析、Activation Unit和Attention模块的实现、Amazon-book数据集的介绍与预处理、模型训练过程定义及性能评估。通过实战演示,利用Amazon-book数据集训练DIN模型,最终评估其点击率预测性能。文中还提供了代码示例,帮助读者更好地理解每个步骤的实现细节。

热门文章

最新文章

推荐镜像

更多