torchtext安装教程

简介: torchtext安装教程

torchtext包隶属于PyTorch项目,PyTorch是学习深度学习时常用的Python神经网络框架。

torchtext包涵盖了一些用于自然语言处理任务的函数和数据集。

本文将介绍torchtext包的安装教程,资料来源为torchtext官方GitHub项目:pytorch/text: Data loaders and abstractions for text and NLP

另外本文的内容还参考了torchtext文档:torchtext — torchtext 0.12.0 documentation


安装过程分为如下4步:

  1. 安装PyTorch。
  2. 根据PyTorch版本选择对应的torchtext版本。
  3. 安装torchtext。
  4. 检验torchtext是否成功安装。


以下讲按顺序依次介绍:


第一步:安装PyTorch。

可参考我之前撰写的博文:PyTorch安装教程_诸神缄默不语的博客-CSDN博客_pytorch安装


第二步:根据PyTorch版本选择对应的torchtext版本。

首先查看本地下载的PyTorch版本(使用import torch;print(torch.__version__)查看),以及本地的Python解释器版本(使用import sys;print(sys.version)查看),然后根据https://github.com/pytorch/text/#installation的表格来查找对应的torchtext版本:

b4736d37e91c439bb273829c6b1f870c.png

如我是PyTorch1.8.2,Python3.8.12,则我对应的torchtext应是0.9.2。


第三步:安装torchtext。

原文中提供了conda install -c pytorch torchtext和pip install torchtext两种安装方式。由于我是LTS的PyTorch1.8.2,所以直接用这两种方式(无论是否加上版本号)都无法直接安装。

其他版本我还没有尝试,我的版本的话,需要用conda install -c pytorch-lts torchtext才能安装0.9.2版。(命令行直接来源见Torchtext :: Anaconda.org,我怎么能够知道要从这里找,看下文)


以下介绍一下我的踩坑过程:

我提了这个issue,以下项目作者回复都是这个issue里面回的:Is the torchtext version in https://github.com/pytorch/text/#installation the highest, or the only supported version?? · Issue #1662 · pytorch/text

我一开始直接使用了conda进行默认安装:conda install -c pytorch torchtext 默认安装了0.6.0版本。项目作者告诉我最好还是安装对应版本,所以我就准备重新安装0.9.2版本。

我就运行conda uninstall torchtext卸载了,然后无论我用conda install -c pytorch torchtext==0.9.2还是pip install torchtext==0.9.2命令,都显示无法找到0.9.2版本。

所以我用了pip install torchtext==0.9.1命令行,然后它一路就给我安了PyTorch1.8.1……然后我就觉得很草好吧……

然后项目作者告诉我可以通过pytorch-lts源安装,所以我重新跑了conda install -c pytorch-lts pytorch和conda install -c pytorch-lts torchtext,然后看起来应该就是成功安装回PyTorch 1.8.2和torchtext 0.9.2版本了。(第四步输出的包版本是如此对应的)

但是我用conda list仍然可以看到1.8.1版本的PyTorch和0.9.1版本的torchtext……但是在Python中直接import的包确实可以显示最新版本……我有点不太懂哈。这个情况如果以后还会出现新问题的话我再来写对应的解决方案。


此外,torchtext官方GitHub项目中还介绍了其他一些如有需要可以安装的包。我没有安装,如有需要可直接查看原文参考:https://github.com/pytorch/text/#optional-requirements


第四步:检验torchtext是否成功安装。

运行import torchtext;print(torchtext.__version__)如能正确输入第三步安装的torchtext版本,说明已成功安装。



相关文章
|
IDE 开发工具 Python
在pycharm中使用jupyter
本文介绍了如何在PyCharm中安装并使用Jupyter Notebook,包括在PyCharm中新建Jupyter Notebook、配置Jupyter Server以及利用PyCharm的高级功能进行更高效的编程和调试。
在pycharm中使用jupyter
|
自然语言处理 开发者 Python
【Python】已解决:ModuleNotFoundError: No module named ‘nltk‘
【Python】已解决:ModuleNotFoundError: No module named ‘nltk‘
900 1
|
机器学习/深度学习 资源调度 自然语言处理
长短时记忆网络(LSTM)完整实战:从理论到PyTorch实战演示
长短时记忆网络(LSTM)完整实战:从理论到PyTorch实战演示
19592 0
|
人工智能 安全 物联网
智能家居的未来:物联网与AI的完美融合
本文深入探讨了物联网(IoT)和人工智能(AI)在智能家居领域的应用,并预测了未来技术的发展趋势。通过分析当前技术实现、面临的挑战以及潜在的解决方案,文章旨在为读者揭示一个更加智能、互联的家居生活蓝图。
533 32
|
Ubuntu Python
全网最简约的Vscode配置Anaconda环境(百分百成功)
全网最简约的Vscode配置Anaconda环境(百分百成功)
35902 0
全网最简约的Vscode配置Anaconda环境(百分百成功)
|
机器学习/深度学习 人工智能 资源调度
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文介绍了一种名为Hard Attention to the Task (HAT)的连续学习算法,通过学习几乎二值的注意力向量来克服灾难性遗忘问题,同时不影响当前任务的学习,并通过实验验证了其在减少遗忘方面的有效性。
468 12
|
NoSQL 关系型数据库 MySQL
python协程+异步总结!
本文介绍了Python中的协程、asyncio模块以及异步编程的相关知识。首先解释了协程的概念和实现方法,包括greenlet、yield关键字、asyncio装饰器和async/await关键字。接着详细讲解了协程的意义和应用场景,如提高IO密集型任务的性能。文章还介绍了事件循环、Task对象、Future对象等核心概念,并提供了多个实战案例,包括异步Redis、MySQL操作、FastAPI框架和异步爬虫。最后提到了uvloop作为asyncio的高性能替代方案。通过这些内容,读者可以全面了解和掌握Python中的异步编程技术。
328 0
|
机器学习/深度学习 自然语言处理 PyTorch
pytorch实战---IMDB情感分析
pytorch实战---IMDB情感分析
pytorch实战---IMDB情感分析
|
存储 运维 网络协议
Linux SSHD服务安装与维护详解(一)——SSHD安装、启动与密钥认证实现
Linux SSHD服务安装与维护详解(一)——SSHD安装、启动与密钥认证实现
885 2
|
机器学习/深度学习 搜索推荐 算法
推荐系统[二]:召回算法超详细讲解[召回模型演化过程、召回模型主流常见算法(DeepMF_TDM_Airbnb Embedding_Item2vec等)、召回路径简介、多路召回融合]
推荐系统[二]:召回算法超详细讲解[召回模型演化过程、召回模型主流常见算法(DeepMF_TDM_Airbnb Embedding_Item2vec等)、召回路径简介、多路召回融合]
推荐系统[二]:召回算法超详细讲解[召回模型演化过程、召回模型主流常见算法(DeepMF_TDM_Airbnb Embedding_Item2vec等)、召回路径简介、多路召回融合]