原帖明确使用 torch 1.8.0 与 torchtext 0.9,旧项目仍通过 data.Field 和 data.TabularDataset 读数据:
AttributeError: module 'torchtext.data' has no attribute 'Field'
0.9 有明确的迁移入口
原题给出了 torch 1.8.0 与 torchtext 0.9,可以据对应发布说明判断旧 Field 的命名空间迁移。与“整个 torchtext 没安装”相比,这题优先改导入;也不能把 0.9 的 legacy 写法永久套到已经移除它的新版。
这组版本并非单纯“漏装 torchtext”。torchtext 0.9 将这批旧抽象迁到了 legacy 命名空间。
先确认真实加载版本:
import torch
import torchtext
print("josh050608")
print("torch:", torch.__version__)
print("torchtext:", torchtext.__version__, torchtext.__file__)
如果确认为 0.9,原来的导入可以改成:
from torchtext.legacy import data
TEXT = data.Field(batch_first=True, eos_token="<eos>")
原函数中 data.TabularDataset 等也随这个 data 指向 legacy。若同时使用旧数据集或迭代器,应核对它们是否来自同一套命名空间,避免一半新、一半旧。
这个修复有版本边界:官方 0.9 发布说明记录了迁移,0.12 又移除了 legacy,因此在任意新版上加 legacy 并不会一直有效。要么在独立环境固定项目验证过的 torch/torchtext/Python 组合,要么把数据管线迁移为 tokenizer、词表和普通 Dataset/DataLoader。
不要为解决 Field 缺失随意只降 torchtext,而不看它与 torch 的二进制兼容表。原帖已有 1.8/0.9 配套,优先改导入比无依据重装全部依赖更直接。
验证能构造 Field、读取一小份 TSV、生成 batch,检查 batch_first、eos、padding ID 和词表顺序仍符合模型。
用小 TSV 验证行为,别只验证 Field 能构造
在已经确认的 torchtext 0.9 环境中,下面示例用临时 TSV 验证 batch_first、eos 与词表。它面向历史接口,不适用于 0.12 及以后:
import tempfile
from pathlib import Path
from torchtext.legacy import data
with tempfile.TemporaryDirectory() as folder:
path = Path(folder) / "tiny.tsv"
path.write_text("hello world\nhello\n", encoding="utf-8")
text = data.Field(batch_first=True, eos_token="<eos>", tokenize=str.split)
dataset = data.TabularDataset(path=str(path), format="tsv", fields=[("text", text)])
text.build_vocab(dataset)
iterator = data.BucketIterator(dataset, batch_size=2, sort=False, shuffle=False)
batch = next(iter(iterator))
assert batch.text.shape[0] == 2
assert batch.text.shape[1] == 3
assert text.vocab.stoi["<eos>"] in batch.text[0].tolist()
print("vocab/batch:", text.vocab.itos, batch.text.shape)
原项目还使用 TabularDataset 和可能的迭代器,它们应来自同一套 legacy 命名空间。若只有 Field 改导入,其他对象仍取自另一套 API,可能继续在字段或 batch 接口上失败。
迁移到普通 Dataset/DataLoader 时,要明确重建 tokenizer、词表顺序、特殊 token、padding 和 batch_first 行为。形状相同但词表编号变了,旧模型也无法正确解释文本。
验收时比较一条真实样本的分词结果、eos 位置和编号,再做一个小 batch 前向。历史依赖环境尚未实际运行时,应保留该限制;不要因为另一篇文章成功降到 0.6,就无依据改变原题已经配套的 1.8/0.9 组合。
参考:原始求助帖;技术依据:torchtext 0.9 迁移说明、torchtext 0.12 移除说明、torchtext 官方兼容表。