如何使用自己开发的 Tokenizer 与 transformers 库兼容？
如何使用自己开发的 Tokenizer 与 transformers 库兼容？
展开
收起
1
条回答
写回答
写回答
-
为了使用自己开发的 Tokenizer 与 transformers 库兼容，需要实现 transformers 库中 PreTrainedTokenizer 接口的相应方法。这包括定义类变量 vocab_files_names，以及重写如 _convert_token_to_id、_convert_id_to_token、convert_ids_to_tokens 等方法。此外，由于 Tokenizer 可能涉及 C++ 实现的底层逻辑，还需要解决 C++ 对象的 pickle 问题，可以通过实现 getstate 和 setstate 方法来完成。
2024-06-03 22:28:03赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
