如何使 transformers 框架中的对象支持 OSS 存储?
要使 transformers 框架中的对象支持 OSS 存储,可以采用 mixin 或 monkey patching 的方式。具体地,可以定义一个 mixin 类(如 OSSRemoteModelMixin),在其中重写 from_pretrained 和 save_pretrained 方法,以支持 OSS 路径。然后,让自研的模型类继承这个 mixin 类,或者直接覆盖 AutoModel 等类的 from_pretrained 方法。在重写的方法中,需要将 OSS 路径转换为本地临时路径(或直接在 OSS 上操作),然后调用基类方法完成加载或保存操作。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。