开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI中 模型文件 放到 实例 JpyterLab 在OSS 里缓存 需要的模型嘛

求助一下 大佬

目前我遇到的机器学习PAI具体问题是:

我用DSW 部署了SD ,用来制作图片.

我的DSW 实例 挂载了NAS 可以存储模型,我在5月份 通过代码,下载了我需要的 大模型,lora模型,以及controlNet 模型 到指定的文件夹里。

每次要使用就打开实例,就可以使用了。

新的问题是,最近两周 ,我要下载新的模型,huggingface 用同样的air2 的方式,他持续遇到网络问题,无法下载,重新部署也不行。(我本地的电脑,通过设置网络,可以正常下载模型到本地)

我在社区看到有说,可以先把模型 传到OSS 里,然后再用。

目前 DSW 实例 部署的时候 第一个 数据集 说要NAS ,

我通过社区的教程,把OSS 弄好了,我本地也可以上传文件进去。

但是目前还是做不到,把 需要的模型文件 ,放到 实例 JpyterLab 中,对应的文件里面。我可以 在OSS 里缓存 自己需要的模型嘛, 比如controlnet 、defroum。应该怎么操作。这个已经运行了,确实可以下。但是我的文件夹里已经有 image.png

这个大模型了。chilloutmix_NiPrunedFp32Fix.safetensors

展开
收起
cuicuicuic 2023-07-13 10:54:26 92 0
2 条回答
写回答
取消 提交回答
  • 在机器学习PAI中,将模型文件放到实例的JupyterLab中并存储在OSS (Object Storage Service) 中进行缓存是一种常见的做法。这样可以方便地在JupyterLab中使用模型文件,并确保模型在不同的任务之间持久化保存。

    当你需要在JupyterLab中使用模型时,可以按照以下步骤进行操作:

    1. 将模型文件上传到OSS中。你可以使用机器学习PAI提供的API或者图形界面将模型文件上传到OSS桶中。

    2. 在JupyterLab中设置正确的OSS路径,并加载模型文件。首先,确保你已经安装了OSS相关的Python库(例如oss2),然后使用相应的代码来加载模型文件。

    import oss2
    
    # 设置OSS的访问凭证信息
    access_key_id = 'your_access_key_id'
    access_key_secret = 'your_access_key_secret'
    endpoint = 'your_oss_endpoint'  # 例如:http://oss-cn-hangzhou.aliyuncs.com
    
    # 创建OSS的Bucket对象
    bucket_name = 'your_bucket_name'
    bucket = oss2.Bucket(oss2.Auth(access_key_id, access_key_secret), endpoint, bucket_name)
    
    # 模型文件在OSS中的路径
    model_path = 'oss://your_bucket_name/path/to/model.h5'
    
    # 从OSS中下载模型文件到本地
    local_model_path = '/path/to/local_model.h5'
    bucket.get_object_to_file(model_path, local_model_path)
    
    # 使用本地的模型文件
    model = tf.keras.models.load_model(local_model_path)
    

    在上述代码中,你需要根据实际情况设置正确的OSS访问凭证信息(Access Key ID、Access Key Secret和Endpoint),以及模型文件在OSS中的路径。然后使用 bucket.get_object_to_file() 方法将模型文件下载到本地,并使用 tf.keras.models.load_model() 函数加载模型。

    2023-07-31 17:42:06
    赞同 展开评论 打赏
  • 上次到oss后,在同region,如果要用nas,可以通过在线迁移服务,从oss到nashttps://mgw.console.aliyun.com/?spm=5176.28197733.0.0.6cd474fdfBigGI#/source?_k=x58vc9在线迁移服务 旧版 支持oss到nas(同region),此回答整理自钉群“机器学习PAI交流群(答疑@值班)”

    2023-07-13 12:50:15
    赞同 展开评论 打赏

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    微博机器学习平台架构和实践 立即下载
    机器学习及人机交互实战 立即下载
    大数据与机器学习支撑的个性化大屏 立即下载