开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

Modelscope在某平台上带`-hf`的模型是什么意思呀?跟咱们这边的模型相比有什么区别呢?

问题一:Modelscope在某平台上带-hf的模型是什么意思呀?跟咱们这边的模型相比有什么区别呢?
ce6b7ea5facccb0911b369066f79f438.png

问题二:我想问的是他们是不是优化了呀?你看他们平台上的LlaMA2模型都有两种,有带-hf的也有不带的?

展开
收起
青城山下庄文杰 2023-07-22 08:28:15 858 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    -hf后缀表示该模型来自Hugging Face。

    Hugging Face是一个非常知名、开放的AI模型库,其中收录了大量高质量的预训练模型。

    ModelScope在其平台上也提供了部分Hugging Face的模型,使用-hf后缀来标识。

    这类模型和ModelScope自研模型的主要区别有:

    来源不同
    ModelScope自研模型是ModelScope内部研发,Hugging Face模型则来自Hugging Face。

    框架不同
    ModelScope模型可能使用Keras、TensorFlow框架等,而Hugging Face模型主要使用Transformers框架。

    参数不同
    两个平台可能使用不同的参数来训练模型,性能上存在差异。

    升级方式不同
    Hugging Face模型直接基于官方最新版本,ModelScope自研模型需要ModelScope内部定制升级。

    总体来说:

    -hf后缀表示Hugging Face来源,意味着:

    模型来源于Hugging Face
    使用Transformers框架
    模型参数可能不同
    升级依赖于Hugging Face
    相比之下,ModelScope自研模型:

    来自ModelScope内部研发
    使用各种框架
    参数由ModelScope自主优化
    ModelScope自行升级

    2023-07-27 18:48:51
    赞同 展开评论 打赏
  • 在 ModelScope 中,带有 -hf 后缀的模型通常表示使用了半精度(half-precision)浮点数进行参数存储和计算。这种半精度浮点数通常是 16 位浮点数,相对于标准的单精度(32 位)或双精度(64 位)浮点数,占用更少的存储空间并可以在某些情况下提供更高的计算性能。

    与具有正常精度的模型相比,使用半精度模型可能会有一些区别:

    1. 存储空间:半精度模型需要较少的存储空间,这对于存储和传输大型模型文件来说可能更加高效。

    2. 内存消耗:半精度模型相对于正常精度模型来说,需要更少的内存来加载和运行。这可能对内存资源受限的环境或设备更加友好。

    3. 计算速度:由于半精度模型中的计算精度较低,因此在某些情况下,半精度模型的计算速度可能会更快。这主要取决于硬件设备和任务的特点。

    然而,半精度模型也存在一些潜在的问题:

    1. 精度损失:使用半精度模型可能会导致精度损失,尤其是在涉及小数点和细微变化的计算任务上。这可能对某些应用程序或任务产生不可接受的影响。

    2. 训练稳定性:半精度模型在训练过程中可能更加敏感和不稳定,特别是在复杂的深度学习模型和大规模数据集上。这可能需要额外的技巧和优化来确保训练的稳定性和收敛性。

    综上所述,使用带有 -hf 后缀的模型时,您需要权衡存储空间、计算速度和精度之间的关系,并根据具体的需求和环境选择适合的模型版本。如果不确定是否应该使用半精度模型,建议参考 ModelScope 文档、开发者说明或联系支持团队,以获取更详细的信息和建议。

    2023-07-24 13:25:29
    赞同 展开评论 打赏
  • 回答一:hf=huggingface
    回答二:不带hf的表示meta原始的模型格式,用fairseq训练出来的,带hf的可以用hf transformers加载-此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-07-24 13:23:31
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载