什么是ModelScope Library？

为了使ModelScope的用户能够快速、方便的使用平台提供的各类模型，我们提供了一套功能完备的Python library，其中包含了ModelScope官方模型的实现，以及使用这些模型进行推理，finetune等任务所需的数据预处理，后处理，效果评估等功能相关的代码，同时也提供了简单易用的API，以及丰富的使用样例。通过调用library，用户可以只写短短的几行代码，就可以完成模型的推理、训练和评估等任务，也可以在此基础上快速进行二次开发，实现自己的创新想法。

ModelScope的模型库

ModelScope的模型库（Model Hub）是共享机器学习模型、demo演示、数据集和数据指标的地方。您可以轻松地创建和管理自己的模型库，利用界面或开发环境来便捷地上传、下载相关模型文件，并从 Model Hub中获取有用的模型和数据集元数据。

Image-Captioning介绍

图片描述任务：给定一张图片，模型会返回图片的英文描述。

在线体验

测试结果返回

root":{5 items
"Code":int200
"Data":{2 items
"computation_time":string"1.81s"
"data":{6 items
"boxes":NULL
"caption":string"a poster of an astronaut sitting on the moon"
"labels":NULL
"samples":[1 item
0:{1 item
"image":string"<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=586x700 at 0x7FF5AC8AF1D0>"
}
]
"scores":NULL
"text":NULL
}
}
"Message":string"success"
"RequestId":string"1684d23d-22da-4e66-aba6-97ee3c4c8e21"
"Success":booltrue
}

从结果返回来看 生成的结果完全符合图片所表达的意思 识别效率与准确率很高！

总结

OFA是通用多模态预训练模型，它使用简单的序列到序列的学习框架统一了各种模态（如跨模态、视觉、语言等模态）和各种类型的任务（如图片生成、视觉定位、图片描述、图片分类、文本生成等），其识别效率与准确率很高，模型很成熟，值得一试！