【Task简介】
OFA(One-For-All)对不同模态和任务实现了输入输出、架构、任务的大统一,在各多模态任务取得SOTA结果,Caption任务第一名。目前在ModelScope上已经上线了图像描述、图像生成、文本分类、摘要等8个下游任务,有不同规格和不同语种的支持,后续还会继续上线更多的模态和模型已经更有意思的应用。
【说明视频】
点击链接查看视频:
https://www.yuque.com/modelscope/rdum8e/on23pp?inner=mqyqQ
【输入与输出】
根据细分场景需求,按照输入要求输入图片或者文字,会产出相应的结果数据
【场景应用】
图像描述能力可以帮助用户为图片自动产出一段文本,既能够方便快速晒图,也能方便对图片进行分类管理甚至辅助搜索。 视觉问答能力可以对图片提出特定的问题,比如可以自动化解决图片分类问题(照片里有人么?照片里有建筑么?)和自动导游(照片里的建筑叫什么名字?)
【数据集链接】
数据集:
https://modelscope.cn/datasets/modelscope/coco_2014_caption/files
https://modelscope.cn/models?name=ofa&page=1%20caption
模型文件:
https://modelscope.cn/models/damo/ofa_image-caption_coco_large_en/summary