开发者学堂课程【PAL 平台学习路线：机器学习入门到应用：如何进行 AI 资产管理之 ModelHub 公共模型仓库查看】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/855/detail/14247
如何进行 AI 资产管理之 ModelHub 公共模型仓库查看
内容介绍：
一、视频智能处理类模型
二、图像智能处理类模型
三、语音智能处理类模型
四、自然语言处理类（NLP）模型
五、人脸模型
六、商品模型
七、多模态智能处理类模型
目前 ModelHub 常见类型主要包括：视频智能处理类模型、图像智能处理类模型、语音智能处理类模型、自然语言处理类（NLP）模型、人脸模型、商品模型、多模态智能处理类模型。
一、视频智能处理类模型
主要包括三个细分模型：通用视频分类、视频锦集生成、视频超分。首先是通用视频分类，输入一段完整的视频，给出该视频的分类的详情。其次是视频锦集生成，我们可以选取影片中的精彩集锦，随后选取时长为5秒的视频片段。之后是视频超分，通过对低分辨率的视频进行超分，从而得到高分辨率的视频。视频分类的效果。视频分类是基于UCF101数据集训练的视频分类模型，它的输入格式是输入视频的 url 输入视频的长度，得到的输出格式是征信格式的kv 对，其包含了输出的类别。
二、图像智能处理类模型
以通用图像分类模型为例。首先点击模型管理及优化下的 ModelHub 进行功能的体验。通用图像分类模型基于image net 数据集训练的图像分类模型，能够识别常见物体的类别，不是输入格式是 json 格式的字符串包含的image 字段对应的 vaul 是图片内容的 base64 编码，输出的数据为 json 格式字符串，包含字段包括类别 ID、名称、所有类别的概率、请求的唯一标识等一些信息。
三、语音智能处理类模型
在 ModelHub 中，它已经提供好训练好的语音智能处理类模型，用户可以直接部署该模型。语音智能识别asr 是人工智能、语言学及生物学等学科如何发展的重要技术，即给定人类语言的音频输入，它自动将音频转写为文本。语音智能处理类模型主要包括：通用中文语音识别模型（极速版）、通用中文语音识别模型（Transformer版）、电商直播中文语音识别模型（极速版）、电商直播中文语音识别模型（Transformer版）、中文语音向量化模型、英文语音向量化模型、中文说话人语音属性分类模型、中文语音检测模型、背景音乐检测模型。
通用中文语音识别模型（极速版）PAI 提供端到端的wiftolather 语音识别模型，能够自动识别带有中文语音的音频或视频中的文字，即能够实现通用场景下的中文语音识别。此处的输入格式是一个 json 格式的字符串，包含url 和play daration 字段。输出格式是一个 json 格式的 kv 对，其中k 表示的是输入语音数据的起始时间初，value 表示的是输入 asr 转写内容。该模型支持输出的中文字表约为4000个常见汉字。
四、自然语言处理类（NLP）模型
自然语言处理时是人工智能和语言学领域的分支学科，能够挖掘自然语言文本蕴含的信息和知识。常见的自然语言处理应用包括了文本分类、文本匹配、文本生成、序列标注以及特征提取。自然语言处理（NLP）类模型包括:新闻分类模型、文本内容反垃圾模型、通用情感分析模型、英文情感分析模型、电商评论情感分析模型、通用情绪检测模型、通用文本匹配模型、金融文本匹配模型、通用回答匹配模型、新闻标题生成模型、中文基础NER 模型、BERT 文本向量化模型、BERT 英文文本向量化模型。在此重点介绍一下新闻分类模型。
PAI 提供了 bert 分类模型进行新闻文本分类，能够将新闻的文本内容分类为教育、三农及娱乐的标签。该模型的输入为单距，输入格式是 json 格式的字符串，包括了 ID first sequence，即 sequence length 等字段。输出格式是json 格式的字符串，包含了输入文本的 ID 和对应标签的结果。
五、人脸模型
人脸模型主要包含人脸相似度比对模型、人脸属性模型、人脸增强模型以及人脸检索模型。在此重点介绍一下人脸相似度比对模型。
人脸相似度比对模型采用res net50，输入格式是json 格式字符串，包含了 emage a 字段和 emage b 字段，对应的value 就是图片内容的base64 编码。如果图像包含超过了一张人脸，则会返回错误。输出格式包含了cemilirity、request id 、uccess、everycold 以及every message。
六、商品模型
商品模型包含了商品比对模型、商品检测模型与商品检索模型。
商品比对模型采用了 restnet50 集成先进图像度量技术，支持鞋类、包包、裙类商品的相似度比对。
七、多模态智能处理类模型
多模态智能处理类模型包括图片文本匹配模型、视频文本匹配模型、文到图检索。
图片文本匹配模型是基于电商场景训练的图片文本多模态匹配模型。输入数据为 JSON 格式字符串，包含图片的ur1 字段和对应的文本。输出格式也为 JSON 格式字符串，包含多模态特征及图文匹配得分。
