篮球动作视频识别
人工智能要想理解真实世界发生的事,读取视频中的信息是非常重要的一步。阿里云视频识别技术能够初步辨识出篮球视频中运动员的动作类型。
业务痛点及需求
对竞技运动视频的识别与比较是一种基于视频运动目标分割与提取、运动目标视频合成与比较运动目标分析技术,通过实际训练体态或动作与标准体态或动作的比较,达到科学的运动分析的目的。目前,视频图像处理还不能在体育科学化训练中得到广泛的应用,主要是受到图像处理技术的发展水平的应用有很大关系。
系统架构
采用双路CNN的方法。其实就是两个独立的神经网络了,最后再把两个模型的结果平均一下。上面一个就是普通的单帧的CNN,而且文章当中提到了,这个CNN是在ImageNet的数据上pre-train,然后在视频数据上对最后一层进行调参。下面的一个CNN网络,就是把连续几帧的光流叠起来作为CNN的输入。 另外,它利用multi-task learning来克服数据量不足的问题。 其实就是CNN的最后一层连到多个softmax的层上,对应不同的数据集,这样就可以在多个数据集上进行multi-task learning。网络架构图所示。
优势
我们把视频内容分割成为小的片段,然后利用大量的视频内容对模型进行训练,从而能够识别诸如上篮、得分、扣篮、挡拆、运球、传球等篮球运动场景。下图显示了该系统对得分和扣篮的视频识别结果。
利用该系统,以往需要人工记录的篮球比赛文字直播都可以用计算机来代替,结合对运动场地、运动员人脸识别、运动员行为轨迹分析等技术,还可以做更为精准的记录。这为比赛资料的备份,运动员技术统计等提供了非常有效的帮助。特别是用在一些低级别比赛的记录中更有成本的优势。