阿里云ET篮球动作视频识别

人工智能要想理解真实世界发生的事，读取视频中的信息是非常重要的一步。阿里云视频识别技术能够初步辨识出篮球视频中运动员的动作类型。

业务痛点及需求


对竞技运动视频的识别与比较是一种基于视频运动目标分割与提取、运动目标视频合成与比较运动目标分析技术，通过实际训练体态或动作与标准体态或动作的比较，达到科学的运动分析的目的。目前，视频图像处理还不能在体育科学化训练中得到广泛的应用，主要是受到图像处理技术的发展水平的应用有很大关系。

系统架构


采用双路CNN的方法。其实就是两个独立的神经网络了，最后再把两个模型的结果平均一下。上面一个就是普通的单帧的CNN，而且文章当中提到了，这个CNN是在ImageNet的数据上pre-train，然后在视频数据上对最后一层进行调参。下面的一个CNN网络，就是把连续几帧的光流叠起来作为CNN的输入。 另外，它利用multi-task learning来克服数据量不足的问题。 其实就是CNN的最后一层连到多个softmax的层上，对应不同的数据集，这样就可以在多个数据集上进行multi-task learning。网络架构图所示。

优势


我们把视频内容分割成为小的片段，然后利用大量的视频内容对模型进行训练，从而能够识别诸如上篮、得分、扣篮、挡拆、运球、传球等篮球运动场景。下图显示了该系统对得分和扣篮的视频识别结果。


利用该系统，以往需要人工记录的篮球比赛文字直播都可以用计算机来代替，结合对运动场地、运动员人脸识别、运动员行为轨迹分析等技术，还可以做更为精准的记录。这为比赛资料的备份，运动员技术统计等提供了非常有效的帮助。特别是用在一些低级别比赛的记录中更有成本的优势。