码农也来玩奥运开幕式“超级变变变”!相机动捕,实时转换赛事图标,项目开源可试玩-阿里云开发者社区

开发者社区> -技术小助手-> 正文

码农也来玩奥运开幕式“超级变变变”!相机动捕,实时转换赛事图标,项目开源可试玩

简介: 码农也来玩奥运开幕式“超级变变变”!相机动捕,实时转换赛事图标,项目开源可试玩
+关注继续查看

大家都有在看奥运会吗?

根据发稿前的数据统计,目前中国金牌数量24,位列第一,奖牌总数51,仅次于美国的59,位列第二。

在为运动员们加油助威的同时,我们不妨再回顾一下本届奥运会开幕式。

7月23日,东京时间晚上8点,延期一年的东京奥运会终于开幕,本应座无虚席可容纳6.8万人的看台上,因防疫需要几乎空无一人。

在开幕仪式上,最让人惊喜的节目之一便是将日本老牌节目《超级变变变》的风格搬运到了各个项目图标中,表演者们相互配合,用道具搭配肢体动作,展现了乒乓球、射击、铁人三项等50个图标。

其实,在1964年的东京奥运会上,日本人就首次发明了体育项目图标,随后这也逐渐成为奥运会的传统之一,得以延续。

借着奥运热潮,不少象形文字项目也受到了关注。

比如,日本一位叫做高桥的嵌入式工程师就亲自开发了一个软件,通过相机捕捉动作和姿势,然后把它们变成奥运风格的象形动图,就像这样:

最终识别效果如下图所示,文摘菌只能说,都是“动作不够,机器来凑”啊。

手把手教你把自己变成象形动图

目前,该项目已经在GitHub上开源了。
GitHub链接:
https://github.com/Kazuhito00/Tokyo2020-Pictogram-using-MediaPipe

首先,我们需要创建一个GitHub的存储库。

$ git clone https://github.com/Kazuhito00/Tokyo2020-Pictogram-using-MediaPipe.git
$ cd Tokyo2020-Pictogram-using-MediaPipe

然后,需要创建一个Python虚拟环境,并安装所需要的库。

$ python -m venv .venv
$ source .venv/bin/activate
$ pip install mediapipe opencv-python

准备工作做完之后,可能会遇到在本地代码无效的情况,可以对VideoCapture的宽度和高度适当做出调整。

  • parser.add_argument("--width", help='cap width', type=int, default=640)
  • parser.add_argument("--height", help='cap height', type=int, default=360)
  • parser.add_argument("--width", help='cap width', type=int, default=960)
  • parser.add_argument("--height", help='cap height', type=int, default=540)

随后就可以运行该项目了。

$ python main.py

这时候你就会发现,相机识别出来的图变成了这个样子:

最后,高桥也大方地给出了试玩地址,感兴趣的同学可别错过了:
试玩地址:
https://pictogram-san.com/

象形动图升级:霹雳舞也能玩出花!

这么有意思的项目仅限于此未免有些可惜了。

于是,一位叫做岩田智哉的同学就对高桥的程序进行了进一步的改进和完善,比如说,用来跳霹雳舞。

由于身体机能的下降,岩田放弃了在转动摄像机时实时制作象形图,转而尝试通过让程序读取视频,来制作象形图。

考虑到这点后,他做出了如下修改,把程序改成了由命令行参数传递的视频文件的象形图,同时还删除了反转视频的逻辑。

  • parser.add_argument("--device", type=int, default=0)
  • parser.add_argument('--file', type=str, required=True, help="video file path")
    parser.add_argument("--width", help='cap width', type=int, default=960)
    parser.add_argument("--height", help='cap height', type=int, default=540)

@@ -43,7 +43,7 @@ def main():

 # 引数解析 #################################################################
 args = get_args()

  • cap_device = args.device
  • cap_file = args.file
    cap_width = args.width
    cap_height = args.height

@@ -55,7 +55,7 @@ def main():

 rev_color = args.rev_color


 # カメラ準備 ###############################################################
  • cap = cv.VideoCapture(cap_device)
  • cap = cv.VideoCapture(cap_file)
    cap.set(cv.CAP_PROP_FRAME_WIDTH, cap_width)
    cap.set(cv.CAP_PROP_FRAME_HEIGHT, cap_height)

@@ -86,7 +86,7 @@ def main():

     ret, image = cap.read()
     if not ret:
         break
  • image = cv.flip(image, 1) # ミラー表示
  • image = cv.flip(image, 1) # ミラー表示

    debug_image01 = copy.deepcopy(image)
    debug_image02 = np.zeros((image.shape[0], image.shape[1], 3), np.uint8)
    cv.rectangle(debug_image02, (0, 0), (image.shape[1], image.shape[0]),

然后就能得到这样的视频识别效果:

最后,岩田表示,既然都做到这一步了,我们就顺理成章地再添加逻辑,把这个栩栩如生的视频保存为一个单独的mp4文件。

第一次加载作为命令行参数传递的视频文件时,需要创建一个文件名为<UTC时间戳>-pictgram-output.mp4的视频文件,并在每次循环后添加一个进程来导出象形图象即可。

!/usr/bin/env python

# -- coding: utf-8 --
import copy
+from datetime import datetime
import math
import argparse

@@ -79,6 +80,8 @@ def main():

     color = (100, 33, 3)
     bg_color = (255, 255, 255)

  • is_first = True
  • output_video = None
    while True:

    display_fps = cvFpsCalc.get()
    

@@ -86,6 +89,7 @@ def main():

     ret, image = cap.read()
     if not ret:
         break

+

     #image = cv.flip(image, 1)  # ミラー表示
     debug_image01 = copy.deepcopy(image)
     debug_image02 = np.zeros((image.shape[0], image.shape[1], 3), np.uint8)

@@ -125,7 +129,18 @@ def main():

     cv.imshow('Tokyo2020 Debug', debug_image01)
     cv.imshow('Tokyo2020 Pictogram', debug_image02)

  • if is_first:
  • fmt = cv.VideoWriter_fourcc('m', 'p', '4', 'v')
  • fps = cap.get(cv.CAP_PROP_FPS)
  • now = datetime.now().strftime('%Y-%m-%d-%H%M%S')
  • output_video = cv.VideoWriter(f'{now}-pictgram-output.mp4', fmt, fps, (debug_image02.shape[1], debug_image02.shape[0]))
  • is_first = False

+

  • output_video.write(debug_image02)

+

 cap.release()
  • if output_video:
  • output_video.release()
    cv.destroyAllWindows()

基于机器学习技术的手势识别算法MediaPipe

据了解,高桥所使用的为谷歌开源机器学习工具“MediaPipe”。

MediaPipe是一种基于机器学习技术的手势识别算法,其特点是准确率高,支持五指和手势追踪,可根据一帧图像推断出单手21个立体节点。

与目前市面上较先进的手势识别技术相比,MediaPipe不需要依赖台式机,在手机上就能进行实时追踪,还支持同时追踪多只手,识别遮挡等。

MediaPipe框架有3个模型组成,包括:手掌识别模型BlazePalm(用于识别手的整体框架和方向)、Landmark模型(识别立体手部节点)、手势识别模型(将识别到的节点分类成一系列手势)。

其中,BlazePalm是一个可识别单帧图像的模型,主要为Landmark模型提供准确剪裁的手掌图像,在经过训练后手掌识别准确率可达95.7%。这大大降低了对旋转、转化和缩放等数据增强方式的依赖,让算法将更多计算能力用在提高预测准确性上。

此外,BlazePalm可识别多种不同手掌大小,还能识别手部遮挡,并且能通过对手臂、躯干或个人特征等的识别来准确定位手部。

Landmark模型在BlazePalm基础上识别到的21个立体节点坐标,这些节点之间的位置遮挡也可被识别。

通过手势识别模型,从Landmark提取的数据来推断每根手指伸直或弯曲等动作,接着将这些动作与预设的手势匹配,以预测基础的静态手势。预设手势包括美国、欧洲、中国通用手势,以及竖大拇指、握拳、OK、“蜘蛛侠”等。

对于MediaPipe,更为主流是将其作为手语识别和翻译的辅助方式,如果再结合AR/VR头显的输入方式,或许可以进一步提升听障人士沟通效率。

当然,我们也十分期待高桥这种脑洞大开的项目。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
将WordPress站点转换为Joomla
本教程将向您展示如何将现有的WordPress站点移动到Joomla。这适用于最多5个的许多WordPress版本,适用于Joomla3。 在开始之前,您需要了解以下内容: 这将从WordPress导入类别,但它不会将导入的帖子/页面与相应的类别相关联。
932 0
mazaiting的开源包
Crash 可以捕获全局异常,通过网络、邮件或者自定义处理机制来获取App的错误日志。 compile 'com.mazaiting:crash:1.0.3' Mail 一个发送邮件的工具包 compile 'com.mazaiting:mail:1.0.1' PopupWindow 一个简化原生PopupWindow的库,使用Builder模式。
544 0
阿里淘系优质开源项目推荐(下)
开源推动着互联网技术的发展。多年来,阿里巴巴淘系技术一直积极拥抱开源事业,无论是开源软件的应用、回馈以至自研技术的开源都非常活跃,近两年我们更是开源了MNN、飞冰ICE、3D-FUTURE & 3D-FRONT 等项目,在开源社区中,也获得了广泛开发者的支持和使用。 还记得《阿里淘系优质开源项目推荐(上)》文末的问题吗?你知道淘系还有哪些开源项目?大家的留言橙子也看到了~现在就来揭晓正确答案。(文末有惊喜!!!)
60 0
欢迎使用Performance analyzer 开源小工具!
2013-5-08 - version 1.0.0 released2014-3-21 - version 1.1.0 released Fixed - log4j thread safe problemFeature - support logback 代码地址 基于perfj的性能分析工具,欢迎大家使用,也欢迎大家继续完善~
888 0
开源项目中经常出现的七种错误
启动一个新的开源项目可能会遇到一些困难。也许你脑子里有一个很棒的想法,但是想把它们变成富有成效的、健康的、吸引人的社区还需要做很多工作。令人叹息的是,相同的错误总是被无代价的重复,出现低级错误是团队中的忌讳。
964 0
【云周刊】第205期:阿里云重磅开源实时计算平台Blink,挑战计算领域的“珠峰”
本期头条 阿里云重磅开源实时计算平台Blink,挑战计算领域的“珠峰” 信息爆炸的时代,智能推荐已经被应用到各类互联网产品中,但为千万级甚至亿级规模的用户实时做精准的推荐难度极高。这一难题已经被阿里攻克了:双11的第1分钟,数千万人同时涌进天猫,点开APP的一瞬间,心仪的宝贝就已经出现在屏幕上。
3534 0
1470
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载