为给艺术生讲编程,上海大学副教授“变身”萝莉,自制软件二次元上网课-阿里云开发者社区

开发者社区> -技术小助手-> 正文

为给艺术生讲编程,上海大学副教授“变身”萝莉,自制软件二次元上网课

简介: 为给艺术生讲编程,上海大学副教授“变身”萝莉,自制软件二次元上网课
+关注继续查看

疫情带火了线上教育,也把一批老师逼成了“主播”。

为了给在家上课的同学们的同学们更好的学习体验,老师们煞费苦心,各种线上直播软件齐上阵。不过,学生还没开始抱怨,老师倒是先把苦叫上了天,纷纷表示“当主播这么不容易”。

最近,上海大学开启在线教学,为了提高学生上课的积极性,根据澎湃新闻报道,上海大学数码艺术系副主任、副教授蒋飞把他的《动态构成》这门在线教学直播课玩出了花。

作为一名给艺术系学生讲授计算机编程的老师,他担心课程太枯燥学生不愿意看,于是利用虚拟现实和增强现实技术,把自己的课堂搬进了二次元,“变装”上课,从动作到嘴形都可以实时同步动漫人物。

利用技术手段,不仅可以在二次元里感受更加有代入感的“课堂”环境,还可以让同学自行选择各种讲课的动画人物,从萌妹子到机械人,应有尽有。

如果学生们选择了二次元萌妹子,上课的画风瞬间就会变成这样👇,上课的学生对此惊讶连连赞不绝口,网课的听课率也显著提高。

近日,蒋飞老师也在澎湃新闻的采访视频中说明了自己为何萌生了这样的想法,又是如何“变装”萌妹子上课的,快和文摘菌一起来看看吧~

“变装萌妹”上课,从本科课堂火到了研究生


其实,在做增强现实的网课之前,蒋飞也遇到了上述难题,就是老师辛辛苦苦录制了网课,但是课程上线后,并不是所有的学生都看了。

于是,为了让同学们更轻松也更容易地进行学习,也为了更好地给艺术系的同学们讲解计算机编程的相关知识,他利用了双目摄像头,再结合了自己开发的软件,完成了在线“变装”,在这个系统完成后,蒋飞表示,“学生上课的积极性,还有作业质量的提高有明显的进步”。

甚至,蒋飞发现,有不少学生会提前完成录播课的学习,提前上交作业,到了课堂讨论环节,学生会提出超纲问题。因此他现在也需要根据同学们的学习情况实时调整授课进度。

这也是因课制宜,我的课程讲计算机方面的艺术,很多设计用到编程,非常适合网上教学。”蒋飞说,录播课可以反复回看,直播课用来答疑互动,虚拟替身就是在这时出现。

一开始,只有本科毕业设计课上会用到“变装”设备,但是研究生知道这个情况后,也纷纷“上书”要求老师这样上课。如今,蒋飞已经优化了软件,能够实现虚拟替身的流畅运行了。

线下上课仍以老师为中心,线上教学以学生为中心,我的造型都是学生帮选的。”谈到线上教学,蒋飞认为,这也是对老师的一种挑战,老师的压力更大了,“我感觉上了一个小时的线上,相当于两个小时的线下,真的是成倍的增加”。

双目摄像头捕捉人体,自制软件合成动画

生成这样的虚拟替身一共需要两个步骤,一是通过视频捕捉老师的肢体动作;二是通过软件将实时监测出的人体数据通过软件与虚拟形象进行匹配,生成动画。

传统的人体动作捕捉一般用于影视制作,在一些科幻片的拍摄花絮上,我们经常可以看到绿幕前的演员身上绑了许多小球,这些小球就是一种传感器,可以将位置状态实时传输到计算机中用于后期合成。

这种方式尽管比较精确,但是过于复杂,蒋飞老师采取的是利用双目摄像头来捕捉肢体动作

双目摄像头可以在同一场景下拍摄左右两幅图像,运用立体匹配算法获取视差图,进而获取深度图,而后通过景深图对二维图像进行三维重建。

当然,蒋飞老师的目的是将身体动作同步到动画人物上,因此也不需要进行完整的三维建模,而只需要通过视频定位自己的身体部位,即基于双目视觉构建人体动作捕捉系统,一种可行的方法是基于颜色特征的Camshift算法对人体关节进行追踪,结合Kalman滤波提高抗干扰性。

当然,现在也有各种深度学习模型可以提供基于视频的人体姿态估计,并且不需要双目视觉,普通摄像头也可以完成,主要是通过大量已标记的视频数据进行模型训练,从而让模型可以仅凭二维图像就可以捕捉人的关键关节(肘部、手腕、膝盖等)。

从DeepNet到HRNet,文摘菌也曾经对基于深度学习的“人体姿势估计”进行了梳理,感兴趣的同学可以回顾一下。

第二步便是将检测到的人体数据与动画人物相匹配,这个需要相应的软件,Adobe公司出品的CharacterAnimator就可以将人体的动作实时投射到动画人物,但是却不能实时运行,只能用于后期。

蒋飞老师是通过自己制作的软件完成的这一步,并且进行了优化,这个软件要将接收到的双目摄像头的视频数据转化为人体姿态数据,再对虚拟人物进行实时渲染,还要合成到课堂环境中,这个难度还是不小的

这次变装“萝莉”的老师蒋飞是上海大学美术学院数码艺术系副主任、美国麻省理工媒体实验室访问教授、中国工业设计协会信息与交互设计专业委员会委员。他从事的研究方向正是数字媒体艺术与信息与交互设计,始终致力于打造技术与艺术融合的复合型人才,认为学生们应该有良好的艺术素养和独特的个人创意

蒋飞曾公开表示过,跨学科合作应该是高校数字艺术发展的一个方向,因为数字媒体人才是复合型人才,除了要求从业者有熟练的操作技巧之外,更要求从业者有良好的艺术素养和独特的个人创意,技术教育应与文化、艺术融合。创新型数码艺术人才要求数字制作相关人员既要具有人文艺术修养,又要能够运用最新的数字制作技术手段。

这次疫情期间,蒋飞通过“变装”的方式为同学们上网课,讲技术和媒介完美结合,也是对自己的教学理念做出了最直接的实践。

其实近年来,用技术辅助内容的线上教育也是风生水起,比如去年北京邮电大学就开通了虚拟课堂,采用5G+4K全息投影的方式远程直播授课。

去年9月16日,北京邮电大学全息投影远程直播教室首次正式上课。在沙河校区由芦鹏飞老师主讲的诺贝尔物理学奖简史课程以全息投影的方式与西土城校区的同学们见面了。

北邮的这次全息投影远程直播授课主要有两个特色,一是凭借5G低时延、高速率特性实现的4K影像实时传输,二是全息投影带来的全新体验。

基于5G技术实现的4K全息影像传输非常流畅,上课过程中几乎没有出现卡顿现象,相当惊艳。但是,全息投影技术还没有尽善尽美,依旧有很大的发展空间。

去年12月20日,北邮又表示可以在线上学数学了!

李鹤老师站在蓝色的幕布前,生动的讲着拉格朗日中值定理,面前却没有一位学生。没错,大家都在屏幕前!

不仅可以在寝室看直播学习,直播结束后还可以看回放哦~北邮的同学们对虚拟课堂赞不绝口,同时也充满了期待:

全息影像授课非常新颖,而且比传统的视频远程授课更加真实。

“感谢李老师生动精彩的讲评,很多思路都对我有极大的帮助,希望今后可以看到更多新技术与教学的融合应用,不断带给我们更好的课程体验!”

通过这次疫情采取的线上学习,让我们感受到老师们的努力与敬业,同时也让我们看到了未来网课的无限潜力。科技和教育一直是相辅相成的两个方向,可以推动彼此向更好的方向发展。

如果未来的网课都能做到生动形象,智趣兼备,让学生体会到学习的趣味性,那么这样的网课,谁能不爱呢

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
一文带你迅速搞懂包是什么 | 带你学《Java面向对象编程》之六十七
高效的编程往往免不了多人合作,本节提到的包的概念可以有效避免重名类出错的问题。
316 0
VB编程:数组中删除数组元素
VB编程:数组中删除数组元素
10 0
Python编程:flask-cors模块解决Flask跨域请求Cross-Origin问题
Python编程:flask-cors模块解决Flask跨域请求Cross-Origin问题
10 0
Python编程语言学习:仅需一行代码构造特殊列表之重复元素列表、等差数字列表等之详细攻略
Python编程语言学习:仅需一行代码构造特殊列表之重复元素列表、等差数字列表等之详细攻略
7 0
Java网络编程--InetAdress类
一、地址 java.net包中的InetAddress 类对象含有一个Internet主机地址的域名和Ip地址 www.sina.com.cn/202.108.35.210   二、获取地址 1、获取Internet上主机的地址 使用InetAddress类的静态方法 getByName...
605 0
数论 代数 群论 范畴论 与 函数式编程 Haskell, Scala
来自China Scala User Group 微信群的一段话,讲的很有意思,这里摘录一下: 数论 研究一个一个的数特性;Object常用术语: 1, 2, 3, "hello world" 代数 研究数上面的操作的特性;常用术语:+ ,-, * , /, mod, concat, 群论 把代数上面的操作,根据共通的特性,分成一个组(群)一个组(群)的来研究。
1563 0
千字走进注解的领域 | 带你学《Java面向对象编程》之四十六
本节将为读者介绍常见的三个注解-@Override、@Deprecated和@SuppressWarnings的作用与用法。
517 0
c++编程思想2 --友元存储控制
 友元friend在c++中的应用  我们知道在c++的类访问权限中,private和 protected在类外面进行访问的时候 会因为权限而不能访问 ,友元就解决了这个问题 。 可以这样理解,他为外部的 函数 或者类 进行了 访问授权,其实这已经超出OOP的范畴,但是对于C++而言是以实用为主,所以说C++并不是完全面向对象的语言 C++这一特性就破坏的C++的安全性 。
687 0
.NET数据库编程求索之路--7.使用ADO.NET实现(工厂模式-实现多数据库切换)(4)
7.使用ADO.NET实现(工厂模式-实现多数据库切换)(4) 7.7 业务逻辑层HomeShop.BLL OrderBiz.cs View Code  1 using System; 2 using System.
757 0
1457
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载