专访微软研究院张正友:从“张氏标定法”到人机交互,20年视觉技术的探索

简介: 张正友博士,是世界著名的计算机视觉和多媒体技术的专家,ACM Fellow,IEEE Fellow。他在立体视觉、三维重建、运动分析、图像配准、摄像机自标定等方面都有开创性的贡献。

编者按:为期四天的2017杭州云栖大会(10月11日-14日)将再度在杭州云栖小镇起航,作为全球最具影响力的科技展会之一,本届大会将有不少阿里集团专家以及各企业行业领袖的精彩演讲。过去一个多月,云栖社区对大会嘉宾做一系列专访(关注“云栖大会”社区公众号了解更多大会信息)。本期我们采访的是ACM Fellow,IEEE Fellow,美国微软研究院首席研究员张正友,他将在云栖大会·视觉云计算生态峰会上分享Emotionally Intelligent Vision System,探讨从终端到云端的情感智能视觉系统。

张正友博士,是世界著名的计算机视觉和多媒体技术的专家,ACM Fellow,IEEE Fellow。他在立体视觉、三维重建、运动分析、图像配准、摄像机自标定等方面都有开创性的贡献。


张正友带领的微软研究院视觉团队在学术研究上做了大量的工作,除了在顶尖会议(比如CVPR、ICCV、ACM Multimedia、ICME)上发表了大量文章和几部专著,而且在微软很多产品里都有团队的贡献,比如Windows、Office、Xbox、Kinect、Skype for Business、Office Lens等等,这支团队在微软内部的重要性不言而喻。

故事从“张氏标定法”谈起

1998年,初到微软研究院的张正友发表了一篇名为《A Flexible New Technique for Camera Calibration》的论文,也正是这篇论文进一步奠定了他在计算机视觉领域的地位。文中提出的基于移动平面模板的相机标定方法,就是业界普遍采用的“张氏标定法”。

“张氏标定法是我1998年加入微软做的第一个项目”,张正友告诉云栖社区。

摄像机标定是三维计算机视觉的第一步,所以必须知道摄像机的参数才能从摄像机拍摄的二维图像里恢复出周围场景的三维信息。“那时标定都是用一个非常精确制造的三维标定物,比如印有特殊标志的正方体,贵且不实用,我这才发明了用二维标定板做摄像机标定。”他回忆道。

由于二维标定板的制作非常容易,一般的打印机就可以打印出来,因此这一方法得到了广泛应用。(这里有一篇短文分享了张氏标定法发明的经过,感兴趣的朋友可以看看。)

有趣的是,尽管张正友早在二十年前就发表了《A Flexible New Technique for Camera Calibration》这篇论文,但直到2006年,他本人才知道论文提到的方法被业界赋予了“张氏标定法”的名称。

“因为对人机交互感兴趣,我认为除了计算机视觉,语音识别应该必不可少,所以我在2001年至2006年转入语音识别研究团队,专注语音增强和说话人识别研究,没有去参加任何计算机视觉会议。2006年我开始带领现在的多媒体团队同时做语音和视觉,也开始重新参加计算机视觉的会议,这时我才知道我发明的标定法被称为了张氏标定法。”

“我的研究团队在近二十年的研究工作中主要围绕着用计算机视觉来理解人的形态和行为去帮助人和人之间的沟通及人和机器的交互,最初是通过几何和物理模型对人的形态和行为建模,然后加入了机器学习。”

张正友表示,从1999年开始就提出了model-based modeling方法对人脸三维建模,也就是通过采集大量的人脸三维数据通过机器学习建立参数化的三维模型.因为这个三维模型只需要很少的人脸形状和动态参数,针对某个特定人,仅需少量的数据就可以估计出这个人的各个参数,即使图像分别率低、光照条件差,算法依然拥有很好的鲁棒性。事实上,此后很多人都在采用类似的方法,包括做人体全身三维建模。

值得注意的是,在这个最初模型里形状参数和动态参数是独立的。在研究人体全身建模时,他们发现这个最初模型太粗糙。对不同形状的人,比如肌肉强壮的和不强壮的,同样的动态变化造成的形状变化可以有很大的差别,于是他们第一个提出了tensor-based body modeling,也就是将形状、动态和三维几何描述作为一个整体用张量(tensor)来描述,取得了非常好的效果。

精准表情识别VS人脸识别

张正友带领的微软研究院团队在人脸检测方面的起步可以追溯到2006年,主要侧重于实时性和人脸侧面检测的鲁棒性。微软内部用的人脸检测技术基本上都是由团队提供,甚至也可能是最早用三维传感器做手势识别和人类行为理解的研究团队之一,早于微软推出Kinect传感器。此外,团队还在沉浸式远程呈现 (immersive telepresence)方面做了大量的研究,目的是将不同地点的人进行合成,让不同时空的人感觉是在同一个时空下,进行面对面的交流。

近年来,人脸表情识别逐渐受到了业界的关注。关于人脸表情识别,有人可能想到用这个技术去测谎,这确实是一个重要的应用,还有些应用包括医学领域比如疼痛跟踪。“我个人感兴趣的还是人机交互”,要想机器和人进行自然交互,机器必须要知道交互人的表情,也就是说机器需要情商(emotion intelligence),就像人需要有足够高的情商才能和谐的融入社会。从技术角度看,它和人脸识别都属于细分类。一个人和另一个人都有很多相同的地方,比如都有眼睛鼻子嘴巴,人脸识别就要把那些相同的东西去掉,把人和人差异的特征找出来。人脸表情识别也类似,不但需要把人和人有些相同的东西去掉,也要把人和人之间的差异去掉,但要把不同人相同的表情特征保留下来,所以非常有挑战。

要实现精准的表情识别,必然会面临各方面的技术挑战。张正友表示:“我应该是世界上第一个用神经网络做表情识别的。1996年我在日本学术休假,和研究人是如何做人脸识别的认知科学家交流,利用他们采集的数据,想用机器来做人脸识别。当然那时数据量少,我只用了三层的神经网络,特征是直接用Gabor小波参数。1997年发表了一篇会议文章,1999年发表了一篇杂志文章。二十年过去了,无论数据还是算法都有很大的发展。现在我们发布在微软Cognitive Services的Emotion API产品,用的是深度学习的方法,用了16层的神经网络和两百万张图像训练出来的。”

目前,人脸表情识别还处于婴儿阶段,研究的仅是基于图像的基本表情分类。人的表情是动态的,所以需要做基于视频的表情识别。要实现精准的表情识别,可能需要跟踪人脸每块肌肉的运动,做基于FACS(Facial Action Coding System)的表情分析。人的真正感情可能在所谓的微表情上表达出来,这样就需要用高速摄像头。此外,还需要跟认知科学家紧密合作。

视觉计算和深度学习的碰撞

在两个月前结束的CVPR(IEEE国际计算机视觉与模式识别会议)上,论文数量及参会规模都提升到了一个新的高度:收到了2620篇文章,有5000人参加,相比去年的CVPR增加了40%,计算机视觉在全球范围内的关注度可见一斑。

细心的读者可能发现了一个现象,本次大会上的优秀论文中出现了不少华人的面孔。对此,作为今年CVPR的大会主席,张正友激动的表示,“看到计算机视觉蓬勃发展很为高兴,作为华人,看到大量的华裔面孔和大批的参展的中国公司,我很骄傲。”

他认为,华人对计算机视觉的发展一直发挥重要的作用,但一个新现象是越来越多的人从中国来参加国际会议,越来越多的计算机视觉技术落地中国,视觉创业公司如雨后春笋。张正友希望,中国的计算机视觉研究和应用能更上一个台阶,为中国人工智能领域在世界上占一席重要地位发挥作用。

时下,全球视觉技术的趋势愈演愈烈,其中很大的一个原因正是因为大数据深度学习发挥的作用,在中国因为人口众多和对数据使用的宽松政策,这个优势尤为明显。但是,随着时间的推移,人们对个人隐私会更加重视,优势会偏向那些拥有原始数据的公司。因此,计算机视觉作为人工智能的一环,需要和垂直产业结合落地。

深度&丰富的场景应用

虽然深度学习的文章在现在的会议中占有很大的比例,但很多人已经开始认识到,深度学习和人的学习能力仍有很大的不同。人能够举一反三,很快学习新东西;人能够在执行任务中不断学习,在挫败中成长......等等,这都是深度学习现在所缺乏的。此外,现在视觉进步比较大的大都属于感知范畴,比如是什么物体、是谁等。视觉研究需要往更高层次发展,进入认知理解阶段并拥有常识推理,这也是为什么现在开始有不少研究将视觉和语言结合去理解图像视频。

视觉技术的应用前景无论如何都不会高估,它将涉及几乎人类的所以领域,包括人们熟知的无人驾驶、安防监控、金融认证。但随着中国经济的发展,对弱势群体的关怀必将加强,比如老年人和残疾人,计算机视觉在那些场景的应用将前途无量。

张正友表示最近一直在研究如何将计算机视觉实时地大规模地有效地应用到实际场景中,本次云栖大会上,他将就此分享计算机视觉在云计算上的看法。


云栖大会报道:

专访Dan Kohn:阡陌交迭,云原生布局开源生态构建及深度应用

专访阿里云闵万里:云上逐鹿,ET大脑要做行业化、垂直化的创新运用

专访阿里云雁杨:因需求而进化,ECS云服务器追求弹性极致

安全人工智能应用之我见:时代“风口”的交叉点

专访新浪微博黄波:千人千面,机器学习赋能用户信息流消费

专访iDST NLP负责人——淘宝内容搜索、评价归纳的幕后英雄

专访阿里云易立:从实践积累到需求沉淀,容器技术必将引领主流

专访阿里云异构计算负责人:异构计算,GPU、FPGA、ASIC芯片将三分天下

专访阿里云量子技术首席科学家施尧耘:量子计算前途辉煌而任重道远

云栖大会变迁史(2009-2017)
图说历届云栖大会精彩内容(长图鉴赏)

目录
相关文章
|
7月前
|
机器学习/深度学习 编解码 人工智能
麻省理工AI新研究可将马赛克变视频
【2月更文挑战第30天】麻省理工学院等机构的研究团队推出AI新技术FeatUp,可将低分辨率图像提升为高清视频,该技术在2024年ICLR会议上引起关注。FeatUp基于深度特征提取,通过多视角一致性损失恢复空间信息,提高视频清晰度。模型通用性强,适用于多种任务和现有应用。实验显示,它在图像超分辨率和端到端学习模型性能提升上超越其他方法。然而,尚存在对某些内容处理不完善和计算资源需求高的局限性。
118 2
麻省理工AI新研究可将马赛克变视频
|
6月前
|
人工智能 算法 安全
“AI黏土人”一夜爆火,图像生成类应用何去何从?
【6月更文挑战第1天】“AI黏土人”一夜爆火,图像生成类应用何去何从?
|
4月前
|
人工智能 算法 机器人
机器人版的斯坦福小镇来了,专为具身智能研究打造
【8月更文挑战第12天】《GRUtopia:城市级具身智能仿真平台》新论文发布,介绍了一款由上海AI实验室主导的大规模3D城市模拟环境——GRUtopia。此平台包含十万级互动场景与大型语言模型驱动的NPC系统,旨在解决具身智能研究中的数据稀缺问题并提供全面的评估工具,为机器人技术的进步搭建重要桥梁。https://arxiv.org/pdf/2407.10943
224 60
|
6月前
|
机器学习/深度学习 人工智能 物联网
清华天眸芯登Nature封面:全球首款类脑互补视觉芯片
【6月更文挑战第9天】清华大学电子工程系团队研发的全球首款类脑互补视觉芯片“天眸”登上Nature封面。这款芯片模拟人脑视觉处理机制,集成感知和行动两条通路,实现高效低耗的智能视觉系统。适用于开放世界感知和物联网领域,但面临实际应用挑战、制造成本及良率等问题。[论文链接](https://www.nature.com/articles/s41586-024-07358-4)
59 7
|
新零售 人工智能 自动驾驶
前沿科技 | 与人共鸣,让AI发声
编者按: 声音是塑造一个有血有肉人物的关键,声音和视觉之间的不一致会破坏用户身临其境的体验。但以目前技术发展来看,声音质量还不能实时与视觉质量相匹配。尽管如此,许多科技公司和平台开发者努力提供可用的最新解决方案,使虚拟形象能够在展示场景中实时按需生成自然且有人类情感的声音。 本文约2036字,建议阅读时间6分钟。
181 0
|
传感器 机器学习/深度学习 人工智能
国产手机的AI视觉革命
最近,在仔细琢磨了两大巨头苹果和谷歌发布的旗舰手机之后,老冀对国产手机的未来前景有了一份担忧。
254 0
国产手机的AI视觉革命
|
机器学习/深度学习 人工智能 自然语言处理
|
人工智能 搜索推荐 机器人
当AI遇上展会——全息世界的又一“现在进行时”
传统展会受限于时间和空间,疫情之下,更是受到大幅影响,而线上线下一体化的云展会解决方案,将助力会展行业早日实现数字化转型。
780 0
当AI遇上展会——全息世界的又一“现在进行时”
|
机器学习/深度学习 人工智能 大数据
前沿 | AI不用地图和GPS也能认路:DeepMind再放大招
是的,谷歌DeepMind又在搞事情。 这次,是用深度强化学习和神经网络来建立导航系统。无需标注好的地图指引,AI仅仅依靠街景照片的图像识别就能到达目的地。类似于AlphaGo Zero的没有棋谱,也能学会下棋。
10022 1
|
人工智能
WAIC | 奇点云携「酷炫AI应用」亮相2019世界人工智能大会
当奇点云携一身「酷炫AI应用」遇上「WAIC大会」,又将释放怎样的科技火花呢?
1602 0