中秋,和千年前的朋友一起上央视-阿里云开发者社区

开发者社区> 人工智能> 正文
登录阅读全文

中秋,和千年前的朋友一起上央视

简介: 昨天,杭州图书馆和达摩院的合作项目「AI算法复现古人“吟咏”中秋画面」,获得了CCTV13的报道。

昨天,杭州图书馆和达摩院的合作项目

「AI算法复现古人“吟咏”中秋画面」

获得了CCTV13的报道

👏👏👏
点击查看视频

在中秋到来之际,杭州图书馆利用达摩院AI算法,首次让馆藏文献《宋画全集》中的《韩熙载夜宴图》、《阆苑女仙图》等十多幅古籍书画中的人物“动”起来:

这些古籍书画中的人物不仅能够朗诵中秋相关的诗词,他们的五官、神态还会随着节奏发生变化。

1.gif

古画:宋画全集《韩熙载夜宴图》
朗诵内容:《念奴娇·中秋对月》·文征明

2.gif

古画:宋画全集《调鹦图》
朗诵内容:《水调歌头·明月几时有》·苏轼

3.gif

古画:宋画全集《阆苑女仙图》 朗诵内容
朗诵内容:《中秋赋》(观潮)

古籍书画既要保护也要传承,达摩院希望通过AI技术让古籍书画更加生动,让大家更好地读懂它们并了解历史文化。

让古籍书画人物“复活”和以往的图像识别任务不同,最终生成的视频既要保留原有插图人物形象又要增添接近真人的神态,这涉及到「人脸关键点分析」和「视频生成」2项AI算法。

此外,在合成的过程中还有两大难题:

运动敏感问题:让古籍书画“活”起来需要一段真人朗诵视频,但朗诵者头部运动幅度较大,容易导致生成视频变得模糊,从而会引起明显的边际效应,使得视频看起来并不协调。

达摩院设计了一种EAN (Edge-aware Attention Network),通过不同的权重来调整朗诵视频的局部运动模式,越靠近外侧边界的地方,权值越小,这样能够使生成的视频和原图具有很好的契合度,整个头部的运动具有平滑的过渡,进而能够提升对朗诵视频的运动干扰。

清晰度问题:因为古籍书画的清晰度较低,AI算法既要保持原有的古风古韵,也要为图画增加逼真的五官动作、表情。

达摩院视觉团队尝试将生成人脸的分辨率提升到512*512,同时尝试增加主干模型的复杂度以提高模型的容量,以提高生成视频的清晰度。

此外,因为古籍书画有许多的侧脸、头部歪着等案例,AI需要学习丰富的头部姿态,以增强算法在典籍图像上的鲁棒性。

4.gif

杭州图书馆副馆长梁亮表示:“我们希望用古籍与AI技术结合的方式,来推动图书馆与新技术的融合发展。传承历史文化不再是限于纸上,而是科技化的呈现在读者的眼前。”

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章
最新文章
相关文章