Caffe2go:Facebook最新的深度学习框架-阿里云开发者社区

开发者社区> 寒凝雪> 正文

Caffe2go:Facebook最新的深度学习框架

简介:
+关注继续查看

视频在人们的沟通交流中扮演着日益重要的角色。为此,Facebook一直希望提供一种先进的创意工具丰富人们的自我表达手段。近日,Facebook宣布,他们正在测试(目前只在部分国家的移动设备上)Facebook应用新增的一个创意效果相机。借助一项名为“风格转换”的技术,该功能可以帮助人们快速地将视频变成艺术品,比如,将梵高的油画风格运用到其他的图像或视频上。在此之前,这很难完成,因为需要将视频或图像的内容发送到数据中心的大型计算服务器上进行处理。而现在,Facebook开发了一个可以在移动平台上实时获取、分析、处理像素的深度学习框架Caffe2Go。

据介绍,为了可以在iOS和Android设备上高效地运行各种深度神经网络,Facebook将用于图像和视频处理的AI模型压缩了100倍。最终,他们可以在某些手机上用不到二十分之一秒的时间完成AI推断,而人一眨眼的时间是三分之一秒。

Facebook的风格转换工具融合了两种技术:Caffe2go运行时和风格转换模型。Caffe2go是一个以开源项目Caffe2为基础、使用Unix理念构建的轻量级、模块化框架。其核心架构非常轻量化,而且可以附加多个模块。考虑到速度是计算密集型移动应用的核心,该框架的轻量化设计让他们可以针对特定平台上定义的操作符进行优化。例如,Caffe2将一个名为NNPack的程序库集成进了移动运行时。借助一项名为NEON的移动CPU特性,他们提升了移动计算速度。在iOS设备上,他们也着手集成加速特性,如Metal语言。Caffe2go提升了AI处理速度,让它可以在移动终端上运行。但要实现实时性,并提供高质量、高分辨率的图像,风格转换模型也需要进行优化。 他们采用了多种方法来减少模型大小,包括优化卷积层数量和每一层的宽度,调整处理过程中的空间分辨率等。另外,他们还构建了包括A/B测试在内的可视化工具,并训练了不同的模型。

Facebook承诺,他们会和社区分享这款软件及其设计,并在接下来的几个月里开源这个AI框架的某些部分。

另据VB报道,谷歌去年也在谷歌翻译中做了一些类似的事情,他们还于近日展示了自己的神经网络风格转换技术。Facebook和谷歌在这个领域的工作要晚于移动应用Prisma,后者允许用户为照片和视频添加样式。

此外,Caffe2go是Facebook的第二个AI平台,第一个是已有的开源深度学习框架Torch。但是现在,Facebook将Caffe2go推上了战略地位,因为“它的大小、速度和灵活性”。

本文转自d1net(转载)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
StarSpace是用于高效学习实体向量的通用神经模型
StarSpace是用于高效学习实体向量的通用神经模型,用于解决各种各样的问题: 学习单词,句子或文档级嵌入。 文本分类或任何其他标签任务。
1692 0
hbase 学习(十四)Facebook针对hbase的优化方案分析
使用hbase的目的是为了海量数据的随机读写,但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题,而且hbase的数据是存储在Hdfs,而Hdfs是面向流失数据访问进行设计的,就难免带来效率的下降。
2239 0
DL框架之Tensorflow:深度学习框架Tensorflow的简介、安装、使用方法之详细攻略(二)
DL框架之Tensorflow:深度学习框架Tensorflow的简介、安装、使用方法之详细攻略
19 0
High&NewTech—AI界消息:2019年3月,贾扬清(Caffe框架作者)被曝从Facebook离职,入职Alibaba硅谷研究院
High&NewTech—AI界消息:2019年3月,贾扬清(Caffe框架作者)被曝从Facebook离职,入职Alibaba硅谷研究院
9 0
+关注
5854
文章
223
问答
来源圈子
更多
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载